论"大数据"时代下的海量数据存储技术
摘要:随着高清摄像机的快速普及和推广,数据呈现爆发式增长,而相关法律的出台(如《中华人民共和国反恐怖主义法》和《关于人民法院诉讼档案保管期限的规定》规定资料长周期保存)又成为有力的市场推手,加速了数据的暴增程度,对海量存储空间的需求为存储厂商带来了前所未有的良好机遇。如何解决大数据时代下的客户对海量数据的长周期、分层存储和快速查询的诉求,是存储厂商面临的挑战。
高清、长周期呈现海量存储需求
高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长。例如: 前端IPC有130W到500W像素,码流也从有2Mbps到8Mbps,而一个130W像素,8Mbps码流的前端, 录像一个月就需要2531.3GB,数据量不可小觑。
存储周期方面,现在也有了政府的有力推动。如《中华人民共和国反恐怖主义法》规定采集的视频图像数据保存周期不得少于90天;最高人民法院与国家档案局联合发布的《关于人民法院诉讼档案保管期限的规定》更是规定:将法院诉讼档案的保管期限分为永久、长期、短期三种,根据人民法院诉讼档案的特点,凡属本院审判活动形成的需要长远利用的诉讼档案,划为永久保管。凡属在相当长的时期内需要查考使用的诉讼档案,划为长期保管,保管时间为60年。凡属在相对较短的时期内需要查考利用的诉讼档案,划为短期保管,保管时间为30年,可以想象,数据量非常之大。
对当前整个安防市场来讲,特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展,甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长.应对如此巨大的数据量,数据存储及客户数据快速有效查询就变得至关重要。海康一直紧跟行业发展方向,致力于推出更符合用户需求与行业需求的监控/数据中心解决方案。
现有的安防存储模式
1.DVR/NVR前端本地存储
此种模式,一般应用于实施较早项目,使用的是DVR/NVR前端本地存储,随着大数据时代的来临,采用了比较直接的方法,在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小,况且DVR/NVR性能较低,信息孤岛现象严重,无法满足大数据需求。
2.集中存储模式
客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式,随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR/NVR模式,容量大大提升,并实现了数据的集中存储,同时支持存储节点间的故障的自动业务接管,最大程度上实现了业务数据的完整性。但是随着大数据的来临,后续项目扩容时,需要人为配置设备的负载均衡。一台存储故障后导致设备存储的数据部分中断或者接管设备压力较大,另外考虑到网络延时,可能导致存储数据不完整,数据获取需要人为指定设备数据获取,管理成本较高等。为了设备的负载均衡,空间的虚拟化设备易维护的问题,云存储技术应运而生。
3.云存储模式
随着云存储技术普及.目前市面大体分为通用云存储(文件云\集群NAS )和视频云存储。
通用云存储
通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储和业务访问功能。
通用云存储较传统集中基本设备形态不变,故主要部件为:存储服务器(元数据服务器)+磁盘阵列。
通用云存储中许多都是通过优化改造传统IPSAN/NAS存储而演化而来,其通过实现服务器和存储设备集群化管理,存储资源虚拟化,达到分布式数据存储,因其内部数据处理以结构化数据为主。
工作模式:前端摄像机视频数据流经流媒体服务器转发到存储管理服务器集群,最后在写入指定的磁盘阵列。视频数据需经过流媒体服务器转发进入存储服务器,一定流媒体故障,系统业务中断,数据存在丢失风险。
通用云存储可以实现存储资源虚拟化,但虚拟化能力有限。通用云存储以结构化的文件系统存储非结构化视频图片数据,视频存储效率低。
基于以上几点,通用云存储产品当前都是面向全行业项目支持,主要作为一款存储方案,即不对安防视频应用做应用支撑.不太适合做安防视频整体的解决方案。
安防专用的视频云存储
基于云架构进行开发,融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,将网络中各种不同类型的存储设备,通过专业应用软件集合起来协同工作,共同对外提供视频、图片数据存储和业务访问服务。
视频云存储基本组成单元: 云存储管理服务器、云存储存储节点、云存储软件。
视频监控平台根据业务需求为各前端摄像机下发录像计划,视频云存储系统根据当前系统内的业务负载情况分配具体的存储空间,前端摄像机推送视频数据流直写到分配的存储设备上。视频云存储数据传输协议支持主流的流媒体协议(如RTSP/ONVIF/PSIA等)和GB/T28181规范;支持平台直接调取,架构简化而开放,空间自我管理,可独立组网。
对于通用云存储,视频云存储优势如下
相在大型视频监控项目中,视频云存储在视频/图片存储效率优于通用云存储。
在项目预算中,视频云存储较通用云存储能节省部分服务器投入,有成本优势。
视频云存储是专门针对视频安防行业的高效安全稳定的后端存储解决方案,所以可以支撑大量的视频功能应用,这个也是通用云存储所不具备的。
视频云存储特点如下:
1)高效灵活的空间管理
对存储资源进行虚拟化整合,提高用户管理效率;
支持存储资源的在线扩展,实现容量与性能的线性增长;
虚拟空间可灵活调整,不但能扩大,同样能缩小;后续产品只需要增加存储节点就能完成容量升级
2)海量数据的快速检索
采用一体化索引设计,大大提高了查找速度;
深化视频、图片的应用设计,支持I帧信息快速读取;
3)持续可靠的数据服务
提供7X24小时不间断高效可持续的数据服务,充分保护数据安全和可靠性;
采用全集群化设计,性能全面提升,设备压力负载均衡,单/多点故障,录像业务不中断;
数据存储采用离散存储算法,提供系统级高效、稳定存取服务;
4)高可扩展的应用支撑
系统的高性能设计,能够并发服务以满足视频数据的高速读取需求。
采用流式数据结构,面向视频、图片数据而设计,满足视频数据的持续写入;
深入开发视频录像的专业化应用设计,优化了应用的服务质量;
5)开放透明的兼容系统
统一开放的应用功能接口,由上层业务平台直接调用;
数据存储采用离散存储算法,提供系统级高效、稳定存取服务;
6)高可扩展的应用支撑
系统的高性能设计,能够并发服务以满足视频数据的高速读取需求。
采用流式数据结构,面向视频、图片数据而设计,满足视频数据的持续写入;
深入开发视频录像的专业化应用设计,优化了应用的服务质量;
7)开放透明的兼容系统
统一开放的应用功能接口,由上层业务平台直接调用;
采用的是标准设备兼容模式,支持标准IP SAN、FC SAN存储设备的接入;
目前需要存储容量不断增加,客户要求数据存储周期越来越长,带库和云存储融合方案慢慢呈现在客户面前。
4.视频云+带库
长周期数据云存储+带库方案:致力于解决重要数据的归档备份,数据快速提取。存储组成缓存存储系统,提供足够的存储空间满足热数据及备份数据的容量需求,结合专业的备份软件和磁带库实现数据的在线和离线备份云存储系统统一管理冷热数据存储及状态切换,提供对热数据的转码、压缩等丰富的功能应用。同时完全继承传统云存储虚拟化资源分配、离散存储、在线扩容、集群容灾,兼容第三方存储等云存储特性方案中所有存储设备均可设计为冗余连接,在满足用户存储需求的同时,兼顾整个系统的存储性能和安全性。
系统功能简介;
业务层面
支持实时视频流、视频文件、图片、普通文件混合存储;支持对数据自定义归档存储,同时保存热数据及归档数据;将客户经常使用的视频图片及文件存入热数据存储资源池;把客户访问频率不高的视频视频文件、图片、普通文件且需要长周期存储的数据存入冷数据存储资源池.冷热数据资料可以通过管理软件实现数据迁移.数据归档和迁移时可以按照文件时间、文件大小、各级存储的位置、文件的历史版本、存根信息等进行策略定制,实现基于策略的数据归档和迁移
数据高可靠性保障系统
带库方案是基于目前稳定的存储系统架构,采用成熟稳定的硬件,可以保障系统长时间稳定运行。系统的管理软件具有报警措施,控制软件发现软硬件异常时,通过多种方式进行报警。管理软件包括快照和克隆的功能,可以使所管理的数据回滚到原来某一时刻的状态,防止用户错误操作带来的数据丢失。同时通过存储管理软件实现备份功能。
高安全数据存储
系统通过用户名、密码、IP地址认证等认证方式,保证数据空间访问权限的控制,保障数据不会被其他人恶意窃取或破坏。
方案中,根据客户需求可以设定不同的登录权限和读写操作权限,实现数据的安全性
存储设备内嵌WORM归档模块,它是针对档案类存储提供的基于硬盘的写一次,读多次的存储产品。可以有效防止关键文件数据被篡改。
高扩展的带库存储
整个系统的存储容量可以在不影响业务运行的情况下随需采购磁带扩展。存储的性能也可以动态线性增加,通过增加驱动器的方式,拓宽整个系统的处理性能。
系统易扩展为远程容灾存储系统。系统是基于存储和备份软件结合,易于实现远程的数据传输;为以后扩展到其他地区,结合为一体的容灾存储系统建立好的基础条件。
科学有效的备份实现
日常需要备份的主要业务数据,可以用文件同步和文件备份功能实现。设定合理的备份策略, 尽可能利用非业务时间进行文件同步和备份,避免增加对应用局域网的负载压力。
采用专业的文件集中备份功和数据库备份功能实现。不干扰用户的局域网正常业务,达到LAN FREE效果。
较低的保存环境要求
磁带是可移动介质,可以异地离线保存,运输方便,可以根据用户需求在不同存放地点之间搬运,这对数据的安全来说是非常有利的,适合数据交换。离线磁带不会受机械振动、电力变化等因素带来对寿命的影响,对存放条件要求简单。
通常情况下,性价比和高可用仍是企业或者个人选择存储系统最优先考虑的两大因素,此外存储的易于部署和管理以及磁盘和闪存的紧密整合也是企业用户评估存储的重要考虑因素.随着大数据时代的来临,企业会根据自身需求和预算来挑选适合自己的企业的解决方案。
整体来说,目前云存储发展最为迅猛, 以其遥遥领先的优势独占鳌头,必然会是未来大数据应用的重点组成部分,同时数据分层、融合以及智能也将逐渐普及应用,可以说,安防行业为了迎接大数据来临,已经做好了充足的准备。
关于海康威视
是领先的安防产品及行业解决方案提供商,致力于不断提升视频处理技术和视频分析技术,面向全球提供领先的安防产品、专业的行业解决方案与优质的服务,为客户持续创造更大价值。
海康威视拥有业内领先的自主核心技术和可持续研发能力,提供摄像机/智能球机、光端机、DVR/DVS/板卡、网络存储、视频综合平台、中心管理软件等安防产品,并针对金融、公安、电讯、交通、司法、教育、电力、水利、军队等众多行业提供合适的细分产品与专业的行业解决方案。这些产品和方案面向全球100多个国家和地区,在北京奥运会、大运会、亚运会、上海世博会、60年国庆大阅兵、青藏铁路等重大安保项目中得到广泛应用。
公司的营销及服务网络覆盖全球,目前在中国大陆34个城市已设立分公司,在洛杉矶、香港、阿姆斯特丹、孟买、圣彼得堡和迪拜也已设立了全资或控股子公司,并将在南非、巴西等地设立分支机构。
持续快速发展的海康威视,已获得了行业内外的普遍认可。公司连年入选“中国安防十大品牌”、中国安防百强(位列榜首);连续三年(2005-2007)入选德勤“中国高科技、高成长50强”、连续三年(2006-2008)入选福布斯“中国潜力企业”;连续六年(2007-2012)以中国安防第一位的身份入选《A&S》“全球安防50强” ;2011/2012年名列IMS全球视频监控企业第1位,DVR企业第1位;连年入选“国家重点软件企业”、“中国软件收入前百家企业”等。
“专业、厚实、诚信、持续创新”的海康威视,以人人轻松享有安全的品质生活为愿景,矢志成为受人尊敬的、全球卓著的专业公司和安防行业的领跑者。
联系海康威视
杭州海康威视数字技术股份有限公司 电话:0571-88075998邮箱:market@hikvision.com 传真:0571-88805843技术支持热线:400-700-5998 邮编:310052技术支持邮箱:400@hikvision.com 地址: 杭州市滨江区东流路700号(江晖路-东流路交叉口)
免责声明:本文来源于海康威视,本文仅代表作者个人观点,本站不作任何保证和承诺,若有任何疑问,请与本文作者联系。
最新动态更多
- 维康国际触摸拼接屏给你更便捷的操作体验
- PHILIPS商显大屏打造泰康体验中心 让每一平米发
- 新品齐齐汇集成都InfoComm China展会 到现场亲身
- 台达Delta Controls O3门禁系统,懂安防更懂你!
- 鸿合科技超大尺寸薄玻璃物理钢化炉正式量产
- 摄影技巧分享:快速简便的增强图像的方法
- 他走过最危险的地方,拍过最震撼的画面
- 实力承载 视觉探秘—— NEC魔幻秀《浪淘沙̶
- “黑河之眼”刷屏抖音朋友圈,利亚德“中国屏”
- 台达激光DLP显示系统,为华北某省气象局打造气象
- 【走进深圳】光视讯:专注研发创新 卓越产品品质
- 美视实力产品出货--500吋大型M工程银幕
- 闪耀一带一路 国画再续世博缘 ——中航国画激光
- 朗恒科技TVO-3H无压缩HDMI视频光端机用于4K拼接