大数据生长保存制约因素 突破瓶颈势在必行
- 时间:2013-11-19
- 泉源:
888集团6008(泉源:CIO时代网 作者:不详)
随着大数据的生长,大数据价值已经在各个行业凸显,大数据在带来机缘的同时,也带来了不可忽视的一系列挑战。
“存不下”和“查烦懑”,是我们面临的两浩劫题。现在数据源源一直地爆发,除非增添存储装备,但云云一来势必会增添存储本钱。现在,陌头摄像头拍摄的视频数据,通常只会存一段时间,有的生涯三个月,有的生涯一个月,就被笼罩掉,为什么会这样?就是由于存不起,用度太高。提高视频的压缩效率是解决存储问题的途径之一,现在科研职员正在从事第三代编码手艺的研究,以镌汰空间占用。
在数据处置惩罚上,由于大数据中大部分都是非结构化的数据,现有的软件和工具主要适用于以结构化数据为主的古板数据,要想实时捕获、存储、聚合和管理这些大数据,以及对数据举行深度剖析和挖掘,需要新的手艺和能力。而我国数据存储、处置惩罚手艺基础薄弱,总体上以追随为主,难以知足大数据大规模应用的需求。
别的,掌握非结构化数据或流数据的剖析手艺,对大大都企业来说是一个一连的挑战。在这些领域中,只管硬件和软件已经成熟,但手艺仍然缺乏。在美国,对高手艺数据剖析人才的需求,可能凌驾现在展望供应量的50%至60%。到2018年,美国需要新增多达14万至19万名专家。人才紧缺的状态若是不解决将严重影响大数据应用。
“大数据”对小我私家信息获取渠道拓宽的需求引发了另一个主要问题:隐私和便当性之间的冲突。一方面,大数据需要共享、数据开放、平台使用,而现在我国一些部分和机构拥有大宗数据但受行政垄断和商业利益所限,数据开放水平也较低,有些部分把一些数据当成自己的,放那里既不使用,也不提供应研究者。专家指出,这是我国大数据研究的软肋和需要解决的大问题。
另一方面,消耗者在享受大数据带来利益的同时,小我私家购置偏好、康健和财务情形的海量数据被网络,对隐私的担心也在增大。从纯手艺角度来说,美国的“棱镜”项目是一个典范的通太过析海量通讯数据获取清静情报的大数据案例,但严重侵占了小我私家隐私。
谈论:
大数据生长中面临的瓶颈和挑战是很常见的,也是海内外大数据生长当中都面临的问题,只是我国在某些方面体现得更为突出。因此,作为大数据后起之秀的生长国家,我们应该下定刻意迎头遇上,在彻底解决这些问题之后,释放大数据生长空间。
下一篇:商业智能六大生长趋势