888集团6008

888集团6008动态

大数据究竟能做什么?

  • 时间：2017-11-02
  • 泉源：中国大数据

大数据太火了 ，被普遍应用到各行各业 ，而近阶段又有着显着的过热迹象。大数据究竟是一个营销词汇 ，照旧一个要领论？本文作者老李正是一家大数据服务提供商的资深员工 ，他所做的项目就是针对差别行业举行大数据剖析。他以为 ，关于大数据你首先必需有一个基本熟悉 ，那就是“大宗的数据并非一定具有价值”。另外 ，数据统计并不等同于大数据 ，数据统计和大数据的区别就在于人工智能。长文慎入：

近两年来 ，“大数据”被普遍应用到各行各业 ，而近阶段又有着显着的过热迹象。从央视的春运迁徙图到姚晨看到微博数据的惊呼 ；从两会时代的两会大数据 ，到《星星》都叫兽的崎岖领毛衣 ，“大数据”被人们推到了一个亘古未有的高度 ，同时也从一个高精尖的科研偏向酿成了一个众人皆知的营销词汇。

我既没有资格代表学术界 ，更没有资格来判断谁是谁非。我只能就自己的事情履历 ，来谈一下我眼中的大数据：

什么是大数据？

百度百科对大数据的界说是这样的：大数据（big data）或称巨量资料 ，指的是所涉及的资料量规模重大到无法透过现在主流软件工具 ，在合理时间内抵达撷取、管理、处置惩罚、并整理成为资助企业谋划决议更起劲目的的资讯。

Gartner给出了这样的界说：“大数据”是需要新处置惩罚模式才华具有更强的决议力、洞察发明力和流程优化能力的海量、高增添率和多样化的信息资产。

小我私家以为Gartner的界说更为贴切。“新处置惩罚模式”是一个很要害的词汇 ，这也是我所明确的“大数据”区别于传一切计剖析等最要害的特征之一。这个所谓的“新处置惩罚模式”有两层寄义：

1、由于海量的数据 ，需要更高效的存储和处置惩罚手艺 ，hadoop成为了大数据时代的标记 ；

2、若是你以为大数据就即是Hadoop ，那就大错特错了。Hadoop只是大数据时代的一个须要条件 ，大数据尚有一个显着的标记是数据挖掘和人工智能的细密团结。这也是我明确的“大数据”与现在许多所谓“大数据”项目最显着的区别之一。我会在后面的案例中给各人睁开。

除了上面的“新处置惩罚模式”上的区别 ，小我私家以为尚有一个最主要的区别是：数据统计剖析是基于已有数据的纵向归类 ，而大数据是基于对已有海量数据的处置惩罚 ，对还未爆发的数据作出展望和推荐。数据统计是已经爆发的事情 ，而大数据往往被用于还没有爆发的事情展望或者推荐中。

展望和推荐 ，是怎样实现的？

现在主要的推荐算法大致可以分为两类。一个是基于行为 ，一个是基于内容。虽然 ，针对差别的领域 ，差别的展望和推荐的工具 ，又会有十余种算法。这就不是本文睁开的内容了。

基于行为的剖析 ，顾名思义 ，即对用户在互联网、移动互联网留下的“痕迹” ，即浏览、点击、收藏、购置、二次购置的剖析 ，得出未来会选择购置的展望和推荐效果� ；谛形钠饰� ，属于群体智慧 ，综合使用群体用户的行为偏好。用户之间会相互影响 ，越发切合现实天下中的用户行为。

基于内容的剖析 ， 包括对文字、图片、音频、视频等信息的剖析 ，得出展望和推荐的结论。内容的“基因”和用户的偏好相匹配 ，最有代表的是潘多拉的音乐推荐项目 ，其将曲库中所有歌曲都由400多位专家打上标签 ，然后建设小我私家与音乐的联系 ，从而完成音乐的推荐。内容的剖析只针对小我私家 ，与用户之间关系无关。

大数据究竟能做什么

现在谈这个问题可能会让各人笑话 ，似乎所有人都知道大数据醒目这个 ，醒目谁人 ，最后连我们自己都以为可笑。大数据已经都不是被“妖魔化”了 ，是“娱乐化”。大数据似乎是个离我们忽远又忽近的事物了 ，变得不真实起来。

好吧 ，我照旧团结从业履向来说说大数据“解决过什么问题”吧：简朴地来说 ，大数据可以帮我们解决决媾和选择的问题。

天气预告就是一个最古老并且众所周知的展望。你可以凭证预告来决议明天穿什么衣服 ，是否要带雨伞 ，等等 ；

近两年来 ，大数据被应用到影视制片行业 ，基于对观众偏好的剖析 ，去展望、设计观众喜欢的剧情 ，找观众喜欢的演员出演相关的角色 ，甚至可以去展望票房。这些所有的展望都是基于数据的基础上 ，经由一定的模子处置惩罚 ，获得靠近真实的结论。从某种水平上给决议者决议的依据 ，好比《纸牌屋》和《星星》。

大数据尚有一个主要的作用 ，就是解决人们的“选择”问题。别笑 ，无论你的年岁、性别、教育配景 ，人们现在都面临着亘古未有的选择问题。讲的学术一些 ，这是由于“长尾效应”导致的问题 ；讲得通俗一些 ，就是由于日益增多的可选择的工具和我们自身的处置惩罚能力之间的矛盾。

科技的前进让人变得更懒 ，也就是我们自身的处置惩罚能力降低 ，无论是主观的照旧客观的。而可被选择的工具却在日益增多。从纷沉重大的商品（电商） ，到海量曲库中的乐曲 ；从婚恋网站的男女朋侪 ，到交通管理的信号灯。

基于人工智能下的大数据 ，就是可以使人们“变懒”的一个手段� ；谀愕睦沸形� ，判断出你可能的喜欢 ，以致需求 ，将最佳效果 ，推荐给你。这就是大数据 ，她是你的知心管家 ，或者说是最懂你的朋侪。

一个最经典的案例是沃尔玛一经做过的“啤酒”和“尿布”调研：沃尔玛在研究中发明 ，一类主顾经常在购置尿布的同时也购置啤酒。尿布跟啤酒自然是毫无关联的两个品类的商品 ，从小我私家履历上来看 ，基础想不到二者的联系。厥后发明 ，这是一类社会征象所导致的。美国有许多年轻匹俦 ，尿布用完后 ，女主人在家带孩子 ，而男主人就去超市买尿布。买完尿布之后 ，男主人通� ；崴炒怕蛐┢【�。

上述例子说明 ，数据经�？梢匀媚惴⒚骺此撇欢岳聿欢月呒幢４� ，并且经常爆发的征象。

再举个例子 ，北京的交通拥堵是地球人都知道的事情。尤其是早晚岑岭 ，这已经不需要展望了。但若是凭证历史交通数据 ，再经由数学模子 ，盘算出一个全北京最佳的交通讯号灯管理系统 ，这就属于大数据的领域了。

这也是我眼中大数据主要与通俗的数据统计剖析最大的差别：数据统计可以资助你发明疾病 ，但大数据可以不但资助你发明 ，且资助你治疗疾病。

大数据绝不是“噱头“ ，我们在资助某运营商阅读基地的阅读推荐项目中 ，各项指标均获得大幅提升。而这个提升不是百分之几十 ，而是数倍的提升�。ㄓ没司髁刻嵘�4倍 ，默然用户激活能力提升了6.5倍）这才是大数据的魅力。

大数据不是万能的

大数据显然不是万能的。正由于云云 ，她才真实。大数据在有些领域由于种种缘故原由 ，所带来的价值并不如预期的那么高。导致这种征象最主要的问题有两个 ，一个是由于数据自己的质量或者数目不敷 ；另一个是算法不对适。

不要以为是海量数据就一定会有价值 ，在过往的事情中 ，我们经常发明来自甲方的数据源有80-90%的数据都是无用的。只有10%-20%的数据才会爆发一定的价值。这就又让我想到Marry Meeker打的谁人比喻 ，“大数据的事情就像在一堆稻草中寻找一根针”。

况且 ，大大都领域自己营业属于早期 ，所拥有的数据很是缺少。冷启动、希罕性是大数据在诸多领域面临的挑战。

另一方面 ，关于差别领域 ，差别项目 ，没有放之四海而皆准的算法 ，必需要凭证详细问题详细剖析解决。在现实的事情中发明 ，不但是差别的领域（如文章推荐与商品推荐） ，甚至统一领域的差别单位（同属电商但差别类电商 ，如母婴类和打扮类或者奢侈品类）也有所差别。

数据的交织使用

上面提到的两个大数据在现实应用中面临的最大问题 ，即冷启动时数据的匮乏和营业早期数据的希罕性问题 ，并不是无药可救。业界一直讨论的数据买通 ，就是解决这两问题的出路。

关于一些新兴领域 ，缺乏数据是一定的 ，而另一方面 ，正由于缺乏数据的支持 ，以是才更需要有强盛决议支持的系统对其营业做指导和支持 ，以实现少走弯路 ，利益最大化的目的。

移动互联网领域的项目 ，尤为代表。虽然在已往的两三年里 ，移动互联网获得了高速的生长 ，但事实在各个方面的积累 ，都无法与互联网相比。尤其在人们形成稳固的使用习惯之前 ，数据还不具备更多的价值和意义。

但若是能把互联网的数据与移动互联网数据买通 ，那么我们就掌握了这小我私家的喜欢等多方面信息 ，从而为移动互联网营业做出更有用的指导和资助。

虽然 ，数据的买通绝不但限于互联网和移动互联网。每个数据源的数据往往描绘了一小我私家的差别方面。正如巴拉巴西教授在《爆发》一书中描绘的那样 ，若是数据充分 ，人类93%的行为是可以预知的 ，是有纪律的。

也只有将这些差别泉源的数据重新组织 ，才华挖掘出更有意义的信息。

现在 ，行业内不少人打着“数据统计和剖析”的旗帜来做大数据 ，让许多外行人陷入了误区：数据统计并非即是大数据。无论数据统计也好 ，大数据也罢 ，着实都是为了使我们的事情变得更为有用 ，让决议更为理性而准确。重视数据 ，自己就是一个企业成熟的标记。

移动互联网的迅速崛起 ，让数据变得更为多样、富厚。它的移动性 ，它的碎片化 ，它的私密性和随时性都恰恰填补了用户脱离桌面电脑之后的数据 ，从而与原有的互联网数据一起很好滴勾勒出一个网民一天的生涯 ，一样平常生涯的数据化。

随着数据的进一步富厚和完善 ，随着差别渠道数据的买通和交织使用 ，有关大数据的想象一定会越发辽阔。




网站地图