888集团6008

　　日前

，2013年天下博士后学术论坛“电子科学手艺与信息工业生长”在电子科技大学举行。来自天下50余家高校、企业共200余名专家学者、博士子女表加入了论坛。888集团6008博士后科研事情站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处置惩罚模子设计与实现》揭晓了主题演讲

，该研究效果被《电子科学手艺与信息工业生长论文集》收录。

　　《基于Hadoop的海量电费数据处置惩罚模子设计与实现》一文以海内某特大型电力集团为例

，提出了电费数据新的处置惩罚模子

，建设了基于Hadoop和Hive的电费明细处置惩罚平台。实验证实该模子能有用解决海量电费数据处置惩罚性能瓶颈

，提高电费数据处置惩罚速率和效率

，并可提供高性能的明细数据盘问功效。

　　　　　　
　　　　　　　　　　　　　　　　　（2013年天下博士后学术论坛现场）

　　据悉

，随着电费数据量快速增添

，某特大型集团公司财务管理信息系统面临海量数据难题

，其中电费营业是最突出的问题之一。集团凌驾30个子公司

，平均每个子公司用电客户规模在500万至800万

，每个月用电明细数据近亿条。财务管理信息系统原电费数据处置惩罚模子是从电力营销系统收罗用电客户信息表、应收电费明细表等文本

，上传至中心数据库

，财务管理信息系统从中心数据库收罗相关数据

，同时对数据举行合并、转换处置惩罚。由于电费明细数据量过于重大

，处置惩罚历程严重消耗数据库服务器资源

，进而影响整个财务管理信息系统的性能。也因此

，通常只能选择夜间运行该营业

，导致暂时无法提供电费明细数据盘问营业。

　　基于拆分、融合、重构的设计思绪

，888集团6008针对此瓶颈提出相识决计划：引入Hadoop漫衍式盘算平台来举行电费明细数据的处置惩罚

，处置惩罚后的效果数据再存入财务管理信息系统数据库。为了易于实现

，选用漫衍式数据客栈Hive来存储和处置惩罚电费明细数据。通过实验测试

，在硬件不占优势的情形下

，Hive执行性能有20%--200%的提升；使用Hive的分区功效

，大表处置惩罚数据显著提升。同时在Hive表上建设分区

，还可以提供高性能的历史数据盘问

，这是原模子难以实现的功效。

　　888集团6008的乐成实践效果证实：Hadoop不但能提升财务管理信息系统可用性

，使得资助系统更高效地解决更重大的问题

，并且节约时间和本钱

，创立更大的价值。谌章义博士体现：“该手艺应用规模并非局限于电费明细数据的合并与盘问

，还可以应用于电价剖析、电价展望模子等深入剖析营业。”

　　大型集团企业的管理软件集中安排已成为潮流趋势

，管理软件的开发也从单个营业领域开发专项“统一”集成平台的开发

，一定面临海量营业数据剖析处置惩罚问题。因此

，本系统的应用远景辽阔。