ÆóÒµ´óÊý¾ÝÆÊÎö£º2014ÄêÖµµÃÆÚ´ýµÄ´óÇ÷ÊÆ
- ʱ¼ä£º2014-01-08
- ȪԴ£º
¡¡¡¡888¼¯ÍÅ6008£¨ÈªÔ´£º51cto¡¡×÷Õߣº²»Ï꣩
¡¡¡¡¾ÝÍâÑóýÌ屨µÀ£¬¾ÝÊг¡Ñо¿¹«Ë¾IDCÕ¹Íû£¬2015Äê´óÊý¾ÝÊг¡¹æÄ£½«´Ó2010ÄêµÄ32ÒÚÃÀÔªÔöÌíµ½170ÒÚÃÀÔª£¬¸´ºÏÄêÔöÌíÂÊΪ40%¡£´óÊý¾ÝÊÇÒ»¸öÖØ´óµÄеÄÁìÓò£¬ÆäÖеÄÊý¾Ý¼¯¿ÉÒÔÔöÌíµÄºÜÊÇÖØ´ó£¬ÒÔÖÁÓÚʹÓùŰåµÄÊý¾Ý¿â¹ÜÀí¹¤¾ßÒ²ºÜÄÑ´¦Öóͷ£¡£´¦Öóͷ£ÕâÖÖÎÊÌâËùÐèÒªµÄй¤¾ß¡¢¿ò¼Ü¡¢Ó²¼þ¡¢Èí¼þºÍ·þÎñÊÇÒ»¸öÖØ´óµÄÊг¡Ê±»ú¡£Ëæ×ÅÆóÒµÓû§Ô½À´Ô½¶àµØÐèÒªÒ»Á¬Ò»Ö±µØ»á¼ûÊý¾Ý£¬ºÃµÄ´óÊý¾Ý¹¤¾ß¼¯½«ÒÔ×îµÍµÄ±¾Ç®ºÍ¿¿½üʵʱµÄËÙÂÊÌṩ¿ÉÉìËõµÄ¡¢¸ßÐÔÄܵįÊÎö¡£Í¨Ì«¹ýÎöÕâÖÖÊý¾Ý£¬ÆóÒµ¿É»ñµÃ¸ü´óµÄÖÇÄÜÒÔ¼°¾ºÕùÓÅÊÆ¡£ÏÂÃæÊÇHadoopºÍ´óÊý¾Ýרҵ³§ÉÌMapRÅäºÏÊ×´´È˺ÍÊ×ϯִÐйÙÔ¼º²¡¤Ê©Â޵£¨John Schroeder£©¶Ô2014´óÊý¾ÝÊг¡µÄÕ¹Íû¡£
1. SQLÓµÓдóÊý¾ÝµÄ×î´óDZÁ¦
ÓÃÓÚHadoop£¨ÂþÑÜʽÅÌË㣩µÄSQLµÄÉú³¤Äܹ»ÈÃÉÌÒµÆÊÎöʦʹÓÃ×Ô¼ºµÄÊÖÒÕºÍÑ¡ÔñµÄSQL¹¤¾ßÖ´ÐдóÊý¾ÝÏîÄ¿¡£¿ª·¢Ö°Ô±¿ÉÒÔÑ¡ÔñHive¡¢DrillºÍImpalaµÈApacheÏîÄ¿£¬ÒÔ¼°Ñ¡ÔñHadapt¡¢HAWQºÍSplice MachineµÈ¹«Ë¾µÄרÓÐÊÖÒÕ¡£
2. Ö»¹ÜÔÆÔÆSQL»¹ÃæÁÙÌôÕ½
SQLÐèÒªÊý¾Ý½á¹¹¡£¶ø¼¯ÖеĽṹ»¯Êý¾Ý¿ÉÒýÆðÑÓ³Ù²¢ÇÒÐèÒªÈ˹¤¹ÜÀí¡£SQL»¹ÏÞÖÆÆÊÎöÀàÐÍ¡£Ì«¹ýÇ¿µ÷SQL½«ÑÓ³Ù»ú¹¹ÖÜȫʹÓÃÆäÊý¾Ý¼ÛÖµµÄÆð¾¢ºÍÑÓ³Ù·´Ó¦¡£
3. Éí·Ýʶ±ðÊÇÖ÷ÒªµÄÊý¾ÝÇå¾²ÎÊÌâ
Ëæ×ÅHadoop£¨ÂþÑÜʽÅÌË㣩ÖÐÌṩµÄ½ÓÈë¿ØÖÆÄÜÁ¦µÄÇ¿ÁÒ¹¥»÷£¬»ú¹¹Ñ¸ËÙÊìϤµ½Ïß·¼¶Éí·Ýʶ±ðÊÇÐëÒªµÄ»ù´¡¡£Ã»Óгä·ÖµÄÉí·Ýʶ±ð£¬Èκθü¸ß¼¶µÄ¿ØÖƶ¼ºÜÈÝÒ×±»Èƹý£¬¹ÊÕÏÔ¤¶¨µÄÇå¾²ÍýÏë¡£
4. Êý¾Ý¹ýʧÄð³Éѧϰʱ»ú
2014Äê»ú¹¹½«·ºÆðÐí´ó¶¼¾Ý¹ýʧ¡£Êý¾Ý¹ýʧ½«Åú×¢»ù´¡µÄȪԴϵͳµÄÎÊÌâÂð£¿Êý¾Ý¹ýʧÊÇÔÚÏÂÓÎÆÊÎöÖзºÆðÎó²îµ¼ÖµÄÊý¾ÝÌáÈ¡ÎÊÌâÂð£¿Êý¾Ý¹ýʧ½«Åú×¢½ç˵²î±ð»òÕßȱÉٿ粿·ÖºÍÓªÒµ²¿·ÖµÄÒ»ÖÂÐÔÂð£¿2014Ä꽫¿´µ½½â¾öÊý¾ÝÒì³£ÎÊÌâ¡£
5. ·ºÆð¿ÉÔËÐеÄHadoop
2014Ä꽫¿´µ½HadoopÔÚ¸÷¸öÐÐÒµÖеÄÉú²ú°²ÅÅÏÔ×ÅÔöÌí¡£Õ⽫ÏÔʾ³öHadoopÔÚÔËÓªÖеÄʵÁ¦¡£ÔÚÄÇÀÉú²úÓ¦ÓÃÓëÆÊÎöÍŽáÔÚÒ»ÆðÄܹ»Ìṩ¿ÉÒÔȨºâµÄÉÌÒµÓÅÊÆ£¬ÈçÔÚ¿Í»§»¯ÁãÊÛ½¨Ò顢թƼì²âºÍÊÔÑé´«¸ÐÆ÷Êý¾Ý¾ÙÐй淶µÄά»¤µÈÓ¦ÓÃÖÐÌṩÕâЩÓÅÊÆ¡£
6. ¸ü¶àµÄÊý¾Ý¿ÍÕ»½«°²ÅÅÆóÒµÊý¾ÝÖÐÐÄ
Êý¾ÝÖÐÐİÑÊý¾ÝÌáÈ¡´¦Öóͷ£ºÍÊý¾Ý´ÓÆóÒµÊý¾Ý¿ÍÕ»Ð¶ÔØµ½Hadoop¡£×÷Ϊһ¸ö½¹µãµÄÖÐÐÄÆóÒµÖÐÐÄ£¬Êý¾ÝÖÐÐÄÒª×ÔÖÆ10±¶£¬Äܹ»¶ÔÌØÁíÍâ´¦Öóͷ£»òÕßеÄÓ¦ÓþÙÐиü¶àµÄÆÊÎö¡£
7. еÄÒÔÊý¾ÝΪÖÐÐĵÄÓ¦Óý«³ÉÎªÇ¿ÖÆÐÔµÄ
ʹÓôóÊý¾ÝµÄÄÜÁ¦½«ÔÚ2014Äê³ÉΪ¾ºÕùµÄÎäÆ÷¡£¸ü¶àµÄ¹«Ë¾½«Ê¹ÓôóÊý¾ÝºÍHadoop׼ȷµØÕë¶ÔСÎÒ˽¼ÒÏûºÄÕߵį«ÐÒ×·Öð׬ǮµÄ×·¼ÓÏúÊۺͽ»Ö¯ÏúÊÛµÄʱ»ú£¬¸üºÃµØ»º½âΣº¦ÒÔ¼°ïÔÌÉú²úºÍ¿ªÏú±¾Ç®¡£
8. Êý¾Ý³ÉΪÊý¾ÝÖÐÐĵĽ¹µã
»ú¹¹½«´Ó¿ª·¢Õß¹ý¶Éµ½´óÊý¾ÝÍýÏëÖС£IT²¿·Ö½«Ô½À´Ô½¶àµØµ£¸º½ç˵֧³Ö¶àÖÖÓ¦ÓõÄÊý¾Ý»ù´¡ÉèÊ©µÄʹÃü£¬°ÑÖØµã¼¯ÖÐÔÚ°²ÅÅ¡¢´¦Öóͷ£ºÍ±£»¤Ò»¸ö»ú¹¹µÄ½¹µã×ʲúËùÐèÒªµÄ»ù´¡ÉèÊ©·½Ãæ¡£
9. ËÑË÷½«³ÉΪ·Ç½á¹¹»¯µÄÅÌÎÊÓïÑÔ
2013ÄêÓдó×ÚµÄÓÃÓÚHadoopµÄSQLÍýÏë¡£2014Ä꽫ÊÇÕâÖַǽṹ»¯ÅÌÎÊÓïÑÔ³ÉÎªÖØµãµÄÒ»Äê¡£°ÑËÑË÷¼¯³Éµ½Hadoop½«Îª²éÕÒÖ÷ÒªÐÅÏ¢µÄÆóÒµÓû§ÌṩһÖÖ¼òÆÓºÍÖ±¹ÛµÄÒªÁì¡£ËÑË÷ÒýÇæÕվɰüÀ¨ÍƼöÒýÇæÔÚÄÚµÄÐí¶à·¢Ã÷ºÍÆÊÎöÓ¦ÓõĽ¹µã¡£
10. Hadoop½«»ñµÃְλ
Hadoop½«¼ÌÐøÈ¡´úÆäËüIT¿ªÖ§£¬Ç㸲ÆóÒµÊý¾Ý¿ÍÕ»ºÍÆóÒµ´æ´¢¡£ÀýÈ磬¼×¹ÇÎĵÄÖ÷ÒªÓªÊÕÄ¿µÄÔÚÒÑÍùµÄ10¸ö¼¾¶ÈÀïÓÐ5¸ö¼¾¶ÈûÓÐʵÏÖ¡£TeradataÔÚÒÑÍùµÄ5¸ö¼¾¶ÈÓÐ4¸ö¼¾¶ÈûÓÐʵÏÖÓªÊÕºÍÀûÈóÄ¿µÄ¡£
11. HadoopÈÔÐèÒª×ÊÖú²Å»ª³ÉΪÖ÷Á÷Ó¦ÓÃ
¸ü¶àµÄ»ú¹¹ÊìϤµ½Apache Hadoop×Ô¼º»¹Ã»ÓÐ×¼±¸ÐÒ¿÷ÆóÒµÓ¦Óá£Apache Hadoop²»ÊÇΪϵͳ¹ÜÀí»òÕßÔÖÄѻָ´µÈͳһÆóÒµITÁ÷³ÌÉè¼ÆµÄ¡£ÆóÒµ½«¼ÌÐøÍÆ½ø»ìÏýµÄ½â¾ö¼Æ»®£¬°Ñ¼Ü¹¹ÊÖÒÕÁ¢ÒìÓëApache HadoopµÄ¿ªÔ´Èí¼þÍŽáÔÚÒ»Æð¡£