大數(shù)據(jù)的Hadoop是什么，Hadoop的主要發(fā)展過程

　　很多同學(xué)都不了解大數(shù)據(jù)的Hadoop是什么，Hadoop的出現(xiàn)是由于現(xiàn)代科技的飛速發(fā)展，傳統(tǒng)數(shù)據(jù)的存儲容量、讀寫速度、計算效率等越來越無法滿足用戶的需求，為了解決這些問題，Google提出了三個處理大數(shù)據(jù)的技術(shù)手段，分別是：

　　l MapReduce:：Google的MapReduce開源分布式并行計算框架

　　l BigTable：一個大型的分布式數(shù)據(jù)庫

　　l GFS：Google的分布式文件系統(tǒng)

　　上述三大技術(shù)可以說是革命性的技術(shù)，具體表現(xiàn)在：

　　(1) 成本降低、能用PC機，就不用大型機和高端存儲。

　　(2) 軟件容錯硬件故障視為常態(tài)，通過軟件保證可靠性。

　　(3) 簡化并行分布式計算，無須控制節(jié)點同步和數(shù)據(jù)交換。

　　在2003至2004年，Google陸續(xù)公布了部分GFS和MapReduce思想的細節(jié)，Nutch的創(chuàng)始人Doug Cutting受到啟發(fā)，用了若干年時間實現(xiàn)了DFS和MapReduce機制，使Nutch性能飆升。

　　2005年，Hadoop作為Lucene子項目Nutch的一部分正式被引入Apache基金會，隨后又從Nutch中剝離，成為一套完整獨立的軟件，起名為Hadoop。據(jù)說，Hadoop這個名字來源于創(chuàng)始人Doug Cutting兒子的毛絨玩具大象，因此，Hadoop的Logo形象如圖1所示。

　　圖1 Hadoop Logo

　　目前，Hadoop已經(jīng)正式成為Apache頂級開源項目，儼然已經(jīng)成為大數(shù)據(jù)處理技術(shù)的核心地位。下面我們回顧一下近10年來Hadoop的主要發(fā)展歷程。

　　· 2008年1月，Hadoop成為Apache頂級項目。

　　· 2008年6月，Hadoop的第一個SQL框架——Hive成為了Hadoop的子項目。

　　· 2009年7月 ，MapReduce 和 Hadoop Distributed File System (HDFS) 成為Hadoop項目的獨立子項目。

　　· 2009年7月 ，Avro 和 Chukwa 成為Hadoop新的子項目。

　　· 2010年5月 ，Avro脫離Hadoop項目，成為Apache頂級項目。

　　· 2010年5月 ，HBase脫離Hadoop項目，成為Apache頂級項目。

　　· 2010年9月，Hive脫離Hadoop，成為Apache頂級項目。

　　· 2010年9月，Pig脫離Hadoop，成為Apache頂級項目。

　　· 2010年-2011年，擴大的Hadoop社區(qū)忙于建立大量的新組件(Crunch，Sqoop，F(xiàn)lume，Oozie等)來擴展Hadoop的使用場景和可用性。

　　· 2011年1月，ZooKeeper 脫離Hadoop，成為Apache頂級項目。

　　· 2011年12月，Hadoop1.0.0版本發(fā)布，標志著Hadoop已經(jīng)初具生產(chǎn)規(guī)模。

　　· 2012年5月，Hadoop 2.0.0-alpha版本發(fā)布，這是Hadoop-2.x系列中第一個(alpha)版本。與之前的Hadoop-1.x系列相比，Hadoop-2.x版本中加入了YARN，YARN成為了Hadoop的子項目。

　　· 2012年10月，Impala加入Hadoop生態(tài)圈。

　　· 2013年10月，Hadoop2.0.0版本發(fā)布，標志著Hadoop正式進入MapReduce v2.0時代。

　　· 2014年2月，Spark開始代替MapReduce成為Hadoop的默認執(zhí)行引擎，并成為Apache頂級項目。

　　· 2017年12月，繼Hadoop3.0.0的四個Alpha版本和一個Beta版本后，第一個可用的Hadoop 3.0.0版本發(fā)布。


猜你喜歡：

虛擬機安裝教程：同一臺電腦上構(gòu)建多個Linux虛擬機環(huán)境

Kafka是什么？kafka有什么優(yōu)點？

什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘前景怎么樣？