Hadoop發(fā)展趨勢分析

1、 三駕馬車已去，再論Hadoop已是涼涼 最近一段時間，關(guān)于Hadoop有很多壞消息。在2018年10月，最大的兩個Hadoop發(fā)行版廠商Cloudera和Hortonworks宣布合并，抱團取暖，最近由于財報不太好，高層也離職了。還有第三大Hadoop發(fā)行版廠商MapR差點破產(chǎn)，幸虧最后被HPE收購。因此，在自媒體上充滿了各種說Hadoop涼涼的文章，鋪天蓋地。其實，大家不要恐慌，這個只是Hadoop發(fā)展中的正常調(diào)整，主要是原來Hadoop太火了，跌落神壇而已。其實，Hadoop的收入一直保持增長。Gartner說，領(lǐng)先的Hadoop供應(yīng)商（亞馬遜，Cloudera，Hortonworks

2、和MapRTechnologies）的2017年收入增長了54，達到12億美元，占DBMS市場總量的3.2。越來越多的客戶每年在Hadoop軟件上花費超過10萬美元 - 甚至超過100萬美元。這證實了Gartner的觀察，即成功部署已經(jīng)完成，并表明歷史上低的整體增長率開始發(fā)生變化。其實，從Gartner的統(tǒng)計數(shù)據(jù)看，Cloudera、Hortonworks和MapR去年的收入都在增長，只是增長不太高。大家可以看到，增長最高的基本都是公有云玩家，還有華為（也有公有云，但規(guī)模較?。?，MongoDB。盡管如此，正如“2017年數(shù)據(jù)管理炒作周期”所述，競爭正在增加，就像Hadoop堆棧正在分解一樣?？?/p>

3、戶正在挑選和選擇他們想要的作品。事實上，ApacheSpark（在Databricks擁有自己的商業(yè)化版本）在不包含其他Hadoop元素的場景中表現(xiàn)出越來越多的采用，而Apache Kafka在涉及動態(tài)數(shù)據(jù)的情況下蓬勃發(fā)展（并且它在Confluent中也有自己的商業(yè)化版本）。其他Apache項目越來越多地被使用，有或沒有通常不包含它們的商業(yè)發(fā)行版。最大的變革載體仍然是向云平臺遷移，以及來自云平臺提供商的競爭。自2016年增加以來，對基于云的Hadoop部署在Gartner的調(diào)查里一直在穩(wěn)步增長。在今年的市場指南中包含的供應(yīng)商中，只有富士通僅在本地提供。降低成本和應(yīng)對復(fù)雜性仍然是基于云的部署的主

4、要推動因素。Hadoop的存儲正在轉(zhuǎn)型：Amazon S3，Azure ADLS和其他產(chǎn)品越來越成為新數(shù)據(jù)湖的目標(biāo)。亞馬遜于2016年底宣布Athena進行本地S3查詢，并且看到采用率迅速增長，突出了原生云平臺軟件為所有其他供應(yīng)商所代表的競爭挑戰(zhàn)的一個方面。這種對原生云對象存儲的采用繼續(xù)增加勢頭，取代了HDFS在許多云駐留部署中的使用。內(nèi)部產(chǎn)品，EMC的ECS，Minio和Red Hat的Ceph存儲，與S3兼容，并且引起了人們的興趣。此外，Hortonworks已將其ApacheHadoop Ozone對象存儲發(fā)布為alpha，這表明在公共對象存儲上的混合部署可能是本地玩家用于競爭的未來戰(zhàn)場

5、。專業(yè)供應(yīng)商的地理擴張使他們遇到了一些令人驚訝的新進入者，特別是在中國，Transwarp Technology（上海），華為等公司已經(jīng)在他們?nèi)ツ陥蟾娴臄?shù)百名客戶的基礎(chǔ)上進行了建設(shè)。Gartner名單里面的中國公司還有東方金信。盡管供應(yīng)商和部署環(huán)境各種各樣，以及地理擴展，但基于Hadoop的項目超出試驗階段仍然具有挑戰(zhàn)性。雖然供應(yīng)商數(shù)據(jù)顯示六位數(shù)和七位數(shù)的交易增長，但如果Hadoop仍然是不愿意在設(shè)計，部署，產(chǎn)品成熟度和技能挑戰(zhàn)上掙扎的組織的相關(guān)選擇，那么還有很多工作要做。其實，Hadoop狹義來說，是Apache的一個開源項目，包含大家熟知的HDFS、MapReduce和YARN等。現(xiàn)在對象

6、熱起來，因此又多了一個Ozone的開源對象存儲。以后Hadoop估計對對象存儲支持得得越來越好。不過，現(xiàn)在這個Ozone還沒有GA，不太成熟。用戶最好還是選擇成熟的對象存儲產(chǎn)品。其實，開源的對象存儲很多，Ceph和Minio等都是，不知道為啥Hadoop非要搞一套自己的。估計針對流式數(shù)據(jù)有優(yōu)化，像HDFS一樣，雖然都是分布式文件系統(tǒng)，但是還是針對分析流進行了優(yōu)化的。HDFS可以理解為一個分布式文件系統(tǒng)的簡化版，它放寬了一些POSIX要求，也加了一些限制，如不能在任意點更新，以實現(xiàn)對文件的流式訪問。不過，由于HDFS采用集中式的元數(shù)據(jù)節(jié)點，因此其擴展性和可靠性一直被外界所詬病。再加上存儲不能獨立

7、擴展（其實HDFS也可以獨立部署data node，我們叫Remote HDFS，這樣擴展性略好一些），不是數(shù)據(jù)湖的理想底座。因此，出現(xiàn)很多代替HDFS的共享存儲，主要是各種分布式文件和對象存儲。這樣的存儲解決了HDFS的擴展性和不能獨立擴展的問題，但是性能一般來說比HDFS要差些。由于Hadoop應(yīng)用在公有云上很熱，因此，越來越多的企業(yè)采用對象存儲來作為Hadoop的后端存儲。企業(yè)對象存儲的事實標(biāo)準(zhǔn)是S3，因此基本都采用一種叫S3A的Connector來取代HDFS。但S3A的性能一般，而且不支持追加寫。也有一些公司推出專用的對象存儲Hadoop HDFS客戶端取代S3A，這樣可以取得更高性

8、能，并且支持追加寫。國外公司，以Dell EMC ECS的HDFS Client最為大家熟知。國內(nèi)的號稱對象存儲第一的XSKY，也推出了XSKY HDFS Client高性能客戶端，殺入Hadoop后端存儲市場。還有其他IBM、NetApp、Pure Strong、MinIO、Redhat廠商，他們怎么做，性能如何，我將在閃存峰會上和大家一一分享。既然是閃存峰會，我必然也會分享一下Intel最新的全閃存S3A的測試結(jié)果，看看作為Hadoop后端存儲，全閃是否還有優(yōu)勢，大家不要錯過哦?？偟膩碚f，從目前來看，Hadoop還是數(shù)據(jù)湖的最佳選擇。而且，最近的Gartner研究數(shù)據(jù)表明，Hadoop的部署和需求仍然很大并且正在增長。在最近的一項調(diào)查中，有235名受訪者表示，34的受訪者目前正在使用Hadoop進行數(shù)據(jù)和分析工作，另有55的受訪者計劃在未來24個月內(nèi)進行調(diào)查