數(shù)據(jù)量爆棚難以負荷,Kyligence利用人工智能打造新一代數(shù)據(jù)分析平臺

Kyligence能打造新一代數(shù)據(jù)分析平臺Kyligence成立Kyligence之前，韓卿曾任eBay全球分析基礎(chǔ)架構(gòu)部大數(shù)據(jù)產(chǎn)品負責人、Actuate中國首席顧問等職。ApacheApache頂級開源項目，ApacheKylin(PMCChairKylinApacheKylin 全球社區(qū)，構(gòu)建生態(tài)系統(tǒng)及推廣等。（Kyligence創(chuàng)始人韓卿）憑借著在大數(shù)據(jù)、數(shù)據(jù)倉庫、商業(yè)智能、數(shù)據(jù)分析等領(lǐng)域擁有豐Kylin外部需求，這些需求遠遠超過他們當時團隊的工作職責。另一方面，成功的開源項目背后都有一個好的創(chuàng)業(yè)公司，只有這用開源項目?！拔覀兿Ｍ谡麄€大數(shù)據(jù)行業(yè)里面，有一家專門做底層技術(shù)的創(chuàng)KyligenceKylin20163月在上海成立了KyligenceKyligenceApacheKylin的下一代企業(yè)級數(shù)據(jù)倉庫及商務(wù)智能大數(shù)據(jù)分析平臺和解決方案。數(shù)據(jù)量爆棚的時代傳統(tǒng)數(shù)據(jù)倉庫需要變革韓卿告訴i黑馬＆數(shù)字觀察，1990年前后，數(shù)據(jù)倉庫技術(shù)理論被企業(yè)能夠在這個平臺上構(gòu)建整個分析應(yīng)用。目前，這項技術(shù)已經(jīng)變成了絕大部分行業(yè)客戶的基礎(chǔ)技術(shù)，像金析，都需要建立在對不同業(yè)務(wù)模塊數(shù)據(jù)的統(tǒng)一分析之上。首先，數(shù)據(jù)體量變得越來越大，呈現(xiàn)越來越多樣性和復(fù)雜性的特其次，存儲的成本和性能上，原有的數(shù)據(jù)倉庫技術(shù)已經(jīng)不能滿足企業(yè)還要建非常多的分析模型、報表、預(yù)測，通常這樣的項目要耗費大量人力，花費好幾個月的時間，甚至是用年來計算的第三，雖然業(yè)界推出了依靠更加專業(yè)的數(shù)據(jù)科學家來解決問題的本性的改變。而將更多的精力放在關(guān)注數(shù)據(jù)所帶來的業(yè)務(wù)決策上，這就是Kyligence正在不斷優(yōu)化和創(chuàng)新的融合、智能數(shù)據(jù)倉庫（15倍性能提升的同時節(jié)省50%空間）Kyligence做的事情是基于ApacheKylin，為企業(yè)客戶提供下一代到云計算平臺，都能使用戶在超大規(guī)模數(shù)據(jù)集上獲得極速的洞察能力，以釋放數(shù)據(jù)價值，驅(qū)動業(yè)務(wù)增長。-2-打造企業(yè)級大數(shù)據(jù)分析平臺i黑馬＆數(shù)字觀察了解到，Kyligence的核心產(chǎn)品是基于ApacheKylin的企業(yè)級智能大數(shù)據(jù)分析產(chǎn)品KyligenceEnterpriseHadoopIT工程師提供融合的、智能的分析平臺。簡單來說，KyligenceEnterprise采用融合架構(gòu)，智能地將查詢路活的探索式分析，為企業(yè)用戶提供統(tǒng)一的大數(shù)據(jù)查詢?nèi)肟?。（KyligenceEnterprise 架構(gòu)）其次，平臺基于Hadoop 架構(gòu)，通過橫向擴展將數(shù)據(jù)處理能力提升至PB 級通過預(yù)計算技術(shù)生成聚合結(jié)果再結(jié)合先進的索引技術(shù)相比其他解決方案，將查詢性能提升數(shù)十至數(shù)百倍。第三，平臺引入了大量的機器學習技術(shù)，其專利的自動化建模技地調(diào)優(yōu)性能，加速關(guān)鍵業(yè)務(wù)分析場景。PBBI工具實現(xiàn)無縫集成。ApacheKylin實施效率、安全控制、性能優(yōu)化、自助式敏捷BI、系統(tǒng)監(jiān)控和管理等方面進行了全面創(chuàng)新和增強?！?0187KyligenceEnterprise，相比較以往的1550%存儲空間，而對比市度與查詢的性能比較來看，都具有顯著優(yōu)勢（KyligeceEnterprise核心優(yōu)勢）這樣一來，平臺在數(shù)據(jù)量、性能、并發(fā)等方面進行了巨大突破，為企業(yè)級用戶提供快速搭建基于大數(shù)據(jù)的數(shù)據(jù)倉庫及商務(wù)智能分析平臺的能力，提升大數(shù)據(jù)效率。而且，平臺支持多種部署模式，以適應(yīng)不同的用戶場景，用戶可IT響應(yīng)業(yè)務(wù)變化。延伸云端解決方案助力企業(yè)平滑上云目前，企業(yè)上云，意味著大量的交易記錄、日志、文件等數(shù)據(jù)將并驅(qū)動商業(yè)決策，成為企業(yè)在新時代下決勝的關(guān)鍵。HadoopSparkKylin等大量創(chuàng)新性技術(shù)。這些技術(shù)被大量企業(yè)廣泛應(yīng)用于存儲和處理海量數(shù)據(jù)，分析和挖掘其中的價值，促進業(yè)務(wù)的發(fā)展。而這些創(chuàng)新技術(shù)無一例外地基于分布式計算架構(gòu)，具備超高的可擴展性，TBPB級。不僅如此，云計算所具備的無限擴展和按需的特性，為大數(shù)據(jù)應(yīng)計算應(yīng)用。因此，大數(shù)據(jù)分析上云成為了企業(yè)IT云戰(zhàn)略實施的重中之重，但云端環(huán)境的復(fù)雜性，如虛擬化、計算與存儲分離等特性，也讓企業(yè)大數(shù)據(jù)分析上云面臨著諸多挑戰(zhàn)。Kyligence從成立之初即在云端進行相應(yīng)布局，2017年底推出了KyligenceCloudKyligenceCloudKyligence6個云平臺。KyligenceCloud（KyligenceCloud 架構(gòu)）據(jù)悉，KyligenceCloudKyligenceEnterprise為核心，充分發(fā)揮其高性能、高并發(fā)優(yōu)勢，同時利用云計算帶來的低成本、高擴展、易KyligenceCloud，客戶可以在云端快速構(gòu)建可無限擴展的大PBOLAP分析和關(guān)鍵業(yè)務(wù)查詢的驅(qū)動商業(yè)決策。同時，KyligenceAzure、GoogleCloud、阿PB級數(shù)據(jù)的交互式分析與關(guān)鍵業(yè)務(wù)查詢的亞秒級響應(yīng)。KyligenceCloudSQL加速層，提供高性能及高并發(fā)的云端數(shù)據(jù)分析服務(wù)能力。KyligenceCloud通過與各大云廠商的基礎(chǔ)服務(wù)進行深度整合，幫PB級數(shù)據(jù)多維分析聚焦行業(yè)頭部客戶提供標準化產(chǎn)品目前，Kyligence已經(jīng)為金融，電信，零售，智能制造，能源等行業(yè)的企業(yè)提供下一代企業(yè)級智能數(shù)據(jù)倉庫及融合大數(shù)據(jù)分析平臺解決方案。招商銀行、上汽集團、太平洋保險、中國銀聯(lián)、OPPO為、中國移動等大型企業(yè)，都在使用其產(chǎn)品。韓卿表示，Kyligence在選擇行業(yè)的時候，會思考這幾方面問題。如果沒有數(shù)據(jù)支撐，銀行是無法分析出貸款風險的以某大型銀行為例，在大數(shù)據(jù)平臺建設(shè)之前，該銀行的數(shù)據(jù)大多GreenplumDB2IT人員拿到需求之后現(xiàn)場開發(fā)，再將整理好的數(shù)據(jù)發(fā)送給業(yè)務(wù)部門。由于數(shù)據(jù)存儲分散、再加上數(shù)據(jù)量越來越大，以及業(yè)務(wù)數(shù)據(jù)需求人員的工作量也越來越重。在建設(shè)大數(shù)據(jù)平臺后，該銀行把其業(yè)務(wù)系統(tǒng)中產(chǎn)生的各種數(shù)據(jù)，通過集中處理之后統(tǒng)一存入到Hadoop平臺，通過KyligenceEnterprise依據(jù)不同的業(yè)務(wù)創(chuàng)建不同主題的數(shù)據(jù)集市和立方體，將業(yè)模型發(fā)開放給業(yè)務(wù)分析人員。然后，KyligenceEnterpriseBI工具如Tableau等對相關(guān)數(shù)據(jù)集市進行自助分析。最后，依賴于KyligenceEnterprise在超大規(guī)模數(shù)據(jù)集上的高速SQL路和業(yè)務(wù)決策。KyligenceEnterpriseIT的負擔。第二，客戶意識。是否需要數(shù)字化轉(zhuǎn)型，這是企業(yè)的意識問題，型客戶的契合度、體量都是很好的。確實遇到了一些問題，比如數(shù)據(jù)口徑不一致、分析周期太長、不能進我們幫助他們在現(xiàn)有的數(shù)據(jù)平臺上，搭建了統(tǒng)一的大數(shù)據(jù)分析平的一致好評和贊賞，最后他們還為我們寫了一封感謝信很多中大型企業(yè)需求充滿個性化、復(fù)雜化，服務(wù)商為了滿足他們Kyligence如