大數(shù)據(jù)存儲(chǔ)與處理第二講

大數(shù)據(jù)的三個(gè)關(guān)鍵問題Google的大數(shù)據(jù)技術(shù)Google的業(yè)務(wù)：PageRank三大法寶1第二講大數(shù)據(jù)的關(guān)鍵技術(shù)文件存儲(chǔ)數(shù)據(jù)分析數(shù)據(jù)計(jì)算數(shù)據(jù)存儲(chǔ)平臺(tái)管理數(shù)據(jù)集成數(shù)據(jù)源Database

Web

Log…現(xiàn)代數(shù)據(jù)處理

能力組件現(xiàn)代數(shù)據(jù)處理框架

三大關(guān)鍵問題

3V計(jì)算存儲(chǔ)｝容錯(cuò)｝｝三大關(guān)鍵問題存儲(chǔ)計(jì)算容錯(cuò)存儲(chǔ)問題

解決大數(shù)據(jù)存儲(chǔ)效率的兩方面：–

容量–

吞吐量

容量–

單硬盤容量提升：MB

→

GB

→

TB

→

┈–

系統(tǒng)整體容量提升：DAS、NAS、SAN

吞吐量

=

傳輸數(shù)據(jù)量

/

傳輸時(shí)間–

單硬盤吞吐量提升：轉(zhuǎn)速、接口、緩存等–

節(jié)點(diǎn)吞吐量提升：RAID、專用數(shù)據(jù)庫(kù)機(jī)提升吞吐量

RAID：Redundant

Array

of

Inexpensive

Disks，冗余磁盤陣列–

把多塊獨(dú)立的硬盤按一定的方式組合起來(lái)形成一個(gè)硬盤組，從而實(shí)現(xiàn)高性能和高可靠性–

RAID0：連續(xù)以位或字節(jié)為單位分割數(shù)據(jù)，并行讀/寫于多個(gè)磁盤上，提升吞吐量Source:

三大關(guān)鍵問題存儲(chǔ)計(jì)算容錯(cuò)多核技術(shù)

Moor定律：當(dāng)價(jià)格不變時(shí)，集成電路上可容納的晶體管數(shù)目，約每隔18個(gè)月便會(huì)增加一倍，性能也將提升一倍。

采用多核（Multi-core）技術(shù)提升IPC，從而突破性能提升瓶頸。指令數(shù)主頻IPS

MF

IPC

多處理器技術(shù)

多處理器技術(shù)的核心：

按處理器之間的關(guān)系可以分為兩類：

1

F

1

F/

N

非對(duì)稱多處理器架構(gòu)（ASMP）––––不同類型計(jì)算任務(wù)或進(jìn)程由不同處理器執(zhí)行簡(jiǎn)單，操作系統(tǒng)修改小低效早期過渡性架構(gòu)對(duì)稱多處理器架構(gòu)（SMP）––––所有處理器完全對(duì)等計(jì)算任務(wù)按需分配高效普遍采用并行模式獨(dú)立并行–兩個(gè)數(shù)據(jù)操作間沒有數(shù)據(jù)依賴關(guān)系––可以采用獨(dú)立并行的方式分配給不同的處理器執(zhí)行例：兩個(gè)獨(dú)立數(shù)據(jù)集的Scan操作流水線并行–多個(gè)操作間存在依賴關(guān)系，且后一個(gè)操作必須等待前一個(gè)操–作處理完后方可執(zhí)行將多個(gè)操作分配給不同處理器，但處理器間以流水線方式執(zhí)行–例：Scan

→

Sort

→

Group分割并行–數(shù)據(jù)操作的輸入數(shù)據(jù)可以分解為多個(gè)子集，且子集之間相互獨(dú)立–分割為若干獨(dú)立的子操作，每個(gè)子操作只處理對(duì)應(yīng)的部分?jǐn)?shù)據(jù)，并將這些子操作配到不同的處理器上執(zhí)行–例：

Scan

→

Merge并行脆系統(tǒng)創(chuàng)架構(gòu)共享罵內(nèi)存攔（S肌ha抄re垃dMe燃mo碗ry蜓，S爸M）–多個(gè)設(shè)處理養(yǎng)器，凝多個(gè)般磁盤鐮，一俗個(gè)共辜享內(nèi)存填，通備過數(shù)涂據(jù)總種線相譜連–處理碧器間廟共享構(gòu)全部績(jī)磁盤汁和內(nèi)速存–––結(jié)構(gòu)撞簡(jiǎn)單靈，負(fù)痛載均樸衡數(shù)據(jù)沃總線累成為吵瓶頸甘，可辮擴(kuò)展誦性較條差，共享裂內(nèi)存冤單點(diǎn)缺故障適合鎮(zhèn)處理慚器較賀少（驗(yàn)≤8脈）的魔小規(guī)畝模并行數(shù)棗據(jù)庫(kù)共享呢磁盤臨（S坐ha繁re潔dDi層sk慣，S荷D）–多個(gè)定處理法器，晴每個(gè)恒處理掃器擁連有獨(dú)稼立內(nèi)存脂，多固個(gè)磁神盤，卵處理默器與掠磁盤峰通過數(shù)底據(jù)總政線相退連–––處理螞器間割共享技全部悠磁盤容錯(cuò)之性提仔高共享決磁盤示成為脾性能調(diào)瓶頸莊，需汪要額屯外維護(hù)紙內(nèi)存沿與磁屬盤間橋的數(shù)伸據(jù)一凝致性無(wú)共臣享（滾Sh握ar描edNo揪th悉in丑g，然SN國(guó)）–每個(gè)鑒處理暗器擁疏有獨(dú)鑄立的豆內(nèi)存茂和若盆干磁廟盤，通過伯高速遇網(wǎng)絡(luò)吃相連–處理攤器獨(dú)扎立處善理所涉管理淋的數(shù)腸據(jù)–––––數(shù)據(jù)酸傳輸帳量小績(jī)，效雷率高可擴(kuò)親展性笛強(qiáng)節(jié)點(diǎn)訴間交蠟換數(shù)皮據(jù)開償銷較晨大適合攻處理廉器數(shù)指量較盟大的樣大規(guī)籠模并碑行系越統(tǒng)后期喂發(fā)展油的主蝦流三大滋關(guān)鍵題問題存儲(chǔ)計(jì)算容錯(cuò)數(shù)據(jù)容錯(cuò)RA艇ID恩單節(jié)精點(diǎn)數(shù)日據(jù)冗辟余存錘儲(chǔ)–RA肝ID成0：棒并行你磁盤–RA票ID噴1：體鏡像狗冗余–RA險(xiǎn)ID盼10誘：R覆AI汪D1妖+R勒AI衡D0–RA乏ID節(jié)5：曾校驗(yàn)渠冗余So堅(jiān)ur招ce禾:集群混多節(jié)約點(diǎn)數(shù)繩據(jù)冗姓余存寧儲(chǔ)計(jì)算牧任務(wù)騰容錯(cuò)計(jì)算革任務(wù)很容錯(cuò)噴的關(guān)滑鍵問捎題：–故障話監(jiān)測(cè)–計(jì)算汗數(shù)據(jù)師定位撇與獲潛取–任務(wù)拒遷移Go妹og錯(cuò)le撫是如派何解內(nèi)決其大數(shù)據(jù)辛處理嫂的三匹個(gè)關(guān)晉鍵性錘問題蒼的?我們擺需要濁先了倒解Go珍og條le的業(yè)冷務(wù)特層點(diǎn)。14Go俗o(hù)g挑le的大活數(shù)據(jù)泰技術(shù)19草9519咬9619蒸9719爆9920個(gè)0120去0320炎0520確0720涉0920呈11..汁.19耕9820首0020傾0220用0420剝0620永0820經(jīng)1020洗12當(dāng)佩員奇遇踏見布林合作款開發(fā)Ba生ck握Ru至b搜索勞引擎命名Go寄og趣leGo右og循le公司沖成立首名哪專用廚師蛋入職建立哀10灑億網(wǎng)址秩的索引圖片即搜索+3遇0億殃網(wǎng)址索沙引商品劍+新聞+腸AP濁I開始紙收購(gòu)+G茫oo東gl奔e圖書80頌億網(wǎng)謎址索引售+上都市+學(xué)橋術(shù)搜寒索地圖+T撿al物k+分析Yo撥uT車ub觸e+G木oo床gl撇eAp徐psGm爆ai戶l+街景+A蒙nd盛ro撕idHe件al鞋th罷+iP棟ho窄ne應(yīng)用社交仙網(wǎng)絡(luò)搜索犧+實(shí)吧時(shí)地圖懼導(dǎo)航革+搜索收購(gòu)討Mo兼to手機(jī)誤+投平板還電腦資能倉(cāng)源++G李oo刪gl刻e應(yīng)用騾商店眼鏡Go浴og洲leGo虛og賺le獲最重蹲要的鐵業(yè)務(wù)今？搜索Ad乏Wo牲rd器sGo仙og端le乞發(fā)展辰史Go拍og忘le濫之前便的搜劫索目錄踢型搜政索：萬(wàn)Ya蘇ho幻玉o!–收集關(guān)：人弄工分掃類–索引幸：主升題–使用會(huì)：目岡錄結(jié)稈構(gòu)–優(yōu)點(diǎn)膜：準(zhǔn)誦確率游高–缺點(diǎn)血：覆灰蓋率句低索引危型搜抖索：謠Al躍ta銀Vi強(qiáng)st跌a–收集嶄：自爺動(dòng)爬灑?。_Sc趟oo稻te趁r）–索引騙：自摸動(dòng)標(biāo)革記–使用努：輸怎入關(guān)晶鍵詞臨搜索–優(yōu)點(diǎn)侄：覆血蓋率習(xí)高–缺點(diǎn)句：準(zhǔn)估確率上低覆蓋留率VS腐.準(zhǔn)確簡(jiǎn)率：席魚與之熊掌殺不可刷兼得維？Go或og故leGo集og捉le們的自尼我揭餅秘！核心法算法–La悠wr媽en斑cePa壇ge,Se霧rg芝eyBr挨in,et賞.al膽.,Th燈ePa鈴ge譽(yù)Ra炒nkCi逐ta計(jì)ti礙onRa鐮nk記in繼g:Br剝in貍gi栗ngOr船de遍rtoth浸eWe何b.Te圣ch閉ni顏ca珠lRe魯po酒rt提,St惹an工fo獵rdIn貪fo燥L(fēng)a旱b,19蹈99梅.(6要88己1)三大末法寶–Sa耕nj命ayGh俗em閑aw撫at續(xù),Ho禍wa這rdGo已bi佩of長(zhǎng)f,et碌.al塞.,Th蠻eGo針og敢lefi芹lesy播st諷em,Pr鞠oc嫁ee宴di叢ng異softh兇eNi藥ne絡(luò)te標(biāo)en屈thAC私MSy擋mp梁os貞iu其monOp唐er歪at羽in瘋gSy藏st蹤蝶em銀sPr貌in悟ci怖pl量es啦,20逢03搖.(3秤91情1)–Je岔ff妨re艱yDe描an,Sa巧nj對(duì)ayGh興em躲aw屯at情,Ma炊pR晃ed破uc相e:Si焰mp蠢li落fi應(yīng)edDa受taPr略oc領(lǐng)es經(jīng)si掛ngonLa使rg查eCl您us普te腳rs,Si胖xt攪hSy絹mp謎os丹iu梅monOp亮er婆at近in船gSy滲st刑emDe蔽si塊gnan胳dIm寄pl擁em鍵en凍ta何ti知on觸,20豆04夠.(9匆56舌9)–Fa晨yCh懲an松g,Je港ff校re某yDe蛙an,et辜.al象.,Bi尺gt皇ab朗le:ADi嚴(yán)st吼ri啟bu因te糾dSt肆or怒ag為eSy臥st賺emfo幕rSt尿ru饒ct堆ur賠edDa頁(yè)ta縣,Se程ve晌nt與hSy杯mp估os孫iu饅monOp跪er屢at杰in成gSy樂st陣emDe鏟si欺gnan豪dIm骨pl超em煌en愿ta努ti瞞on蛇,20弓06范.(2珠55朵8)靈魂血肉搜索穗結(jié)果怠如何只排序壇！佩奇食（P受ag齊e）墓，斯稠坦福–整個(gè)裁互聯(lián)饒網(wǎng)就歐像一虜張大某的圖源，每原個(gè)網(wǎng)拔站就槳像一威個(gè)節(jié)樂點(diǎn)，每個(gè)宋網(wǎng)頁(yè)叉的鏈桿接就隊(duì)像一響個(gè)弧慢。我襲想，英互聯(lián)鮮網(wǎng)可垮以用響一個(gè)圖或第者矩鎮(zhèn)陣描尚述，垂我也蔥許可休以用饑這個(gè)朱發(fā)現(xiàn)呈做篇筋博士山論文謠。算法份的圖鍛論表菠述01/牽201/倒20001/哄201/喂200010000011/弓31/鑄31/吧300n1n2n3n4n5Pa覽ge紐奉Ra貧nk目（9濕）–算法療的計(jì)壘算問冊(cè)題如何畝計(jì)算澇10麻億、冤10熱0億絨個(gè)網(wǎng)長(zhǎng)頁(yè)？行列爆數(shù)以李億為蕉單位她的矩恨陣相擁乘！Go啞og浴le喂三大狡法寶賽之一臭：M毯ap貢Re蒜du菠ce矩陣勞乘法慚串行考實(shí)現(xiàn)1:fo嘴ri=赤1;蒜i<蝦=N談;i滾++2:fo障rj=池1;趣j<快=N顛;j園++3:4:5:6:fo股rk=朽1;第k<激=N淚;k運(yùn)++C[魄i]宇[j煤]+=A[削i]繳[k參]*嗽B[朋k]休[j民]en吼dfo壞ren做dfo補(bǔ)r7:en賭dfo絲式r算法桐復(fù)雜舞度：粉O(話N3)以1哈次乘紗法需虎要1決個(gè)時(shí)遠(yuǎn)鐘周四期，型計(jì)算懷10俯億維悔度矩沈陣為例，繡使用膝1G略的C續(xù)PU悼，需瞞要的贈(zèng)計(jì)算師時(shí)間始為：t=10邁億×10乳億×10蛋億/10能億=31橋7年報(bào)！是否揮OK卡？想辦堵法解醉決大抽規(guī)模攏矩陣翅相乘禮問題才：我知拆Cm=AmⅹBM臺(tái)煤服務(wù)慎器并蹄行計(jì)治算，鍵時(shí)間紋降低渾為1偶/MCABC1CmCMA1AmAM=ⅹ想辦沃法解坑決大吩規(guī)模那矩陣醉相乘支問題鑰：我民再拆Cm,爺n=AmⅹBnMⅹM駛臺(tái)服是務(wù)器席并行慕計(jì)算副，時(shí)陵間降堵低為魚1/需M2CABA1AmAM=ⅹC1,紅1Cm,拉1CM,漁1B1BnBM子任大務(wù)子任皆務(wù)子任悲務(wù)…拆的予本質(zhì)堵－分而萄治之分而桿治之–Di央vi喇dean名dCo攻nq理ue慣r–一個(gè)瞧大的窗計(jì)算姿任務(wù)炸分解恐為若略干小凱計(jì)算頌任務(wù)–子任叼務(wù)計(jì)飄算結(jié)警果合或并后胡獲得評(píng)最終跡結(jié)果計(jì)算歸任務(wù)Di紅vi渠deCo次nq嚼ue臺(tái)r計(jì)算蜘結(jié)果Ma運(yùn)pR兼ed母uc功e的跑來(lái)源編程言模型言：–19央56后年J理oh衛(wèi)nMc肚Ca銜r(shí)t布hy屈（圖既靈獎(jiǎng)嘩獲得做者）策提出侍的L敵is脾p語(yǔ)艱言中拳的Ma勤p/察Re桿du派ce推方法–Ma介p輸投入是腿一個(gè)遍函數(shù)波和n仍個(gè)列轟表，斧輸出變是一悔個(gè)新堆的列均表，容列表爺中的椅元素瘋是將輸炊入函袖數(shù)作鐘用在奇n個(gè)窗輸入手列表碧中每滿個(gè)對(duì)帖應(yīng)元腰素獲倡得的減計(jì)算夫結(jié)果失。–Re朝du賀ce媽輸入扒是一悲個(gè)函條數(shù)和黃一個(gè)扛列表濱，輸只出是絞將函返數(shù)依失次作姐用于飛列表袋的每個(gè)元梁素后仿獲得蹈的計(jì)長(zhǎng)算結(jié)便果(m疼ap'v盼ec絹to曠r#*#(殿12345)#(屑54321)->#(攝58985)(r薦ed則uc獲e#'吧+#(婦58985)顏)->35Li姨sp孫中的瘋Ma雁p和斑Re機(jī)du決ce擋操作Ma先pR若ed哈uc靠e原議理Ma卸pR拐ed叉uc卷e機(jī)父制主控永程序布（M塘as皺te韻r）情：將反Ma飾p和夸Re僚du封ce謹(jǐn)分配查到合艱適的凈工作睜機(jī)上工作糟機(jī)（晚Wo點(diǎn)rk暫er徐）：名執(zhí)行翁Ma管p或儲(chǔ)Re離du紹ce殊任務(wù)Ma綿pR差ed落uc五e(cuò)不睬僅僅趣是編擾程模世型!讓程漫序員冬在使家用M釀ap乖Re漂du湖ce餓時(shí)面選對(duì)以問下細(xì)沾節(jié)問減題？–大數(shù)局據(jù)如零何分現(xiàn)割為反小數(shù)善據(jù)塊可？–如何端調(diào)度思計(jì)算綁任務(wù)泰并分展配和恩調(diào)度混ma馳p和障re天du命c(diǎn)e寫任務(wù)罵節(jié)點(diǎn)順？–如何航在任狹務(wù)節(jié)炕點(diǎn)間鉗交換仙數(shù)據(jù)案？–如何秘同步直任務(wù)脹？–相互漂依賴仔的任謀務(wù)是習(xí)否執(zhí)涼行完廚成？–任務(wù)炊節(jié)點(diǎn)唱失效奸時(shí)該洲如何更處理虹？Go蹤蝶og磁le超的M薪ap換Re言du雄ce良是一盼個(gè)完終整的棕計(jì)算獸框架–程序社員只蟻需要奶編寫兇少量譜的程咱序?qū)嵸嚞F(xiàn)應(yīng)貓用層肆邏輯程序所示例欣：W斧or腐dC鹽ou呢nt#i顫nc帖lu倚de"m是ap時(shí)re考du萍ce撒/m機(jī)ap評(píng)re飛du蓋ce合.h獨(dú)"cl廣as率sWo偷rd默Co境un嶼te可r:pu蝴bl績(jī)icMa烏pp盟er{pu界bl傷ic嫂:vi妖rt聽ua斃lvo告idMa嗓p(諒co己ns李tMa基pI尺np耳ut路&in任pu始t){co康ns賴tst填ri粘ng母&te沉xt=in毫pu嶼t.啄va克lu趕e(耐);co享ns經(jīng)tin舍t(yī)n=te庸xt反.s色iz糊e(記);fo粥r(i寨nti=0;i<n;){wh愈il顯e((旋i<n)&&is邪sp蔑ac龍e(厘te搖xt濱[i歷])耕)i+怠+;in合tst苗ar祥t=i;wh泳il狂e((雷i<n)&&!i葉ss哲pa帥ce害(t悉ex恥t[防i]絮))i+瓶+;if(s濟(jì)ta和rt<i)Em倍it耐(t閥ex收t.耀su獄bs呀tr訪(s窗ta住rt堵,i信-s鑒ta聞rt溪),胸"1昂")購(gòu);}}鉆};RE府GI腫ST相ER庸_M梯AP辦PE呆R(終Wo榴rd率Co英un宏te能r)關(guān);cl筐as嬸sAd賀de哄r:pu出bl腹icRe芝du半ce壩r{vi汪rt助ua密lvo浙idRe槐du綠ce喪(R耳ed允uc藍(lán)eI并np茫ut鴨*in概pu青t){in敵t6年4va蠶lu腦e=0;wh壓il訴e(!預(yù)in蠟pu狂t-漁>d濕on呀e(箏)){va瘡lu仿e+=St亦ri露ng幼To稍In海t(逮in池pu夾t-繞>v標(biāo)al罷ue陳()撲);in圍pu她t-姥>N平ex蝕tV怕al固ue逗()尺;}Em茄it悟(I態(tài)nt威To猜St害ri添ng鉆(v那al爭(zhēng)ue側(cè)))緩;}}旅;RE不GI另ST喇ER先_R拔ED堡UC奶ER暑(A內(nèi)dd墳er悶);in草tma愧in雷(i巖ntar睡gc株,ch擠ar回**ar下gv流){Pa圈rs酬eC組om駁ma眉nd顏Li仁ne稿Fl什ag江s(嶺ar短gc姥,ar青gv扁);Ma域pR獸ed欄uc尚eS約pe倉(cāng)ci飲fi底ca剩ti床onsp柿ec佳;fo腿r(i屆nti=1;i<ar訊gc放;i+近+){Ma稀pR筒ed班uc妖eI查np散ut義*in宴pu喘t=sp檔ec川.a陶dd蜜_i介np侍ut吳()錯(cuò);in陳pu杏t-修>s渠et煎_f抗or遭ma堵t(驢"t唉ex姜t"容);in突pu千t-間>s乘et清_f某il執(zhí)ep貴at愈te擋rn綿(a窮rg建v[巴i]少);in飽pu蛾t-附>se拍t_尤ma嫩pp眼er沈_c毫la轉(zhuǎn)ss("興Wo笑rd果Co多un懇te票r"鄉(xiāng)豐);}Ma鄰pR嘴ed刻uc隔eO濁ut雹pu聲t*ou停t=sp揀ec沫.o鞭ut匯pu潛t(胖);ou羨t-椒>s造et澡_f臟il膝eb昏as風(fēng)e(鉗"/洲gf擔(dān)s/夠te柳st換/f誼re貴q"咱);ou慚t-佩>s維et淋_n懼um反_t買as畏ks窮(1咸00婦);ou犧t-打>s嚇et搭_f廚or剖ma荷t(強(qiáng)"t近ex鞭t"植);ou隔t-意>se艇t_唇re捷du啟ce好r_渡cl吐as該s("滑Ad年de客r"謝);ou駱t-蹄>s耳et阿_c槳om者bi說ne潛r_秋cl慈as吹s(秤"A鹽dd訪er詞")衣;sp暗ec括.s綱et尚_m浮ac腹hi標(biāo)ne女s(壤20撐00阻);sp棉ec鉗.s當(dāng)et捐_m循ap者_(dá)m宅eg保ab禍y(cè)t刪es窗(1山00成);sp預(yù)ec牽.s仿et胃_r五e(cuò)d廟uc消e_材me拆ga謠by墨te刪s(棚10誕0)到;Ma定pR等ed壁uc蔑eR砌es鞋ul績(jī)tre好su存lt匙;if(!怠Ma新pR漫ed硬uc湊e(川sp呢ec廈,&r作es棍ul寬t)震)ab獅or困t(賭);re荷tu膏rn0;}Go襯og猜le傷三大舍法寶眠之二敬：G繩FSGF顫S簡(jiǎn)支介GF光S–Go侄og慌leFi螞leSy滋st駕em恥，G族oo玻gl伐e自四有的觀分布匆式文曾件系統(tǒng)為什禾么需帶要G揚(yáng)FS龍？–已有策多種蜂分布筋式文思件系職統(tǒng)（腎NF解S、鉛AF串S、著DF首S、譯…）–Go換og體le藝特有參的環(huán)蘇境與錫負(fù)載吧需要Go役og蔥le浴特有頭的數(shù)痕據(jù)和懷計(jì)算Go很og舞le欲處理史的主隆要數(shù)烘據(jù)–爬取鈔的網(wǎng)刪頁(yè)–網(wǎng)站袍訪問社日志–其他臭相對(duì)嘆獨(dú)立曾的數(shù)依據(jù)數(shù)據(jù)朝計(jì)算琴的期居望結(jié)雨果–詞頻參統(tǒng)計(jì)–倒排問索引–網(wǎng)頁(yè)沃文檔陳的鏈設(shè)接圖–網(wǎng)站況頁(yè)面遼數(shù)量套統(tǒng)計(jì)特點(diǎn)–單個(gè)乖計(jì)算昂簡(jiǎn)單–數(shù)量咳龐大–數(shù)據(jù)愉相對(duì)井獨(dú)立GF巡壽S支暖持大母容量用集文群方映式提野升系北統(tǒng)整任體容夜量Go繡og致le粗的第利一臺(tái)迎服務(wù)茶器（斗19售98便）In笑te查lCP猛U+ID克E硬項(xiàng)盤xGF企S支主持高飯吞吐鍬量Go吐og攔le耕處理松的數(shù)免據(jù)特似點(diǎn)–抓取車網(wǎng)頁(yè)殘并存殿儲(chǔ)：彼順序?qū)懭雰桑瑯O番少發(fā)臨生隨起機(jī)寫襯的情癢況–分析效網(wǎng)頁(yè)梯內(nèi)容檔：文橫件寫焰入后丈，只萌會(huì)發(fā)逗生讀農(nóng)的操鳴作，賢不會(huì)覽再修宵改GF是S實(shí)壁現(xiàn)高婦吞吐慮量的收兩個(gè)床關(guān)鍵尿點(diǎn)：①順序白寫入序，順啄序讀腸取，炊避免妨隨機(jī)瘡讀寫文件蹄傳輸培效率疤公式SE振EK_TI株MEbl排oc款k_si川ze/SP墓EE霉DSE茫EK_TI龍ME1tr升an他s_ti按metr貸an榨s_ti笨meSE豎EK_TI雕MEef襯fe伶ct西數(shù)80井GSA域TA準(zhǔn)硬盤隨機(jī)秩讀558.客2②數(shù)據(jù)繳以遠(yuǎn)掩大于蛋操作育系統(tǒng)妻文件飛塊的輛基本供單元郊進(jìn)行旺存儲(chǔ)賊（64較MBvs孝.51偏2B）GF強(qiáng)S支茂持容型錯(cuò)問題臣：大抄量廉當(dāng)價(jià)P野C組趙件構(gòu)宗成的臟集群引作為多硬件熔基礎(chǔ)駁，單被節(jié)點(diǎn)枯故障侮率較愉高Go另og愚le妖的第顯一臺(tái)伸服務(wù)喘器（某19腦98?。㊣n完te父lCP火U+ID犬E硬弓盤集群治多節(jié)益點(diǎn)數(shù)剩據(jù)冗堵余存撒儲(chǔ)GF繩S系玩統(tǒng)架森構(gòu)客戶盯端（蹤蝶Cl柱ie蕩nt膚）GF枝S提蝦供給閥上層驕應(yīng)用繳使用犯的一組接錯(cuò)口庫(kù)上層融應(yīng)用攪通過嚷調(diào)用筍接口坐庫(kù)中的接渡口實(shí)廉現(xiàn)G左FS鹿系統(tǒng)蕩中的鋸文件管理適合館自身夾應(yīng)用桌的簡(jiǎn)碼單接新口主控季節(jié)點(diǎn)褲（M喇a(chǎn)s虹te香r）管理劃節(jié)點(diǎn)唯一禾性保存融元數(shù)鋸據(jù)調(diào)配貴塊服瓦務(wù)器塊服錫務(wù)器阻（C嶼hu桃nkSe梯rv艘er久）存儲(chǔ)肚數(shù)據(jù)巷塊（暮Ch摸un橡k）多個(gè)固定雷塊大疫小（兩默認(rèn)利64予MB素）數(shù)據(jù)由庫(kù)多構(gòu)節(jié)點(diǎn)哪冗余漆備份討論裂：分疫析一雅下，GF川S的文并件讀慘寫流攏程大奴致應(yīng)燙該是膚怎么驗(yàn)樣的蚊？①②③④⑤計(jì)算酷索引前：客信戶端寶將應(yīng)疊用提偶供的飯文件聾名和衰字節(jié)禽偏移活通過尋固定銷文件錢塊大怖小進(jìn)粗行計(jì)跪算后麗獲得肚塊索聽引傳遞喂索引爆：客冬戶端索將文辛件名遺稱和圍塊索豈引發(fā)材送給乘主控砍節(jié)點(diǎn)返回孟位置財(cái)：主嫌控節(jié)成點(diǎn)將構(gòu)用于姻訪問付文件葡塊的吸塊句甜柄和調(diào)文件賠塊所絲式在的走塊服獨(dú)務(wù)器外位置民返回恰給客勁戶端訪問妻數(shù)據(jù)窮：客恰戶端攏將位識(shí)置信套息進(jìn)久行緩幼存，伴并訪兔問離濤自己片距離怎最近已的塊陳服務(wù)奪器返回市數(shù)據(jù)欺：被規(guī)訪問踏的塊橋服務(wù)胃器將蚊數(shù)據(jù)點(diǎn)返回坑給客漆戶端GF友S讀笨數(shù)據(jù)守流程②①③④⑤Go稅og怪le宰三大蘿法寶因之三邀：B銹ig凝Ta塌bl坊e簡(jiǎn)單賞搜索終框背興后的瓦復(fù)雜擊工作1.Cr遞aw受le館r從增UR全L服駕務(wù)器予提取廈地址墾進(jìn)行透遍歷捧查找2.獲取昏文檔俊do萬(wàn)cs,建軍立文悶檔d澇oc浩ID珍s,進(jìn)虹行分宇析、枯壓縮3.存儲(chǔ)莫到文圓檔數(shù)剩據(jù)庫(kù)4.索引賄器為庭do恐cs須建立斑順排疼索引似和倒才排索題引5.索引喊數(shù)據(jù)容存儲(chǔ)割到集弦群中建立谷索引響應(yīng)參請(qǐng)求1.2.3.4.5.對(duì)請(qǐng)牌求進(jìn)拋行預(yù)侵處理您，包擦括拼王寫檢咐查、找附加哀廣告坦等GW群S向靈索引擴(kuò)服務(wù)怠器發(fā)尚送查教詢關(guān)尿鍵字索引陰服務(wù)侄器根貍據(jù)關(guān)鋒鍵字塊查找嗚匹配屢文檔茶并向做GW桶S返命回d氧oc王ID賣sGW照S將業(yè)do創(chuàng)cI認(rèn)Ds哭傳給默文檔嬸服務(wù)嗚器，府獲得松文檔GW芝S將闖查詢宜結(jié)果抽文檔揭以H栗TM富L形布式返悉回給蒙用戶為什垮么需廣要B溝ig純Ta嶼bl肝e？GF枝S的庭局限輪性：因文件泛系統(tǒng)登，不虎適合高結(jié)構(gòu)聰化數(shù)臥據(jù)的則存儲(chǔ)秧和訪役問結(jié)構(gòu)權(quán)化數(shù)炮據(jù)？近使用瓶DB耐2、倍SQ劑LS帖er皺ve繡r、弓My叼SQ旁L之存類的凱數(shù)據(jù)質(zhì)庫(kù)系悼統(tǒng)？非也認(rèn)！因妨為：–存儲(chǔ)紋數(shù)據(jù)癢的多休樣性砍與復(fù)堅(jiān)雜性孫：UR霧L、姥網(wǎng)頁(yè)懂內(nèi)容勤、用職戶數(shù)裳據(jù)等–海量穴的處層理請(qǐng)?jiān)枨蟥C成本傻與控氣制力Bi灑gT饒ab陪le證的目切標(biāo)：–適應(yīng)壩各種晴不同倒類型滲的數(shù)爺據(jù)和記應(yīng)用–隨時(shí)尚增加鴉和減種少處好理節(jié)睛點(diǎn)的直可擴(kuò)疲展性筐和自恢動(dòng)平蜘衡能意力–PB閥級(jí)數(shù)珠據(jù)環(huán)窄境下托的高亂吞吐溝量和喪高并境發(fā)（劃百萬(wàn)厚級(jí)T四PS摔）–連續(xù)廚服務(wù)弓的高背可用段性和獸容錯(cuò)孕性–架構(gòu)夠與使廳用的桌簡(jiǎn)潔泊性Bi喚gT恒ab鄭le賞數(shù)據(jù)院模型Bi烈gT逢ab曉le雨：是憶一個(gè)繁經(jīng)過牽排序苗后的分布上式的、稀疏的、多維龜映射