基因數(shù)據(jù)分析云上闖關(guān)

1、基因數(shù)據(jù)分析云上闖關(guān)成本降低與時間縮短，給基因在臨床醫(yī)療和健 康領(lǐng)域的進(jìn)一步深入應(yīng)用和普及帶來曙光。最近，第11屆國際基因組學(xué)大會（icg）公布了 歷時6個月的全球公開競賽結(jié)果。一家從2009年起開展基因檢測臨床轉(zhuǎn)化研究的 初創(chuàng)企業(yè)在“數(shù)據(jù)壓縮”和“計算加速”兩個項目上 刷新世界紀(jì)錄。這家名為人和未來生物科技的公司從 全球300多家參賽團(tuán)隊中脫穎而出獲得冠軍，并保持 最低的計算成本?！皵?shù)據(jù)壓縮”和“計算加速”是對基因數(shù)據(jù)進(jìn)行 處理分析過程中兩個根本性的難題。它們的突破，給 基因在臨床醫(yī)療和健康領(lǐng)域的進(jìn)一步深入應(yīng)用和普及 帶來曙光。上云的難處去年起，主流基因數(shù)據(jù)生產(chǎn)企業(yè)開始面臨數(shù)據(jù)爆 發(fā)式增長的

2、狀況。這些自建計算集群來存儲和處理數(shù) 據(jù)的企業(yè)開始考慮數(shù)據(jù)上云，并且形成了行業(yè)趨勢?！霸频募軜?gòu)能保證我們獲得很高的數(shù)據(jù)安全性和 穩(wěn)定性。如果我們自己做本地存儲，通常要把數(shù)據(jù)備 兩份甚至三份，肯定不如在云上做存儲好?！比撕臀磥?首席技術(shù)官宋卓說。不過，數(shù)據(jù)上云過程也遇到棘手問題：龐大的基 因數(shù)據(jù)怎么搬上云？要耗多少時間和成本？上云后， 基因數(shù)據(jù)這類大規(guī)模分析項目，根本不是靠簡簡單單 地堆砌機(jī)器就能完成高效的計算分析?！霸粕嫌嬎愎?jié)點之間有i/o。當(dāng)你布的節(jié)點越多, i/o之間的數(shù)據(jù)傳輸就越多。如果你不精細(xì)控制，就 會形成一大堵“i/o墻”，計算性能大幅下降。這正是 基因行業(yè)面臨的兩大難題，也是大賽

3、設(shè)定這個比賽題 目的根源。人和未來已經(jīng)花了兩年時間來突破這兩大難關(guān)。他們開發(fā)了 “無損壓縮”基因數(shù)據(jù)的新方法，實現(xiàn)了 數(shù)據(jù)快速上云和存儲?！拔覀儼阉袎嚎s算法都重新梳 理了一遍，找到最好的壓縮方式，并在工程技術(shù)上做 了針對cpu指令集層面的優(yōu)化”。在這次大賽上，人和未來將200g測試數(shù)據(jù)無損 壓縮到原來的1/15大小，數(shù)據(jù)傳輸存儲效率自然會大 幅提升。針對數(shù)據(jù)上云后的計算難題，人和未來基于aws 公有云上的ec2和s3存儲和計算基礎(chǔ)服務(wù)，自主研 發(fā)構(gòu)建了數(shù)據(jù)分發(fā)、調(diào)控和存儲體系，繞過i/o墻?！拔覀?8分鐘完成了對400gb人類全基因組數(shù) 據(jù)的處理。這個級別的數(shù)據(jù)在單臺高性能服務(wù)器上分 析計算

4、要花30個小時以上，目前世界范圍內(nèi)已報道的 云上分布式計算的最好成績是1小時50分鐘?！彼巫?說。這是一個質(zhì)的變化，行業(yè)人士對此感到很振奮。人和未來也希望把在過去兩年所研發(fā)的計算加速 和數(shù)據(jù)挖掘的應(yīng)用工具和解決方案，提供給健康信息 領(lǐng)域的專業(yè)機(jī)構(gòu)。“這將是一個封裝好的，可以跑在任何云上的解 決方案。"宋卓說。當(dāng)然，最先選擇基于aws公有云 研發(fā)，是因為aws提供了目前市場上最穩(wěn)定、豐富 和靈活的云計算資源?！霸赼ws上能夠選擇的計算節(jié) 點類型是最多的，這讓我們可以根據(jù)不同任務(wù)類型, 選擇最高性價比的機(jī)器”。而當(dāng)分析項目從十幾臺機(jī)器 到幾百臺，每上一個層次規(guī)模都會觸發(fā)不同問題，需 要a

5、ws較為成熟的支持。巧用“競價”這次參賽，人和未來的基因數(shù)據(jù)處理和分析費用 為16美元，將全基因組計算帶入“百元時代”。對于降低成本的秘訣，宋卓介紹，通常購買云服務(wù)，付費方式有兩種：一種是按需付費；一種是預(yù)付 費，一次性先購買一年的服務(wù)，成本約是按需付費的六、七折。但是aws除此以外還提供了 spot instance競價型實例。aws將閑置的資源用競價方式釋放出來，價格通常是按需服務(wù)的1/10,非常低?！拔覀円淮斡脦装賯€節(jié)點，相對是規(guī)模比較大的。 我們與aws 線人員交流，他們會告訴我們，在全 球的范圍內(nèi),哪些區(qū)域的spot instance價格比較低, 在哪個時間段內(nèi)競價不會大幅波動?！彼?/p>

6、卓說。人和未來在此次競賽中巧用競價模式，最終只花 t 16美元。成本降低與時間縮短推動了基因檢測技術(shù)的實際 應(yīng)用，極具現(xiàn)實意義。2011年前后，基于基因檢測技 術(shù)的的無創(chuàng)唐篩（唐氏兒篩查）被引入臨床。與傳統(tǒng) 羊水穿刺相比，它準(zhǔn)確率高且無創(chuàng)?，F(xiàn)在，全國每年 有100萬以上的孕婦選擇無創(chuàng)唐篩。它的終端價格是 2000元，基本為人們所接受。目前，人和未來與三甲醫(yī)院臨床疾病和腫瘤相關(guān) 科室、健康體檢和健康管理機(jī)構(gòu)以及保險公司合作， 開發(fā)相應(yīng)的檢測產(chǎn)品。不過，基因技術(shù)要在臨床的各 種應(yīng)用中得到普及，需要成本的進(jìn)一步下降。宋卓透露，除了后端的分析計算成本外，前端通過基因測序儀生成數(shù)據(jù)的價格目前仍比較昂貴。如果 前端測序價格能進(jìn)一步降低，就會催生出更多數(shù)