2-6-Golang 在 Baidu-FrontEnd 的應用-陶春華

Golang在BFE的應用taochunhua@2016年4月個人簡介?陶春華，運維部，BaiduFrontEnd團隊–2010年，天津大學，計算機專業(yè)博士?2013年7月，加入百度–使用GO開發(fā)的項目?百度GOLANG委員會成員?后臺程序開發(fā)的需求和難點–C,PythonandGo對比?采用Go語言重構BFE路線后臺程序開發(fā)的需求(1)?性能?并發(fā)性–Process,Thread,Event(編程難度)?開發(fā)效率–語言的描述效率：代碼量–語言的簡潔、易用后臺程序開發(fā)的需求(2)?大型程序的組織?可測試能力–單測，覆蓋度測量?錯誤檢查能力–程序異常的troubleshooting后臺程序開發(fā)的需求(3)?上線和運維–對運行環(huán)境的依賴–對庫(動態(tài)庫)的依賴后臺程序編程的難點–C程序中很大比例的Bug和內容有關?分布式/高并發(fā)的處理遍掌握–CPU資源的調度：Process/Thread/Event–數(shù)據(jù)的封裝和互斥訪問；–并行運算邏輯的同步CvsPython(1)?性能：–相差10倍以上–Python:解釋執(zhí)行，動態(tài)類型?并發(fā)性能–Python:自己實現(xiàn)的thread,只能使用一個CPU?開發(fā)效率–相差5-10倍–內存的處理是一個難點–dict/map,listCvsPython(2)?大型程序的組織?可測試能力?錯誤檢查能力調試成本hon?無編譯，可用pylint做檢查，易出低級錯誤?錯誤，exceptionCvsPython(3)?上線和運維–Python:需要python運行環(huán)境，及依賴的庫Golang(1)?性能?并發(fā)性–Goroutine:屏蔽底層的機制，充分利用cpu資源–多線程模型：容易思考?開發(fā)效率–描述能力和python接近–較豐富的庫(系統(tǒng)庫，第三方庫)Golang(2)?大型程序的組織–數(shù)據(jù)訪問的限制(首字母大小寫的區(qū)別)?可測試能力–內置的單測和覆蓋檢查工具，易于做TDD?錯誤檢查能力–嚴格的編譯階段檢查：強類型，文件包含，…Golang(3)?上線和運維–可編譯為獨立可執(zhí)行程序rontEnd?百度統(tǒng)一前端–七層流量接入平臺接入與轉發(fā)流量調度數(shù)據(jù)分析ront接入與轉發(fā)流量調度數(shù)據(jù)分析?主要服務?防攻擊、流量調度、數(shù)據(jù)分析?業(yè)務現(xiàn)狀?覆蓋大部分重要產品?日請求量千億級別為什么重寫B(tài)FE?現(xiàn)存問題?事件驅動的編程模型：編碼和調試難度大?C語言本身的難度和開發(fā)效率–配置管理方式落后–變更和穩(wěn)定性的矛盾技術選型：GovsNginx?學習成本?開發(fā)成本–并發(fā)編程模型：同步(Go)vs異步(Nginx)?性能BFE圍內補GC化布式架構GC帶來的問題避免的延遲(幾十到幾百ms).經驗公式：10萬對象1ms掃描時間.GO-BFE的實時需求.實測–100萬連接，400msgc延遲GC優(yōu)化思路?Go的gc算法(go1.3)–MarkandSweep：大量時間時間用于掃描對象?常規(guī)手段的核心：減少對象數(shù)–小對象合并成大對象?利用Array來合并一組對象(內部對象計數(shù)為1)Ccgo用–對象復用(對象池)–深度優(yōu)化系統(tǒng)結構和算法?減小對象數(shù)的困境–修改golang網絡庫，重寫基本數(shù)據(jù)結構?不使用讓go管理內存–不能解決問題：大量go對象難以避免！輪轉GC方案本思路進程狀態(tài)技術細節(jié)質上：多個進程監(jiān)聽同一個端口技術細節(jié)務態(tài)待態(tài)圾收集態(tài)?HTTP場景?平均連接上的請求是3個?對gc造成的延遲(幾十ms)不敏感?Stop-The-World(STW)縮短了，決定因素也變了sespentloopingovermallocspans?實際運行，還是有幾十個ms的STW時間–GO-BFE的場景和服務模式，大量的goroutine必然?需要根據(jù)線上運行實際情況來做選型協(xié)議一致性問題要一些方法來驗證GO-BFEGO-BFE MockclientGO-BFE Mockserver協(xié)議一致性TcpcopyonlinequeryRealRealServer?urlencodecaseHETICca