C++-多線程編程總結(jié)-實(shí)例講解

C++多線程編程總結(jié)在開發(fā)C++程序時(shí)，一般在吞吐量、并發(fā)、實(shí)時(shí)性上有較高的要求。設(shè)計(jì)C++程序時(shí)，總結(jié)起來可以從如下幾點(diǎn)提高效率：l并發(fā)l異步l緩存下面將我平常工作中遇到一些問題例舉一二，其設(shè)計(jì)思想無非以上三點(diǎn)。1任務(wù)隊(duì)列1.1以生產(chǎn)者-消費(fèi)者模型設(shè)計(jì)任務(wù)隊(duì)列生產(chǎn)者-消費(fèi)者模型是人們非常熟悉的模型，比如在某個(gè)服務(wù)器程序中，當(dāng)User數(shù)據(jù)被邏輯模塊修改后，就產(chǎn)生一個(gè)更新數(shù)據(jù)庫的任務(wù)(produce)，投遞給IO模塊任務(wù)隊(duì)列，IO模塊從任務(wù)隊(duì)列中取出任務(wù)執(zhí)行sql操作(consume)。設(shè)計(jì)通用的任務(wù)隊(duì)列，示例代碼如下：詳細(xì)實(shí)現(xiàn)可參見：ffown.googlecode./svn/trunk/fflib/include/detail/taskqueueimpl.h?voidtask_queue_t::produce(consttask_t&task_)(lock_guard_tlock(m_mutex);if(m_tasklist->empty()){//!條件滿足喚醒等待線程m_cond.signal();}m_tasklist->push_back(task_);}inttask_queue_t::comsume(task_t&task_)(lock_guard_tlock(m_mutex);while(m_tasklist->empty())//!當(dāng)沒有作業(yè)時(shí)，就等待直到條件滿足被喚巴(if(false=二m_flag)(return-1;}m_cond.wait();}task_=m_tasklist->front();m_tasklist->pop_front();return0;}1.2任務(wù)隊(duì)列使用技巧IO與邏輯分離比如網(wǎng)絡(luò)游戲服務(wù)器程序中，網(wǎng)絡(luò)模塊收到消息包，投遞給邏輯層后立即返回，繼續(xù)接受下一個(gè)消息包。邏輯線程在一個(gè)沒有io操作的環(huán)境下運(yùn)行，以保障實(shí)時(shí)性。示例：?voidhandle_xx_msg(longuid,constxx_msg_t&msg)(logic_task_queue->post(boost::bind(&servie_t::proces,uid,msg));}注意，此模式下為單任務(wù)隊(duì)列，每個(gè)任務(wù)隊(duì)列單線程。并行流水線上面的只是完成了&和cpu運(yùn)算的并行，而cpu中邏輯操作是串行的。在某些場合，cpu邏輯運(yùn)算部分也可實(shí)現(xiàn)并行，如游戲中用戶A種菜和B種菜兩種操作是完全可以并行的，因?yàn)閮蓚€(gè)操作沒有共享數(shù)據(jù)。最簡單的方式是A、B相關(guān)的操作被分配到不同的任務(wù)隊(duì)列中。示例如下：?voidhandle_xx_msg(longuid,constxx_msg_t&msg)(logic_task_queue_array[uid%sizeof(logic_task_queue_array)]->post(boost::bind(&servie_t::proces,uid,msg))；}注意，此模式下為多任務(wù)隊(duì)列，每個(gè)任務(wù)隊(duì)列單線程。1.2.3連接池與異步回調(diào)比如邏輯Service模塊需要數(shù)據(jù)庫模塊異步載入用戶數(shù)據(jù)，并做后續(xù)處理計(jì)算。而數(shù)據(jù)庫模塊擁有一個(gè)固定連接數(shù)的連接池，當(dāng)執(zhí)行SQL的任務(wù)到來時(shí)，選擇一個(gè)空閑的連接，執(zhí)行SQL，并把SQL通過回調(diào)函數(shù)傳遞給邏輯層。其步驟如下：n預(yù)先分配好線程池，每個(gè)線程創(chuàng)建一個(gè)連接到數(shù)據(jù)庫的連接n為數(shù)據(jù)庫模塊創(chuàng)建一個(gè)任務(wù)隊(duì)列，所有線程都是這個(gè)任務(wù)隊(duì)列的消費(fèi)者n邏輯層想數(shù)據(jù)庫模塊投遞sql執(zhí)行任務(wù)，同時(shí)傳遞一個(gè)回調(diào)函數(shù)來接受sql執(zhí)行結(jié)果示例如下：?voiddb_t:load(longuid_,boost::function<void(user_data_t&)func_)(//!sqlexecute,constructuser_data_tuserfunc_(user)}voidprocess_user_data_loaded(user_data_t&){//!todosomething}db_task_queue->post(boost：：bind(&db_t：load,uid,func))；注意，此模式下為單任務(wù)隊(duì)列，每個(gè)任務(wù)隊(duì)列多線程。日志本文主要講C++多線程編程，日志系統(tǒng)不是為了提高程序效率，但是在程序調(diào)試、運(yùn)行期排錯(cuò)上，日志是無可替代的工具，相信開發(fā)后臺(tái)程序的朋友都會(huì)使用日志。常見的日志使用方式有如下幾種：n流式，如logstream<<"startservietime[%d]"<<time(0)<<"appname[%s]"<<app_string.c_str()<<endl;nPrintf格式如：logtrace(LOG_MODULE,"startservietime[%d]appname[%s]",time(0),app_string.c_str());二者各有優(yōu)缺點(diǎn)，流式是線程安全的，printf格式格式化字符串會(huì)更直接，但缺點(diǎn)是線程不安全，如果把a(bǔ)pp_string.c_str()換成app_string(std::string)，編譯被通過，但是運(yùn)行期會(huì)crash(如果運(yùn)氣好每次都crash，運(yùn)氣不好偶爾會(huì)crash)。我個(gè)人鐘愛printf風(fēng)格，可以做如下改進(jìn)：l增加線程安全，利用C++模板的traits機(jī)制，可以實(shí)現(xiàn)線程安全。示例：?template<typenameARG1>voidlogtrace(constchar*module,constchar*fmt,ARG1arg1){boost::formats(fmt);f%argl；}這樣，除了標(biāo)準(zhǔn)類型+std::string傳入其他類型將編譯不能通過。這里只列舉了一個(gè)參數(shù)的例子，可以重載該版本支持更多參數(shù)，如果你愿意，可以支持9個(gè)參數(shù)或更多。l為日志增加顏色，在printf中加入控制字符，可以再屏幕終端上顯示顏色，Linux下示例：printf("\033[32；49；1m[DONE]\033[39；49；0m")更多顏色方案參見：hi.baidu./jiemnij/blog/item/d95df8c28ac2815cb219a80e.htmll每個(gè)線程啟動(dòng)時(shí)，都應(yīng)該用日志打印該線程負(fù)責(zé)什么功能。這樣，程序跑起來的時(shí)候通過top-H-ppid可以得知那個(gè)功能使用cpu的多少。實(shí)際上，我的每行日志都會(huì)打印線程id，此線程id非pthread_id，而其實(shí)是線程對(duì)應(yīng)的系統(tǒng)分配的進(jìn)程id號(hào)。性能監(jiān)控盡管已經(jīng)有很多工具可以分析C++程序運(yùn)行性能，但是其大部分還是運(yùn)行在程序debug階段。我們需要一種手段在debug和release階段都能監(jiān)控程序，一方面得知程序瓶頸之所在，一方面盡早發(fā)現(xiàn)哪些組件在運(yùn)行期出現(xiàn)了異常。通常都是使用gettimeofday來計(jì)算某個(gè)函數(shù)開銷，可以精確到微妙?？梢岳肅++的確定性析構(gòu)，非常方便的實(shí)現(xiàn)獲取函數(shù)開銷的小工具，示例如下：?structprofiler(profiler(constchar*func_name)(gettimeofday(&tv,NULL)；}~profiler()(structtimevaltv2；gettimeofday(&tv2,NULL)；longcost=(tv.tv_sec-tv.tv_sec)*1000000+(tv.tv_usec-tv.tv_usec)；//!posttosomemanager}structtimevaltv；};#definePROFILER()profiler(__FUNCTION__)Cost應(yīng)該被投遞到性能統(tǒng)計(jì)管理器中，該管理器定時(shí)講性能統(tǒng)計(jì)數(shù)據(jù)輸出到文件中。4Lambda編程使用foreach代替迭代器很多編程語言已經(jīng)建了foreach，但是c++還沒有。所以建議自己在需要遍歷容器的地方編寫foreach函數(shù)。習(xí)慣函數(shù)式編程的人應(yīng)該會(huì)非常鐘情使用foreach，使用foreach的好處多多少少有些，如：.cnblogs./chsword/archive/2007/09/28/910011.htm1但主要是編程哲學(xué)上層面的。示例：?voiduser_mgr_t：：foreach(boost：：function<void(user_t&)>func_)(for(iteratorit=m_users.begin()；it!=m_users.end()++it)(func_(it->second)；}}比如要實(shí)現(xiàn)dump接口，不需要重寫關(guān)于迭代器的代碼voiduser_mgr_t:dump()(structlambda(staticvoidprint(user_t&user)(//!print(tostring(user);}};this->foreach(lambda::print);}實(shí)際上，上面的代碼變通的生成了匿名函數(shù)，如果是c++11標(biāo)準(zhǔn)的編譯器，本可以寫的更簡潔一些：this->foreach([](user_t&user){});但是我大部分時(shí)間編寫的程序都要運(yùn)行在centos上，你知道嗎它的gcc版本是gcc4.1.2，所以大部分時(shí)間我都是用變通的方式使用lambda函數(shù)。Lambda函數(shù)結(jié)合任務(wù)隊(duì)列實(shí)現(xiàn)異步常見的使用任務(wù)隊(duì)列實(shí)現(xiàn)異步的代碼如下：?voidservice_t:async_update_user(longuid)(task_queue->post(boost::bind(&service_t:sync_update_user_impl,this,uid));}voidservice_t:sync_update_user_impl(longuid)(user_t&user=get_user(uid);user.update()}這樣做的缺點(diǎn)是，一個(gè)接口要響應(yīng)的寫兩遍函數(shù)，如果一個(gè)函數(shù)的參數(shù)變了，那么另一個(gè)參數(shù)也要跟著改動(dòng)。并且代碼也不是很美觀。使用lambda可以讓異步看起來更直觀，仿佛就是在接口函數(shù)中立刻完成一樣。示例代碼：?voidservice_t:async_update_user(longuid)(structlambda(staticvoidupdate_user_impl(service_t*servie,longuid)(user_t&user=servie->get_user(uid);user.update();}};task_queue->post(boost::bind(&lambda:update_user_impl,this,uid));}這樣當(dāng)要改動(dòng)該接口時(shí)，直接在該接口修改代碼，非常直觀。5.奇技淫巧利用shared_ptr實(shí)現(xiàn)map/reduceMap/reduce的語義是先將任務(wù)劃分為多個(gè)任務(wù)，投遞到多個(gè)worker中并發(fā)執(zhí)行，其產(chǎn)生的結(jié)果經(jīng)reduce匯總后生成最終的結(jié)果。Shared_ptr的語義是什么呢？當(dāng)最后一個(gè)shared_ptr析構(gòu)時(shí)，將會(huì)調(diào)用托管對(duì)象的析構(gòu)函數(shù)。語義和map/reduce過程非常相近。我們只需自己實(shí)現(xiàn)講請(qǐng)求劃分多個(gè)任務(wù)即可。示例過程如下：l定義請(qǐng)求托管對(duì)象，加入我們需要在10個(gè)文件中搜索“ohnice”字符串出現(xiàn)的次數(shù)，定義托管結(jié)構(gòu)體如下：?structreducer(voidset_result(intindex,longresult)(m_result[index]=result;}~reducer(){longtotal=0;for(inti=0;i<sizeof(m_result);++i)(total+=m_result[i];}//!posttotaltosomewhere}longm_result[10];};l定義執(zhí)行任務(wù)的worker?voidworker_t:exe(intindex_,shared_ptr<reducer>ret)(ret->set_result(index,100);}l將任務(wù)分割后，投遞給不同的worker?shared_ptr<reducer>ret(newreducer());for(inti=0;i<10;++i)(task_queue[i]->post(boost::bind(&worker_t:exe,i,ret));}C++多線程編程簡單實(shí)例分類：Windows2012-04-1716:433698人閱讀評(píng)論(6)收藏舉報(bào)C++本身并沒有提供任何多線程機(jī)制，但是在windows下，我們可以調(diào)用SDKWin32api來編寫多線程的程序，下面就此簡單的講一下：創(chuàng)建線程的函數(shù)HANDLECreateThread(LPSECURITY_ATTRIBUTESlpThreadAttributes,//SDSIZE_TdwStackSize,//initialstacksizeLPTHREAD_START_ROUTINElpStartAddress,//threadfunctionLPVOIDlpParameter,//threadargumentDWORDdwCreationFlags,//creationoptionLPDWORDlpThreadId//threadidentifier);在這里我們只用到了第三個(gè)和第四個(gè)參數(shù)，第三個(gè)參數(shù)傳遞了一個(gè)函數(shù)的地址，也是我們要指定的新的線程，第四個(gè)參數(shù)是傳給新線程的參數(shù)指針。eg1:#include<iostream>#include<windows.h>usingnamespacestd;DWORDWINAPIFun(LPVOIDlpParamter){while(1){cout<<"Fundisplay!"<<endl;}}intmain(){HANDLEhThread=CreateThread(NULL,0,Fun,NULL,0,NULL);CloseHandle(hThread);while(1){cout<<"maindisplay!"<<endl;}return0;我們可以看到主線程(main函數(shù))和我們自己的線程(Fun函數(shù))是隨機(jī)地交替執(zhí)行的，但是兩個(gè)線程輸出太快，使我們很難看清楚，我們可以使用函數(shù)VOIDSleep(DWORDdwMilliseconds//sleeptime);來暫停線程的執(zhí)行，dwMilliseconds表示千分之一秒，所以Sleep(1000);表示暫停1秒eg2:#include<iostream>#include<windows.h>usingnamespacestd;DWORDWINAPIFun(LPVOIDlpParamter){while(1){cout<<"Fundisplay!"<<endl;Sleep(1000);}}intmain(){HANDLEhThread=CreateThread(NULL,0,Fun,NULL,0,NULL);CloseHandle(hThread);while(1){cout<<"maindisplay!"<<endl;Sleep(2000);}return0;}執(zhí)行上述代碼，這次我們可以清楚地看到在屏幕上交錯(cuò)地輸出Fundisplay!和maindisplay!，我們發(fā)現(xiàn)這兩個(gè)函數(shù)確實(shí)是并發(fā)運(yùn)行的，細(xì)心的讀者可能會(huì)發(fā)現(xiàn)我們的程序是每當(dāng)Fun函數(shù)和main函數(shù)輸出容后就會(huì)輸出換行，但是我們看到的確是有的時(shí)候程序輸出換行了，有的時(shí)候確沒有輸出換行，甚至有的時(shí)候是輸出兩個(gè)換行。這是怎么回事？下面我們把程序改一下看看：eg3：#include<iostream>#include<windows.h>usingnamespacestd；DWORDWINAPIFun(LPVOIDlpParamter){while(1){cout<<"Fundisplay!\n";Sleep(1000);}}intmain(){HANDLEhThread=CreateThread(NULL,0,Fun,NULL,0,NULL);CloseHandle(hThread);while(1){cout<<"maindisplay!\n";Sleep(2000);}return0;}我們?cè)俅芜\(yùn)行這個(gè)程序，我們發(fā)現(xiàn)這時(shí)候正如我們預(yù)期的，正確地輸出了我們想要輸出的容并且格式也是正確的。下面我就來講一下此前我們的程序?yàn)槭裁礇]有正確的運(yùn)行。多線程的程序時(shí)并發(fā)地運(yùn)行的，多個(gè)線程之間如果公用了一些資源的話，我們并不能保證這些資源都能正確地被利用，因?yàn)檫@個(gè)時(shí)候資源并不是獨(dú)占的，舉個(gè)例子吧：eg4:加入有一個(gè)資源inta=3有一個(gè)線程函數(shù)selfAdd()該函數(shù)是使a+=a;又有一個(gè)線程函數(shù)selfSub()該函數(shù)是使a-=a;我們假設(shè)上面兩個(gè)線程正在并發(fā)欲行，如果selfAdd在執(zhí)行的時(shí)候，我們的目的是想讓3編程6,但此時(shí)selfSub得到了運(yùn)行的機(jī)會(huì)，所以a變成了0，等到selfAdd的到執(zhí)行的機(jī)會(huì)后，a+=a，但是此時(shí)a確是0，并沒有如我們所預(yù)期的那樣的到6,我們回到前面EG2,在這里，我們可以把屏幕看成是一個(gè)資源，這個(gè)資源被兩個(gè)線程所共用，加入當(dāng)Fun函數(shù)輸出7Fundisplay!后，將要輸出endl(也就是清空緩沖區(qū)并換行，在這里我們可以不用理解什么事緩沖區(qū))，但此時(shí)main函數(shù)確得到了運(yùn)行的機(jī)會(huì)，此時(shí)Fun函數(shù)還沒有來得及輸出換行就把CPU讓給了main函數(shù)，而這時(shí)main函數(shù)就直接在Fundisplay!后輸出maindisplay!，至于為什么有的時(shí)候程序會(huì)連續(xù)輸出兩個(gè)換行，讀者可以采用同樣的分析方法來分析，在這里我就不多講了，留給讀者自己思考了。那么為什么我們把eg2改成eg3就可以正確的運(yùn)行呢？原因在于，多個(gè)線程雖然是并發(fā)運(yùn)行的，但是有一些操作是必須一氣呵成的，不允許打斷的，所以我們看到eg2和eg3的運(yùn)行結(jié)果是不一樣的。那么，是不是eg2的代碼我們就不可以讓它正確的運(yùn)行呢？答案當(dāng)然是否，下面我就來講一下怎樣才能讓eg2的代碼可以正確運(yùn)行。這涉及到多線程的同步問題。對(duì)于一個(gè)資源被多個(gè)線程共用會(huì)導(dǎo)致程序的混亂，我們的解決方法是只允許一個(gè)線程擁有對(duì)共享資源的獨(dú)占，這樣就能夠解決上面的問題了。HANDLECreateMutex(LPSECURITY_ATTRIBUTESlpMutexAttributes,//SDBOOLbInitialOwner,//initialownerLPCTSTRlpName//objectname);該函數(shù)用于創(chuàng)造一個(gè)獨(dú)占資源，第一個(gè)參數(shù)我們沒有使用，可以設(shè)為NULL，第二個(gè)參數(shù)指定該資源初始是否歸屬創(chuàng)建它的進(jìn)程，第三個(gè)參數(shù)指定資源的名稱。HANDLEhMutex=CreateMutex(NULL,TRUE,"screen");這條語句創(chuàng)造了一個(gè)名為screen并且歸屬于創(chuàng)建它的進(jìn)程的資源BOOLReleaseMutex(HANDLEh