C++多線程編程總結(jié)-實(shí)例講解

C++多線程編程總結(jié)

在開發(fā)C++程序時(shí)，一般在吞吐量、并發(fā)、實(shí)時(shí)性上有較高的要求。設(shè)計(jì)C++程序時(shí)，總結(jié)起來可以從如下幾點(diǎn)提高效率：l

并發(fā)l

異步l

緩存下面將我平常工作中遇到一些問題例舉一二，其設(shè)計(jì)思想無非以上三點(diǎn)。1任務(wù)隊(duì)列1.1

以生產(chǎn)者-消費(fèi)者模型設(shè)計(jì)任務(wù)隊(duì)列生產(chǎn)者-消費(fèi)者模型是人們非常熟悉的模型，比如在某個(gè)服務(wù)器程序中，當(dāng)User數(shù)據(jù)被邏輯模塊修改后，就產(chǎn)生一個(gè)更新數(shù)據(jù)庫的任務(wù)（produce），投遞給IO模塊任務(wù)隊(duì)列，IO模塊從任務(wù)隊(duì)列中取出任務(wù)執(zhí)行sql操作（consume）。設(shè)計(jì)通用的任務(wù)隊(duì)列，示例代碼如下：詳細(xì)實(shí)現(xiàn)可參見：ffown.googlecode./svn/trunk/fflib/include/detail/task_queue_impl.h?void

task_queue_t::produce(const

task_t&task_){

lock_guard_tlock(m_mutex);

if

(m_tasklist->empty()){//!條件滿足喚醒等待線程

m_cond.signal();

}

m_tasklist->push_back(task_);

}int

task_queue_t::comsume(task_t&task_){

lock_guard_tlock(m_mutex);

while

(m_tasklist->empty())//!當(dāng)沒有作業(yè)時(shí)，就等待直到條件滿足被喚醒{

if

(false

==m_flag){

return

-1;

}

m_cond.wait();

}

task_=m_tasklist->front();

m_tasklist->pop_front();

return

0;}1.2

任務(wù)隊(duì)列使用技巧1.2.1IO與邏輯分離比如網(wǎng)絡(luò)游戲服務(wù)器程序中，網(wǎng)絡(luò)模塊收到消息包，投遞給邏輯層后立即返回，繼續(xù)接受下一個(gè)消息包。邏輯線程在一個(gè)沒有io操作的環(huán)境下運(yùn)行，以保障實(shí)時(shí)性。示例：?void

handle_xx_msg(long

uid,const

xx_msg_t&msg){

logic_task_queue->post(boost::bind(&servie_t::proces,uid,msg));}注意，此模式下為單任務(wù)隊(duì)列，每個(gè)任務(wù)隊(duì)列單線程。1.2.2

并行流水線

上面的只是完成了io和cpu運(yùn)算的并行，而cpu中邏輯操作是串行的。在某些場合，cpu邏輯運(yùn)算部分也可實(shí)現(xiàn)并行，如游戲中用戶A種菜和B種菜兩種操作是完全可以并行的，因?yàn)閮蓚€(gè)操作沒有共享數(shù)據(jù)。最簡單的方式是A、B相關(guān)的操作被分配到不同的任務(wù)隊(duì)列中。示例如下：

?void

handle_xx_msg(long

uid,const

xx_msg_t&msg){logic_task_queue_array[uid%sizeof(logic_task_queue_array)]->post(boost::bind(&servie_t::proces,uid,msg));}注意，此模式下為多任務(wù)隊(duì)列，每個(gè)任務(wù)隊(duì)列單線程。1.2.3連接池與異步回調(diào)比如邏輯Service模塊需要數(shù)據(jù)庫模塊異步載入用戶數(shù)據(jù)，并做后續(xù)處理計(jì)算。而數(shù)據(jù)庫模塊擁有一個(gè)固定連接數(shù)的連接池，當(dāng)執(zhí)行SQL的任務(wù)到來時(shí)，選擇一個(gè)空閑的連接，執(zhí)行SQL，并把SQL通過回調(diào)函數(shù)傳遞給邏輯層。其步驟如下：n

預(yù)先分配好線程池，每個(gè)線程創(chuàng)建一個(gè)連接到數(shù)據(jù)庫的連接n

為數(shù)據(jù)庫模塊創(chuàng)建一個(gè)任務(wù)隊(duì)列，所有線程都是這個(gè)任務(wù)隊(duì)列的消費(fèi)者n

邏輯層想數(shù)據(jù)庫模塊投遞sql執(zhí)行任務(wù)，同時(shí)傳遞一個(gè)回調(diào)函數(shù)來接受sql執(zhí)行結(jié)果示例如下：?void

db_t:load(long

uid_,boost::function<void

(user_data_t&)func_){

//!sqlexecute,constructuser_data_tuser

func_(user)}void

process_user_data_loaded(user_data_t&){

//!todosomething}db_task_queue->post(boost::bind(&db_t:load,uid,func));

注意，此模式下為單任務(wù)隊(duì)列，每個(gè)任務(wù)隊(duì)列多線程。2.日志

本文主要講C++多線程編程，日志系統(tǒng)不是為了提高程序效率，但是在程序調(diào)試、運(yùn)行期排錯(cuò)上，日志是無可替代的工具，相信開發(fā)后臺程序的朋友都會使用日志。常見的日志使用方式有如下幾種：n

流式，如logstream<<"startservietime[%d]"<<time(0)<<"appname[%s]"<<app_string.c_str()<<endl;n

Printf格式如：logtrace(LOG_MODULE,"startservietime[%d]appname[%s]",time(0),app_string.c_str());二者各有優(yōu)缺點(diǎn)，流式是線程安全的，printf格式格式化字符串會更直接，但缺點(diǎn)是線程不安全，如果把a(bǔ)pp_string.c_str()換成app_string（std::string），編譯被通過，但是運(yùn)行期會crash（如果運(yùn)氣好每次都crash，運(yùn)氣不好偶爾會crash）。我個(gè)人鐘愛printf風(fēng)格，可以做如下改進(jìn)：l

增加線程安全，利用C++模板的traits機(jī)制，可以實(shí)現(xiàn)線程安全。示例：?template<typename

ARG1>void

logtrace(const

char*module,const

char*fmt,ARG1arg1){

boost::formats(fmt);

f%arg1;}這樣，除了標(biāo)準(zhǔn)類型+std::string傳入其他類型將編譯不能通過。這里只列舉了一個(gè)參數(shù)的例子，可以重載該版本支持更多參數(shù)，如果你愿意，可以支持9個(gè)參數(shù)或更多。l

為日志增加顏色，在printf中加入控制字符，可以再屏幕終端上顯示顏色，Linux下示例：printf("\033[32;49;1m[DONE]\033[39;49;0m")

更多顏色方案參見：

hi.baidu./jiemnij/blog/item/d95df8c28ac2815cb219a80e.htmll

每個(gè)線程啟動時(shí)，都應(yīng)該用日志打印該線程負(fù)責(zé)什么功能。這樣，程序跑起來的時(shí)候通過top–H–ppid可以得知那個(gè)功能使用cpu的多少。實(shí)際上，我的每行日志都會打印線程id，此線程id非pthread_id，而其實(shí)是線程對應(yīng)的系統(tǒng)分配的進(jìn)程id號。3.性能監(jiān)控

盡管已經(jīng)有很多工具可以分析c++程序運(yùn)行性能，但是其大部分還是運(yùn)行在程序debug階段。我們需要一種手段在debug和release階段都能監(jiān)控程序，一方面得知程序瓶頸之所在，一方面盡早發(fā)現(xiàn)哪些組件在運(yùn)行期出現(xiàn)了異常。

通常都是使用gettimeofday來計(jì)算某個(gè)函數(shù)開銷，可以精確到微妙?？梢岳肅++的確定性析構(gòu)，非常方便的實(shí)現(xiàn)獲取函數(shù)開銷的小工具,示例如下：?struct

profiler{

profiler(const

char*func_name){

gettimeofday(&tv,NULL);

}

~profiler(){

struct

timevaltv2;

gettimeofday(&tv2,NULL);

long

cost=(tv.tv_sec-tv.tv_sec)*1000000+(tv.tv_usec-tv.tv_usec);

//!posttosomemanager

}

struct

timevaltv;};#definePROFILER()profiler(__FUNCTION__)

Cost應(yīng)該被投遞到性能統(tǒng)計(jì)管理器中，該管理器定時(shí)講性能統(tǒng)計(jì)數(shù)據(jù)輸出到文件中。4Lambda編程使用foreach代替迭代器

很多編程語言已經(jīng)建了foreach，但是c++還沒有。所以建議自己在需要遍歷容器的地方編寫foreach函數(shù)。習(xí)慣函數(shù)式編程的人應(yīng)該會非常鐘情使用foreach，使用foreach的好處多多少少有些，如：

.cnblogs./chsword/archive/2007/09/28/910011.html

但主要是編程哲學(xué)上層面的。示例：?void

user_mgr_t::foreach(boost::function<void

(user_t&)>func_){

for

(iteratorit=m_users.begin();it!=m_users.end()++it){

func_(it->second);

}}比如要實(shí)現(xiàn)dump接口，不需要重寫關(guān)于迭代器的代碼?void

user_mgr_t:dump(){

struct

lambda{

static

void

print(user_t&user){

//!print(tostring(user);

}

};

this->foreach(lambda::print);}實(shí)際上，上面的代碼變通的生成了匿名函數(shù)，如果是c++11標(biāo)準(zhǔn)的編譯器，本可以寫的更簡潔一些：this->foreach([](user_t&user){});但是我大部分時(shí)間編寫的程序都要運(yùn)行在centos上，你知道嗎它的gcc版本是gcc4.1.2，所以大部分時(shí)間我都是用變通的方式使用lambda函數(shù)。Lambda函數(shù)結(jié)合任務(wù)隊(duì)列實(shí)現(xiàn)異步常見的使用任務(wù)隊(duì)列實(shí)現(xiàn)異步的代碼如下：?void

service_t:async_update_user(long

uid){

task_queue->post(boost::bind(&service_t:sync_update_user_impl,this,uid));}void

service_t:sync_update_user_impl(long

uid){

user_t&user=get_user(uid);

user.update()}這樣做的缺點(diǎn)是，一個(gè)接口要響應(yīng)的寫兩遍函數(shù)，如果一個(gè)函數(shù)的參數(shù)變了，那么另一個(gè)參數(shù)也要跟著改動。并且代碼也不是很美觀。使用lambda可以讓異步看起來更直觀，仿佛就是在接口函數(shù)中立刻完成一樣。示例代碼：?void

service_t:async_update_user(long

uid){

struct

lambda{

static

void

update_user_impl(service_t*servie,long

uid){

user_t&user=servie->get_user(uid);

user.update();

}

};

task_queue->post(boost::bind(&lambda:update_user_impl,this,uid));}這樣當(dāng)要改動該接口時(shí)，直接在該接口修改代碼，非常直觀。5.奇技淫巧利用shared_ptr實(shí)現(xiàn)map/reduce

Map/reduce的語義是先將任務(wù)劃分為多個(gè)任務(wù)，投遞到多個(gè)worker中并發(fā)執(zhí)行，其產(chǎn)生的結(jié)果經(jīng)reduce匯總后生成最終的結(jié)果。Shared_ptr的語義是什么呢？當(dāng)最后一個(gè)shared_ptr析構(gòu)時(shí)，將會調(diào)用托管對象的析構(gòu)函數(shù)。語義和map/reduce過程非常相近。我們只需自己實(shí)現(xiàn)講請求劃分多個(gè)任務(wù)即可。示例過程如下：l

定義請求托管對象，加入我們需要在10個(gè)文件中搜索“ohnice”字符串出現(xiàn)的次數(shù)，定義托管結(jié)構(gòu)體如下：?struct

reducer{

void

set_result(int

index,long

result){

m_result[index]=result;

}

~reducer(){

long

total=0;

for

(int

i=0;i<sizeof(m_result);++i){

total+=m_result[i];

}

//!posttotaltosomewhere

}

long

m_result[10];};l

定義執(zhí)行任務(wù)的worker?void

worker_t:exe(int

index_,shared_ptr<reducer>ret){ret->set_result(index,100);}l

將任務(wù)分割后，投遞給不同的worker?shared_ptr<reducer>ret(new

reducer());for

(int

i=0;i<10;++i){

task_queue[i]->post(boost::bind(&worker_t:exe,i,ret));}

C++多線程編程簡單實(shí)例分類：

Windows2012-04-1716:43

3698人閱讀

評論(6)

\o"收藏"收藏

\o"舉報(bào)"舉報(bào)C++本身并沒有提供任何多線程機(jī)制，但是在windows下，我們可以調(diào)用SDKwin32api來編寫多線程的程序，下面就此簡單的講一下：

創(chuàng)建線程的函數(shù)HANDLECreateThread(

LPSECURITY_ATTRIBUTESlpThreadAttributes,//SD

SIZE_TdwStackSize,

//initialstacksize

LPTHREAD_START_ROUTINElpStartAddress,

//threadfunction

LPVOIDlpParameter,

//threadargument

DWORDdwCreationFlags,

//creationoption

LPDWORDlpThreadId

//threadidentifier);在這里我們只用到了第三個(gè)和第四個(gè)參數(shù)，第三個(gè)參數(shù)傳遞了一個(gè)函數(shù)的地址，也是我們要指定的新的線程，第四個(gè)參數(shù)是傳給新線程的參數(shù)指針。eg1:

#include<iostream>#include<windows.h>usingnamespacestd;

DWORDWINAPIFun(LPVOIDlpParamter){

while(1){cout<<"Fundisplay!"<<endl;}}

intmain(){

HANDLEhThread=CreateThread(NULL,0,Fun,NULL,0,NULL);

CloseHandle(hThread);

while(1){cout<<"maindisplay!"<<endl;

}

return0;}

我們可以看到主線程（main函數(shù)）和我們自己的線程（Fun函數(shù)）是隨機(jī)地交替執(zhí)行的，但是兩個(gè)線程輸出太快，使我們很難看清楚，我們可以使用函數(shù)VOIDSleep(

DWORDdwMilliseconds

//sleeptime);來暫停線程的執(zhí)行，dwMilliseconds表示千分之一秒，所以Sleep(1000);表示暫停1秒

eg2:

#include<iostream>#include<windows.h>usingnamespacestd;

DWORDWINAPIFun(LPVOIDlpParamter){

while(1){cout<<"Fundisplay!"<<endl;Sleep(1000);}}

intmain(){

HANDLEhThread=CreateThread(NULL,0,Fun,NULL,0,NULL);

CloseHandle(hThread);

while(1){cout<<"maindisplay!"<<endl;

Sleep(2000);}

return0;}執(zhí)行上述代碼，這次我們可以清楚地看到在屏幕上交錯(cuò)地輸出Fundisplay!和maindisplay!，我們發(fā)現(xiàn)這兩個(gè)函數(shù)確實(shí)是并發(fā)運(yùn)行的，細(xì)心的讀者可能會發(fā)現(xiàn)我們的程序是每當(dāng)Fun函數(shù)和main函數(shù)輸出容后就會輸出換行，但是我們看到的確是有的時(shí)候程序輸出換行了，有的時(shí)候確沒有輸出換行，甚至有的時(shí)候是輸出兩個(gè)換行。這是怎么回事？下面我們把程序改一下看看：eg3:

#include<iostream>#include<windows.h>usingnamespacestd;

DWORDWINAPIFun(LPVOIDlpParamter){

while(1){cout<<"Fundisplay!\n";Sleep(1000);}}

intmain(){

HANDLEhThread=CreateThread(NULL,0,Fun,NULL,0,NULL);

CloseHandle(hThread);

while(1){cout<<"maindisplay!\n";

Sleep(2000);}

return0;}我們再次運(yùn)行這個(gè)程序，我們發(fā)現(xiàn)這時(shí)候正如我們預(yù)期的，正確地輸出了我們想要輸出的容并且格式也是正確的。下面我就來講一下此前我們的程序?yàn)槭裁礇]有正確的運(yùn)行。多線程的程序時(shí)并發(fā)地運(yùn)行的，多個(gè)線程之間如果公用了一些資源的話，我們并不能保證這些資源都能正確地被利用，因?yàn)檫@個(gè)時(shí)候資源并不是獨(dú)占的，舉個(gè)例子吧：eg4:加入有一個(gè)資源inta=3有一個(gè)線程函數(shù)selfAdd()該函數(shù)是使a+=a;又有一個(gè)線程函數(shù)selfSub()該函數(shù)是使a-=a;

我們假設(shè)上面兩個(gè)線程正在并發(fā)欲行，如果selfAdd在執(zhí)行的時(shí)候，我們的目的是想讓a編程6，但此時(shí)selfSub得到了運(yùn)行的機(jī)會，所以a變成了0，等到selfAdd的到執(zhí)行的機(jī)會后，a+=a，但是此時(shí)a確是0，并沒有如我們所預(yù)期的那樣的到6，我們回到前面EG2，在這里，我們可以把屏幕看成是一個(gè)資源，這個(gè)資源被兩個(gè)線程所共用，加入當(dāng)Fun函數(shù)輸出了Fundisplay!后，將要輸出endl（也就是清空緩沖區(qū)并換行，在這里我們可以不用理解什么事緩沖區(qū)），但此時(shí)main函數(shù)確得到了運(yùn)行的機(jī)會，此時(shí)Fun函數(shù)還沒有來得及輸出換行就把CPU讓給了main函數(shù)，而這時(shí)main函數(shù)就直接在Fundisplay!后輸出maindisplay!，至于為什么有的時(shí)候程序會連續(xù)輸出兩個(gè)換行，讀者可以采用同樣的分析方法來分析，在這里我就不多講了，留給讀者自己思考了。那么為什么我們把eg2改成eg3就可以正確的運(yùn)行呢？原因在于，多個(gè)線程雖然是并發(fā)運(yùn)行的，但是有一些操作是必須一氣呵成的，不允許打斷的，所以我們看到eg2和eg3的運(yùn)行結(jié)果是不一樣的。

那么，是不是eg2的代碼我們就不可以讓它正確的運(yùn)行呢？答案當(dāng)然是否，下面我就來講一下怎樣才能讓eg2的代碼可以正確運(yùn)行。這涉及到多線程的同步問題。對于一個(gè)資源被多個(gè)線程共用會導(dǎo)致程序的混亂，我們的解決方法是只允許一個(gè)線程擁有對共享資源的獨(dú)占，這樣就能夠解決上面的問題了。HANDLECreateMutex(

LPSECURITY_ATTRIBUTESlpMutexAttributes,

//SD

BOOLbInitialOwner,

//initialowner

LPCTSTRlpName

//objectname

);該函數(shù)用于創(chuàng)造一個(gè)獨(dú)占資源，第一個(gè)參數(shù)我們沒有使用，可以設(shè)為NULL，第二個(gè)參數(shù)指定該資源初始是否歸屬創(chuàng)建它的進(jìn)程，第三個(gè)參數(shù)指定資源的名稱。HANDLEhMutex=CreateMutex(NULL,TRUE,"screen");

這條語句創(chuàng)造了一個(gè)名為screen并且歸屬于創(chuàng)建它的進(jìn)程的資源

BOOLReleaseMutex(

HANDLEhMutex

//handletomutex

);該函數(shù)用于釋放一個(gè)獨(dú)占資源，進(jìn)程一旦釋放該資源，該資