進化博弈論讀書心得

1、進化博弈論讀書報告 汪波1973年，梅拉德·史密斯和普瑞斯將博弈論的思想引入到生物演化的分析中，二人提出了進化穩(wěn)定策略（ESS），隨著1978年， Taylor和Jonker發(fā)現(xiàn)了進化穩(wěn)定策略和復(fù)制動力學(xué)之間的關(guān)系，標(biāo)志著進化博弈理論的誕生，因為與復(fù)制動力學(xué)之間的關(guān)系，進化穩(wěn)定策略也因此成為進化博弈理論最經(jīng)典的概念。1982年，梅拉德·史密斯出版了演化與博弈論，該書揭示動物群體的行為變化的動力學(xué)機制，也因此書他被稱為進化博弈論之父，1995年，Weibull著作了Evolutionary Game Theory,2009年初，Sandholm 出版了Population G

2、ame and Evolutionary Dynamics專著，這篇讀書報告是在看了這三本著作的很少的一部分內(nèi)容之下，理解其中一些淺顯的內(nèi)容后完成的。一、進化穩(wěn)定策略最初的模型進化博弈理論是將博弈論引入到生物學(xué)背景下產(chǎn)生的，當(dāng)生物的特定表現(xiàn)型的適應(yīng)度依賴于群體中的頻率分布時，進化博弈論就是從這個角度來思考生物演化的問題的一種方法，古典博弈中，參與者根據(jù)自利的原則表現(xiàn)出理性行為，但在生物進化的背景下是不合適的，由此，理性原則被群體的動態(tài)性和穩(wěn)定性取代，而自利原則則被達(dá)爾文的適應(yīng)度所取代。在一些重要的假設(shè)下，將會得到博弈的一個新形式解：進化穩(wěn)定策略。它是這樣一個策略，如果整個群體的每個成員都采取這

3、個策略，那么在自然選擇的作用下，不存在一個具有突變特征的策略能夠侵犯這個種群。最初的簡化的模型由梅拉德·史密斯和普瑞斯給出，他和普瑞斯也給出了進化穩(wěn)定策略的數(shù)學(xué)式的描述定義，這一模型的本質(zhì)特征是假設(shè)該群體有無限大的規(guī)模，繁衍以無性生殖的方式進行，競爭只在兩個不存在任何差異的對手間展開即是成對的競爭。生物學(xué)中價值是指兩個動物為了爭奪資源而增加的或者減少的達(dá)爾文適應(yīng)度。故我們用適應(yīng)度作為最后個體的收益的衡量，假想在這個無限的種群中，有兩個策略、，每一個成員都采取這兩個策略之一，且策略的選擇是隨機的，在有競爭前個體的初始適應(yīng)度為，再假設(shè)整個群體中選擇的概率為，、分別表示選擇相應(yīng)策略帶來的適

4、應(yīng)度，而表示個體選擇策略而對手選擇時的收益，其他等表示類同的意義。若每一個個體都參與到競爭當(dāng)中，則有 （1-1） （1-2）穩(wěn)定的策略具有下列性質(zhì)：整個種群中幾乎所有的個體都采取了這個策略，且這些個體的適應(yīng)度必將高于競爭對手或者可能出現(xiàn)的突變異種的適應(yīng)度，否則競爭對手或者產(chǎn)生的突變異種會侵害整個種群，以致種群的削弱或者毀滅等，這時此策略便不可能是穩(wěn)定的策略。若是進化穩(wěn)定策略，則，且，所以當(dāng)，有 （1-3）當(dāng)時有 （1-4）滿足上述條件（1-3）、（1-4）的策略就稱為進化穩(wěn)定策略，而上述的兩個條件1-3、1-4也被認(rèn)為是判別的標(biāo)準(zhǔn)條件。上述的策略是在純策略情形下考慮的，當(dāng)策略是從一個可能策略集

5、合中隨機的選擇而構(gòu)成的，此時的策略稱為混合策略。此時若是一個混合進化穩(wěn)定策略，假設(shè)等是該群體的純策略，賦予這些純策略非零的概率值，那么必須滿足如下條件： (1-5)保證所有純策略的回報是相等的，群體中的個體才不會選擇偏離的策略。此時起滿足的條件和上述是相同的形式。二、對稱博弈 1.對稱博弈的定義兩人對稱博弈對于許多進化博弈論內(nèi)容而言是基礎(chǔ)的，而且，許多進化博弈論中的深刻見解都可以從二人對稱博弈這種特殊情形中得到，這也是單獨列出對稱博弈內(nèi)容的主要原因。 一個二人對稱博弈，可假設(shè)有兩個玩家的位置，每個位置上有相同的純策略，而任意的策略的支付則依賴于玩家所選的位置，因此有如下的定義： 博弈稱為二人對

6、稱博弈，如果，且對于任意的有成立。 該對稱博弈要求兩個位置上的支付矩陣是互為轉(zhuǎn)置的，即若為第一人的支付矩陣，為第二個人的支付矩陣，則，即 則也即有若，則。例如：囚徒困境情形就是一個非常好的對稱博弈的例子。上述是在純策略下的情形，現(xiàn)在描述混合策略情形：，用表示策略集上的一個概率分布，即為該博弈的一個混合策略，用表示其混合策略集，則混合策略組合空間為，此時任意的純策略在對手選擇混合策略時的支付為。 2.對稱博弈的特點對稱博弈是一種很特殊情形，它有自己的特征，一是對稱博弈的最優(yōu)回應(yīng)對應(yīng)和通常的最優(yōu)回應(yīng)對應(yīng)不一樣，通常的是策略組合空間到策略組合空間之間的映射，而是策略集到策略集之間的映射，即 (1-6

7、)這是對稱博弈策略集相同所決定的。二是對稱博弈有更特殊的形式：雙對稱博弈。此時在其他條件滿足下當(dāng)且僅當(dāng)時稱為雙對稱博弈。例如：協(xié)調(diào)博弈就是一個很好的雙對稱博弈的例子。三是對稱博弈的納什均衡的形式也有所不同，對稱博弈具有不對稱的納什均衡，也具有對稱的納什均衡。策略組合被稱為對稱博弈的納什均衡，當(dāng)且僅當(dāng)，其中，這與通常的納什均衡的定義是一致的，用表示納什均衡集合。當(dāng)時我們稱該納什均衡為對稱的，此時納什均衡可以表示為 (1-7)對稱的情形下，它本質(zhì)是一個策略空間，不同于往常的策略組合空間，當(dāng)然，對稱博弈的納什均衡并非都要求是對稱的，但也可以證明任意的對稱博弈一定能夠存在至少一個對稱的納什均衡，即對于

8、任意的二人有限對稱博弈，。 例如：鷹-鴿博弈、石頭-剪刀-布等博弈都是具有混合策略均衡的且是對稱的。以鷹鴿博弈為例：不是一般地，下面支付矩陣為一方甲的支付矩陣： 其中表示一定價值的資源適應(yīng)度，在此表示獲得的支付，雙方甲、乙都選擇鷹策略則各自獲得，表示雙方爭斗產(chǎn)生的適應(yīng)度的下降或者說是損失，若甲選擇鷹策略乙選擇鴿策略，則甲獲得全部資源而乙獲得，若都選鴿策略則平分資源。當(dāng)時，則鷹策略是納什均衡，因為此時雙方都寧愿冒著受傷的風(fēng)險獲得大于零的資源適應(yīng)度，而當(dāng)時，則存在對稱的混合納什均衡，假設(shè)此混合策略組合為，則要滿足 解得，則知，故。 四是二人對稱博弈的分類，根據(jù)支付我們可以將對稱博弈分為四類.以為例

9、。將第一列減去，第二列減去變形得 再令得正規(guī)化形式 構(gòu)造如下所示的圖： I II III IV用表示該圖中平面上的點，若當(dāng)點在圖中的北西象限時，我們說此時的對稱博弈是第I類的，當(dāng)若當(dāng)點在圖中的北東象限時，我們說此時的對稱博弈是第II類的，當(dāng)若當(dāng)點在圖中的南西象限時，我們說此時的對稱博弈是第III類的，當(dāng)若當(dāng)點在圖中的南東象限時，我們說此時的對稱博弈是第IV類的。很容易發(fā)現(xiàn)，當(dāng)博弈是第I類或者是第IV類的時候，分別有和，兩個的支付一正一負(fù)，此時博弈都存在嚴(yán)格占優(yōu)的策略，故都存在純策略納什均衡。第I類的解為，納什均衡集合為和。第IV類的解為，納什均衡集合為和。當(dāng)博弈是第II類或者第III類時，支付

10、函數(shù)值同號，此時不僅僅存在對稱的純策略的納什均衡，也存在對稱的混合策略納什均衡。第II類博弈，二者支付都為正數(shù)。有兩個對稱的嚴(yán)格占優(yōu)的納什均衡，還有一個對稱的混合策略納什均衡，故它的解為，納什均衡集合為，。其中。這一類博弈常見的例子如調(diào)和博弈。 第IV類博弈，二者的支付都為負(fù)數(shù)，沒有嚴(yán)格占優(yōu)的策略。它的解為，納什均衡集合為，。其中。這一類常見的博弈如鷹鴿博弈（的情形）。三、對稱博弈下看進化穩(wěn)定策略1.進化穩(wěn)定策略的定義結(jié)論仍然集中二人對稱博弈上，純策略集為，混合策略集為，當(dāng)選擇而選擇時，參與者的支付矩陣為，則此時支付函數(shù)為。在對稱博弈的下，進化穩(wěn)定策略有兩種等價的定義。由于對稱博弈可以很好的解

11、釋單群體博弈，所以此時是在單群體情形下來討論，假設(shè)有一個數(shù)量規(guī)模很大的群體，里面出現(xiàn)一組規(guī)模很小的突變者，他們選擇的策略集是相同的且成對競爭，群體主體現(xiàn)在的策略為，這組小規(guī)模的突變者選擇策略，并假設(shè)這組小規(guī)模突變族所占群體的份額為。同時假設(shè)群體里每個代理人都參與競爭，每個代理人選擇現(xiàn)任策略的概率為，選擇突變策略的概率為，在此時的生物群體下的支付可以看作與其中一個代理人選擇策略時競爭產(chǎn)生的支付。那么相應(yīng)的,代理人選擇現(xiàn)任策略的支付函數(shù)值為,同理有。在這樣的生物情形下，直覺告訴我們，群體要能抵抗外來的入侵或者應(yīng)對突變者的襲擊，那么現(xiàn)任策略所能得到的支付必須高于入侵者或者突變者的策略的支付。因此，進

12、化穩(wěn)定策略除了本文第一部分的定義形式外，有另外一種等價的定義形式：若策略是進化穩(wěn)定策略（），如果存在實數(shù)，使得對于所有的，都滿足下面的不等式條件： (3-1)其中。策略在任意的策略下的最優(yōu)回應(yīng)集合為。此時若是該博弈的進化穩(wěn)定策略，則它必須滿足，即必須是該博弈的納什均衡即，但還需要滿足另外的條件才能保證是進化穩(wěn)定的策略，由此可知，若用表示博弈的進化穩(wěn)定策略集合，那么有，由進化穩(wěn)定策略的含義可以更詳細(xì)的表示的形式如下： (3-2)由此我們又回到了進化穩(wěn)定策略的第一種定義的形式：稱是該博弈的進化穩(wěn)定策略，若滿足如下兩個條件： (3-3)當(dāng)存在滿足時有。 ( 3-4)這兩個條件就如我們一開始所說的是判

13、斷一個策略是不是進化穩(wěn)定策略的標(biāo)準(zhǔn)。2.兩種等價定義的作用 將上述（3-1）式在定義計數(shù)函數(shù)：下可寫為，且其等于 由是進化穩(wěn)定的可知當(dāng)足夠小且時，由于函數(shù)是雙線性的，可寫為：當(dāng)固定時，計數(shù)函數(shù)是一個關(guān)于的仿射函數(shù)，它的截距為斜率為，如下圖所示： 1 斜率為 1條件（3-3）等價于截距是非負(fù)的，而條件（3-4）則等價于當(dāng)截距為零時斜率是正值。因此當(dāng)兩個條件都滿足時，則存在使得對于所有的都有成立，因此。對于進化穩(wěn)定策略說明兩個地方：一是并非所有的博弈都有進化穩(wěn)定策略，有部分博弈是沒有進化穩(wěn)定策略的，例如石頭-剪刀-布博弈就不具有進化穩(wěn)定策略，不然隨著時間的推移，就沒有玩的意義了，因為玩家知道那個策

14、略是對自己最好的。二是進化穩(wěn)定性并不意味著群體平均支付是最優(yōu)的。3.進化穩(wěn)定策略集的結(jié)構(gòu) 從3-1、3-3可知，一個進化穩(wěn)定策略的支撐不可能包含另外一個進化穩(wěn)定策略的支撐，更進一步說不可能包含對稱的納什均衡策略的支撐。例如：假設(shè)，存在 ，那么，因為，所以，所以，與矛盾。因此有如下推論：若且，那么。另外，如果博弈的一個進化穩(wěn)定策略是本質(zhì)的（即完全混合策略），那么它是該博弈的唯一的進化穩(wěn)定策略，而且在有限博弈中，支集是有限的，所以進化穩(wěn)定策略也總是有限的，甚至可能為零。因此有下面的引理：集合是有限的，且如果，那么。 4. 與非合作博弈中的、等之間的關(guān)系（1）從進化穩(wěn)定策略的定義可以知道一個博弈的進

15、化穩(wěn)定策略必定是該博弈的納什均衡，反之則不然，即。（2）劣策略肯定不會是進化穩(wěn)定的，因為它本身不可能成為納什均衡，弱劣策略也不會是進化穩(wěn)定策略，就算它是納什均衡集合中的元素，也不可能成為進化穩(wěn)定的。例如若且為弱劣策略，則存在，使得，與進化穩(wěn)定策略的標(biāo)準(zhǔn)中的第二個矛盾，故若是弱劣策略，則。（3）由上可知，若，則策略組合是該博弈的納什均衡，即，且是占優(yōu)的納什均衡，因此是對納什均衡的一種精煉，它是完美的納什均衡即有如下的結(jié)論：若，則。由此，可以知道：。（4） 若，那么是一個真平衡。5. 的特征 （1）進化穩(wěn)定策略的第一個特征便是“穩(wěn)定”，它能保證該群體在遭遇其他物種入侵或者群體內(nèi)發(fā)生突變個體時維持群體的穩(wěn)定，從支付角度看就是進化穩(wěn)定策略所能獲得的支付優(yōu)于其他的策略，從3-1可明顯看出。 （2）的第二個特征是它存在統(tǒng)一的入侵屏障。即存在一個入侵屏障使得對于任意的有3-1成立。 （3）的第三個特征是它是局部占優(yōu)的，且如果該進化穩(wěn)定策略是本質(zhì)的（完全混合策略），那