基于深度強(qiáng)化學(xué)習(xí)的時(shí)空眾包任務(wù)興趣匹配方法研究

基于深度強(qiáng)化學(xué)習(xí)的時(shí)空眾包任務(wù)興趣匹配方法研究摘要

時(shí)空眾包技術(shù)已經(jīng)成為了一種重要的分布式勞動(dòng)力市場(chǎng)，吸引了越來(lái)越多的用戶加入進(jìn)來(lái)。人們?cè)跁r(shí)空眾包平臺(tái)上發(fā)布任務(wù)來(lái)尋找符合任務(wù)要求的眾包工人，因此任務(wù)與工人之間的興趣匹配顯得非常重要。本文提出了一種基于深度強(qiáng)化學(xué)習(xí)的時(shí)空眾包任務(wù)興趣匹配方法。首先，利用LSTM網(wǎng)絡(luò)對(duì)工人和任務(wù)的歷史行為進(jìn)行建模，另外，構(gòu)造了一個(gè)基于感知注意力機(jī)制的興趣特征向量。其次，在建立了工人和任務(wù)的狀態(tài)空間后，使用Q-learning算法優(yōu)化任務(wù)的獎(jiǎng)勵(lì)函數(shù)。最后，通過(guò)大量實(shí)驗(yàn)驗(yàn)證了本文所提出的方法在時(shí)空眾包任務(wù)中具有較好的匹配性能。

關(guān)鍵詞：時(shí)空眾包；深度強(qiáng)化學(xué)習(xí)；任務(wù)匹配；LSTM網(wǎng)絡(luò)；Q-learning算法；感知注意力機(jī)制。

Abstract

Spatial-temporalCrowdsourcinghasbecomeanimportantdistributedlabormarket,attractingmoreandmoreuserstojoinin.Peopleonthespatial-temporalcrowdsourcingplatformreleasetaskstofindcrowdworkerswhomeettherequirementsofthetasks,sothematchingofinterestsbetweentasksandworkersisveryimportant.Thispaperproposesaspatial-temporalcrowdsourcingtaskinterestmatchingmethodbasedondeepreinforcementlearning.Firstly,theLSTMnetworkisusedtomodelthehistoricalbehaviorofworkersandtasks,andaperceptionattentionmechanism-basedinterestfeaturevectorisconstructed.Secondly,afterestablishingthestatespaceofworkersandtasks,theQ-learningalgorithmisusedtooptimizetherewardfunctionofthetask.Finally,throughalargenumberofexperiments,thispaperverifiesthattheproposedmethodhasgoodmatchingperformanceinspatial-temporalcrowdsourcingtasks.

Keywords:Spatial-temporalCrowdsourcing;DeepReinforcementLearning;TaskMatching;LSTMNetwork;Q-learningalgorithm;PerceptionAttentionMechanism.

一、緒論

隨著物聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，各種傳感設(shè)備和智能設(shè)備已經(jīng)逐漸普及到各個(gè)領(lǐng)域中。這些設(shè)備收集的數(shù)據(jù)需要經(jīng)過(guò)處理和分析之后，并轉(zhuǎn)化為對(duì)人類有用的信息。然而，這些數(shù)據(jù)處理需要大量的電力和計(jì)算資源，而且數(shù)據(jù)處理過(guò)程中的正確性和可信度也需要得到保障。為了解決這些問(wèn)題，眾包技術(shù)被提出并迅速發(fā)展起來(lái)。眾包技術(shù)解決了數(shù)據(jù)處理中存在的一些問(wèn)題，它能夠通過(guò)分布式的方法將任務(wù)委托給眾包工人完成，從而降低了系統(tǒng)處理數(shù)據(jù)的成本，提高了數(shù)據(jù)處理的效率。

時(shí)空眾包(Spatial-temporalCrowdsourcing)是眾包技術(shù)的一種變體，它在眾包平臺(tái)中支持時(shí)空信息的處理和利用，也就是說(shuō)，時(shí)空眾包任務(wù)的主要特點(diǎn)是它需要眾包工人在一定的時(shí)間和空間范圍內(nèi)完成一項(xiàng)任務(wù)。時(shí)空眾包任務(wù)的具體例子包括在眾包平臺(tái)上發(fā)布地圖標(biāo)注任務(wù)、對(duì)天氣數(shù)據(jù)采集完成品質(zhì)以及對(duì)電力網(wǎng)絡(luò)的監(jiān)控等。時(shí)空眾包任務(wù)需要利用地理信息技術(shù)來(lái)控制任務(wù)的空間范圍；同時(shí)，由于任務(wù)的時(shí)間限制性，時(shí)空眾包任務(wù)也需要考慮工人的移動(dòng)軌跡和工人可用時(shí)間等因素。

時(shí)空眾包平臺(tái)可以吸引到大量有不同興趣愛(ài)好和技能的工人，不同的工人在完成任務(wù)時(shí)具有不同的能力和特征。這就需要任務(wù)發(fā)布者在時(shí)空眾包平臺(tái)上尋找符合任務(wù)要求的工人，這一過(guò)程可以通過(guò)基于興趣匹配的方法實(shí)現(xiàn)。興趣匹配是指根據(jù)工人和任務(wù)之間的行為特征，找到最適合的工人來(lái)完成這個(gè)任務(wù)。在實(shí)際應(yīng)用中，任務(wù)發(fā)布者會(huì)受到眾多因素的干擾，如工人數(shù)量、工人技能、任務(wù)復(fù)雜性、工作時(shí)間、工資等等。因此，在興趣匹配過(guò)程中，需要充分考慮各種因素，以便優(yōu)化任務(wù)發(fā)布者和工人之間的興趣匹配效果。

目前興趣匹配方法可以歸為傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法兩類?？偟膩?lái)說(shuō)，傳統(tǒng)機(jī)器學(xué)習(xí)方法采用手工設(shè)計(jì)特征來(lái)表示任務(wù)和工人狀態(tài)，并使用分類器進(jìn)行匹配。這些方法可以處理興趣向量較小的任務(wù)，但不能很好地處理處理興趣向量較大的任務(wù)。此外，傳統(tǒng)機(jī)器學(xué)習(xí)方法需要大量的工程上的工作來(lái)確定最優(yōu)的特征提取器。相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)方法可以自動(dòng)地學(xué)習(xí)特征，能夠處理具有高維度、非線性特征表示的任務(wù)，對(duì)于興趣向量較大的任務(wù)也可以很好地處理。因此，深度學(xué)習(xí)方法具有廣泛的應(yīng)用前景，在興趣匹配方法的研究中也得到了廣泛關(guān)注。

針對(duì)上述問(wèn)題，本文提出了一種基于深度強(qiáng)化學(xué)習(xí)的方法來(lái)實(shí)現(xiàn)時(shí)空眾包任務(wù)對(duì)工人的興趣匹配。該方法首先使用LSTM網(wǎng)絡(luò)對(duì)工人和任務(wù)的歷史行為進(jìn)行建模，另外，構(gòu)造了一個(gè)基于感知注意力機(jī)制的興趣特征向量。其次，在建立了工人和任務(wù)的狀態(tài)空間后，使用Q-learning算法優(yōu)化任務(wù)的獎(jiǎng)勵(lì)函數(shù)。最后，擬通過(guò)大量實(shí)驗(yàn)驗(yàn)證本文所提出的方法在時(shí)空眾包任務(wù)中具有較好的匹配性能。

二、相關(guān)工作

在興趣匹配研究領(lǐng)域，主要的方法可以劃分為傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法兩大類。

（一）傳統(tǒng)機(jī)器學(xué)習(xí)方法

傳統(tǒng)機(jī)器學(xué)習(xí)方法以特征工程為核心，通過(guò)提取工人興趣特征和任務(wù)需求特征，然后使用分類器（如支持向量機(jī)，隨機(jī)森林和樸素貝葉斯等）進(jìn)行興趣匹配。興趣特征和需求特征一般包括了以下幾個(gè)方面：基礎(chǔ)信息（如性別、年齡等）、歷史行為（如點(diǎn)擊次數(shù)、星級(jí)評(píng)價(jià)等）、信譽(yù)度（如任務(wù)完成情況、任務(wù)評(píng)價(jià)等）、技能標(biāo)簽（如技能標(biāo)簽、興趣標(biāo)簽等）等。Yu等人提出了一種基于主題興趣模型的方法，通過(guò)文本聚類和主題模型的方法，將興趣模型統(tǒng)一為低維的向量表示，然后利用向量相似度度量興趣之間的關(guān)聯(lián)度。Li等人使用Gaussian過(guò)程回歸模型進(jìn)行任務(wù)區(qū)間時(shí)間預(yù)測(cè)，并通過(guò)預(yù)測(cè)結(jié)果來(lái)尋找最適合的工人。Wang等人提出了一種基于時(shí)間段余弦相似度的匹配算法，用于尋找分配給匹配任務(wù)的最佳工人。Serrano等人在興趣匹配過(guò)程中考慮了任務(wù)數(shù)量因素，提出了一種新的算法來(lái)提高任務(wù)的匹配效率。

（二）深度學(xué)習(xí)方法

由于深度學(xué)習(xí)可以自動(dòng)地學(xué)習(xí)特征表示，因此，在興趣匹配中也被廣泛使用。Zhang等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的興趣匹配方法，將工人歷史任務(wù)相關(guān)信息轉(zhuǎn)化為圖片的形式，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和興趣匹配。Qi等人提出了一種基于多種數(shù)據(jù)信息的一體化興趣預(yù)測(cè)方法，通過(guò)建立任務(wù)和工人的深度神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)工人和任務(wù)之間的興趣預(yù)測(cè)。Wang等人提出了一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)的興趣匹配方法，通過(guò)學(xué)習(xí)工人和任務(wù)的歷史行為模式，并結(jié)合預(yù)測(cè)模型，實(shí)現(xiàn)工人和任務(wù)之間的興趣匹配。Zhang等人提出了一種基于貝葉斯神經(jīng)網(wǎng)絡(luò)的興趣匹配方法，在考慮興趣概率分布的情況下，探索構(gòu)建興趣匹配的最優(yōu)貝葉斯神經(jīng)網(wǎng)絡(luò)模型。

三、基于深度強(qiáng)化學(xué)習(xí)的時(shí)空眾包任務(wù)興趣匹配方法

該方法主要包括三個(gè)部分：（1）工人和任務(wù)的歷史行為建模；（2）構(gòu)造任務(wù)和工人的狀態(tài)空間；（3）使用Q-learning算法優(yōu)化任務(wù)的獎(jiǎng)勵(lì)函數(shù)。

3.1工人和任務(wù)的歷史行為建模

一般來(lái)說(shuō)，在任務(wù)和工人之間建立歷史行為模型有兩個(gè)目的。

（1）預(yù)測(cè)工人在未來(lái)時(shí)間的工作能力，從而為任務(wù)分配做好準(zhǔn)備。

（2）預(yù)測(cè)工人是否能夠正常完成待處理任務(wù)，從而評(píng)估工人的信譽(yù)。

為此，本文提出的工人和任務(wù)的歷史行為建模采用了LSTM網(wǎng)絡(luò)。LSTM網(wǎng)絡(luò)是一種具有長(zhǎng)短記憶的循環(huán)神經(jīng)網(wǎng)絡(luò)，其可以在模型中引入門控，以實(shí)現(xiàn)對(duì)歷史行為的有效學(xué)習(xí)和長(zhǎng)期依存關(guān)系的捕捉。在訓(xùn)練LSTM模型時(shí)，我們將工人和任務(wù)的歷史行為分別傳入LSTM模型中，得到相應(yīng)的LSTM隱藏狀態(tài)向量。LSTM的反向傳播過(guò)程會(huì)對(duì)LSTM中的所有隱藏狀態(tài)產(chǎn)生梯度，這樣就可以將工人和任務(wù)的歷史行為特征表示為隱藏狀態(tài)向量。

3.2構(gòu)建任務(wù)和工人的狀態(tài)空間

在本文所提出的方法中，工人和任務(wù)的狀態(tài)都是用向量來(lái)表示的。針對(duì)任務(wù)狀態(tài)空間的建設(shè)，我們提出使用作業(yè)描述信息、工資、截止時(shí)間、地理位置、時(shí)空約束等因素來(lái)描述任務(wù)狀態(tài)。我們將任務(wù)的多維屬性組成一個(gè)高位向量，即任務(wù)狀態(tài)表示為：

$$s_i^t=(D_i^t,\w_i^t,C_i^t,P_i^t,R_i^t,F_i^t,L_i^t)$$

其中，$D_i^t$是任務(wù)的描述信息向量，$w_i^t$是任務(wù)工資，$C_i^t$是任務(wù)的截止時(shí)間，$P_i^t$是任務(wù)的地理位置向量，$R_i^t$是任務(wù)所需的技能標(biāo)簽向量，$F_i^t$是任務(wù)時(shí)間約束向量，$L_i^t$是任務(wù)空間約束向量。

對(duì)于每個(gè)而工人狀態(tài)空間的建設(shè)，則需要考慮工人能力、位置、時(shí)間可用性、工作經(jīng)驗(yàn)、信譽(yù)度等因素，將這些屬性組成為一個(gè)高維向量來(lái)描述工人狀態(tài)，即：

$$s_j^t=(S_j^t,\P_j^t,\T_j^t,\E_j^t,\R_j^t,\C_j^t)$$

其中，$S_j^t$是工人技能標(biāo)簽向量，$P_j^t$是工人地理位置向量，$T_j^t$是工人時(shí)間可用性向量，$E_j^t$是工人工作經(jīng)驗(yàn)向量，$R_j^t$是工人信譽(yù)度向量，$C_j^t$是工人當(dāng)前任務(wù)執(zhí)行情況向量。

通過(guò)以上定義，我們可以將任務(wù)和工人的狀態(tài)編碼為向量表示，方便后續(xù)計(jì)算和匹配。同時(shí)，這種多維屬性表示方式能夠更全面地表達(dá)對(duì)象特征，有助于提升推薦效果接下來(lái)，我們針對(duì)工人狀態(tài)空間的建設(shè)中提到的各個(gè)因素做進(jìn)一步說(shuō)明：

1.工人技能標(biāo)簽向量：

在任務(wù)分配中，關(guān)鍵的一點(diǎn)是要將任務(wù)分配給那些有相應(yīng)技能的工人。因此，將工人的技能標(biāo)簽向量定義為一個(gè)向量，其中每個(gè)維度代表著一個(gè)具體的技能標(biāo)簽。這樣一來(lái)，我們就可以通過(guò)計(jì)算任務(wù)與工人的技能標(biāo)簽向量的相似度評(píng)估工人是否具備完成任務(wù)所需的相關(guān)技能。

2.工人地理位置向量：

任務(wù)分配時(shí)，工人的地理位置也是一個(gè)很重要的因素?？梢詫⒚總€(gè)工人的地理位置表示為一個(gè)向量，其中包括了經(jīng)度和緯度信息。這樣一來(lái)，我們就可以將任務(wù)分配給距離其最近的工人，從而縮短任務(wù)響應(yīng)時(shí)間，提高任務(wù)完成效率。

3.工人時(shí)間可用性向量：

工人時(shí)間可用性向量描述了工人在不同時(shí)間段內(nèi)的可用性情況。例如，在白天工作的工人可能在晚上不可用，而晚上工作的工人則可能在白天不可用。因此，任務(wù)分配時(shí)應(yīng)考慮工人的時(shí)間可用性，以便將任務(wù)分配給那些可用性更高的工人。

4.工人工作經(jīng)驗(yàn)向量：

工人的工作經(jīng)驗(yàn)也是一個(gè)很重要的因素?？梢詫⒐と说墓ぷ鹘?jīng)驗(yàn)表示為一個(gè)向量，其中每個(gè)維度代表著一個(gè)具體的工作經(jīng)驗(yàn)。這樣一來(lái)，我們就可以將任務(wù)分配給那些具備相關(guān)工作經(jīng)驗(yàn)的工人，從而提高任務(wù)完成效率和質(zhì)量。

5.工人信譽(yù)度向量：

工人的信譽(yù)度也是一個(gè)很重要的因素，可以將工人的信譽(yù)度表示為一個(gè)向量，其中每個(gè)維度代表著一個(gè)具體的信譽(yù)度指標(biāo)，如評(píng)價(jià)得分、任務(wù)完成時(shí)效、任務(wù)完成質(zhì)量等。通過(guò)計(jì)算工人的信譽(yù)度向量，我們可以評(píng)估工人的工作能力和信譽(yù)度，從而更好地分配任務(wù)。

6.工人當(dāng)前任務(wù)執(zhí)行情況向量：

在任務(wù)分配時(shí)，還需要考慮工人當(dāng)前的任務(wù)執(zhí)行情況?？梢詫⒚總€(gè)工人的任務(wù)執(zhí)行情況表示為一個(gè)向量，其中包含了任務(wù)數(shù)量、任務(wù)類型、任務(wù)狀態(tài)等信息。這樣一來(lái)，我們就可以認(rèn)真評(píng)估工人的工作負(fù)責(zé)度，避免將任務(wù)分配給那些已經(jīng)忙不過(guò)來(lái)的工人7.工人技能熟練度向量：

除了工作經(jīng)驗(yàn)之外，工人的技能熟練度也是一個(gè)很重要的因素。技能熟練度向量可以包含各個(gè)方面的技能，比如編程語(yǔ)言、設(shè)計(jì)軟件、溝通能力等。對(duì)于需求特定的任務(wù)，需要尋找具有相關(guān)技能的工人，提高任務(wù)完成效率和質(zhì)量。

8.工人可靠度向量：

工人的可靠度也是一個(gè)很重要的因素?？煽慷认蛄靠梢园と说臏?zhǔn)時(shí)性、按時(shí)提交任務(wù)的能力、對(duì)任務(wù)的細(xì)致性等指標(biāo)。通過(guò)對(duì)工人的可靠度向量進(jìn)行評(píng)估，可以更好地選擇符合要求的工人，確保任務(wù)能夠如期完成。

9.工人態(tài)度效率向量：

工人的態(tài)度與效率也是決定任務(wù)完成情況的重要因素。態(tài)度效率向量可以包含工人對(duì)待工作的態(tài)度、溝通處理問(wèn)題