機(jī)器學(xué)習(xí)在投資中的應(yīng)用學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1機(jī)器機(jī)器(j q)學(xué)習(xí)在投資中的應(yīng)用學(xué)習(xí)在投資中的應(yīng)用第一頁(yè)，共18頁(yè)。機(jī)器學(xué)習(xí)的應(yīng)用(yngyng)場(chǎng)景01物理世界傳感器3D建模機(jī)器(j q)學(xué)習(xí) 高性能計(jì)算(j sun)理解決策感知智能硬件機(jī)器人自動(dòng)駕駛探索發(fā)現(xiàn)3D打印搜索廣告證券互聯(lián)網(wǎng)索引知識(shí)人人機(jī)交互第1頁(yè)/共17頁(yè)第二頁(yè)，共18頁(yè)。機(jī)器學(xué)習(xí)(xux)的演進(jìn)過(guò)程是問(wèn)題驅(qū)動(dòng)、循環(huán)上升的01Linear / Non-Linear RegressionPerceptionLogistic RegNB ClassifierNearestNeighborsDecisionTreeNeural Network 1900s 1960s 1

2、980s - 1990s 1990s - Now 高 計(jì)算量需求計(jì)算量需求 低SVMRandomForestCNN / RNNDeep Learning垃圾郵件識(shí)別垃圾郵件識(shí)別(shbi)信用卡審批信用卡審批二分二分/多分問(wèn)題多分問(wèn)題推薦系統(tǒng)推薦系統(tǒng)用戶分類用戶分類醫(yī)學(xué)醫(yī)學(xué)(yxu)輔助判斷輔助判斷相對(duì)復(fù)雜的分類問(wèn)題相對(duì)復(fù)雜的分類問(wèn)題語(yǔ)音語(yǔ)音/人臉人臉/圖像識(shí)別圖像識(shí)別用戶畫(huà)像用戶畫(huà)像/衣食住行衣食住行高度復(fù)雜的決策問(wèn)題高度復(fù)雜的決策問(wèn)題第2頁(yè)/共17頁(yè)第三頁(yè)，共18頁(yè)。機(jī)器(j q)學(xué)習(xí)在金融領(lǐng)域的應(yīng)用已覆蓋風(fēng)控、智能理財(cái)和投資01風(fēng)險(xiǎn)風(fēng)險(xiǎn)(fngxin)控制：信貸風(fēng)險(xiǎn)控制：信貸風(fēng)險(xiǎn)(fng

3、xin)、欺詐風(fēng)險(xiǎn)、欺詐風(fēng)險(xiǎn)(fngxin)、運(yùn)營(yíng)風(fēng)險(xiǎn)、運(yùn)營(yíng)風(fēng)險(xiǎn)(fngxin)數(shù)據(jù)維度和量級(jí)的提升，使得機(jī)器學(xué)習(xí)能更精準(zhǔn)的識(shí)別風(fēng)險(xiǎn)數(shù)據(jù)維度和量級(jí)的提升，使得機(jī)器學(xué)習(xí)能更精準(zhǔn)的識(shí)別風(fēng)險(xiǎn)(fngxin)智能化理財(cái)服務(wù)：智能投顧、個(gè)性化資產(chǎn)配置建議智能化理財(cái)服務(wù)：智能投顧、個(gè)性化資產(chǎn)配置建議用戶行為數(shù)據(jù)的不斷豐富，使更了解客戶需求的智能理財(cái)服務(wù)成為可能用戶行為數(shù)據(jù)的不斷豐富，使更了解客戶需求的智能理財(cái)服務(wù)成為可能量化投資：自動(dòng)交易策略、新量化因子的挖掘、多因子模型的改進(jìn)量化投資：自動(dòng)交易策略、新量化因子的挖掘、多因子模型的改進(jìn)量化投資領(lǐng)域是機(jī)器學(xué)習(xí)技術(shù)一個(gè)非常天然的應(yīng)用場(chǎng)景量化投資領(lǐng)域是機(jī)器學(xué)習(xí)技

4、術(shù)一個(gè)非常天然的應(yīng)用場(chǎng)景第3頁(yè)/共17頁(yè)第四頁(yè)，共18頁(yè)。量化投資是機(jī)器學(xué)習(xí)的天然應(yīng)用(yngyng)場(chǎng)景01存在隱含(yn hn)模式無(wú)法簡(jiǎn)單(jindn)表達(dá)有足夠數(shù)據(jù)存在系統(tǒng)性影響股價(jià)走勢(shì)的關(guān)鍵因素?zé)o法表達(dá)或遍歷所有的投資模式有多種時(shí)間維度多個(gè)市場(chǎng)的歷史數(shù)據(jù)機(jī)器學(xué)習(xí)的先決條件證券投資的現(xiàn)實(shí)問(wèn)題第4頁(yè)/共17頁(yè)第五頁(yè)，共18頁(yè)。百度互聯(lián)網(wǎng)證券部應(yīng)運(yùn)而生，成為專注(zhunzh)于證券業(yè)務(wù)的科技團(tuán)隊(duì)026百度首個(gè)投資類垂直領(lǐng)域?qū)I(yè)團(tuán)隊(duì)ToC產(chǎn)品：百度股市通機(jī)構(gòu)產(chǎn)品：大數(shù)據(jù)、策略合作2015年，百度互聯(lián)網(wǎng)證券事業(yè)部成立，專注(zhunzh)于證券業(yè)務(wù)。同時(shí)組建金融工程組和數(shù)據(jù)挖掘組，深挖百度大

5、數(shù)據(jù)的投資價(jià)值第5頁(yè)/共17頁(yè)第六頁(yè)，共18頁(yè)。我們從基礎(chǔ)數(shù)據(jù)、投資因子和量化模型三個(gè)方面(fngmin)著手研究02基礎(chǔ)數(shù)據(jù)非結(jié)構(gòu)化+結(jié)構(gòu)化數(shù)據(jù) 搜索數(shù)據(jù)（query、流量、點(diǎn)擊、session） 全網(wǎng)網(wǎng)頁(yè)數(shù)據(jù)/財(cái)經(jīng)新聞 UGC數(shù)據(jù)（股吧、雪球） 交易所數(shù)據(jù) 公告及券商研究報(bào)告 其它結(jié)構(gòu)化數(shù)據(jù)/數(shù)據(jù)庫(kù)股票知識(shí)圖譜投資因子對(duì)個(gè)股股價(jià)有影響的關(guān)鍵信息結(jié)構(gòu)化存儲(chǔ) 例如，公司產(chǎn)品、股東、行業(yè)上下游等相關(guān)信息生成獨(dú)有因子，并對(duì)傳統(tǒng)因子進(jìn)行增強(qiáng) 獨(dú)有情緒、關(guān)注度因子 獨(dú)有各類預(yù)期因子（重組、并購(gòu)、分紅等） 機(jī)器增強(qiáng)的波動(dòng)、成長(zhǎng)、動(dòng)量、財(cái)務(wù)因子等數(shù)據(jù)挖掘量化模型策略實(shí)驗(yàn)基于機(jī)器學(xué)習(xí)的因子綜合和參數(shù)調(diào)整更智

6、能的組合配權(quán)方式及專門針對(duì)大數(shù)據(jù)的評(píng)估體系完全使用機(jī)器學(xué)習(xí)模型定義投資問(wèn)題策略效果回測(cè)自動(dòng)化、流程化、模塊化策略輸出多因子選股CTA擇時(shí)機(jī)器學(xué)習(xí)模型策略第6頁(yè)/共17頁(yè)第七頁(yè)，共18頁(yè)。隨著非結(jié)構(gòu)化數(shù)據(jù)增加及可獲取難度的提高，機(jī)器處理的優(yōu)勢(shì)(yush)日漸顯現(xiàn)02特點(diǎn)：容易獲取、分析舉例：交易數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)特點(diǎn)：獲取成本高、技術(shù)(jsh)門檻高舉例：1. 公司公告、調(diào)研報(bào)告、券商研報(bào)：文本挖掘與語(yǔ)義分析技術(shù)(jsh) 2. 社交、熱點(diǎn)、新聞、事件：大數(shù)據(jù)搜集技術(shù)(jsh)、非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化 3. 搜索日志、網(wǎng)絡(luò)輿情：大數(shù)據(jù)處理技術(shù)(jsh)、輿情分析技術(shù)(jsh)消費(fèi)數(shù)據(jù)、供應(yīng)鏈交互、物聯(lián)網(wǎng)

7、數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)(shj)非結(jié)構(gòu)化數(shù)據(jù)多維數(shù)據(jù)第7頁(yè)/共17頁(yè)第八頁(yè)，共18頁(yè)。利用機(jī)器學(xué)習(xí)(xux)方法，可將數(shù)據(jù)加工為獨(dú)特的投資因子02基于個(gè)股/行業(yè)(hngy)/板塊/熱點(diǎn)概念搜索量的關(guān)注度因子聚類算法：利用股票相近屬性進(jìn)行熱點(diǎn)概念聚類基于財(cái)經(jīng)新聞、券商研報(bào)語(yǔ)義分析的輿情因子NLP技術(shù)：語(yǔ)義分析，關(guān)鍵信息抽取和正負(fù)向情感判斷基于機(jī)器學(xué)習(xí)技術(shù)提煉的經(jīng)典量化投資因子Boosting技術(shù)：聚合高相似度的同類因子，提升因子貢獻(xiàn)第8頁(yè)/共17頁(yè)第九頁(yè)，共18頁(yè)。百度大數(shù)據(jù)因子(ynz)與傳統(tǒng)金融因子(ynz)相關(guān)性非常低02NetProfiNetProfitYOYtYOYNetAsseNetAsse

8、tYOYtYOYNetCashNetCashFlowOpeFlowOperYOYrYOYROEYOYROEYOYROEROEDividenDividendRatioTdRatioTotalotallogTotallogTotalMarketVaMarketVal llogFreeMlogFreeMarketValarketValTLToTATLToTA PETTMPETTMPEPEPBPBCurrenCurrentRatiotRatioYOYYOYCashFlowCashFlowOperPerVOperPerValuealueF1F1F2F2F3F3F4F4F5F5F6F6F7F7F8F8Ne

9、tProfitYOYNetProfitYOY 0.38 0.10 0.88 0.45 0.06 0.15 0.10 -0.02 0.04 0.02 0.19 0.07 -0.05 -0.02 0.04 -0.01 -0.02 0.01 -0.02 0.07 0.02 NetAssetYOYNetAssetYOY -0.02 0.20 0.57 0.23 0.31 0.17 -0.05 -0.01 -0.10 0.22 0.28 -0.04 -0.08 0.06 -0.01 -0.06 0.02 -0.04 0.00 0.01 NetCashFlowOperYOYNetCashFlowOperY

10、OY 0.11 0.07 0.03 0.03 0.03 0.00 -0.02 0.00 -0.02 -0.05 0.04 0.00 0.01 0.00 0.00 0.00 -0.01 0.02 -0.01 ROEYOYROEYOY 0.39 0.06 0.11 0.10 0.00 0.07 0.03 0.11 -0.01 -0.03 0.00 0.05 -0.01 -0.01 0.01 -0.03 0.07 0.00 ROEROE 0.46 0.39 0.26 -0.10 -0.15 -0.27 0.16 0.09 0.03 -0.13 0.06 -0.01 -0.12 0.02 -0.08

11、0.02 -0.03 DividendRatioTotalDividendRatioTotal0.27 0.19 -0.14 -0.20 -0.36 -0.32 0.05 0.20 -0.15 0.00 -0.01 -0.15 0.01 -0.15 -0.04 -0.12 logTotalMarketVallogTotalMarketVal0.84 0.16 -0.13 -0.16 0.01 0.03 0.10 0.14 0.56 0.00 0.17 0.01 -0.23 0.02 -0.04 logFreeMarketVallogFreeMarketVal0.31 -0.16 -0.15 -

12、0.10 0.06 0.23 0.26 0.63 0.01 0.27 0.01 -0.26 0.00 -0.10 TLToTATLToTA -0.23 -0.16 -0.15 0.00 0.57 0.23 0.31 0.01 0.22 -0.01 -0.07 -0.03 -0.10 PETTMPETTM 0.68 0.30 -0.03 -0.30 -0.05 -0.11 0.00 -0.07 0.01 0.12 0.08 0.15 PEPE0.35 -0.04 -0.30 0.01 -0.08 0.00 -0.01 0.01 0.13 0.09 0.15 PBPB 0.01 -0.52 0.0

13、0 -0.03 0.00 0.01 0.00 0.15 0.12 0.24 CurrentRatioYOYCurrentRatioYOY0.06 0.04 0.07 0.00 0.04 0.00 -0.01 -0.02 -0.04 CashFlowOperPerValueCashFlowOperPerValue0.10 0.18 0.00 0.07 -0.01 -0.14 -0.09 -0.18 F1F1 0.47 0.35 0.58 0.07 -0.05 0.06 0.00 F2F20.05 0.50 0.13 -0.25 0.06 0.12 F3F30.10 0.23 0.08 0.10

14、0.04 F4F40.05 -0.08 0.02 0.04 F5F50.31 0.38 0.27 F6F60.26 0.39 F7F70.25 F8F8數(shù)據(jù)(shj)來(lái)源：港澳數(shù)據(jù)(shj)，百度大數(shù)據(jù)(shj) 2010 - 2015第9頁(yè)/共17頁(yè)第十頁(yè)，共18頁(yè)。實(shí)踐：與投資相關(guān)(xinggun)的機(jī)器學(xué)習(xí)問(wèn)題之整體脈絡(luò)03機(jī)器(j q)學(xué)習(xí)有監(jiān)督(jind)學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)聚類密度估計(jì)回歸問(wèn)題分類問(wèn)題模型選擇Feature選擇過(guò)擬合明天指數(shù)點(diǎn)位是多少？明天某支個(gè)股是上漲還是下跌？未來(lái)配置哪些股票？明天是該做多還是做空？多因子選股CTA擇時(shí)未來(lái)個(gè)股收益率多少？第10頁(yè)/共17頁(yè)第十一頁(yè)，共

15、18頁(yè)。實(shí)踐(shjin)： CTA策略樣例03預(yù)測(cè)模型：隨機(jī)森林 輸入特征：基于量?jī)r(jià)信息初步處理得到的Feature未疊加交易模型、倉(cāng)位管理、止損等額外( wi)條件200025003000350040004500500055006000-5.0%15.0%35.0%55.0%75.0%95.0%115.0%135.0%基于隨機(jī)森林的基于隨機(jī)森林的CTA策略策略收益率收益率滬深滬深300指數(shù)指數(shù)年化收益率年化收益率最大回撤最大回撤樣本內(nèi)勝率樣本內(nèi)勝率樣本外勝率樣本外勝率波動(dòng)率調(diào)整后樣本內(nèi)外盈利能力比波動(dòng)率調(diào)整后樣本內(nèi)外盈利能力比98%15%52.4%51.9%1.27數(shù)據(jù)來(lái)源(liyun)：

16、中金所數(shù)據(jù) 2015 - 2016第11頁(yè)/共17頁(yè)第十二頁(yè)，共18頁(yè)。實(shí)踐(shjin)： 多因子選股策略樣例03輸入特征：百度大數(shù)據(jù)因子（搜索(su su)、輿情、機(jī)器提升指標(biāo)等）組合構(gòu)建方法：中證800成份股，月度換倉(cāng)，100支股票，行業(yè)中性配置年化收益率年化收益率超額收益夏普比率超額收益夏普比率月勝率月勝率月度換手率月度換手率31%1.155%43%數(shù)據(jù)來(lái)源(liyun)：港澳數(shù)據(jù)、百度大數(shù)據(jù) 2011 - 2015第12頁(yè)/共17頁(yè)第十三頁(yè)，共18頁(yè)。機(jī)器學(xué)習(xí)與投資(tu z)模型的融合是科學(xué)，更是藝術(shù)03面臨的問(wèn)題：現(xiàn)有數(shù)據(jù)的同質(zhì)化，有效性下降金融數(shù)據(jù)的樣本數(shù)量限制了模型的選擇空間

17、模型復(fù)雜度與泛化能力的Trade-off解決思路簡(jiǎn)單(jindn)為美：如無(wú)必要，勿增實(shí)體（ Occams Razor ）魔鬼在細(xì)節(jié)：?jiǎn)栴}定義、Feature Engineering、Sampling Bias、etc.機(jī)器學(xué)習(xí)方法優(yōu)化已有因子，超越人的認(rèn)知Data, More Data !第13頁(yè)/共17頁(yè)第十四頁(yè)，共18頁(yè)。展望(zhnwng)：AlphaGo能否用于投資？04圍棋是相對(duì)封閉的系統(tǒng)博弈時(shí)優(yōu)化的目標(biāo)單一明確完全(wnqun)公開(kāi)信息下的博弈VS金融市場(chǎng)開(kāi)放，影響市場(chǎng)變量眾多是一種非完全公開(kāi)信息下的博弈歷史數(shù)據(jù)無(wú)法(wf)覆蓋未來(lái)各種的變化圍棋博弈投資交易第14頁(yè)/共17頁(yè)第十五頁(yè)，共18頁(yè)。展望(zhnwng)：守望更深刻的變革04人工智能已在數(shù)據(jù)與知識(shí)層面超越人類，未來(lái)(wili)