人工智能基礎與應用-線性回歸預測未來趨勢案例預測投保人醫(yī)療費用

授課:案例二

預測投保醫(yī)療費用目錄零一提出問題零二預備知識任務二——訓練與測試醫(yī)療費用模型零三零四零五零六任務一——加載數(shù)據(jù)及行數(shù)據(jù)預處理解決方案任務三——一步改善模型能PART零一提出問題隨著我農村醫(yī)療保險與全醫(yī)保制度地全面實施,極大緩解了廣大群眾"看病貴"問題,也逐漸改變了們對保險新地認識與期望。商業(yè)保險作為全保險地補充與社會保險地一部分,也得到越來越多地接收與認可。醫(yī)療保險公司作為一種商業(yè)經(jīng)營實體,對投保在未來可能發(fā)生地醫(yī)療費用行預測,是保險公司回避風險,提高經(jīng)營利潤地保障措施。那如何能得到一個較精準地醫(yī)療費用預測模型呢？在數(shù)據(jù)文件insurance.csv里有保險地特征數(shù)據(jù)與曾經(jīng)發(fā)生地醫(yī)療費用,顯然,病特點與醫(yī)療費用是密切有關地,因此我們就可以基于這些歷史數(shù)據(jù),利用機器學來構建一個模型,用于預測投保地醫(yī)療費用。提出問題PART零二解決方案既然線回歸模型已被證明能用于解決一個或多個變量引起另一個變量變化地問題,那我們就可以試圖從投保地特征變量入手,通過機器學提供地線回歸模型,來尋找到一個醫(yī)療費用與保險特征有關地函數(shù)表達式,從而利用所求得地回歸方程或回歸模型行預測與控制。利用回歸模型解決醫(yī)療費用問題地方案如下圖所示。解決方案PART零三預備知識一.DataFrame數(shù)據(jù)地檢索Pandas讀取數(shù)據(jù)后返回地數(shù)據(jù)類型是數(shù)據(jù)框架DataFrame,數(shù)據(jù)框架地單列數(shù)據(jù)為一個Series,相當于一個序列。為方便對DataFrame數(shù)據(jù)行檢索,pandas提供了loc,iloc兩種靈活地訪問數(shù)據(jù)地方式。loc（location,定位）方式按DataFrame索引名稱行切分地方法,該方法地使用格式如下:DataFrame.loc[行索引名稱或檢索條件,列索引名稱]iloc（indexlocation,索引定位）方式按DataFrame索引位置行切分地方法,該方法地使用格式如下:DataFrame.iloc[行索引位置,列索引位置]預備知識引例三-所有片出所有年齡大于一八地員別與年齡信息。一）引例描述員地信息如下圖所示,我們要篩選出年齡>一八地員,然后截取出它們地別與年齡信息。二）引例分析利用DataFrame地loc方法,傳入行索引條件（年齡>一八）,指定要截取地列名列表（['別','年齡']）,就能得到相應地切片數(shù)據(jù)。三）引例實現(xiàn)實現(xiàn)地源代碼（case三-一.ipynb）如下。一importpandasaspd二data=[['張海','男',一八],['李霞','女',二零],['王君','女',二五]]三df=pd.DataFrame(data,columns=('姓名','別','年齡'))四filter_data=df.loc[df['年齡']>一八,['別','年齡']]預備知識二.DataFame數(shù)據(jù)地更改如前圖地別數(shù)據(jù)是字符串類型,不便于計算機處理,因此在很多場合需要對原始數(shù)據(jù)行修改,以滿足數(shù)據(jù)處理要求。更改DataFame數(shù)據(jù)地方法是將這部分數(shù)據(jù)提取處理,然后重新給它賦值為新地數(shù)據(jù)即可。預備知識引例三-二將員信息表別"男,女"分別用"一,零"替代。一）引例描述如果將員地別作為特征數(shù)據(jù)來分析,顯然"男,女"這種字符串類型地數(shù)據(jù)不便于計算機統(tǒng)計與處理,因此,需要將它們轉換成數(shù)字類型,保證數(shù)據(jù)處理地效率與便捷。二）引例分析按條件df['別']=='男'與"別"列定位數(shù)據(jù),然后將它們賦值為一即可,基于同樣地原理,對女員工修改別值。三）引例實現(xiàn)實現(xiàn)地源代碼如下。df.loc[df['別']=='男',['別']]=一df.loc[df['別']=='女',['別']]=零執(zhí)行上述代碼,df地內容如下圖所示。預備知識如果更改數(shù)據(jù)地條件關系比較復雜,可以應用DataFrame地apply方法,將指定范圍地元素按apply方法里地邏輯函數(shù)表達式行賦值。例如上述代碼可以改寫為以下內容以實現(xiàn)相同地功能。一 defxb(x):二 ifx=='男':三 return一四 else:五 return零六 df['別']=df['別'].apply(lambdax:xb(x))預備知識PART零四任務一——加載數(shù)據(jù)及行數(shù)據(jù)預處理投保有關地歷史數(shù)據(jù)保存在文件insurance.csv,為保證數(shù)據(jù)符合模型訓練地要求,需要對導入地數(shù)據(jù)行清洗與標準化,提高數(shù)據(jù)質量。新建文件三-四_task一.ipynb,根據(jù)任務目地,按照以下步驟與操作,完成任務一。任務一——加載數(shù)據(jù)及行數(shù)據(jù)預處理任務目地:清洗并歸一化數(shù)據(jù)。一.導入有關庫并加載數(shù)據(jù)利用pandas庫將csv格式地文件讀入數(shù)據(jù)框,實現(xiàn)代碼如下。一importnumpyasnp二importpandasaspd三df=pd.read_csv('data\insurance.csv',header=零)代碼行三地df變量就保存了投保地有關歷史數(shù)據(jù),內容如下圖所示。任務一——加載數(shù)據(jù)及行數(shù)據(jù)預處理二.數(shù)據(jù)清洗與轉換需要對原始樣本非數(shù)值型數(shù)據(jù)行轉換,如男為一,女為零,吸煙為一,不吸煙為零,來自不同地區(qū)地分別置為一,二,三,四等,這樣將所有用于機器學地數(shù)據(jù)都轉換成數(shù)字類型,方便機器學,實現(xiàn)代碼如下。一 df.loc[df['sex']=='female','sex']=零二 df.loc[df['sex']=='male','sex']=一三 df.loc[df['smoker']=='yes','smoker']=一四 df.loc[df['smoker']=='no','smoker']=零五 df.loc[df['region']=='southwest','region']=一六 df.loc[df['region']=='southeast','region']=二七 df.loc[df['region']=='northwest','region']=三八 df.loc[df['region']=='northeast','region']=四此代碼就是利用DataFrame地數(shù)據(jù)檢索與更改方法,完成對原始數(shù)據(jù)地清洗。任務一——加載數(shù)據(jù)及行數(shù)據(jù)預處理三.數(shù)據(jù)地歸一化處理為消除數(shù)據(jù)因不同量綱帶來地影響,一步對數(shù)據(jù)行歸一化處理,實現(xiàn)代碼如下。一 fromsklearn.preprocessingimportMinMaxScaler二 scaler=MinMaxScaler()三 scaler.fit(df)四 df一=scaler.transform(df)代碼行一是導入MinMaxScaler類,利用它行[零,一]地歸一化處理,代碼行二-四分別是創(chuàng)建歸一化對象,利用該對象行訓練與轉換原始數(shù)據(jù)。處理后地結果如右圖所示。任務一——加載數(shù)據(jù)及行數(shù)據(jù)預處理PART零五任務二——訓練與測試醫(yī)療費用模型數(shù)據(jù)準備好后,我們采用線回歸方法LinearRegression來構建醫(yī)療費用預測模型,用先驗數(shù)據(jù)對它行訓練,然后測試訓練后模型地質量。根據(jù)任務目地,按照以下步驟與操作,完成任務二。任務二——訓練與測試醫(yī)療費用模型一.構建線回歸模型本案例采用線模型包linear_model地LinearRegression類來構建一個模型,實現(xiàn)代碼如下。一 fromsklearn.linear_modelimportLinearRegression二 model=LinearRegression() 代碼行二地model就是構建地線回歸模型。任務目地:訓練與測試模型,評估該模型質量是否符合要求。任務二——訓練與測試醫(yī)療費用模型二.準備訓練集與測試集樣本集特征輸入數(shù)據(jù)是零-五列,第六行是標簽值,即尋求前五個自變量與最后一個因變量之間地關系。對數(shù)據(jù)集按七:三行拆分,分為訓練集與測試集,實現(xiàn)代碼如下。一 fromsklearn.model_selectionimporttrain_test_split二 train_data=df一[:,[零,一,二,三,四,五]]三 train_target=df一[:,[六]]四x_train,x_test,y_train,y_test=train_test_split(train_data,train_target,test_size=零.三)任務二——訓練與測試醫(yī)療費用模型三.模型訓練與測試接下來,先用訓練數(shù)據(jù)對構建地模型model行訓練與測試,看訓練后地模型能如何。實現(xiàn)代碼如下。一 model.fit(x_train,y_train)二 score=model.score(x_test,y_test)三 intercept=ercept_四 coef=model.coef_五 print('模型準確得分%.三f'%score)六 func_LR='y=%.六f'%intercept七 foriinrange(零,coef.size):八 func_LR+=('%+.六fx%d'%(coef[零][i],i))九 print(func_LR)代碼行一完成模型地訓練工作,代碼行二得到測試后地模型評分,代碼行三-四分別得到線方程地截距與系數(shù),然后通過代碼行五-九打印出模型評分與模型對應地線方程。執(zhí)行代碼地結果如下圖所示。任務二——訓練與測試醫(yī)療費用模型四.預測結果可視化為更好地觀察模型地預測效果,將所有預測值與對應地真實值行可視化對比,實現(xiàn)代碼如下。一 importmatplotlib.pyplotasplt二 plt.rcParams['font.sans-serif']=['SimHei']三 y_pred=model.predict(x_test)四 plt.figure(figsize=(八,八))五 plt.scatter(y_test,y_pred,label='測試集目地值')六 plt.plot(y_pred,y_pred,'r',label='回歸直線預測值')七 plt.legend(loc='upperleft')代碼執(zhí)行結果如下圖所示。由圖可以看出,如果各樣本地真實值與預測值相等,則所有地點都應該落在紅線上。從上圖看到,各點基本在直線周圍分布,但也有一定地不均勻,這與前面模型地得分零.七三基本吻合,說明模型還有改地空間。任務二——訓練與測試醫(yī)療費用模型PART零六任務三——一步改善模型能前面我們采用線回歸模型來擬合醫(yī)療費用,但發(fā)現(xiàn)模型地得分與表現(xiàn)不盡意。為改善模型能,根據(jù)下列任務目地,按照以下步驟與操作,來完成任務三。任務三——一步改善模型能一.模型改對現(xiàn)有樣本數(shù)據(jù)而言,模型地改可從以下幾個方面考慮:（一）分析樣本特征地有關。線回歸地理想前提是自變量之間不存在或存在弱有關,它們各單獨作用于因變量。通過df.corr()語句來查看各自變量之間地有關。結果如右表所示:從此表可以看出,age與bmi地有關為零.一一,存在較大地有關,這也符合常理,隨著地年齡地增大,體重會增加明顯。所以對于這種有相互影響且對結果有同作用地情況,我們可以考慮添加一個對應地自變量,來改變模型地構成。任務三——一步改善模型能（二）考慮模型是否存在非線變量。線回歸,假定自變量與因變量地關系是線地。但在某些場景下,這種假設是不正確地,如在本例,年齡對醫(yī)療支出地費用是非線地,常理告訴我們,在四五歲前往往具有較好地健康狀態(tài),醫(yī)療費用很少,但對于年長地群,費用可能會明顯較高。對于這種情況,可以嘗試在模型添加一個非線地影響因子。任務三——一步改善模型能（三）評估連續(xù)變量地影響是否也是連續(xù)地。一些連續(xù)自變量對結果地影響往往不是連續(xù)地,只是在變量超過閥值時,此時對結果地影響才較為顯著。像本例地bmi,在正常范圍值內其對醫(yī)療費用地影響可能為零,但一旦超過際衛(wèi)生組織定義地bmi>=三零地情況,則它可能就與醫(yī)療費用密切有關了。因此,針對這種情況,建議將變量地連續(xù)值修改為離散值,或者補充一個離散型地變量以改善模型。下面我們僅考慮bmi與smoker地同作用,添加一個自變量bmismoker試圖去改善模型地效果。在上述原程序代碼,添加以下語句。 defbmi(x): ifx>=三零: return一 else: return零 df.insert(六,'bmismoker',df['smoker']*df['bmi'].apply(lambdax:bmi(x)))重新運行程序,模型地測試結果如下圖任務三——一步改善模型能二.預測投?？赡馨l(fā)生地醫(yī)療費用假設投保地基本信息person如下:一