2024微軟人工智能系統(tǒng)自動機(jī)器學(xué)習(xí)

Reference:/stable/tutorial/machine_learning_map/index.html參數(shù)類型RandomForestClassifierRandomForestRegressorGradientBoostingClassifierGradientBoostingRegressorloss目標(biāo)損失函數(shù)exponential：模型等同AdaBoost★deviance：和LogisticRegression的損失函數(shù)一致?lián)p失函數(shù)exponential：模型等同AdaBoost★deviance：和LogisticRegression的損失函數(shù)一致alpha目標(biāo)損失函數(shù)為huber或quantile的時，alpha為損失函數(shù)中的參數(shù)損失函數(shù)為huber或quantile的時，alpha為損失函數(shù)中的參數(shù)class_weight目標(biāo)類別的權(quán)值n_estimators性能子模型的數(shù)量int：個數(shù)★10：默認(rèn)值子模型的數(shù)量●int：個數(shù)★10：默認(rèn)值子模型的數(shù)量●int：個數(shù)★100：默認(rèn)值子模型的數(shù)量●int：個數(shù)★100：默認(rèn)值learning_rate性能學(xué)習(xí)率（縮減）學(xué)習(xí)率（縮減）criterion性能判斷節(jié)點(diǎn)是否繼續(xù)分裂采用的計算方法entropy★gini判斷節(jié)點(diǎn)是否繼續(xù)分裂采用的計算方法★msemax_features性能節(jié)點(diǎn)分裂時參與判斷的最大特征數(shù)int：個數(shù)float：占所有特征的百分比★auto：所有特征數(shù)的開方sqrt：所有特征數(shù)的開方log2：所有特征數(shù)的log2值None：等于所有特征數(shù)節(jié)點(diǎn)分裂時參與判斷的最大特征數(shù)int：個數(shù)float：占所有特征的百分比★auto：所有特征數(shù)的開方sqrt：所有特征數(shù)的開方log2值節(jié)點(diǎn)分裂時參與判斷的最大特征數(shù)int：個數(shù)float：占所有特征的百分比log2：所有特征數(shù)的log2值★None：等于所有特征數(shù)節(jié)點(diǎn)分裂時參與判斷的最大特征數(shù)int：個數(shù)float：占所有特征的百分比log2：所有特征數(shù)的log2值★None：等于所有特征數(shù)subsample性能子采樣率float：采樣率★1.0：默認(rèn)值子采樣率float：采樣率★1.0：默認(rèn)值init性能初始子模型初始子模型n_jobs效率并行數(shù)int：個數(shù)-1：跟CPU核數(shù)一致★1:默認(rèn)值并行數(shù)int：個數(shù)-1：跟CPU核數(shù)一致★1:默認(rèn)值warm_start效率是否熱啟動，如果是，則下一次訓(xùn)練是以追加樹的形式進(jìn)行bool：熱啟動★False：默認(rèn)值是否熱啟動，如果是，則下一次訓(xùn)練是以追加樹的形式進(jìn)行bool：熱啟動★False：默認(rèn)值是否熱啟動，如果是，則下一次訓(xùn)練是以追加樹的形式進(jìn)行bool：熱啟動★False：默認(rèn)值是否熱啟動，如果是，則下一次訓(xùn)練是以追加樹的形式進(jìn)行bool：熱啟動★False：默認(rèn)值presort效率是否預(yù)排序,數(shù)據(jù)不管用●Bool★auto：非稀疏數(shù)據(jù)則預(yù)排序，若稀疏數(shù)據(jù)則不預(yù)排序是否預(yù)排序,預(yù)排序可以加速查找最佳分裂點(diǎn)，對于稀疏數(shù)據(jù)不管用●Bool★auto：非稀疏數(shù)據(jù)則預(yù)排序，若稀疏數(shù)據(jù)則不預(yù)排序oob_score附加是否計算袋外得分False：默認(rèn)值是否計算袋外得分False：默認(rèn)值random_state附加隨機(jī)器對象隨機(jī)器對象隨機(jī)器對象隨機(jī)器對象 DecisionTreeClassifier(*,criterion='gini',splitter='best',max_depth=None,min_samples_split=2,n_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=None,random_state=None,max_leaf_nodes=None,min_impurity_decrease=0.0,min_impurity_split=None,class_weight=None,presort='deprecated',ccp_alpha=0.0)LinearSVC(penalty='l2',loss='squared_hinge',*,tol=0.0001,C=1.0,multi_class='ovr',fit_intercept=True,intercept_scaling=1,class_weight=None,verbose=0,random_state=None,max_iter=1000)GradientBoostingClassifier(*,loss='deviance',learning_rate=0.1,n_estimators=100,subsample=1.0,criterion='friedman_mse',min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_depth=3,min_impurity_decrease=0.0,min_impurity_split=None,init=None,random_state=None,max_features=None,verbose=0,max_leaf_nodes=None,warm_start=False,presort='deprecated',validation_fraction=0.1,n_iter_no_change=None,tol=0.0001,ccp_alpha=0.0)LogisticRegression(penalty='l2',*,dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state=None,solver='lbfgs',max_iter=100,multi_class='auto',verbose=0,warm_start=False,n_jobs=None,l1_ratio=None)SGDRegressor(loss='squared_loss',*,penalty='l2',alpha=0.0001,l1_ratio=0.15,fit_intercept=True,max_iter=1000,tol=0.001,verbose=0,epsilon=0.1,random_state=None,learning_rate='invscaling',eta0=0.01,power_t=0.25,early_stopping=False,validation_fraction=0.1,n_iter_no_change=5,warm_start=False,average=False) 生成超參數(shù)中間結(jié)果生成超參數(shù)中間結(jié)果最終結(jié)果中間結(jié)果、最終結(jié)果：即模型的優(yōu)化目標(biāo)，如精度（Accuracy）、損失值（Loss）貝葉斯優(yōu)化其他優(yōu)化算法 隨機(jī)數(shù)值類型支持所有數(shù)值類型歷史數(shù)據(jù)不利用開發(fā)與探索的平衡相當(dāng)于只探索，但無探索策略搜索空間大小的適應(yīng)大搜索空間不易找到較優(yōu)結(jié)果其它特點(diǎn)通常也能得出可接受的結(jié)果，可作為其它優(yōu)化算法的基準(zhǔn) 遍歷數(shù)值類型支持有限的數(shù)值類型，如枚舉、整型、以及分段的浮點(diǎn)數(shù)歷史數(shù)據(jù)不利用開發(fā)與探索的平衡嘗試所有可能性搜索空間大小的適應(yīng)搜索空間大小直接影響搜索時間其它特點(diǎn)僅適用于非常小的搜索空間 從較高的初始溫度開始，出發(fā),這個溫度稱為初始溫度伴隨著溫度參數(shù)的不斷下降,算法中的解趨于穩(wěn)定但是可能這樣的穩(wěn)定解是一個局部最優(yōu)解此時模擬退火算法中會以一定的概率跳出這樣的局部最優(yōu)解以尋找目標(biāo)函數(shù)的全局最優(yōu)解.這個概率就與溫度參數(shù)的大小有關(guān),,概率越大,反之則越小. //From：blog/heaad/archive/2010/12/20/1911614.html/*J(y)：在狀態(tài)y時的價函值 Y(i)：表示當(dāng)前狀態(tài) Y(i+1)：表示新的狀態(tài)r：用于控制降溫的快慢 T：系統(tǒng)的溫度，系統(tǒng)初應(yīng)該處于個高的狀態(tài)T_min：溫度的下限，若溫度TT_min*/while(T>T_min){dE=J(Y(i+1))-J(Y(i));if(dE>=0)//表達(dá)移動后得到更優(yōu)解，則總是接受移動Y(i+1)=Y(i);//接受從Y(i)到Y(jié)(i+1)的移動else{}

//dE<0,函數(shù)exp(dE/T)的取值范圍是(0,1)，dE/T越大，則exp(dE/T)也越大if(exp(dE/T)>random(0,1))Y(i+1)=Y(i);//接受從Y(i)到Y(jié)(i+1)的移動T=r*T;//降溫退火，0<r<1。r越大，降溫越慢；r越小，降溫越快/**若rr過小，則搜索的過程會很快，但最終可能會達(dá)到一個局部最優(yōu)值*/i++;}模擬退火數(shù)值類型支持各種數(shù)據(jù)類型歷史數(shù)據(jù)使用歷史數(shù)據(jù)來確定最優(yōu)結(jié)果及溫度開發(fā)與探索的平衡初期趨于探索，后期趨于挖掘搜索空間大小的適應(yīng)大搜索空間不易找到較優(yōu)結(jié)果其它特點(diǎn)/heaad/archive/2010/12/23/1914725.html /maybe2030/p/4665837.html#_label0 壞將直接決定整個算法性能的優(yōu)劣

其設(shè)計的好 /maybe2030/p/4665837.html#_label0 進(jìn)化數(shù)值類型支持各種數(shù)據(jù)類型歷史數(shù)據(jù)使用歷史數(shù)據(jù)來比較出較好的超參組合開發(fā)與探索的平衡初始種群越大，越傾向于探索。變異的超參數(shù)量越多、變化范圍越大，越趨向于探索。搜索空間大小的適應(yīng)需要較多迭代次數(shù)其它特點(diǎn) ParzenEstimators貝葉斯優(yōu)化數(shù)值類型支持各種數(shù)據(jù)類型，以及數(shù)據(jù)間的級聯(lián)關(guān)系歷史數(shù)據(jù)替代模型使用歷史數(shù)據(jù)來評估搜索空間開發(fā)與探索的平衡采集函數(shù)用于平衡挖掘與探索搜索空間大小的適應(yīng)對較大搜索空間也較有效其它特點(diǎn)特別適合解決自動機(jī)器學(xué)習(xí)這類主動學(xué)習(xí)的問題。如果并發(fā)數(shù)量較多，優(yōu)化效率會下降。 /media//en//