星環(huán)科技安裝手冊sophon使用手冊sophonmanual-t00150x-07_第1頁
星環(huán)科技安裝手冊sophon使用手冊sophonmanual-t00150x-07_第2頁
星環(huán)科技安裝手冊sophon使用手冊sophonmanual-t00150x-07_第3頁
星環(huán)科技安裝手冊sophon使用手冊sophonmanual-t00150x-07_第4頁
星環(huán)科技安裝手冊sophon使用手冊sophonmanual-t00150x-07_第5頁
已閱讀5頁，還剩115頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、1.22223334488881.2222333448888編寫目的 讀者對象 Sophon配置 . . . . . . . . . . . . . . . . . . . . . . .2.1.Sophon2.2.Sophon2.2.1. 2.2.2. 2.2.3.Inceptor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..1.3.4. . . . . . . . . . . . ..Sophon. . . . . . . . . . . . .CSV數(shù)據(jù) Json讀模型

2、PMML.1. 寫入Inceptor. . . . . . . . . . . . .寫模型PMML模型導(dǎo)出為json4.3.Select. . . . . . . . . . . . . . . . . . . . . . . . . . . 取前N條數(shù)據(jù) .Aggregate . . . . . . . . . . . . . . . . . . . . . . . . . . Group By. . . . . . . . . . . . . . . . . . . . . . . . . . . Rollup . . . . . . . . . . . . . . . .

3、 . . . . . . . . . . . Cube . . . . . . . . . . . . . . . . . . . . . . . . . . . . Pivot. . . . . . . . . . . . . . . . . . . . . . . . . . . 表去重 4.4.One-HotEncoder . . . . . . . . . . . . . . . . . . . . . 生成ID精確采樣 e. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . by . . . . . . . . . . . . . . . . . . . . . . . . . . MultipleOrder By. . . . . . . . . . . . . . . . . . . . . ReplaceData . . . . . . . . . . . . . . . . . . . . . . 行歸一化 標(biāo)準(zhǔn)歸一化 MaxMax_AbsSQL替換缺失值 二值化 特征分桶 分位數(shù)離散化 WoE離散余弦

5、變換特征分桶 分位數(shù)離散化 WoE離散余弦變換 主成分分析 奇異值分解 數(shù)據(jù)類型轉(zhuǎn)換 喬列斯基分解 異常檢測LOF特征尺度變換 特征異常平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Boost分類 k. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . k二分K均值 4.8.Dense層

6、Dropout層 基本RNN單元 GRU單元 多個RNN. . . . . . . . . . . . . . . . . . . . . . . . .4.8.10. 應(yīng)用深度模型 4.9.詞頻TF逆文檔頻率IDF word2vec. . . . . . . . . . . . . . .詞頻TF逆文檔頻率IDF word2vec. . . . . . . . . . . . . . . . . . . . . . . . . . . 4.10. 統(tǒng)計相關(guān) 單變量數(shù)值特征統(tǒng)計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7、. . . . . . . . . . . . . . . .二變量類別與數(shù)值特征統(tǒng)計 計算權(quán)重 系統(tǒng) 4.11.1. 交換最小二乘 4.11.2. 因子分解機(jī) 4.12. 關(guān)聯(lián)規(guī)則 FP-Growth創(chuàng)建關(guān)聯(lián)規(guī)則 PrefixSpan算法 Apriori應(yīng)用關(guān)聯(lián)規(guī)則 轉(zhuǎn)換事務(wù)數(shù)據(jù)集 4.13. 驗證與評估 性能（分類） 性能（二分類） 性能（回歸） 性能（聚類） X-驗證 優(yōu)化參數(shù)（網(wǎng)格搜索） 4.14. 實用工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15. 控制 4.15.1. 循環(huán) 4.15.2. 按列循環(huán) 4.16. 自定義 4.15. 控制 4.15.1. 循環(huán) 4.15.2. 按列循環(huán) 4.16. 自定義 自定義算子管理 自定義算子 .4.17.5. UDF . . . . . . . . . . . . . . . . . . .

10、. . . . . . . . . . . .5.1. . . . . . . . . . . . . . . . . . . . . . . . . . . .字符串 時間 數(shù)學(xué) Array, Map,Struct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11、 . . . . . . . .聚 合其 他窗口 5.2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .數(shù)據(jù)讀寫 預(yù)處理 模型 7.streamsql8.,-aopT,-aopTa-l 2013-2017!#$%&()*+,-!#$%&()*+,-?F0234K/!#$%&()*+,-()*+,-C8?/01: T001

12、50 x-11-V: 2017-07-Preface|1.1.1. 1.2. 1.3. Sophon 1.!6#$%6&csv 1.1.1. 1.2. 1.3. Sophon 1.!6#$%6&csv 2.)6(uYw+,6- C=&k-meansdbscanemtop-_=&FP-k-_=&AprioriFP-5.6. C2|1. 1.4. B12|x861.5. 1.6. 1.1.4. B12|x861.5. 1.6. 1.| Windows7/WindowsServerUbuntu2.2.1. Sophon Sophon 2.2.1. Sophon Sophon 4|2. z Sopho

13、n Kz Sophon K2.| LYwG TDH KK Sophon LYwG TDH KK Sophon 6|2. GtuPG InceptorKFGYw+wGtuPG InceptorKFGYw+wSophonK 2.| )c+K2.2. Sophon 2.2.1. F2.2.2. XFKw0 )c+K2.2. Sophon 2.2.1. F2.2.2. XFKw0 27 zFK2.2.3. Inceptor 6(InceptorzInceptor8|2. 2.| 2.| 3. 3.1. 3.1.1. 3.1.2. 3. 3.1. 3.1.1. 3.1.2. 3.1.

14、3. 10|. +o,JK+F=xz6KjpWzYK3.1.5. 3.1.4. +o,JK+F=xz6KjpWzYK3.1.5. 3.| 3.2. !6K-source-3.3. 3.3.1. 4play3zyestemperatureQ80K6k0Fnk04IBnK j 3.4. 3.4.1. JK-3.2. !6K-source-3.3. 3.3.1. 4play3zyestemperatureQ80K6k0Fnk04IBnK j 3.4. 3.4.1. JK-x3MNOCKFxpEgolfKp-12|3.3.p1.1.(1)zgolf6#-p1.1.(1)zgolf6#-3

15、.| 5.iYw6DKo14|3.5.iYw6DKo14|. p2. label 7.XYF3.4.2. p2. label 7.XYF(1)zlabel6#-3.| 10. iYw6DKo16|3.10. iYw6DKo16|3.de=R/6S/z/6-!#$%C6-Sr3.6.2. 8(6)churnVYzlabelde=R/6S/z/6-!#$%C6-Sr3.6.2. 8(6)churnVYzlabel“z3.6.3. 3.| 7. 8.9. .10.2210.22|3.4. 4.1. 4.1.1. 4.1.2. 4. Sophon | 4. 4.1. 4.1

16、.1. 4.1.2. 4. Sophon | !J%sql4Ique !4.1.3. YwuHDFSKCSV-24|. YwuHDFSKCSV-24|4.!J%sql4Ique !a=BUTF-V-4. Sophon | =BUTF-V-4. Sophon | KJson-4.1.5. !26|4.KJson-4.1.5. !26|4.!+0= R!#=NaNINF- V-:%pmml-:%pmml-:4.2. 4. Sophon | :4.2.2. 28|4.:4.2.2. 28|4.root:4. Sophon | eB= NH$G_AC -parquetBparquet-:

17、4. Sophon | eB= NH$G_AC -parquetBparquet-0-orc-:4.2.4. :30|4.eB= NH$G_AC CSVz:4.2.4. :30|4.eB= NH$G_AC CSVz z #.; V-L-parquet-. :4.2.6. :4. Sophon | $IKK*pN+ :4.2.6. :4. Sophon | $IKK*pN+ eB= NH$G_AC .; V-L-4.2.7. :)wpmml-$:wPMML-4.2.7. :)wpmml-$:wPMML-4.2.8. :4.3. 32|4.$4.3.2. 4.3.3. k09z;n&. 323VY

18、nwandWp4Kk0:Yw4.3.2. 4.3.3. k09z;n&. 323VYnwandWp4Kk0:Yw+ncondition Kk0Afilter:missing pn+2i3Kk 0missing_attribute pn“zRlabelKVY+2i3Kk0missing_label pn 4. Sophon | Li Li u+CVY /A)LiLi iu+CVY =Li=Li=LiLi 4.3.4. ;CF=Yuse id 4.3.5. 4.3.4. ;CF=Yuse id 4.3.5. =A-4.3.6. 34|4.useidattributeas4.3.7. A6KFC=A

19、+4.3.9. Group SQLKgroup.3.7. A6KFC=A+4.3.9. Group SQLKgroup..12.4. Sophon | group index aggregate6group attributejindex 9zindex attribute KVYA+2i3aggregate attributes;KVY 4.3.13. 4.4. 36|4.9zindex attribute KVYA+2i3aggregate attributes;KVY 4.3.13. 4.4. 36|. wp+VYuserK6

20、z ?VYKYwGrename additional attributes4.4.2. D.qrqrVY!K-=-4.4.1. wp+VYuserK6z ?VYKYwGrename additional attributes4.4.2. D.qrqrVY!K-=-yoktoKk0u a. balance column : sleratioperclass : Edit tclass 4Ibalance Yresult,JVY+0123balance leratioclass4. Sophon | 4.4.10. withsle4.4.11.e4.4.10. withsle4.4.11.e44|

21、2.56-pp6-pp.1m6ponK4.4.13. exaB;k0K 4.4.14. Order 4.4.15. Multiple Order 4. Sophon | EditEnumeration GAttributeFilterTypeaaaF 4.4.16. Replace 4.4.17. GAttributeFilterTypeaaaF 4.4.16. Replace 4.4.17. tup-norm6C/.k0n/zLp+G0CjCHtuF; = 4.4.18. W/;zW/Kz3Dz9z:K;F 9A,-K46|4.olumns:4.4.19.mol

22、umns:4.4.20.max-absn_/azn_/+0-olumns:4.4.19.molumns:4.4.20.max-absn_/azn_/+0-olumns:out:max-!K6Cmax-4. Sophon | 4.4.21. SQLTransformertu.1Ksql;6CSr.SELECTTHIS Ljp.SELECTa+b ASa_bFROM SQRT(b)ASb_sqrtFROM THIS wherea 4.4.21. SQLTransformertu.1Ksql;6CSr.SELECTTHIS Ljp.SELECTa+b ASa_bFROM SQRT(b)ASb_sqr

23、tFROM THIS wherea 5b,SUM(c)AS c_sumFROM THIS b4.4.22. 48|4.YEdit Edit 4.4.23. 4.4.24. 4. Sophon |4.4.23. 4.4.24. 4. Sophon | 4.4.25. 50|5. 50|4.u.,5-lits.1z-0.5, K6-0.3,0.2,0.0,1.0, 1.0.p-.=splitsz-0.5, xyKsplitsz-inf,-0.0,0.5,.4.27. .4.27. 4.4.28. 4. Sophon | WXK (2: znonepAo

24、;K6+nVY2.zkeepVariance +(!zW*+m3.znonepAo;K6+nVY2.zkeepVariance +(!zW*+m3.zfixedNumber +k4IA_0Kp5)m;.;cKKLPz; 4.4.29. znonezkeepVariance+percent,4I01K!SVDKA zfixedNumberAQJ3+m52|0. 4. Sophon | 4.4.30. 4. Sophon | 4IzArray)4.4.31. mod : exa : 4.4.32. 4.4.31. mod : exa : 4.4.32. :54|3. .

25、KzCK=log,abs,4.4.33. .KzCK=log,abs,exa:Q;k0”(rKzaKzzscalemethod+scalecolumn4.4.34. Jzallzsingle4. Sophon | 3. zsubset LB 4.4In_pp+regular KVYW+useexcept yregularyexceptregular3. zsubset LB 4.4In_pp+regular KVYW+useexcept yregularyexceptregular=1.zzScore $pmzpercentage4I(xK-3.zthreshold4.5. 4.5.1. 56

26、|4.mod : exa : mtype4.5.2. 4. Sophon | mod : exa : mtype4.5.2. 4. Sophon | mod : exa : 4.5.3. mVYFpq=MNOGVYLGKVY$+dVY* mod : exa : 58|4.mod : exa : 4.5.3. mVYFpq=MNOGVYLGKVY$+dVY* mod : exa : 58|4. -B-4.5.4. cODensemble mod : exa : 4. Sophon | 4.5.4. cODensemble mod : exa : 4. Sophon | -B-squared(L2

27、)j absolute(L1)mod : exa : 4.5.6. jtug(z)Pz$Fg(z) Yw3st0j1(FWXYFKAGBzXYF;KQ+0K=!n0j160|4.+0G0,1,Q0,mod : exa : 4.5.6. jtug(z)Pz$Fg(z) Yw3st0j1(FWXYFKAGBzXYF;KQ+0K=!n0j160|4.+0G0,1,Q0,Q0,Q0,Q0,(0,1,(0,1,(0,1,Q)0,Q)0,XKW=,6-Q)0, ve cases) / sum(mod : exa : 4.5.7. mod : exa : 4.5.8. 4. Sophon | step mo

28、d : exa : 4.5.7. mod : exa : 4.5.8. 4. Sophon | step numreg mini batchP_treeAggregation mod : exa : Liu,Ting,CharlesRosenberg,andHenryRowley.Clusteringbillionsofimages largescalenearestneighborsearch.ApplicationsofComputerVi IEEE Workshop on. IEEE, 2007.,mod : exa : Liu,Ting,CharlesRosenberg,andHenr

29、yRowley.Clusteringbillionsofimages largescalenearestneighborsearch.ApplicationsofComputerVi IEEE Workshop on. IEEE, 2007.,4.5.9. mod : exa : 62|4.2uselocalrandom kOSrzbrute-4.6. 4.6.1. mod : exa : 4.6.2. mVYFpq=MNOGVYLGKVY$+dVY* 4. Sophon4.6. 4.6.1. mod : exa : 4.6.2. mVYFpq=MNOGVYLGKVY$+dVY* 4. Sop

30、hon | mod : exa : 4.6.3. 64|4. mod : exa : 4.6.3. 64|4. -B-mod : exa : 4.6.4. 4. Sophon | mod : exa : 4.6.4. 4. Sophon | -B-mod : exa : 4.6.5. kAB:.+,xY = y_1, y_2, , 6, X = x_1, x_2, , x_n x_i)2Ks_3,-mod : exa : 4.6.5. kAB:.+,xY = y_1, y_2, , 6, X = x_1, x_2, , x_n x_i)2Ks_3,-mod : exa : 4.6.6. mod

31、 : exa : 66|4.treeAggregation 4.6.7. mod : exa : 4.7. 4.7.1. k-4. Sophon | k4.6.7. mod : exa : 4.7. 4.7.1. k-4. Sophon | kclu : :4.7.2. mod : :68|4.kclu : :4.7.2. mod : :68|4.krandomjk-Gk-4.7.3. mod : :4.8. 4.8.1. 4. Sophon | 4.7.3. mod : :4.8. 4.8.1. 4. Sophon | k:4.8.4. 70|4.:4.8.4. 70|4.AdamaGrad

32、ient:4.8.5. 0RNNRNNF +RNNzbcde2F bcde2 tuGbcdeIJKF9z|KRNNJiYtu :GRURNNF +RNNzbcde2F tuGbcdeIJKF :4. Sophon |:4.8.5. 0RNNRNNF +RNNzbcde2F bcde2 tuGbcdeIJKF9z|KRNNJiYtu :GRURNNF +RNNzbcde2F tuGbcdeIJKF :4. Sophon | :4.8.8. bcdeDRNN, RNN. :4.8.9. bcdeRNN,RNN.0D3K|KRNN KRNN. :4.8.8. bcdeDRNN, RNN. :4.8.

33、9. bcdeRNN,RNN.0D3K|KRNN KRNN. +RNNzbcde2. bcde2tuG :72|4.:4.8.10. applicationlab : :4.8.10. applicationlab : mod : 4.9. ztzd,(zD.TF(t,d)tGd7KF=tu G7KpK7c%+7byB#$ L=,a , the , of F=G;Dz9z:K; * ;v: J4. Sophon | 4.9.2. ztzd , (zD .DF(t,D) (&tKF=t of F=G4.9.2. ztzd , (zD .DF(t,D) (&tKF=t of F=G$L=,a,th

34、eIDF K#$LKcLFTF .1TF jIDF RS;Dz9z:K; * ;v: J74|. out : 4. Sophon | 4.9.3. out : 4. Sophon | 4.9.4. :4.9.5. 76|. :4.9.5. 76|4.=4.9.6. exa:K6sec:4. Sophon | =4.9.6. exa:K6sec:4. Sophon | Row(,valschema=StructField(name, DaStructField(age, Davaloutput=d1.sqlContext.createDataFrame(r

35、dd,schema) Array(output, d1)K5C AcustomxSophonK5&jar&FCF.1Cclass SimpleCustomOp,parameters 64IOzK.1C+tu+Au 100|4.0DfrompysparkimportSparkContextSparkContext/F A9/F SophonDentrycN+K SparkContext 0DfrompysparkimportSparkContextSparkContext/F A9/F SophonDentrycN+K SparkContext sc=entry.sc# spark=entry.

36、spark# y;vj;vK6;kDentry F6 y entry.put_df(df)X4. Sophon | #+,-frompyspark.sqlimport#+,-frompyspark.sqlimportcol = paramsp1 # out1=df.select(col)# sc = entry.sc # Sospark = entry.spark # # rdd=sc.parallelize(1,2,people=rdd.map(lambdax:Row(name=name,age=x) out2 = spark.createDataFrame(people)# Cout1,

37、*4.17. 102|4.4. Sophon | le4. Sophon | leunmatched exsetI;Ay4 K sing5.5.1. 5.1.1. 104|. 5.1.1. 104|. 5.UDF|5.1.2. 5.UDF|5.1.3. 106|. 106|5.5.UDF|er5.UDF|er5.1.4.Array,Map,5.1.5. 108|5.+-*/%5.1.4.Array,Map,5.1.5. 108|5.+-*/%5.1.6. 5.UDF|5.1.6. 5.UDF|5.1.7. 5.1.8. 110|. 5.1

38、.8. 110|5.5.2. SophonuHIKUDFUDAFF +KUDFYwG1. GSophon/usr/lib/midasx s2.5.2. SophonuHIKUDFUDAFF +KUDFYwG1. GSophon/usr/lib/midasx s2. packageclass TestUDF extends UDFEntryoverridedefregister(registration:UDFRegistration):Unitregistration.register(test,(x:String)=x.substring(0, 3. 5.UDF|r6. M6.1. 6.1.1. 6.1.2. F6.1

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論