版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
RDD的takeSample編程目錄引言源碼參數(shù)分析212案例3223引言1引言
takeSample返回此RDD的固定大小的采樣子集。返回Array。注意:僅當(dāng)預(yù)期結(jié)果數(shù)組較小時(shí)才應(yīng)使用此方法,因?yàn)樗袛?shù)據(jù)均已加載到驅(qū)動(dòng)程序的內(nèi)存中。源碼參數(shù)分析2源碼參數(shù)分析釋
//takeSample源碼deftakeSample(withReplacement:Boolean,num:Int,seed:Long=Utils.random.nextLong):Array[T]=withScope{valnumStDev=10.0require(num>=0,"Negativenumberofelementsrequested")require(num<=(Int.MaxValue-(numStDev*math.sqrt(Int.MaxValue)).toInt),"Cannotsupportasamplesize>Int.MaxValue-"+s"$numStDev*math.sqrt(Int.MaxValue)")源碼參數(shù)分析釋
//takeSample源碼if(num==0){newArray[T](0)}else{valinitialCount=this.count()if(initialCount==0){newArray[T](0)}else{valrand=newRandom(seed)源碼參數(shù)分析釋
if(!withReplacement&&num>=initialCount){Utils.randomizeInPlace(this.collect(),rand)}else{valfraction=SamplingUputeFractionForSampleSize(num,initialCount,withReplacement)varsamples=this.sample(withReplacement,fraction,rand.nextInt()).collect()varnumIters=0源碼參數(shù)分析釋
while(samples.length<num){logWarning(s"Neededtore-sampleduetoinsufficientsamplesize.Repeat#$numIters")samples=this.sample(withReplacement,fraction,rand.nextInt()).collect()numIters+=1}Utils.randomizeInPlace(samples,rand).take(num)}}}}源碼參數(shù)分析釋
參數(shù)分析如下:1.withReplacement:是否放回抽樣。true-有放回,false-無(wú)放回。2.num:返回樣本的大小。3.seed:隨機(jī)數(shù)生成器的種子。一般默認(rèn)。案例3案例1.無(wú)放回抽樣,樣本個(gè)數(shù)>父本個(gè)數(shù),返回父本個(gè)數(shù)。valrdd=sc.parallelize(List(2,3,7,4,8))valsampleRdd=rdd.takeSample(false,10)sampleRdd.foreach(println)2.無(wú)放回抽樣,樣本個(gè)數(shù)<=父本個(gè)數(shù),返回樣本個(gè)數(shù)。valrdd=sc.parallelize(List(2,3,7,4,8))valsampleRdd=rdd.takeSample(false,3)sampleRdd.foreach(println)。3.有放回抽樣,返回樣本個(gè)數(shù)。valrdd=sc.pa
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 傳感器課件教學(xué)
- 大班古詩(shī)畫(huà)(幼兒園課件)
- 擺渡人讀書(shū)心得
- 承包建材廠(chǎng)合同(3篇)
- 標(biāo)準(zhǔn)租房合同(32篇)
- 愛(ài)崗敬業(yè)演講稿(范例11篇)
- 財(cái)務(wù)會(huì)計(jì)的實(shí)習(xí)報(bào)告
- 《松鼠》教學(xué)設(shè)計(jì)
- 車(chē)庫(kù)租賃簡(jiǎn)單的合同(35篇)
- 遼寧省撫順市(2024年-2025年小學(xué)四年級(jí)語(yǔ)文)人教版綜合練習(xí)(上學(xué)期)試卷及答案
- 《2024運(yùn)動(dòng)鞋市場(chǎng)與消費(fèi)趨勢(shì)洞察》
- 【人教版】《勞動(dòng)教育》五上 勞動(dòng)項(xiàng)目三《制作扇子》 課件
- 護(hù)理示教室管理制度
- 第一章 機(jī)械運(yùn)動(dòng)單元檢測(cè)試題 2024-2025學(xué)年人教版八年級(jí)物理上冊(cè)
- 新冠試劑過(guò)期處置合同
- 2024-2030年中國(guó)耳機(jī)和耳機(jī)行業(yè)市場(chǎng)發(fā)展趨勢(shì)與前景展望戰(zhàn)略分析報(bào)告
- 2023年四川省綿陽(yáng)市游仙區(qū)東辰國(guó)際學(xué)校小升初數(shù)學(xué)試卷
- 2024年中國(guó)誠(chéng)通控股集團(tuán)限公司總部公開(kāi)招聘(高頻重點(diǎn)提升專(zhuān)題訓(xùn)練)共500題附帶答案詳解
- QCT513-2023商用車(chē)輛前軸總成
- 2023年貴州劍河富民村鎮(zhèn)銀行夏季招聘考試真題
- (“感術(shù)”行動(dòng))實(shí)施方案
評(píng)論
0/150
提交評(píng)論