大數(shù)據(jù)的分類(lèi)挖掘優(yōu)化技術(shù)

大數(shù)據(jù)的分類(lèi)挖掘優(yōu)化技術(shù):Asbigdataoptimizationminingisneededtoimproveclassificationrecognitionandretrievalperformanceofbigdata,abigdataclassificationminingmethodbasedondistributionalextractionofweakcorrelationindexfeaturesisproposed?Thesparsefusionmethodisadoptedtoperformclusteringspacedivisionforbigdataflow?Thehigh?dimensionalfractaifeaturesofbigdataarereorganizedbyusingtheself?correlationfeaturematchingmethod?Thevectorquantificationmethodisadoptedforconvergencecontrolofbaseelement classificationofbigdata.Theweakcorrelationindexfeaturesofbigdatainformationflowareextractedtorealizeoptimizationclassificationandminingofbigdata.TheSimulationresuItsshowthatthemethodfordataclassificationandminingimprovestheprecisionandrecallperformanceofbigdataminingandretrieva.1 ,andhashighminingaccuracyandgoodanti?interferencecapability.Keywords：bigdata；informationfusion；classificationmining；clusteringspacedivision；featureextraction

0引言隨著網(wǎng)絡(luò)空間的不斷擴(kuò)容以及網(wǎng)絡(luò)信息技術(shù)的發(fā)展，在網(wǎng)絡(luò)云存儲(chǔ)數(shù)據(jù)庫(kù)中，大數(shù)據(jù)存在較大的差異性特征，需要對(duì)大數(shù)據(jù)進(jìn)行分類(lèi)挖掘，提高對(duì)大數(shù)據(jù)信息庫(kù)的檢索和分類(lèi)識(shí)別能力，研究大數(shù)據(jù)分類(lèi)挖掘技術(shù)，在提高大數(shù)據(jù)檢索、訪問(wèn)、調(diào)度和特征提取能力方面具有重要意義，相關(guān)的數(shù)據(jù)分類(lèi)挖掘方法研究受到人們的極大重視：1]O當(dāng)前主要采用主成分挖掘方法、粒子群分布式挖掘方法以及統(tǒng)計(jì)特征提取的大數(shù)據(jù)挖掘方法[2]特征提取的大數(shù)據(jù)挖掘方法[2]O通過(guò)自適應(yīng)分布式學(xué)習(xí)算法實(shí)現(xiàn)大數(shù)據(jù)挖掘，把網(wǎng)絡(luò)分布式云存儲(chǔ)大數(shù)據(jù)時(shí)間序列解析模型分解為含有多個(gè)非線性成分的統(tǒng)計(jì)量，進(jìn)行數(shù)據(jù)的分布式特征重構(gòu)，提高數(shù)據(jù)挖掘的抗干擾能力。但是隨著數(shù)據(jù)規(guī)模的擴(kuò)大，挖掘的準(zhǔn)確性不好，提岀基于弱關(guān)聯(lián)性指數(shù)特征分布提取的大？稻莘擲嗤誥眥椒d?首先進(jìn)行大數(shù)據(jù)分布的統(tǒng)計(jì)特征分析，然后進(jìn)行特征提取和數(shù)據(jù)分類(lèi)算法設(shè)計(jì)，最后進(jìn)行數(shù)據(jù)挖掘仿真實(shí)驗(yàn)，得出有效性結(jié)論。1大數(shù)據(jù)的統(tǒng)計(jì)性特征分析1.1大數(shù)據(jù)的稀疏性融合為了實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分類(lèi)挖掘優(yōu)化，首先采用統(tǒng)計(jì)特征分析方法進(jìn)行大數(shù)據(jù)特征提取和信息重構(gòu)，對(duì)大數(shù)據(jù)信息流采用稀疏性融合方法進(jìn)行聚類(lèi)空間劃分。本文研究的大數(shù)據(jù)對(duì)象為網(wǎng)絡(luò)分布式云存儲(chǔ)大數(shù)據(jù)。用圖表示網(wǎng)絡(luò)分布式云存儲(chǔ)大數(shù)據(jù)的輸入模型，統(tǒng)計(jì)特征分布的向量量化邊集為，單個(gè)存儲(chǔ)分布節(jié)點(diǎn)的信息覆蓋域?yàn)閞,設(shè)，且，得到網(wǎng)絡(luò)分布式云存儲(chǔ)大數(shù)據(jù)的信息融合支持向量集為:式中：和分別表示網(wǎng)絡(luò)分布式云存儲(chǔ)大數(shù)據(jù)的時(shí)域和頻域分布結(jié)構(gòu)特征；和分別表示大數(shù)據(jù)的采樣時(shí)間間隔和波束分布間隔。采用觀測(cè)或?qū)嶒?yàn)手段獲得網(wǎng)絡(luò)分布式云存儲(chǔ)采樣的先驗(yàn)知識(shí)[3],通過(guò)對(duì)數(shù)據(jù)的多元信息融合處理得到網(wǎng)絡(luò)分布式云存儲(chǔ)并行調(diào)度和重構(gòu)的特征分布向量定義為：式中：為網(wǎng)絡(luò)分布式云存儲(chǔ)特征分布矩陣的對(duì)角元素值；為測(cè)量誤差。通過(guò)大數(shù)據(jù)的稀疏性融合，得到網(wǎng)絡(luò)分布式云存儲(chǔ)重構(gòu)的約束指標(biāo)分布向量集，以此為特征基礎(chǔ)進(jìn)行向量量化分析和數(shù)據(jù)重構(gòu)。1.2大數(shù)據(jù)分類(lèi)挖掘的聚類(lèi)空間劃分基于奈奎斯特采樣定理[4],結(jié)合大數(shù)據(jù)稀疏性融合結(jié)果，進(jìn)行大數(shù)據(jù)分類(lèi)挖掘聚類(lèi)空間劃分，對(duì)大數(shù)據(jù)信息流特征重組模型進(jìn)行歸一化處理，得數(shù)據(jù)分類(lèi)挖掘指向性維數(shù)滿(mǎn)足：式中，為對(duì)取模。對(duì)大數(shù)據(jù)聚類(lèi)空間劃分，進(jìn)行大數(shù)據(jù)信息流時(shí)頻分解，得分解式為：式中，表示數(shù)據(jù)弱關(guān)聯(lián)指向性分布函數(shù)，將提取指向性特征輸入到大數(shù)據(jù)分類(lèi)挖掘傳輸信道中，進(jìn)行向量量化分解。假設(shè)為時(shí)間窗函數(shù)，通過(guò)構(gòu)建大數(shù)據(jù)分類(lèi)挖掘知識(shí)庫(kù)模型，得到數(shù)據(jù)的副本信息融合嵌入維數(shù)m滿(mǎn)足： 通過(guò)自相關(guān)特征匹配方法進(jìn)行大數(shù)據(jù)高維分形特征重組，假設(shè)分類(lèi)特征重組的傳遞函數(shù)，采用一個(gè)二維的連續(xù)函數(shù)進(jìn)行大數(shù)據(jù)聚類(lèi)的收斂性控制，得到大數(shù)據(jù)分類(lèi)挖掘的極大惦的判決特征函數(shù)式為：當(dāng)網(wǎng)絡(luò)分布式云存儲(chǔ)數(shù)據(jù)是局部平穩(wěn)的，通過(guò)構(gòu)造數(shù)據(jù)集的規(guī)則向量集，得到大數(shù)據(jù)分類(lèi)挖掘的聚類(lèi)空間為:結(jié)合訓(xùn)練數(shù)據(jù)集的規(guī)則向量子集解向量分布融合結(jié)果[5],得到大數(shù)據(jù)分類(lèi)挖掘聚類(lèi)空間分布的指向性函數(shù)為：2大數(shù)據(jù)分類(lèi)挖掘?qū)崿F(xiàn)在對(duì)大數(shù)據(jù)信息流采用稀疏性融合方法進(jìn)行聚類(lèi)空間劃分的基礎(chǔ)上，進(jìn)行數(shù)據(jù)分類(lèi)特征提取和挖掘過(guò)程優(yōu)化，本文提出一種基于弱關(guān)聯(lián)性指數(shù)特征分布提取的大數(shù)據(jù)分類(lèi)挖掘方法，采用向量量化方法進(jìn)行大數(shù)據(jù)的基元分類(lèi)的收斂性控制[6],向量量化的特征函數(shù)為：式中：表示大數(shù)據(jù)特征序列的相關(guān)性指數(shù)系數(shù)；表示先驗(yàn)點(diǎn)簇；表示信息融合的深度；為數(shù)據(jù)的關(guān)聯(lián)維。利用數(shù)據(jù)集的相似性分布式重建方法，得到數(shù)據(jù)的時(shí)頻分解的變換定義為：經(jīng)自相關(guān)特征匹配，則數(shù)據(jù)聚類(lèi)目標(biāo)函數(shù)為：式中，為數(shù)據(jù)特征分布子帶信息。采用向量量化方法進(jìn)行大數(shù)據(jù)的基元分類(lèi)的收斂性控制[7],提取數(shù)據(jù)的能量密度譜（Spectrogram,SPEC為：基于模糊聚類(lèi)方法進(jìn)行數(shù)據(jù)分類(lèi)挖掘，數(shù)據(jù)分類(lèi)挖掘的特征空間的維數(shù)滿(mǎn)足： （14）網(wǎng)絡(luò)分布式云存儲(chǔ)重構(gòu)的誤差項(xiàng)滿(mǎn)足高斯？馬爾科夫假設(shè)將網(wǎng)絡(luò)分布式云存儲(chǔ)重構(gòu)的約束指標(biāo)矩陣改寫(xiě)為邊緣分布矩陣為：式中：為的關(guān)聯(lián)維向量；為的云數(shù)據(jù)的聚類(lèi)指向性分布矩陣；為的參數(shù)向量；為的網(wǎng)絡(luò)分布式云存儲(chǔ)聚類(lèi)的誤差向量。提取大數(shù)據(jù)信息流的弱關(guān)聯(lián)性指數(shù)特征，得到關(guān)聯(lián)數(shù)據(jù)的線性組合為：利用IFFT變換進(jìn)行大數(shù)據(jù)的弱關(guān)聯(lián)性特征估計(jì)，得到：分析上述

提取的特征估計(jì)結(jié)果得知，由于大數(shù)據(jù)分類(lèi)挖掘的過(guò)程受到大數(shù)據(jù)的基元分類(lèi)的收斂性控制，所以大數(shù)據(jù)分類(lèi)挖掘的收斂性較好，準(zhǔn)確性得以提高。3實(shí)驗(yàn)分析對(duì)大數(shù)據(jù)分類(lèi)挖掘的仿真實(shí)驗(yàn)建立在Matlab仿真環(huán)境基礎(chǔ)上，大數(shù)據(jù)為網(wǎng)絡(luò)分布式云存儲(chǔ)大數(shù)據(jù)，實(shí)驗(yàn)仿真環(huán)境為：IntelCore3?5301GB內(nèi)存，操作系統(tǒng)為Endows7大數(shù)據(jù)分布的陣元數(shù)目為64,初始采樣的信噪比定為8dB,數(shù)據(jù)特征分布的隨機(jī)點(diǎn)個(gè)數(shù)為3,數(shù)據(jù)分布的頻帶為4?25kHzo根據(jù)上述仿真設(shè)定，得大數(shù)據(jù)的原始分布時(shí)域波形如圖1所示。以圖1給出的大數(shù)據(jù)為研究對(duì)象，進(jìn)行分類(lèi)挖掘，提取大數(shù)據(jù)信息流的弱關(guān)聯(lián)性指數(shù)特征，實(shí)現(xiàn)大數(shù)據(jù)分類(lèi)挖掘。圖2給出了采用本文方法和傳統(tǒng)的統(tǒng)計(jì)特征分析方法進(jìn)行數(shù)據(jù)分類(lèi)挖掘的準(zhǔn)確性對(duì)比。分析得知,采用本文方法進(jìn)行大數(shù)據(jù)挖掘檢索的查準(zhǔn)性和查全對(duì)比。分析得知,采用本文方法進(jìn)行大數(shù)據(jù)挖掘檢索的查準(zhǔn)性和查全性較高，提高了大數(shù)據(jù)挖掘的準(zhǔn)確性。4結(jié)語(yǔ)本文提出一種基于弱關(guān)聯(lián)性指數(shù)特征分布提取的大數(shù)據(jù)分類(lèi)挖掘方法，對(duì)大數(shù)據(jù)信息