大數(shù)據(jù)驅(qū)動(dòng)的智能計(jì)算-東南大崇志宏

大數(shù)據(jù)驅(qū)動(dòng)的人工智能技術(shù)

2023/2/51崇志宏數(shù)據(jù)與智能實(shí)驗(yàn)室東南大學(xué)提綱基本框架和智能計(jì)算基本框架技術(shù)痛點(diǎn)應(yīng)用難點(diǎn)分析文本結(jié)構(gòu)化抽取智能框架市場(chǎng)研究報(bào)告外部公開數(shù)據(jù)源大數(shù)據(jù)知識(shí)圖譜價(jià)值傳遞內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利智能爬蟲文本結(jié)構(gòu)化抽取其他非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)知識(shí)庫(kù)數(shù)據(jù)終端什么產(chǎn)品？什么客戶？什么市場(chǎng)模式？數(shù)據(jù)直通API智能搜索智能問答智能平臺(tái)模型與價(jià)值發(fā)現(xiàn)用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)產(chǎn)品設(shè)計(jì)用戶手冊(cè)客服錄音文本結(jié)構(gòu)化抽取智能框架市場(chǎng)研究報(bào)告外部公開數(shù)據(jù)源大數(shù)據(jù)知識(shí)圖譜價(jià)值傳遞內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利智能爬蟲文本結(jié)構(gòu)化抽取其他非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)知識(shí)庫(kù)數(shù)據(jù)終端什么產(chǎn)品？什么客戶？什么市場(chǎng)模式？數(shù)據(jù)直通API智能搜索智能問答智能平臺(tái)模型與價(jià)值發(fā)現(xiàn)用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)產(chǎn)品設(shè)計(jì)用戶手冊(cè)客服錄音技術(shù)痛點(diǎn)：多維數(shù)據(jù)的融合-知識(shí)圖譜知識(shí)庫(kù)概念、屬性外部公開數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利其他非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)研究報(bào)告內(nèi)部數(shù)據(jù)源用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)市場(chǎng)研究報(bào)告內(nèi)部數(shù)據(jù)源用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)產(chǎn)品規(guī)格設(shè)計(jì)文檔用戶手冊(cè)客服錄音技術(shù)痛點(diǎn)：多維度異構(gòu)數(shù)據(jù)上的分析建模知識(shí)圖譜概念、屬性市場(chǎng)研究報(bào)告外部公開數(shù)據(jù)源內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利其他非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)市場(chǎng)研究報(bào)告內(nèi)部數(shù)據(jù)源用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)模型與價(jià)值發(fā)現(xiàn)特征豐富約束條件語(yǔ)義向量化產(chǎn)品規(guī)格設(shè)計(jì)文檔用戶手冊(cè)客服錄音產(chǎn)品規(guī)格設(shè)計(jì)文檔用戶手冊(cè)客服錄音技術(shù)痛點(diǎn)：多維度異構(gòu)數(shù)據(jù)上的分析建模知識(shí)庫(kù)概念、屬性市場(chǎng)研究報(bào)告外部公開數(shù)據(jù)源內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利其他非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)市場(chǎng)研究報(bào)告內(nèi)部數(shù)據(jù)源用戶研究報(bào)告行為大數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)模型與價(jià)值發(fā)現(xiàn)特征豐富約束條件語(yǔ)義向量化產(chǎn)品規(guī)格設(shè)計(jì)文檔用戶手冊(cè)技術(shù)痛點(diǎn)：用戶畫像、產(chǎn)品畫像中的數(shù)據(jù)的稀疏性價(jià)格差別品牌差別地區(qū)收入差別地區(qū)高低檔偏好差別評(píng)價(jià)（用詞偏好）關(guān)注偏好微博討論偏好零星個(gè)人信息購(gòu)買記錄投訴記錄和關(guān)注點(diǎn)訪談?wù){(diào)查記錄市場(chǎng)研究報(bào)告用戶研究報(bào)告促銷反饋職業(yè)差別人群差別特殊人群商品偏好…………………………………………特殊人群敏感度屬性社會(huì)屬性行為屬性技術(shù)痛點(diǎn)：用戶畫像、產(chǎn)品畫像中的數(shù)據(jù)的稀疏性價(jià)格差別品牌差別地區(qū)收入差別地區(qū)高低檔偏好差別評(píng)價(jià)（用詞偏好）關(guān)注偏好微博討論偏好零星個(gè)人信息購(gòu)買記錄投訴記錄和關(guān)注點(diǎn)訪談?wù){(diào)查記錄市場(chǎng)研究報(bào)告用戶研究報(bào)告促銷反饋職業(yè)差別人群差別特殊人群商品偏好…………………………………………特殊人群敏感度屬性社會(huì)屬性行為屬性數(shù)據(jù)稀疏性：1）知識(shí)圖譜數(shù)據(jù)融合；2）深度神經(jīng)網(wǎng)絡(luò)的泛化能力；3）語(yǔ)義特征向量技術(shù)痛點(diǎn)：用戶畫像、產(chǎn)品畫像中的數(shù)據(jù)的稀疏性數(shù)據(jù)稀疏性：1）知識(shí)圖譜數(shù)據(jù)融合；2）深度神經(jīng)網(wǎng)絡(luò)的泛化能力；3）語(yǔ)義特征向量模型與價(jià)值發(fā)現(xiàn)特征豐富約束條件知識(shí)圖譜的深度網(wǎng)絡(luò)表示技術(shù)痛點(diǎn)：高維屬性依賴關(guān)系模型訓(xùn)練和推理特殊人群敏感度屬性社會(huì)屬性行為屬性痛點(diǎn)：高維屬性依賴關(guān)系模型訓(xùn)練和推理特殊人群敏感度屬性社會(huì)屬性行為屬性提綱基本框架和智能計(jì)算基本框架技術(shù)痛點(diǎn)應(yīng)用難點(diǎn)分析難點(diǎn)1：數(shù)據(jù)爬取和融合難點(diǎn)2：數(shù)據(jù)爬取和融合-圖片和文本融合文字描述多媒體信息融合與搜索圖片搜索圖片文字搜索圖片圖片搜索文字語(yǔ)音搜商品難點(diǎn)3：語(yǔ)音客服綜合平臺(tái)1.什么商品、品牌、規(guī)格2.什么原因、關(guān)切什么？3.解決方案偏好？4.……1.這個(gè)客戶是什么類型？2.一般的服務(wù)策略？3.詢問什么問題？4.可以提供什么繼續(xù)服務(wù)？抽取客戶信息客服支持語(yǔ)音客服綜合信息平臺(tái)客戶意圖識(shí)別客戶背景及相關(guān)資料服務(wù)模式和策略支持難點(diǎn)4：大規(guī)模信息結(jié)構(gòu)評(píng)價(jià)行為語(yǔ)義網(wǎng)站結(jié)構(gòu)語(yǔ)義一致性和網(wǎng)站結(jié)構(gòu)評(píng)價(jià)根據(jù)日志行為的網(wǎng)頁(yè)矢量空間根據(jù)平臺(tái)結(jié)構(gòu)的網(wǎng)頁(yè)矢量空間語(yǔ)義對(duì)齊語(yǔ)義距離度量行為語(yǔ)義和平臺(tái)結(jié)構(gòu)語(yǔ)義的差別不同人群行為分析信息結(jié)構(gòu)評(píng)價(jià)及改進(jìn)點(diǎn)頁(yè)面布局問題網(wǎng)頁(yè)鏈接結(jié)構(gòu)問題不同人群訪問模式特點(diǎn)難點(diǎn)5：國(guó)防綜合信息系統(tǒng)敵我部隊(duì)編制敵我指揮機(jī)構(gòu)敵我武器裝備人防工程作戰(zhàn)條令、預(yù)案地理、氣象信息人工情報(bào)KafkaSparkStreaming知識(shí)圖譜HBASE存儲(chǔ)知識(shí)抽取、知識(shí)圖譜構(gòu)建和維護(hù)SparkSPARQL接口作戰(zhàn)情報(bào)支持五月十五號(hào)早上敵飛機(jī)？？？飛近我釣魚島，飛行軌跡……滯留時(shí)間情報(bào)分析模型庫(kù)推測(cè)飛機(jī)型號(hào)、武器裝備、飛行目的以及推測(cè)依據(jù)……軍事知識(shí)圖譜構(gòu)建和信息集成SparQL查詢接口語(yǔ)義搜索難點(diǎn)6：情感分析Yelp:57百萬用戶評(píng)論,132百萬獨(dú)立用戶訪問/月Dianping:26百萬評(píng)論,70百萬

獨(dú)立用戶/月OneproductinonereviewDetailedondifferentaspectsOverallscoreReviewcomment用戶對(duì)不同維度的信息關(guān)注度是推薦需要了解的結(jié)婚買什么樣的空調(diào)安靜的、掛起來的分析結(jié)果示意圖屬性(正面,負(fù)面)關(guān)于肉類

正面評(píng)價(jià)1465次負(fù)面評(píng)價(jià)497次關(guān)于雞翅

正面評(píng)價(jià)3次負(fù)面評(píng)價(jià)5次難點(diǎn)7：用戶潛在喜好分析推出一款新品，用戶的喜好程度如何？長(zhǎng)期以來，一直忽視文本與評(píng)價(jià)分?jǐn)?shù)的結(jié)合目標(biāo)：1.用戶買過該產(chǎn)品2.用戶對(duì)該產(chǎn)品的體驗(yàn)3.推薦可能滿意的產(chǎn)品難點(diǎn)8：基于潛在關(guān)聯(lián)的打包推薦推出相關(guān)產(chǎn)品，目的是組合售賣通過用戶的消費(fèi)歷史，映射商品的可見特征到隱藏特征，獲取不同商品之間的關(guān)聯(lián)。難點(diǎn)9：數(shù)據(jù)融合不同廠家類似產(chǎn)品歸類NameDescriptionPriceTP-linkTL-WR703N

3G

MiniWirelessRouterProductName:TP-LinkBrand:

TP-LinkModel:

TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:

802.11b

802.11g

802.11n

802.3u

802.3Frequency:

2.4GSuitablefor:

Broadbandrouter￥99.00TP-linkTL-WR703N

MiniWirelessRouterBoardProductName:TP-Link

Brand:TP-LinkModel:TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:IEEE802.11b/g/nEmbeddedFirewall:NoVPNSupport:No￥44.45目標(biāo)：提高自身的競(jìng)爭(zhēng)力Unstructureddatacontainimportantinformationexquisiteandeasyofuse!Recommend!Satisfiedpurchase!Received!Veryexquisite!Hopeitcanstaylong!…It’spractical,exquisiteandportable.Theonlydrawback…Goodproduct,butit’simpossibletoaddLenovoh301cameratogetherwith301driver.Adduvcinstead…Itsappearanceisordinary,butthehandworkisgood,theboardisstable.Theserveranswerseveryquestion...Theboardisgood,thecraftisterrific.Bestchoiceforhandcraft文本特征重要MatchingResultInputEntityDataPreprocessingFeatureSelectionDataPartitioningPairGenerationSimilarityCalculationFeatureNormalizationRandom-basedAlgorithmsSignatureSorting&NeighborSelectionRedundancyReductionAdditionalMapReduceJobHammingDistance基于文本特征的分布式數(shù)據(jù)融合架構(gòu)難點(diǎn)10：分布式內(nèi)存數(shù)據(jù)處理用戶交易交易流水主機(jī)DB2查