大數(shù)據(jù)驅(qū)動的智能計算-東南大崇志宏

大數(shù)據(jù)驅(qū)動的人工智能技術

2023/2/51崇志宏數(shù)據(jù)與智能實驗室東南大學提綱基本框架和智能計算基本框架技術痛點應用難點分析文本結構化抽取智能框架市場研究報告外部公開數(shù)據(jù)源大數(shù)據(jù)知識圖譜價值傳遞內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利智能爬蟲文本結構化抽取其他非結構化、半結構化數(shù)據(jù)知識庫數(shù)據(jù)終端什么產(chǎn)品？什么客戶？什么市場模式？數(shù)據(jù)直通API智能搜索智能問答智能平臺模型與價值發(fā)現(xiàn)用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)產(chǎn)品設計用戶手冊客服錄音文本結構化抽取智能框架市場研究報告外部公開數(shù)據(jù)源大數(shù)據(jù)知識圖譜價值傳遞內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利智能爬蟲文本結構化抽取其他非結構化、半結構化數(shù)據(jù)知識庫數(shù)據(jù)終端什么產(chǎn)品？什么客戶？什么市場模式？數(shù)據(jù)直通API智能搜索智能問答智能平臺模型與價值發(fā)現(xiàn)用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)產(chǎn)品設計用戶手冊客服錄音技術痛點：多維數(shù)據(jù)的融合-知識圖譜知識庫概念、屬性外部公開數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利其他非結構化、半結構化數(shù)據(jù)市場研究報告內(nèi)部數(shù)據(jù)源用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)市場研究報告內(nèi)部數(shù)據(jù)源用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)產(chǎn)品規(guī)格設計文檔用戶手冊客服錄音技術痛點：多維度異構數(shù)據(jù)上的分析建模知識圖譜概念、屬性市場研究報告外部公開數(shù)據(jù)源內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利其他非結構化、半結構化數(shù)據(jù)用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)市場研究報告內(nèi)部數(shù)據(jù)源用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)模型與價值發(fā)現(xiàn)特征豐富約束條件語義向量化產(chǎn)品規(guī)格設計文檔用戶手冊客服錄音產(chǎn)品規(guī)格設計文檔用戶手冊客服錄音技術痛點：多維度異構數(shù)據(jù)上的分析建模知識庫概念、屬性市場研究報告外部公開數(shù)據(jù)源內(nèi)部數(shù)據(jù)源淘寶、京東、蘇寧新聞公司網(wǎng)站社交媒體公司招聘專利其他非結構化、半結構化數(shù)據(jù)用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)市場研究報告內(nèi)部數(shù)據(jù)源用戶研究報告行為大數(shù)據(jù)運營數(shù)據(jù)推廣數(shù)據(jù)調(diào)查、反饋數(shù)據(jù)模型與價值發(fā)現(xiàn)特征豐富約束條件語義向量化產(chǎn)品規(guī)格設計文檔用戶手冊技術痛點：用戶畫像、產(chǎn)品畫像中的數(shù)據(jù)的稀疏性價格差別品牌差別地區(qū)收入差別地區(qū)高低檔偏好差別評價（用詞偏好）關注偏好微博討論偏好零星個人信息購買記錄投訴記錄和關注點訪談調(diào)查記錄市場研究報告用戶研究報告促銷反饋職業(yè)差別人群差別特殊人群商品偏好…………………………………………特殊人群敏感度屬性社會屬性行為屬性技術痛點：用戶畫像、產(chǎn)品畫像中的數(shù)據(jù)的稀疏性價格差別品牌差別地區(qū)收入差別地區(qū)高低檔偏好差別評價（用詞偏好）關注偏好微博討論偏好零星個人信息購買記錄投訴記錄和關注點訪談調(diào)查記錄市場研究報告用戶研究報告促銷反饋職業(yè)差別人群差別特殊人群商品偏好…………………………………………特殊人群敏感度屬性社會屬性行為屬性數(shù)據(jù)稀疏性：1）知識圖譜數(shù)據(jù)融合；2）深度神經(jīng)網(wǎng)絡的泛化能力；3）語義特征向量技術痛點：用戶畫像、產(chǎn)品畫像中的數(shù)據(jù)的稀疏性數(shù)據(jù)稀疏性：1）知識圖譜數(shù)據(jù)融合；2）深度神經(jīng)網(wǎng)絡的泛化能力；3）語義特征向量模型與價值發(fā)現(xiàn)特征豐富約束條件知識圖譜的深度網(wǎng)絡表示技術痛點：高維屬性依賴關系模型訓練和推理特殊人群敏感度屬性社會屬性行為屬性痛點：高維屬性依賴關系模型訓練和推理特殊人群敏感度屬性社會屬性行為屬性提綱基本框架和智能計算基本框架技術痛點應用難點分析難點1：數(shù)據(jù)爬取和融合難點2：數(shù)據(jù)爬取和融合-圖片和文本融合文字描述多媒體信息融合與搜索圖片搜索圖片文字搜索圖片圖片搜索文字語音搜商品難點3：語音客服綜合平臺1.什么商品、品牌、規(guī)格2.什么原因、關切什么？3.解決方案偏好？4.……1.這個客戶是什么類型？2.一般的服務策略？3.詢問什么問題？4.可以提供什么繼續(xù)服務？抽取客戶信息客服支持語音客服綜合信息平臺客戶意圖識別客戶背景及相關資料服務模式和策略支持難點4：大規(guī)模信息結構評價行為語義網(wǎng)站結構語義一致性和網(wǎng)站結構評價根據(jù)日志行為的網(wǎng)頁矢量空間根據(jù)平臺結構的網(wǎng)頁矢量空間語義對齊語義距離度量行為語義和平臺結構語義的差別不同人群行為分析信息結構評價及改進點頁面布局問題網(wǎng)頁鏈接結構問題不同人群訪問模式特點難點5：國防綜合信息系統(tǒng)敵我部隊編制敵我指揮機構敵我武器裝備人防工程作戰(zhàn)條令、預案地理、氣象信息人工情報KafkaSparkStreaming知識圖譜HBASE存儲知識抽取、知識圖譜構建和維護SparkSPARQL接口作戰(zhàn)情報支持五月十五號早上敵飛機？？？飛近我釣魚島，飛行軌跡……滯留時間情報分析模型庫推測飛機型號、武器裝備、飛行目的以及推測依據(jù)……軍事知識圖譜構建和信息集成SparQL查詢接口語義搜索難點6：情感分析Yelp:57百萬用戶評論,132百萬獨立用戶訪問/月Dianping:26百萬評論,70百萬

獨立用戶/月OneproductinonereviewDetailedondifferentaspectsOverallscoreReviewcomment用戶對不同維度的信息關注度是推薦需要了解的結婚買什么樣的空調(diào)安靜的、掛起來的分析結果示意圖屬性(正面,負面)關于肉類

正面評價1465次負面評價497次關于雞翅

正面評價3次負面評價5次難點7：用戶潛在喜好分析推出一款新品，用戶的喜好程度如何？長期以來，一直忽視文本與評價分數(shù)的結合目標：1.用戶買過該產(chǎn)品2.用戶對該產(chǎn)品的體驗3.推薦可能滿意的產(chǎn)品難點8：基于潛在關聯(lián)的打包推薦推出相關產(chǎn)品，目的是組合售賣通過用戶的消費歷史，映射商品的可見特征到隱藏特征，獲取不同商品之間的關聯(lián)。難點9：數(shù)據(jù)融合不同廠家類似產(chǎn)品歸類NameDescriptionPriceTP-linkTL-WR703N

3G

MiniWirelessRouterProductName:TP-LinkBrand:

TP-LinkModel:

TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:

802.11b

802.11g

802.11n

802.3u

802.3Frequency:

2.4GSuitablefor:

Broadbandrouter￥99.00TP-linkTL-WR703N

MiniWirelessRouterBoardProductName:TP-Link

Brand:TP-LinkModel:TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:IEEE802.11b/g/nEmbeddedFirewall:NoVPNSupport:No￥44.45目標：提高自身的競爭力Unstructureddatacontainimportantinformationexquisiteandeasyofuse!Recommend!Satisfiedpurchase!Received!Veryexquisite!Hopeitcanstaylong!…It’spractical,exquisiteandportable.Theonlydrawback…Goodproduct,butit’simpossibletoaddLenovoh301cameratogetherwith301driver.Adduvcinstead…Itsappearanceisordinary,butthehandworkisgood,theboardisstable.Theserveranswerseveryquestion...Theboardisgood,thecraftisterrific.Bestchoiceforhandcraft文本特征重要MatchingResultInputEntityDataPreprocessingFeatureSelectionDataPartitioningPairGenerationSimilarityCalculationFeatureNormalizationRandom-basedAlgorithmsSignatureSorting&NeighborSelectionRedundancyReductionAdditionalMapReduceJobHammingDistance基于文本特征的分布式數(shù)據(jù)融合架構難點10：分布式內(nèi)存數(shù)據(jù)處理用戶交易交易流水主機DB2查