數(shù)據(jù)標注工程-概念、方法、工具與案例高職全套教學課件_第1頁
數(shù)據(jù)標注工程-概念、方法、工具與案例高職全套教學課件_第2頁
數(shù)據(jù)標注工程-概念、方法、工具與案例高職全套教學課件_第3頁
數(shù)據(jù)標注工程-概念、方法、工具與案例高職全套教學課件_第4頁
數(shù)據(jù)標注工程-概念、方法、工具與案例高職全套教學課件_第5頁
已閱讀5頁,還剩446頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

人工智能技術應用核心課程數(shù)據(jù)標注工程——概念、方法、工具與案例全套可編輯PPT課件第1章人工智能概述.pptx第2章數(shù)據(jù)標注的概念、工具與方法.pptx第3章圖像數(shù)據(jù)標注.pptx第4章視頻數(shù)據(jù)標注.pptx第5章語音數(shù)據(jù)標注.pptx第6章文本數(shù)據(jù)標注.pptx第7章3D點云標注.pptx第8章工程化數(shù)據(jù)標注的組織管理.pptx第9章工程化數(shù)據(jù)標注的質(zhì)量控制.pptx第10章工程化數(shù)據(jù)標注的進度管理.pptx第11章工程化數(shù)據(jù)標注的系統(tǒng)平臺.pptx第12章數(shù)據(jù)標注的發(fā)展趨勢.pptx第1章人工智能概述1.2人工智能的典型技術人工智能技術應用核心課程1.1人工智能發(fā)展歷程1.3人工智能是新一代信息技術的核心1.4本章小結1.5作業(yè)與練習全套可編輯PPT課件1.1

人工智能發(fā)展歷程第1章人工智能概述人工智能發(fā)展過程歷經(jīng)了三波浪潮,分別是“邏輯推理”時代,“知識工程”時代和“數(shù)據(jù)挖掘”時代。1.1.1人工智能的發(fā)展歷程1.1

人工智能發(fā)展歷程第1章人工智能概述“邏輯推理”時代(1951-1973年)

崛起:“人工智能”、“圖靈測試”等概念被正式提出,部分數(shù)學理論得到突破,一批初級人工智能應用被推出:薩繆爾編寫成的西洋跳棋程序、第一個能夠與人互動的聊天機器人ELIZA、帶有視覺傳感器并能夠抓取積木的移動機器人SHAKEY。寒冬:由于邏輯證明器、感知器和增強學習等工具被證實只能完成簡單任務,一些重要數(shù)學模型被發(fā)現(xiàn)存在缺陷,人工智能不足以解決任何實際的問題,人工智能技術受到了社會輿論的普遍質(zhì)疑,大量研究資金被撤走。1.1.1人工智能的發(fā)展歷程1.1

人工智能發(fā)展歷程第1章人工智能概述“知識工程”時代(1981-1987年)

崛起:“專家系統(tǒng)”興起,“神經(jīng)網(wǎng)絡”模型突破,預期實現(xiàn)與人對話、翻譯語言、解釋圖像、具有推理能力的功能。

寒冬:專家系統(tǒng)僅局限于某些特定場景,后期維護費用也比較高,神經(jīng)網(wǎng)絡的設計一直缺少相應嚴格的數(shù)學理論支持,無法對前層進行有效的學習,軟件發(fā)展遇到障礙。因此預期的功能并未得到實現(xiàn)。1.1.1人工智能的發(fā)展歷程1.1

人工智能發(fā)展歷程第1章人工智能概述“數(shù)據(jù)挖掘”時代(21世紀初-至今)

崛起:“機器學習”理論發(fā)展、“深度學習”理論興起,人工智能算法精度得到巨大提高,一批超越人腦的應用出現(xiàn),例如IBM深藍戰(zhàn)勝了國際象棋冠軍卡斯帕羅夫,IBM創(chuàng)造的超級電腦“沃森”與人類選手共同參加智力問答節(jié)目“危險邊緣”獲得冠軍,阿爾法狗(AlphaGo)戰(zhàn)勝人類頂尖圍棋選手等。同時中美英等國相繼發(fā)布人工智能發(fā)展戰(zhàn)略規(guī)劃。崛起原因:數(shù)據(jù)、算力和算法的突破性增長。信息時代產(chǎn)生了海量數(shù)據(jù),計算機性能的不斷提升大幅提高了算力,算法的突破提升了算法精度,三者共同推動人工智能行業(yè)向前發(fā)展。1.1.1人工智能的發(fā)展歷程1.1

人工智能發(fā)展歷程第1章人工智能概述人工智能是通過賦予機器感知和模擬人類思維的能力,使機器達到乃至超越人類的智能,人工智能技術的發(fā)展會對經(jīng)濟、社會、文化、政府部門產(chǎn)生深遠影響。1.1.2人工智能的影響力人工智能發(fā)展對經(jīng)濟的影響:(1)總體預估:到2030年,人工智能對世界經(jīng)濟的貢獻將達到15.7萬億美元。2030年中國人工智能核心產(chǎn)業(yè)規(guī)模將超過1萬億元,帶動相關產(chǎn)業(yè)規(guī)模超過10萬億元,發(fā)展空間巨大。(2)人工智能可能改變?nèi)虍a(chǎn)業(yè)鏈:工業(yè)機器人、智能制造等技術將進一步取代人類的簡單重復勞作,制造業(yè)將“回流”發(fā)達經(jīng)濟體(3)人工智能對就業(yè)產(chǎn)生結構性變化:到2030年,全球?qū)⒂卸噙_8億人會失去工作,取而代之的是自動化機器人。同時,人工智能技術的廣泛應用也將增加對這方面的專業(yè)人才的需求。1.1

人工智能發(fā)展歷程第1章人工智能概述1.1.2人工智能的影響力人工智能發(fā)展對社會的影響:(1)人工智能推動形成不同的技術社會形態(tài):信息社會中信息、知識成為重要的生產(chǎn)力要素。在技術變革的影響下,人與人的關系、人與自然的關系、人與機器的關系,乃至人本身,都在發(fā)生變化。(2)人工智能引起社會結構重構:未來人類社會將以是否能夠掌握人工智能技術、享受人工智能紅利為界,將社會群體分化為“人工智能”和“非人工智能”兩個層面,并對個人的發(fā)展、財富的分配起到相當大的作用。(3)人工智能對法律的影響:計算機技術要求有新的法律分析、解釋和理論進行規(guī)范。1.1

人工智能發(fā)展歷程第1章人工智能概述1.1.2人工智能的影響力人工智能發(fā)展對文化的影響:(1)人工智能對人們生活的改變:如一些問題、知識、新聞、學習課程等,人們能通過計算機與手機客戶端,不用打字,僅僅通過“說話”,計算機或手機客戶端便能呈現(xiàn)人們想要的內(nèi)容。(2)人工智能人們觀念的改變:智能化的生活方式會大幅改變?nèi)藗兊乃季S方式,使得越來越多的人產(chǎn)生重視靈活、快捷、現(xiàn)代生活方式的觀念。1.1

人工智能發(fā)展歷程第1章人工智能概述1.1.2人工智能的影響力人工智能發(fā)展對政府部門的影響:(1)宏觀整體:人工智能中的“大數(shù)據(jù)”打破政府部門間的行政數(shù)據(jù)壁壘,便于準確掌握相關決策信息,更好地研判經(jīng)濟社會發(fā)展態(tài)勢,提高政府決策質(zhì)量。(2)微觀局部:人工智能在教育、醫(yī)療、養(yǎng)老、環(huán)境保護、城市運行、司法服務等領域廣泛應用,極大提高公共服務精準化水平,幫助全面提升民眾生活品質(zhì),人工智能也能為廣大民眾民主參與政府部門溝通和對接國家政治事務提供便捷通道。1.1

人工智能發(fā)展歷程第1章人工智能概述人工智能是戰(zhàn)略性技術和新一輪產(chǎn)業(yè)變革的核心驅(qū)動力。人工智能的國際競爭通過貿(mào)易領域和軍事領域是贏得競爭的戰(zhàn)場。目前,競爭主要體現(xiàn)在貿(mào)易和軍事方面:(1)貿(mào)易方面:美國擔心在這一輪新的工業(yè)革命中喪失優(yōu)勢,因此對中國5G、無人機、智能安防等領域的龍頭公司進行產(chǎn)業(yè)封鎖。(2)軍事方面:未來人工智能將從根本上改變戰(zhàn)爭形式和國際關系,未來戰(zhàn)爭士兵可能無需上戰(zhàn)場,所有戰(zhàn)斗通過指揮無人自動武器完成。因此人工智能技術將決定一個國家根本的軍事實力,也必將成為大國競爭的主戰(zhàn)場。目前,美國、日本、德國、英國和中國是競爭中的主要國家。1.1.3人工智能的國際競爭1.1

人工智能發(fā)展歷程第1章人工智能概述美國:視人工智能為鞏固其全球霸主地位的重要籌碼(1)相關報告:《為人工智能的未來做好準備》、《國家人工智能研究與發(fā)展戰(zhàn)略規(guī)劃》與《人工智能、自動化及經(jīng)濟》。(2)戰(zhàn)略目標:一是要將人工智能技術有效整合進政府的業(yè)務中,期望打造一個更有效的政府;二是服務民眾福祉,鑒于人工智能技術的巨大潛力,擬在智慧城市、身心健康、社會福利、刑事司法、環(huán)境、弱勢群體等領域應用人工智能技術,幫助人民改善生活。(3)數(shù)據(jù)戰(zhàn)略:美國認為用于訓練的數(shù)據(jù)集等資源的深度、質(zhì)量及準確性會對人工智能性能產(chǎn)生重大影響。政府率先構建優(yōu)質(zhì)的數(shù)據(jù)集和環(huán)境,并向公眾開放,充分保護公眾免受數(shù)據(jù)安全傷害,并保證經(jīng)濟競爭的公平性。1.1.3人工智能的國際競爭1.1

人工智能發(fā)展歷程第1章人工智能概述日本:以“工程化”措施推進人工智能研發(fā)(1)相關報告:《科學技術白皮書(2016年版)》、《第5期科學技術基本計劃(2016-2020)》。(2)戰(zhàn)略目標:建設國家級人工智能平臺。將理化學研究所、產(chǎn)業(yè)技術綜合研究所確定為日本的人工智能研究基地,并設立前端集成智能平臺項目,開展“產(chǎn)學官”合作方式,在短期內(nèi)進行技術開發(fā)和轉(zhuǎn)化,研究與應用要密切結合。(3)數(shù)據(jù)戰(zhàn)略:在數(shù)據(jù)支撐方面,研究機構基于不同的目的需求開展數(shù)據(jù)收集,并進行累積和儲備。例如,日本汽車研究所制作的自動駕駛圖像識別數(shù)據(jù)等,到事業(yè)運行階段再將數(shù)據(jù)移交給企業(yè)。1.1.3人工智能的國際競爭1.1

人工智能發(fā)展歷程第1章人工智能概述德國:將人工智能定位于工業(yè)4.0核心環(huán)節(jié)(1)相關報告:《聯(lián)邦政府人工智能戰(zhàn)略要點》。(2)戰(zhàn)略目標:工業(yè)4.0的最終核心是人工智能,發(fā)展人工智能就是發(fā)展工業(yè)4.0,重點包括三個主題:第一是智能工廠,第二是智能生產(chǎn),第三是智能物流。德國圍繞智能網(wǎng)絡制造、信息通信技術、智能技術系統(tǒng)、生產(chǎn)自動化等相關主題,資助企業(yè)與高校、科研機構合作開展了一系列研發(fā)和創(chuàng)新項目。1.1.3人工智能的國際競爭1.1

人工智能發(fā)展歷程第1章人工智能概述英國:積極而審慎發(fā)展人工智能技術(1)相關報告:《人工智能2020國家戰(zhàn)略》、《英國機器人及人工智能發(fā)展路線圖》。(2)戰(zhàn)略目標:英國政府將人工智能技術列為最重要的八大技術之一,同時考慮人工智能可能帶來的負面影響。在產(chǎn)業(yè)扶持方面,民間資本在政府引導下,加大對該領域的投入,促進了人工智能初創(chuàng)企業(yè)的孵化和階段科研的轉(zhuǎn)化。1.1.3人工智能的國際競爭1.1

人工智能發(fā)展歷程第1章人工智能概述中國:將發(fā)展人工智能上升為國家戰(zhàn)略(1)相關報告:《新一代人工智能發(fā)展規(guī)劃》。(2)戰(zhàn)略目標:三步走。

第一步:到2020年人工智能總體技術和應用與世界先進水平同步,人工智能產(chǎn)業(yè)成為新的重要經(jīng)濟增長點,培育若干全球領先的人工智能骨干企業(yè),人工智能核心產(chǎn)業(yè)規(guī)模超過1500億元,帶動相關產(chǎn)業(yè)規(guī)模超過1萬億元。

第二步:到2025年人工智能基礎理論實現(xiàn)重大突破,部分技術與應用達到世界領先水平,人工智能核心產(chǎn)業(yè)規(guī)模超過4000億元,帶動相關產(chǎn)業(yè)規(guī)模超過5萬億元,初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系。

第三步:到2030年人工智能理論、技術與應用總體達到世界領先水平,成為世界主要人工智能創(chuàng)新中心,人工智能核心產(chǎn)業(yè)規(guī)模超過1萬億元,帶動相關產(chǎn)業(yè)規(guī)模超過10萬億元,形成一批全球領先的人工智能科技創(chuàng)新和人才培養(yǎng)基地。1.1.3人工智能的國際競爭第1章人工智能概述1.1人工智能發(fā)展歷程人工智能技術應用核心課程1.3人工智能是新一代信息技術的核心1.4本章小結1.5作業(yè)與練習1.2人工智能的典型技術1.2人工智能的典型技術第1章人工智能概述人工智能的典型技術主要包括機器學習、深度學習、計算機視覺、知識工程、自然語言處理、語音識別、計算機圖形學、多媒體技術、人機交互技術、機器人、數(shù)據(jù)庫技術、可視化、數(shù)據(jù)挖掘、信息檢索與推薦等。從發(fā)展歷史看,經(jīng)歷了經(jīng)典符號主義AI、簡單神經(jīng)網(wǎng)絡、多層級文字分析、深度學習突破、圖像分析突破、智適應突破、自然語言處理突破、GAN神經(jīng)形態(tài)技術、人類意識系統(tǒng)開發(fā)等。1.2人工智能的典型技術第1章人工智能概述典型人工智能技術,從不同的視角,有多種不同的分類方式:(1)按照人工智能技術發(fā)展階段劃分①弱人工智能(ArtificialNarrowIntelligence,ANI):是擅長于單個方面的人工智能,比如戰(zhàn)勝世界圍棋冠軍的人工智能AlphaGo,它只會下圍棋。②強人工智能(ArtificialGeneralIntelligence,AGI):是類似人類級別的人工智能。強人工智能是指在各方面都能和人類比肩的人工智能,目前還無法實現(xiàn)。③超人工智能(ArtificialSuperintelligence,ASI):是指“在幾乎所有領域都比最聰明的人類大腦都聰明很多,包括科學創(chuàng)新通識和社交技能等,目前還無法實現(xiàn)。1.2.1人工智能技術的分類1.2人工智能的典型技術第1章人工智能概述典型人工智能技術,從不同的視角,有多種不同的分類方式:(2)按照人工智能技術發(fā)展流派劃分①符號主義:認為人工智能源于數(shù)理邏輯,數(shù)理邏輯從19世紀末起得以迅速發(fā)展,到20世紀30年代開始用于描述智能行為。②行為主義:認為人工智能源于控制論,控制論思想早在20世紀40~50年代就成為時代思潮的重要部分,影響了早期的人工智能工作者。③連接主義:認為人工智能源于仿生學,特別是對人腦模型的研究。此流派是目前的主要流派,以前的傳統(tǒng)神經(jīng)網(wǎng)絡及現(xiàn)在的深度神經(jīng)網(wǎng)絡均屬于這一流派。1.2.1人工智能技術的分類1.2人工智能的典型技術第1章人工智能概述典型人工智能技術,從不同的視角,有多種不同的分類方式:(3)按照人工智能技術所需基礎數(shù)據(jù)服務(基礎層、技術層、應用層)劃分①基礎層:按照算力、數(shù)據(jù)和算法再次劃分,對整體上層建筑起到支撐作用。②技術層:根據(jù)算法用途分為計算機視覺、智能語音、自然語言處理等,是AI最引人注目的環(huán)節(jié)。

③應用層:按照不同場景的需求定制開發(fā)專屬服務,是AI真正賦能行業(yè)的方式。1.2.1人工智能技術的分類1.2人工智能的典型技術第1章人工智能概述典型人工智能技術,從不同的視角,有多種不同的分類方式:(4)按照機器學習訓練方法分類①監(jiān)督學習:所有數(shù)據(jù)都需要進行標注。②半監(jiān)督學習:只標注一部分數(shù)據(jù)。

③無監(jiān)督學習:無需標書數(shù)據(jù)。④強化學習:根據(jù)現(xiàn)實情況自動試錯+調(diào)整1.2.1人工智能技術的分類1.2人工智能的典型技術第1章人工智能概述語音合成,又稱文語轉(zhuǎn)換(TextToSpeech,TTS),是一種可以將任意輸入文本轉(zhuǎn)換成相應語音的技術。即通過將文本轉(zhuǎn)化成語音,讓機器像人類一樣能說會道。語音合成的技術步驟:(1)韻律分析:文本分詞,韻律標注,文本特征提取。(2)聲學處理:先進行文本特征向量到聲學特征向量的映射,然后用聲碼器將聲學特征變成聲音信號。(3)語音合成:基于某個人少量的語音片段調(diào)整聲音信號,讓合成的語音擁有這個人的音色。1.2.2語音合成1.2人工智能的典型技術第1章人工智能概述語音識別是讓機器識別和理解說話人語音信號內(nèi)容的新興學科。語音識別的技術步驟:(1)信號預處理:對輸入語音信號進行預加重和分段加窗等處理,并濾除其中的不重要信息及背景噪聲等。(2)特征提?。簩⒎从承盘柼卣鞯年P鍵信息提取出來,以此降低維數(shù)減小計算量,用于后續(xù)處理。(3)模型訓練:特征參數(shù)作為訓練數(shù)據(jù),合理設置模型參數(shù)的初始值,對模型各個參數(shù)進行重估,使識別系統(tǒng)具有最佳的識別效果。(4)語音識別:將待識別語音信號的特征根據(jù)一定的準則與訓練好的模板庫進行比較,最后通過一定的識別算法得出識別結果。1.2.3語音識別1.2人工智能的典型技術第1章人工智能概述自然語言處理(NaturalLanguageProcessing,NLP),是指用計算機對自然語言的形、音、義等信息進行處理,即對字、詞、句、篇章的輸入、輸出、識別、分析、理解、生成等的操作和加工,實現(xiàn)人機間的信息交流。自然語言處理的技術步驟:五個層次(1)語音分析是要根據(jù)音位規(guī)則,從語音流中區(qū)分出一個個獨立的音素,再根據(jù)音位形態(tài)規(guī)則找出音節(jié)及其對應的詞素或詞。(2)詞法分析是找出詞匯的各個詞素,從中獲得語言學的信息。(3)句法分析是對句子和短語的結構進行分析,目的是要找出詞、短語等的相互關系以及各自在句中的作用。1.2.4自然語言處理1.2人工智能的典型技術第1章人工智能概述自然語言處理的技術步驟:五個層次(4)語義分析是找出詞義、結構意義及其結合意義,從而確定語言所表達的真正含義或概念。(5)語用分析是研究語言所存在的外界環(huán)境對語言使用者所產(chǎn)生的影響。1.2.4自然語言處理1.2人工智能的典型技術第1章人工智能概述圖像識別:對圖像做出各種處理、分析,最終識別我們所要研究的目標。計算機的圖像識別技術就是模擬人類的圖像識別過程。圖像識別技術步驟:(1)信息獲取:通過相機鏡頭等傳感器獲得圖像數(shù)據(jù)。(2)圖像預處理:對圖像數(shù)據(jù)進行處理,去掉不重要的信息和噪聲。(3)特征提?。簩⒎从承盘柼卣鞯年P鍵信息提取出來,以此降低維數(shù)減小計算量,用于后續(xù)處理。(4)模型訓練:特征參數(shù)作為訓練數(shù)據(jù),合理設置模型參數(shù)的初始值,對模型各個參數(shù)進行重估,使識別系統(tǒng)具有最佳的識別效果。(5)圖像識別:基于模型和算法對目標進行識別。1.2.5圖像識別1.2人工智能的典型技術第1章人工智能概述3D點云:點云數(shù)據(jù)(pointclouddata)是指掃描資料以點的形式記錄,每一個點包含有三維坐標,有些可能含有顏色信息(RGB)或反射強度信息(Intensity)。點云(pointcloud),也就是三維坐標系統(tǒng)中點的集合,這些點通常以x,y,z坐標來表示,并且一般用來表示物體的外表形狀。當然,除了最基本的位置信息以外,也可以在點云中加入其他的信息,如點的色彩信息等。大多數(shù)的點云是由3D掃描設備獲取的,如激光雷達,立體攝像機,深度相機等。1.2.63D點云1.2人工智能的典型技術第1章人工智能概述幾種處理點云數(shù)據(jù)的辦法:(1)基于像素的深度學習:最早用深度學習來處理點云數(shù)據(jù)的方法,但是需要先把三維點云在不同角度渲染得到二維圖像,然后借助圖像處理領域成熟的深度學習框架進行分析。。(2)基于體素的深度學習:將點云劃分成均勻的空間三維體素,對體素進行處理。(3)基于樹的深度學習:利用八叉樹方法將三維點云劃分為若干節(jié)點,以節(jié)點的法向量作為輸入信號,按照Z排序方法將點云表示成一維數(shù)組,之后可以很方便地與已經(jīng)有神經(jīng)網(wǎng)絡進行連接。(4)基于點的深度網(wǎng)絡:用PointNet等直接對點云進行處理,考慮了輸入點云的排列不變性。1.2.63D點云1.2人工智能的典型技術第1章人工智能概述多模態(tài)數(shù)據(jù):多模態(tài)數(shù)據(jù)則可被看作多種數(shù)據(jù)類型的組合,如圖像、數(shù)值、文本、符號、音頻、時間序列等的組合。多模態(tài)數(shù)據(jù)處理:對多源數(shù)據(jù)進行綜合有效地篩選和利用,實現(xiàn)集成化感知與決策的目的。常見的信息融合方式有物理層融合、特征層融合、決策層融合幾個類型。(1)物理層融合:第一階段,在采集環(huán)節(jié)對采集到的數(shù)據(jù)進行融合處理(2)特征層融合:在特征抽取和表達的層級對信息進行融合(3)決策層融合:對不同模態(tài)的感知模型所輸出的結果進行融合1.2.7

多模態(tài)數(shù)據(jù)處理第1章人工智能概述1.1人工智能發(fā)展歷程人工智能技術應用核心課程1.2人工智能的典型技術1.4本章小結1.5作業(yè)與練習1.3人工智能是新一代信息技術的核心1.3人工智能是新一代信息技術的核心第1章人工智能概述第五代移動通信(5G)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)與人工智能是新一代信息技術的五大關鍵支撐技術、也是相輔相成的五大技術分支。5G為數(shù)據(jù)的高速、低延遲傳輸提供了快速通道,為物聯(lián)網(wǎng)的廣泛應用和人工智能對應用的“賦能”提供了通信基礎設施的有力支撐;云計算為人工智能的發(fā)展提供了算力支撐;大數(shù)據(jù)在經(jīng)過梳理、分析之后,為人工智能決策應用提供參考;人工智能的高度取決于大數(shù)據(jù)的數(shù)據(jù)基礎、數(shù)據(jù)質(zhì)量。1.3人工智能是新一代信息技術的核心第1章人工智能概述5G是第五代移動通信技術,具有四大重大特點:高速度、泛在網(wǎng)、低功耗、低時延。人工智能與5G點關系密切:5G是人工智能基礎層的重要支撐,同時人工智能也將為5G的萬物互聯(lián)提供AI算法模型及優(yōu)化。5G+人工智能可能的落地場景:(1)自動駕駛:5G的低時延讓自動駕駛的雷達、攝像頭能更快地傳遞信息,極大的降低自動駕駛危險性。5G還將定義一種直接的通信方式,可以使汽車之間通過直接通信來實現(xiàn)自動駕駛,更豐富的決策信息讓駕駛更加智能。(2)智慧醫(yī)療:大規(guī)模醫(yī)療健康監(jiān)測數(shù)據(jù)以及醫(yī)療影像可以通過5G網(wǎng)絡傳輸,讓病人不用到大城市高等級醫(yī)院就能享受高水平醫(yī)療影像AI服務。醫(yī)生可以通過病人醫(yī)療數(shù)據(jù)實現(xiàn)遠程監(jiān)控醫(yī)療。(3)其他應用:AR、VR、安防、直播等。1.3.15G與人工智能的關系1.3人工智能是新一代信息技術的核心第1章人工智能概述云計算最初的目標是對資源的管理,管理的主要是計算資源、網(wǎng)絡資源、存儲資源三個方面。云計算的特點:(1)云計算為用戶提供廉價的計算資源。(2)云計算的服務是動態(tài)可擴展的。(3)云計算能夠根據(jù)用戶的不同需求提供針對性的服務。云計算是一個計算、數(shù)據(jù)存儲、通信工具,人工智能必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術才能形成行業(yè)級應用。人工智能未來將是掌控這個實體的大腦;云計算可以看作是大腦指揮下的對于大數(shù)據(jù)的處理并進行應用。1.3.2

云計算與人工智能的關系1.3人工智能是新一代信息技術的核心第1章人工智能概述大數(shù)據(jù)產(chǎn)業(yè)是人工智能產(chǎn)業(yè)的初級階段,人工智能產(chǎn)業(yè)是大數(shù)據(jù)產(chǎn)業(yè)的升級及蛻變,二者之間有著深入的聯(lián)系。1.3.3大數(shù)據(jù)與人工智能的關系1.3人工智能是新一代信息技術的核心第1章人工智能概述物聯(lián)網(wǎng)(IoT,Internetofthings),即“萬物相連的互聯(lián)網(wǎng)”,是在互聯(lián)網(wǎng)基礎上的延伸和擴展的網(wǎng)絡,將各種信息傳感設備與互聯(lián)網(wǎng)結合起來而形成的一個巨大網(wǎng)絡。人工智能是軟件,需要物聯(lián)網(wǎng)作為載體,物聯(lián)網(wǎng)是硬件,需要人工智能來驅(qū)動:(1)人工智能為物聯(lián)網(wǎng)提供強有力的數(shù)據(jù)擴展。物聯(lián)網(wǎng)是互聯(lián)設備間數(shù)據(jù)的收集及共享,人工智能將數(shù)據(jù)提取出來后做出分析和總結。(2)人工智能讓物聯(lián)網(wǎng)更加智能化。人工智能技術在某種程度上可以幫助互聯(lián)設備應對突發(fā)情況。(3)人工智能有助于物聯(lián)網(wǎng)提高運營效率。人工智能通過分析、總結數(shù)據(jù)信息,從而解讀企業(yè)服務生產(chǎn)的發(fā)展趨勢并對未來事件做出預測。1.3.4物聯(lián)網(wǎng)與人工智能的關系第1章人工智能概述1.1人工智能發(fā)展歷程人工智能技術應用核心課程1.2人工智能的典型技術1.3人工智能是新一代信息技術的核心1.5作業(yè)與練習1.4本章小結1.4本章小結第1章人工智能概述本章回顧了全球人工智能的發(fā)展歷程,人工智能對于經(jīng)濟社會、國家競爭力的作用,立足于目前人工智能所處的弱人工智能階段,分析了語言標注、文本數(shù)據(jù)標注、視頻數(shù)據(jù)標注等幾大典型技術,梳理出人工智能與5G、云計算、大數(shù)據(jù)等熱門技術是以數(shù)據(jù)為橋梁,構建出未來產(chǎn)業(yè)發(fā)展的生態(tài)。第1章人工智能概述1.1人工智能發(fā)展歷程人工智能技術應用核心課程1.2人工智能的典型技術1.3人工智能是新一代信息技術的核心1.4本章小結1.5作業(yè)與練習1.人工智能是什么?2.全球人工智能分為幾個階段?每個階段有何特征?3.目前人工智能技術發(fā)展處于什么階段?該階段有何特征?4.人工智能與5G、云計算、大數(shù)據(jù)之間的關系是怎么樣的?5.人工智能有哪些影響力?6.如何理解“有多少智能,就有多少人工”?7.人工智能有哪些典型的技術?8.簡要描述人工智能有哪些分類?以及每個分類的細分項?9.人工智能的目的是什么?10.人工智能有哪些特性?習題:人工智能技術應用核心課程數(shù)據(jù)標注工程——概念、方法、工具與案例第2章數(shù)據(jù)標注概念、工具與方法2.2數(shù)據(jù)標注對象人工智能技術應用核心課程2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

2.3數(shù)據(jù)標注工具與平臺2.4典型數(shù)據(jù)標注技術2.5數(shù)據(jù)標注工程2.6本章小結2.7作業(yè)與練習2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)標注(DataAnnotations)是指對收集到的、未處理的原始數(shù)據(jù)或初級數(shù)據(jù),包括語音、圖片、文本、視頻等類型的數(shù)據(jù)進行加工處理,并轉(zhuǎn)換為機器可識別信息的過程。數(shù)據(jù)標注與人工智能相伴而生,是大部分人工智能算法得以有效應用的關鍵環(huán)節(jié)。數(shù)據(jù)標注越準確、標注的數(shù)據(jù)量越大,算法的性能就越好、準確度就越高。根據(jù)國際數(shù)據(jù)公司(IDC)的監(jiān)測數(shù)據(jù)顯示,2018年全球大數(shù)據(jù)儲量達到33.0ZB,同比增長52.8%。到2020年,全球?qū)⒖偣矒碛谐^44ZB的數(shù)據(jù)量;其中文本、照片、音頻、視頻、醫(yī)療影像等非結構化內(nèi)容超過85%。大數(shù)據(jù)蘊含的前所未有的社會價值和商業(yè)價值,是一個發(fā)展?jié)摿κ志薮蟮臋C遇。因此,大數(shù)據(jù)也被被譽為“新的石油”。2.1.1全球數(shù)據(jù)的快速增長催生大數(shù)據(jù)產(chǎn)業(yè)2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義第2章數(shù)據(jù)標注概念、工具與方法20世紀80年代出現(xiàn)的深度學習神經(jīng)網(wǎng)絡算法,因為沒有足夠的數(shù)據(jù)支持而步履維艱自2012年之后,數(shù)據(jù)技術推動數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)及云計算等技術的快速發(fā)展,智慧城市、智慧園區(qū)、智能家電、穿戴設備、智能機器人等智能應用不斷涌現(xiàn),對經(jīng)濟社會發(fā)展產(chǎn)生了巨大而又深遠的影響,同時也采集、獲取、積累了大量的原始數(shù)據(jù)資源。智能應用技術中算法模型的學習和訓練依賴于大量數(shù)據(jù)樣本訓練集,由此也產(chǎn)生了大量場景化的人工智能數(shù)據(jù)需求。2.1.2數(shù)據(jù)產(chǎn)業(yè)推動人工智能應用技術的發(fā)展2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)標注就是將大量的、原始的、雜亂的數(shù)據(jù)轉(zhuǎn)化為規(guī)范化的、計算機能夠讀懂的、標識出關鍵特征的數(shù)據(jù)集,從而支持人工智能的相關應用。數(shù)據(jù)標注質(zhì)量影響人工智能應用效率。高質(zhì)量的、準確標注的數(shù)據(jù)將最大限度地提升人工智能判別的準確率;而低質(zhì)量的、沒有準確標注的數(shù)據(jù)會影響、甚至阻滯人工智能的進化能力。人工智能的發(fā)展促使數(shù)據(jù)標注不斷進步。隨著人工智能的不斷發(fā)展,對數(shù)據(jù)標注的需求度越來越高,數(shù)據(jù)標注任務要求不斷細化,以滿足不同行業(yè)對數(shù)據(jù)的不同要求。因此,高質(zhì)量的數(shù)據(jù)標注對于促進人工智能行業(yè)健康發(fā)展具有重要意義。2.1.3數(shù)據(jù)標注對于人工智能應用的意義2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義第2章數(shù)據(jù)標注概念、工具與方法第2章數(shù)據(jù)標注概念、工具與方法2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

人工智能技術應用核心課程2.2數(shù)據(jù)標注對象2.3數(shù)據(jù)標注工具與平臺2.4典型數(shù)據(jù)標注技術2.5數(shù)據(jù)標注工程2.6本章小結2.7作業(yè)與練習數(shù)據(jù)集(DataSet)又稱為資料集、數(shù)據(jù)集合、資料集合或數(shù)據(jù)產(chǎn)品,是經(jīng)過規(guī)范化整理、工程化標注的一組具有統(tǒng)一格式的數(shù)據(jù)集合。人工智能數(shù)據(jù)集主要分為語音數(shù)據(jù)集、圖像數(shù)據(jù)集、文本數(shù)據(jù)集和視頻數(shù)據(jù)集等四大類別。部分國際人工智能公共數(shù)據(jù)集如下:2.2.1數(shù)據(jù)集2.2數(shù)據(jù)標注對象第2章數(shù)據(jù)標注概念、工具與方法在人與人、人與計算機的信息交互中,需要一種更加方便、自然的交互方式。語言是人類最重要、最有效、最常用和最方便的信息交流形式。人工智能語音數(shù)據(jù)集,按照不同的維度,通??梢苑譃槿N:(1)按照語種分類:世界上有五千多種語言,目前的語音數(shù)據(jù)集主要包含了使用人數(shù)較多的語種,如漢語、英語、西班牙語、法語等。(2)按照方言分類:漢語有七大方言區(qū),外語也有方言之分(3)按照語音屬性分類:朗讀語音、引導語音、自然對話、情感語音等上述各種維度的語音數(shù)據(jù)集,在形成數(shù)據(jù)產(chǎn)品的時候往往會多維度結合,各種維度交錯,構成大量的語音數(shù)據(jù)產(chǎn)品。2.2.2語音數(shù)據(jù)集2.2數(shù)據(jù)標注對象第2章數(shù)據(jù)標注概念、工具與方法圖像(圖片)經(jīng)數(shù)字化后形成可以存儲、編輯的圖像數(shù)據(jù)(圖片數(shù)據(jù))。對于計算機來說一張數(shù)字化圖片的內(nèi)容信息就相當于一連串代表每個像素位置和顏色的數(shù)字序列,也就是圖像數(shù)據(jù)。人工智能圖像數(shù)據(jù)集,按照不同的維度,通??梢苑譃槠叻N:(1)按照應用場景分類:例如人體識別、車輛識別、車牌識別、動物識別等(2)按照局部或整體特征分類:以車輛為例,車牌為局部,車型為整體(3)按照待識別對象的數(shù)量分類:例如單人、人群(4)按照氣象條件分類:晴天、陰天、雨天、雪天、霧霾、白天、黑夜等(5)按照拍攝角度分類:正面、側面、上面、下面、背面(6)按照光線情況分類:順光、側光、逆光、側逆光(7)按照拍攝對象分類:不同人種、不同性別、不同表情等2.2.3圖像數(shù)據(jù)集2.2數(shù)據(jù)標注對象第2章數(shù)據(jù)標注概念、工具與方法文本數(shù)據(jù)是指不能參與算術運算的字符集合,也稱為字符型數(shù)據(jù)。文本數(shù)據(jù)集主要應用于自然語言理解、機器翻譯、語音識別、智能交通等領域。文本數(shù)據(jù)可收集的種類包括:命令詞、常見人名、地名庫、歌曲名稱、影視名稱、餐飲詞匯、短信庫、電子郵件等文本分類、語言識別、機器翻譯、文本校對等。2.2.4文本數(shù)據(jù)集2.2數(shù)據(jù)標注對象第2章數(shù)據(jù)標注概念、工具與方法視頻是典型的、復合的多媒體數(shù)據(jù),可以包含圖像、語音、音樂、音效和文字等多種媒體信息。視頻數(shù)據(jù)的特點:(1)信息內(nèi)容豐富:視頻數(shù)據(jù)是隨時間變化的圖像流,含有更為豐富的其他媒體所無法表達的信息和內(nèi)容。(2)數(shù)據(jù)量巨大:靜態(tài)圖像、文本等類型的數(shù)據(jù),數(shù)據(jù)量較小,而視頻數(shù)據(jù),數(shù)據(jù)量巨大。(3)時空二重性的復雜結構關系:視頻數(shù)據(jù)由多幅連續(xù)的圖像序列構成,既有時間屬性又有空間屬性。(4)數(shù)據(jù)解釋的多樣性、主觀性:視頻數(shù)據(jù)具有十分豐富的內(nèi)涵,受人的個體主觀因素影響較大,不同的人對同一段視頻會產(chǎn)生不同的感受和重述。2.2.5視頻數(shù)據(jù)集2.2數(shù)據(jù)標注對象第2章數(shù)據(jù)標注概念、工具與方法第2章數(shù)據(jù)標注概念、工具與方法2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

人工智能技術應用核心課程2.3數(shù)據(jù)標注工具與平臺2.2數(shù)據(jù)標注對象2.4典型數(shù)據(jù)標注技術2.5數(shù)據(jù)標注工程2.6本章小結2.7作業(yè)與練習常見的語音數(shù)據(jù)標注工具包括:單段落語音數(shù)據(jù)標注、多段落語音數(shù)據(jù)標注等。(1)單段落語音標注:標注人員試聽語音資料后,需要判定語音資料的有效性,說話人的說話內(nèi)容以及周圍環(huán)境等信息,試聽判斷完成后,將相應信息填寫到音頻下方的文本輸入框中2.3.1語音數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法(2)多段落語音標注:標注人員同樣需要試聽一段語音資料,與單段落標注不同的是,多段落標注中的語音視頻為多人對話,標注人員可以拖動鼠標對有人聲的語音資料進行選取,之后對語音資料中說話人的性別、說話內(nèi)容以及周圍環(huán)境等信息進行識別,并填寫音頻下方的相關內(nèi)容2.3.1語音數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法圖片標注工具主要實現(xiàn)的標注功能有:關鍵點標注、2D標注框標注、3D標注框標注、線標注、區(qū)域標注、圖片屬性標注等2.3.2圖像數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法視頻標注工具通常包含視頻通用功能標注工具和物體跟蹤標注工具:(1)視頻通用功能標注工具:包含點(Shift+A)、線(Shift+S)、矩形(Shift+D)、多邊形(Shift+F),并支持快捷鍵選擇工具。支持標注圖形使用delete鍵刪除或者直接點擊下面屬性名稱刪除。2.3.3視頻數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法下拉列表表單輸入框表單(2)物體跟蹤標注工具:標注人員通過拖動鼠標進行畫框以及輸入物體編號的方式對車輛、行人進行標注,在此過程中,用戶可以通過點擊重播、上一幀、下一幀、上十幀、下十幀按鈕或直接拖動進度條的方式來對視頻播放進度進行控制。2.3.3視頻數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法常見的文本數(shù)據(jù)標注工具主要有實體標注、實體關系標注、文檔屬性標注、閱讀理解、交互意圖等。2.3.4文本數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法(1)文本句法樹標注:標注人員對文本進行分詞、詞性標注、短語機構標注,依存關系標注等更深層次的處理能力,可滿足自然語言處理的不同層次的要求。2.3.4文本數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法(1)文本屬性標注:標注人員可以對兩條文字數(shù)據(jù)進行對比,也可以根據(jù)模板中提供的類別模板對文本內(nèi)容進行標注,例如選取一句話中的主語、謂語和賓語等。頁面最上方有一行文本文字,標注人員通過閱讀文本確定文本的主題、時間,發(fā)生地點等內(nèi)容,根據(jù)實際情況將相關內(nèi)容填寫在下方的文本框內(nèi)。2.3.4文本數(shù)據(jù)標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法3D點云標注是指對激光雷達等設備采集的3D圖像,通過3D標注框?qū)④囕v、行人、廣告標志和樹木等目標物體標注出,供計算機視覺、無人駕駛等人工智能模型訓練使用。2.3.5

3D點云標注工具2.3數(shù)據(jù)標注工具與平臺第2章數(shù)據(jù)標注概念、工具與方法車輛、行人的3D點云圖第2章數(shù)據(jù)標注概念、工具與方法2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

人工智能技術應用核心課程2.4典型數(shù)據(jù)標注技術2.2數(shù)據(jù)標注對象2.3數(shù)據(jù)標注工具與平臺2.5數(shù)據(jù)標注工程2.6本章小結2.7作業(yè)與練習人工智能數(shù)據(jù)的標注技術隨著設備的研發(fā)會產(chǎn)生新的標注要求,隨著算法技術的發(fā)展呈現(xiàn)精度更高、更智能化的特點。以下對語音轉(zhuǎn)寫、人臉檢測和關鍵點檢測、圖像分割、圖像識別和視頻處理等關鍵標注技術進行介紹。2.4

典型數(shù)據(jù)標注技術第2章數(shù)據(jù)標注概念、工具與方法語音轉(zhuǎn)寫技術主要包括前端處理、語音識別相關技術。(1)前端處理:將接收到語音信號進行預處理,增強或降噪等。(2)識別過程:首先對預處理后的聲音信號進行特征提取,然后進行語音活動檢測將語音信號和非語音信號(包括無聲段或背景噪聲)進行劃分,最后基于聲學模型對語音特征進行訓練和識別。常用聲學模型包括:隱馬爾科模型-高斯混合模型(HMM-GMM)、深度神經(jīng)網(wǎng)絡(DNN)等。2.4.1語音轉(zhuǎn)寫技術2.4典型數(shù)據(jù)標注技術第2章數(shù)據(jù)標注概念、工具與方法(1)面部特征點定位任務即根據(jù)輸入的人臉圖像,自動定位出面部關鍵特征點,如眼睛、鼻尖、嘴角點、眉毛以及人臉各部件輪廓點等。(2)這項技術的應用很廣泛,比如自動人臉識別,表情識別以及人臉動畫自動合成等。(3)由于不同的姿態(tài)、表情、光照以及遮擋等因素的影響,需要準確地定位出各個關鍵特征點。早期的人臉識別研究主要針對具有較強約束條件的人臉圖像,需要設計巧妙的人臉圖像紋理、語義表達的“特征”,進而完成識別模型的訓練。(4)隨著深度學習算法、GPU/FPGA計算力的增強,出現(xiàn)了“端到端”人臉檢測技術路線,圖像特征的學習被融入神經(jīng)網(wǎng)絡的學習當中,將人臉檢測、人臉關鍵點檢測、人臉圖像分類一并輸出。顯然,人臉檢測方法又進入了新階段和新高度。2.4.2人臉檢測和關鍵點檢測2.4典型數(shù)據(jù)標注技術第2章數(shù)據(jù)標注概念、工具與方法圖像分割是要對圖像每個像素所屬的目標類別進行識別,常見的圖像分割算法包括FCN、Mask-rcnn等。目前,目前圖像分割的軟件如下表所示:2.4.3圖像分割2.4典型數(shù)據(jù)標注技術第2章數(shù)據(jù)標注概念、工具與方法視頻標注工具Vatic源自麻省理工學院的一個研究項目。輸入一段視頻,支持自動抽取成粒度合適的標注任務并在流程上支持接入亞馬遜眾包平臺。除此之外,其還有很多實用的特性:簡潔使用的圖形用戶界面,支持多種快捷鍵操作;基于opencv的視頻跟蹤,這樣就可以抽樣的標注,減少工作量;具體使用時,可以設定要標注的物體屬性標簽,比如:水果、人、車等等。然后指派任務給到眾包平臺(也可以是自己的數(shù)據(jù)工程師)。現(xiàn)階段支持的標注樣式是標注框(box)標注。2.4.4視頻類標注2.4典型數(shù)據(jù)標注技術第2章數(shù)據(jù)標注概念、工具與方法第2章數(shù)據(jù)標注概念、工具與方法2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

人工智能技術應用核心課程2.5數(shù)據(jù)標注工程2.2數(shù)據(jù)標注對象2.3數(shù)據(jù)標注工具與平臺2.4典型數(shù)據(jù)標注技術2.6本章小結2.7作業(yè)與練習數(shù)據(jù)標注工程,也稱為工程化數(shù)據(jù)標注,是指數(shù)據(jù)產(chǎn)品制造(數(shù)據(jù)集)的系統(tǒng)化、工程化、流程化的組織與實施過程,可以劃分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)標注、數(shù)據(jù)質(zhì)檢、數(shù)據(jù)驗收交付等五大流程。2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)采集是人工智能數(shù)據(jù)工廠中生產(chǎn)數(shù)據(jù)的第一關。人工智能領域必須對采集的數(shù)據(jù)進行良好的把關,才能有效提高后續(xù)質(zhì)量。數(shù)據(jù)采集的方法主要四種:互聯(lián)網(wǎng)數(shù)據(jù)采集(網(wǎng)絡抓?。?、眾包、行業(yè)合作以及各種傳感器數(shù)據(jù)。(1)互聯(lián)網(wǎng)數(shù)據(jù)采集:互聯(lián)網(wǎng)數(shù)據(jù)采集也稱網(wǎng)絡抓取,主要是通過數(shù)據(jù)爬蟲和網(wǎng)頁解析進行。數(shù)據(jù)爬蟲架構如下圖所示:2.5.1數(shù)據(jù)采集2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(2)數(shù)據(jù)眾包采集:數(shù)據(jù)眾包采集是以數(shù)據(jù)支撐平臺為基礎,集全社會的力量進行采集,并對數(shù)據(jù)的噪音、錯誤、遺漏進行發(fā)現(xiàn)和糾正。數(shù)據(jù)眾包采集主要應用場景是基于現(xiàn)有的數(shù)據(jù)采集人力、設備和時間無法滿足海量的原始數(shù)據(jù)采集需求,在成本可接受的范圍內(nèi)可以采用眾包模式。數(shù)據(jù)眾包采集如下圖所示:2.5.1數(shù)據(jù)采集2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(3)數(shù)據(jù)行業(yè)合作:主要是對擁有龐大和高質(zhì)量數(shù)據(jù)資源的行業(yè)企業(yè)和機構,通過數(shù)據(jù)連接以及人工智能大數(shù)據(jù)服務平臺對數(shù)據(jù)進行清洗、處理,并整合、分析,在企業(yè)混合云平臺中對數(shù)據(jù)資產(chǎn)的管理與審核,最后將數(shù)據(jù)用于人工智能應用。2.5.1數(shù)據(jù)采集2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(4)傳感器數(shù)據(jù)采集:傳感器數(shù)據(jù)采集是計算機與外部物理世界連接的橋梁。在計算機廣泛應用的今天,各種錄像攝像設備、氣候環(huán)保監(jiān)測設備、道路交通監(jiān)測監(jiān)控設備等等。不同傳感器接收不同類型信號的難易程度差別很大。在實際采集時,噪聲也可能帶來一些麻煩,傳感器的參數(shù)對數(shù)據(jù)采集也有一定的影響,傳感器進行數(shù)據(jù)采集的一般結構如圖所示。2.5.1數(shù)據(jù)采集2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)處理是對采集到的數(shù)據(jù)進行數(shù)據(jù)審核、去重、去噪、標準化、規(guī)范化、審查、校驗等一系列數(shù)據(jù)整理、轉(zhuǎn)換、清洗操作。(1)數(shù)據(jù)處理工具:主要用于數(shù)據(jù)審核和脫敏、語音&圖像&視頻&文本數(shù)據(jù)分析和多源數(shù)據(jù)關聯(lián)集成。(2)數(shù)據(jù)清洗方法:數(shù)據(jù)清洗包括無效值和缺失值的處理、數(shù)據(jù)一致性檢查、數(shù)據(jù)查重等工作。2.5.2數(shù)據(jù)處理2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)標注方式包括人工標注、半自動標注、自動標注、眾包等等。具體步驟如下:數(shù)據(jù)處理是對采集到的數(shù)據(jù)進行數(shù)據(jù)審核、去重、去噪、標準化、規(guī)范化、審查、校驗等一系列數(shù)據(jù)整理、轉(zhuǎn)換、清洗操作。(1)定義所需標注數(shù)據(jù)和預估數(shù)據(jù)量:數(shù)據(jù)標注前應完成以下五項準備工作:

①分析數(shù)據(jù)。明確機器學習和模型訓練過程中所需的標注數(shù)據(jù)類型、量級、用途及應用場景等。②整理數(shù)據(jù)。明確數(shù)據(jù)與標簽文件存放的目錄結構,在任務分配與回收時,應按指定的目錄進行數(shù)據(jù)組織。③明確命名規(guī)則。應明確數(shù)據(jù)與標簽文件的命名方式,命名規(guī)則應避免數(shù)據(jù)更新送代時的重名,使于數(shù)據(jù)追蹤、標注追蹤,且數(shù)據(jù)文件名與標簽文件名應保持一致。④預估數(shù)據(jù)量。根據(jù)標注任務的人力獲取模式、工具選擇、標注任務類型、算法選擇以及整個項目的成本對所需標注的數(shù)據(jù)量進行預估。⑤標注數(shù)據(jù)定義與需求。明確標注數(shù)據(jù)的定義并確定最終的需求量。2.5.3

數(shù)據(jù)標注2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(2)標注說明規(guī)則。

①標注說明規(guī)則職責分工。數(shù)據(jù)需求方應負責確保數(shù)據(jù)標注的規(guī)則符合該領域的業(yè)務和專業(yè)常識,并根據(jù)標注規(guī)則,檢查所標注的數(shù)據(jù)是否滿足數(shù)據(jù)需求方。②標注說明規(guī)則定義。明確項目背景、意義及數(shù)據(jù)用場景,包含項目標注工具、任務描述、標注方法、正確示例、常見錯誤等內(nèi)容標注。③標注說明規(guī)則內(nèi)容。標注說明規(guī)則包括但不限于項目背景、版本信息、任務描述、保密責任、標注方法、正確示例、注意事項和質(zhì)量要求。④執(zhí)行方法及注意事項。應加強數(shù)據(jù)標注員相關標注規(guī)則培訓,保證每個標注人員理解標注說明規(guī)則,滿足技能要求。⑤標注說明中術語體系規(guī)范化。術語體系的規(guī)范化至少應滿足國家法規(guī)、項目需求方、項目執(zhí)行方的規(guī)定,且確保標注人員對術語和定義理解的一致性。2.5.3

數(shù)據(jù)標注2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(3)標注人力供給成本。應根據(jù)標注任務的數(shù)據(jù)量級、保密性與資質(zhì)要求、對業(yè)務規(guī)程的理解程度、成本預算以及交付時間等各類因素評價并確認標注人力供給方式。標注人力模式可包括:內(nèi)部自營標注、第三方標注、眾包標注等。

2.5.3

數(shù)據(jù)標注2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(4)標注工具和標注平臺選擇。標注工具應滿足以下條件:①易操作性:標注工具應降低標注人員的操作難度,提供交互方式的自有標注。②規(guī)范性:標注工具的數(shù)據(jù)導出格式,應滿足或可轉(zhuǎn)換到格式要求。③高效性:標注工具應保證標注任務的完成效率。標注平臺包含標注工具全部功能、團隊管理、任務分發(fā)、質(zhì)量審核等環(huán)節(jié)的模塊,且將所有標注環(huán)節(jié)工具化。規(guī)模較大的平臺可完成圖像、文本、語音或視頻等不同任務的標注。當數(shù)據(jù)量相對較小、數(shù)據(jù)類型相對單一、標注周期較短時,宜選擇標注工具進行標注。當標注量較大、數(shù)據(jù)類型較多、標注難度較大且周期較長時,宜選擇標注平臺進行標注。

2.5.3數(shù)據(jù)標注2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(5)標注任務創(chuàng)建、分發(fā)、開展和回收。具體內(nèi)容如下:①標注任務創(chuàng)建:明確任務基本信息和需求,完成任務配置和數(shù)據(jù)上傳。②標注人物分發(fā):根據(jù)任務發(fā)布者確定的參數(shù)及需求,將標注任務分發(fā)給標注人員,同時規(guī)定標注人數(shù)、每天工作量、子任務回收時間點、任務結束時間點等內(nèi)容③標注任務開展:根據(jù)實際任務靈活采用半自動標注或全人工標注。在標注前期,可根據(jù)標注規(guī)則對少量樣本先行試標注,將試標注結果反饋給數(shù)據(jù)需求方,確認標注結果正確無誤后,再批量開展數(shù)據(jù)標注任務。④標注任務回收:在項目協(xié)定的任務將要完成時,項目負責人需回收標注作業(yè),且需保證已分配的任務能被完整交付。

2.5.3數(shù)據(jù)標注2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)質(zhì)檢是保證數(shù)據(jù)質(zhì)量的重要環(huán)節(jié)。在數(shù)據(jù)質(zhì)檢操作方面,可通過排查或抽樣檢查的方式。質(zhì)檢時,一般由多名專職審核人員對數(shù)據(jù)質(zhì)量進行層層把關,一旦發(fā)現(xiàn)數(shù)據(jù)不合要求,則交由數(shù)據(jù)標注人員進行返工復查并糾正,直到最終通過審核為止。數(shù)據(jù)質(zhì)檢主要包含以下三個步驟:(1)質(zhì)量檢查:確保數(shù)據(jù)有價值,符合數(shù)據(jù)需求方的特定應用目的。(2)質(zhì)量反饋:確保標注過程可控,并產(chǎn)生預期的結果。遇到質(zhì)量較低數(shù)據(jù)時及時預警反饋,并查明原因。(3)質(zhì)量檢查與控制中合格標準的確認:需在抽查前建立并確認合格標準,并在相關環(huán)節(jié)貫徹實施。2.5.4

數(shù)據(jù)質(zhì)檢2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法數(shù)據(jù)標注質(zhì)量標準:對于數(shù)據(jù)標注行業(yè),數(shù)據(jù)標注的質(zhì)量標準就是標注的準確性,主要包括圖像數(shù)據(jù)標注、語音數(shù)據(jù)標注、文本數(shù)據(jù)標注等質(zhì)量標準。(1)圖像類型的數(shù)據(jù)驗收:數(shù)據(jù)結果為帶有標簽的數(shù)據(jù),包含標簽的具體內(nèi)容,及此圖像標簽對應的圖像空間位置(可選)。標注文件輸出格式推薦使用易解析、易存儲的數(shù)據(jù)格式,格式包括但不限于JSON或XML。(2)文本類型的數(shù)據(jù)驗收:數(shù)據(jù)結果包含文本標簽的位置和標簽的具體內(nèi)容。標注文件的輸出格式推薦使用易解析、易存儲的數(shù)據(jù)格式,包括JSON、XML、TXT等。(3)語音類型的數(shù)據(jù)驗收:數(shù)據(jù)結果包含語音標簽的時間位置和標簽的具體內(nèi)容(例如轉(zhuǎn)寫內(nèi)容、說話人信息、噪聲等)。標注文件的輸出格式為JSON文件或其他通用輸出格式。2.5.5數(shù)據(jù)交付2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法(4)視頻類型的數(shù)據(jù)驗收:數(shù)據(jù)結果可包含視頻標簽的時間位置、空間位置和標簽信息等內(nèi)容。標注文件的輸出格式推薦使用易解析、易存的數(shù)據(jù)格式,包括JSON、XML等。(5)其他數(shù)據(jù):醫(yī)學影像數(shù)據(jù)具有其特殊性,因此在此單獨定義輸出標準。對于DICOM類型的數(shù)據(jù),按照ISO12052的要求,參照前述圖像、文本、語音和視頻數(shù)據(jù)的輸出格式,存儲在DICOM數(shù)據(jù)格式的相應標簽和數(shù)據(jù)集合中。(6)數(shù)據(jù)交付:標注團隊需對最終提交的數(shù)據(jù)量進行說明。交付的內(nèi)容應包括標注結果(必選)、交付和說明文檔(可選)、關于標注數(shù)據(jù)的Metadata(可選)、原始數(shù)據(jù)(可選)等。交付的文件存儲結構如圖所示。2.5.5數(shù)據(jù)交付2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法在交付數(shù)據(jù)后,數(shù)據(jù)需求方應在數(shù)據(jù)驗收期內(nèi)完成對數(shù)據(jù)標注結果的驗收工作,驗收方式包括抽樣驗收和逐一驗收兩種。若驗收數(shù)據(jù)質(zhì)量未達到期望值,數(shù)據(jù)需求方可要求數(shù)據(jù)服務提供商對數(shù)據(jù)進行修正。2.5.6

數(shù)據(jù)驗收2.5數(shù)據(jù)標注工程第2章數(shù)據(jù)標注概念、工具與方法第2章數(shù)據(jù)標注概念、工具與方法2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

人工智能技術應用核心課程2.6本章小結2.2數(shù)據(jù)標注對象2.3數(shù)據(jù)標注工具與平臺2.4典型數(shù)據(jù)標注技術2.7作業(yè)與練習2.5數(shù)據(jù)標注工程本章第一節(jié)從數(shù)據(jù)標注對人工智能的重要性和必要性開始論述;第二、三、四則介紹數(shù)據(jù)標注對象——數(shù)據(jù)集、數(shù)據(jù)標注工具、數(shù)據(jù)標注技術;第五節(jié)介紹數(shù)據(jù)標注流程。使讀者全面了解數(shù)據(jù)標注方法和過程。2.6本章小結第2章數(shù)據(jù)標注概念、工具與方法第2章數(shù)據(jù)標注概念、工具與方法2.1數(shù)據(jù)標注的概念及其對人工智能發(fā)展的意義

人工智能技術應用核心課程2.7作業(yè)與練習2.2數(shù)據(jù)標注對象2.3數(shù)據(jù)標注工具與平臺2.4典型數(shù)據(jù)標注技術2.6本章小結2.5數(shù)據(jù)標注工程1.如何理解人工智能與數(shù)據(jù)標注的關系?2.什么是數(shù)據(jù)標注?3.數(shù)據(jù)標注的對象包含什么?4.數(shù)據(jù)標注工程包括哪些環(huán)節(jié)?5.數(shù)據(jù)標注都有哪些應用工具?6.數(shù)據(jù)標注工具有哪些應用場景?7.數(shù)據(jù)采集方法有哪些?8.數(shù)據(jù)標注環(huán)節(jié)包括哪些內(nèi)容?9.語音標注涉及的技術有哪些?10.圖像標注涉及的技術有哪些?習題:人工智能技術應用核心課程數(shù)據(jù)標注工程——概念、方法、工具與案例第3章圖像數(shù)據(jù)標注3.2關鍵點標注方法人工智能技術應用核心課程3.1圖像數(shù)據(jù)標注簡介3.3標注框標注方法3.4圖像區(qū)域標注方法3.5本章小結3.6作業(yè)與練習目的:人類在學習某項新技能時需要一些學習資料,而標注后的圖像數(shù)據(jù)相當于為計算機提供了學習資料,從而使得計算機能夠?qū)W習到這些圖像的特征信息,最終使得計算機具備處理圖像數(shù)據(jù)的能力,圖像數(shù)據(jù)標注為計算機視覺的研究提供了豐富的帶有標簽的圖像數(shù)據(jù),確保算法模型可以被有效訓練。發(fā)展:斯坦福大學李飛飛教授在2007年開啟的ImageNet項目,該項目標注了一千四百多萬張圖像,舉辦了八次圖像任務挑戰(zhàn)賽,吸引了全球的參賽隊伍通過編寫相關算法來完成分類、檢測和定位等子任務。ImageNet項目的成功改變了算法為王的認知,逐步意識到數(shù)據(jù)才是人工智能的核心,數(shù)據(jù)比算法重要得多。常用開源數(shù)據(jù)集如下表所示:3.1.1圖像數(shù)據(jù)標注的目的與發(fā)展3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注(1)圖像數(shù)據(jù)標注中的角色:在圖像數(shù)據(jù)標注中,用戶的角色可以分為3類,分別是標注員、審核員和管理員。標注員負責對圖像數(shù)據(jù)進行標注,審核員負責對標注好的數(shù)據(jù)進行審核,管理員負責對相關人員進行管理,并對標注任務進行發(fā)放及回收。(2)圖像數(shù)據(jù)標注流程:圖像獲取->圖像前處理->圖像預識別->圖像標注->結果輸出。

①圖像獲?。喉椖坎煌瑘D像的獲取方式也不同,一般可通過現(xiàn)下采集,網(wǎng)絡采集等方式獲取所需的圖像。

②圖像前處理:對圖像進行查重處理,將重復的圖像刪除。

③圖像預識別:可通過特定的程序,先對數(shù)據(jù)做一個預標注,標注員只需校驗標注結果即可,進而大幅提高標注效率。④圖像標注:選擇適合的標注工具,根據(jù)指定的規(guī)范要求進行標注。⑤結果輸出:標注完之后,會根據(jù)數(shù)據(jù)的需求制定特定的數(shù)據(jù)輸出格式。3.1.2圖像數(shù)據(jù)標注規(guī)范3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注(3)圖像數(shù)據(jù)標注工具:在進行標注任務時,首先要根據(jù)標注對象、標注要求和不同的數(shù)據(jù)集格式選擇合適的標注工具,幾個常用的圖像數(shù)據(jù)標注工具如下圖所示。目前常見的標注文檔以XML或者JSON形式存儲,少數(shù)情況下為TXT格式。3.1.2圖像數(shù)據(jù)標注規(guī)范3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注圖像數(shù)據(jù)標注產(chǎn)業(yè)的蓬勃發(fā)展為人工智能行業(yè)計算機視覺方向的興起奠定了扎實的基礎,不同行業(yè)對于數(shù)據(jù)的標注要求有所差異,其主要的適用場景包括以下幾個方面:(1)自動駕駛:利用帶有標簽的數(shù)據(jù)集來對自動駕駛模型進行訓練,使其對路面情況具備判斷能力,并能做出相應的應對策略。標注內(nèi)容包括路面中行人識別、車輛識別和道路識別等。(2)智慧醫(yī)療:主要包括對解剖部位或病變部位對應的點線面以及輪廓進行標記,如CT斷層成像數(shù)據(jù),需要根據(jù)病理特點標注肺部邊界輪廓。(3)智能安防:通過對復雜條件下的人臉、道路、車輛、動作的數(shù)據(jù)采集與標注實現(xiàn)城市道路監(jiān)控、車輛人流監(jiān)測、公共安全防范等應用。3.1.3場景分類型圖像數(shù)據(jù)標注3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注常見的圖像數(shù)據(jù)標注類型包括關鍵點標注、矩形框標注、圖像分割、3D框標注、屬性標注等,根據(jù)項目所需分別對數(shù)據(jù)集進行不同的標注方式,不同標注類型所利用的標注工具和難度也有所區(qū)別。(1)關鍵點標注:關鍵點標注模板最大的應用即是對臉部的關鍵點進行標注,通過不同方位的關鍵點標注,可以判斷圖像上的人物的功能。關鍵點標注樣例如圖所示。3.1.4圖像數(shù)據(jù)標注形式分類3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注嘴部關鍵點人體關鍵點人臉關鍵點(2)矩形框標注:矩形框標注是一種對目標對象進行目標檢測框標注的簡單處理方式,常用于標注自動駕駛下的人、車、物等。矩形框標注樣例如圖所示。3.1.4圖像數(shù)據(jù)標注形式分類3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注路面車輛標注框標注文字識別標注(3)區(qū)域標注:區(qū)域標注指是指將圖像分成各具特性的區(qū)域并提取出感興趣部分的過程。區(qū)域標注包括開區(qū)域標注和閉區(qū)間標注。按照通用定義,區(qū)域標注需同時滿足均勻性和連通性的條件,其中均勻性指的是該區(qū)域中的所有像素點都滿足灰度、紋理、彩色燈特征的某種相似性準則;連通性是指在該區(qū)域內(nèi)存在的鏈接任意兩點的路徑。與矩形框標注相比,其區(qū)域要求標注更加精確,標注邊緣可以是多邊形甚至是柔性的,常用于自動駕駛中的道路識別,標注示例如圖所示。3.1.4圖像數(shù)據(jù)標注形式分類3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注道路區(qū)域標注(4)屬性標注:屬性標注俗稱打標簽,是用一個或多個標簽標注目標物的屬性。一般是從既定的標簽中選擇數(shù)據(jù)對應的標簽,是封閉集合??梢詫⒉煌膱D片根據(jù)場景進行分類;也可以對目標進行性別、年齡、全身、著裝等進行標注。3.1.4圖像數(shù)據(jù)標注形式分類3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注目標類別屬性標注(1)圖像任務:指標注后的圖像數(shù)據(jù)集主要為用在哪種分類算法中,具體可以分為:

①檢測:使用矩形框、四邊形框或者關鍵點,將目標物定位出來;②識別:綜合多種標注形式(例如標框+關鍵點或者標框打標簽),確認目標物的編碼;③分類:通過屬性標注,確認目標物或者目標場景的類別;④語義分割:使用圖像區(qū)域分割工具,確定每一個像素的目標類別;⑤語義描述與理解:目前多數(shù)使用屬性標注,在圖像全局上更高層次的表達(例如審美、情感等)。3.1.5圖像任務和數(shù)據(jù)標注的關系3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注(2)數(shù)據(jù)標注:圖像數(shù)據(jù)的特征標注方法主要有:

①標注框標注:用矩形框、四邊形框框選出目標物;②關鍵點標注:用一個或多個關鍵點標注目標物特定局部的位置;③區(qū)域標注:用開區(qū)域或閉區(qū)域分割出目標物的輪廓;

④屬性標注(俗稱打標簽):用一個或多個標簽標注目標物的屬性等。3.1.5圖像任務和數(shù)據(jù)標注的關系3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注本小節(jié)總結了實際的圖像數(shù)據(jù)標注中常用的術語,如下表所示。3.1.6圖像數(shù)據(jù)標注的術語3.1

圖像數(shù)據(jù)標注簡介第3章圖像數(shù)據(jù)標注第3章圖像數(shù)據(jù)標注3.5本章小結人工智能技術應用核心課程3.2關鍵點標注方法3.3標注框標注方法3.4圖像區(qū)域標注方法3.6作業(yè)與練習3.1圖像數(shù)據(jù)標注簡介關鍵點標注是指將需要標注的元素按照需求位置進行點位標識,從而實現(xiàn)關鍵點的識別。目前在各種應用場景中,需要對大量的待標注圖片進行關鍵點標注,得到標注后的數(shù)據(jù),然后使用所得的標注數(shù)據(jù)完成相應的任務?,F(xiàn)階段主要依靠人工的方式對大量待標注圖像的關鍵點進行標注。關鍵點標注正如其字面含義,標注人員需要在規(guī)定的位置標注關鍵點,這類標注通常用于統(tǒng)計模型和姿勢或臉部識別模型。統(tǒng)計模型借助關鍵點標注表示特定場景內(nèi)目標物體的密度,例如商城人流統(tǒng)計模型。除此之外,姿勢或面部識別模型借助關鍵點標注理解各個點在運動中的移動軌跡,通過不同方位的點標注,可以判斷圖片上人物的特定,從而實現(xiàn)更復雜的判斷。3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注目前關鍵點標注常用于人臉識別,人體骨骼檢測,手勢確認等方面。隨著人臉識別技術不斷成熟,市場需求將加速釋放,應用場景不斷被挖掘。從社保領取到校園門禁,從遠程的預授信到安檢閘機檢查,人臉識別正在不斷打開各級應用市場。人臉識別應用的加速普及,行業(yè)也將呈現(xiàn)出新的發(fā)展趨勢。人臉識別市場熱度高漲,其應用場景得到跨越式發(fā)展的根本原因在于技術革新。深度學習將人臉識別的精確度提高到肉眼級別,極大豐富了人臉識別的應用場景?;ヂ?lián)網(wǎng)銀行遠程開戶的剛需將人臉識別帶進了金融級應用場景;巨頭頻繁布局人臉識別賦予其更大的應用場景想象空間,同時培養(yǎng)用戶“刷臉”習慣以及對技術的認可度,有利于產(chǎn)業(yè)進一步發(fā)展,多方的推動使得人臉識別應用得到爆發(fā)式發(fā)展。3.2.1關鍵點標注項目的應用及發(fā)展前景3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注關鍵點標注一般用于人體臉部輪廓、五官定位、身體部位和動物頭像等,而關鍵點標注最大的應用即是對人臉輪廓、手部、人體的關鍵點標注。通過關鍵點標注,可以判斷圖片上的人物的功能。關鍵點標注樣例如圖所示。3.2.2關鍵點的標注內(nèi)容3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注手掌21關鍵點標注人臉68關鍵點標注(1)數(shù)據(jù)命名格式說明:圖片命名格式為:圖片名稱_性別_年齡_人種_戴帽狀態(tài)_戴眼鏡狀態(tài)_背景。如:00091_女_少年_黃種人_戴帽子_戴普通無色眼鏡_室內(nèi)。(2)元數(shù)據(jù)處理說明:每張標注完成的圖片均需要生成對應的數(shù)據(jù)標簽,部分元數(shù)據(jù)如圖所示。3.2.3標注結果數(shù)據(jù)格式3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注(3)數(shù)據(jù)存儲結構:完整的數(shù)據(jù)存儲結構如圖所示。3.2.3標注結果數(shù)據(jù)格式3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注本部分以數(shù)據(jù)堂的關鍵點標注工具為樣例進行介紹。點標注模板最大的應用即是對人臉的點標注。通過不同方位的點標注,可以判斷圖片上的人物的功能。常用的點標注包括人臉106關鍵點標注、手勢21等關鍵點標注等,具體內(nèi)容如下:①標注圖片類型:常見人體臉部、五官、部位,動物頭像;②關鍵點數(shù)量:常見18點、22點、64點、106點、128點;③點屬性:可見點/不可見點,預估點;④圖片屬性:背景、角度、動作名稱、性別等。3.2.4

關鍵點標注工具簡介3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注(1)標注工具說明布局。標注頁面分為三大區(qū)域,即畫選區(qū)、工具區(qū)、標簽區(qū):

①畫選區(qū):該區(qū)域用來顯示圖片和具體的打標簽;②工具區(qū):顯示所有在標注過程中放大縮小需要用到工具;③標簽區(qū)(區(qū)分圖層):通過區(qū)分圖層,顯示標注的內(nèi)容。3.2.4

關鍵點標注工具簡介3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注(2)標注方式。①標注點,用鼠標點擊鼻子,眼睛等部位進行標注,按順序點擊各個部位;②編輯點:點擊標簽列表區(qū)的器官對應編輯按鈕,即可對標注過的點進行編輯;③刪除點:點擊標簽列表區(qū)的器官對應的刪除按鈕,即可對標注過的點進行刪除。

關鍵點標注界面如圖所示。3.2.4

關鍵點標注工具簡介3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注(3)關鍵點標注工具簡介。標注工具的界面如圖所示,界面上包含了一些按鈕,通過點擊這些按鈕可以對標注圖像進行必要操作。

3.2.4

關鍵點標注工具簡介3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注(3)關鍵點標注工具簡介。標注工具具體功能如表所示。

3.2.4

關鍵點標注工具簡介3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注項目背景:作為嘴部識別應用軟件的數(shù)據(jù)支持,進行圖像處理。標注需求:標記出上下嘴唇的外交結點,上下內(nèi)嘴唇的交接點,下嘴唇的等分點。關鍵點位置說明如下表所示。

3.2.5關鍵點標注案例分析:嘴部九個關鍵點3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注標注規(guī)范:特殊情況需要根據(jù)想象將圖片上無法直觀看到的位置進行補充,將關鍵點標注在預估的準確位置上。要求1、2點嚴格在嘴角上。3、4、5、6、7嚴格在下嘴唇外邊緣的邊界上,在某些唇色不明顯或者嘴唇外邊緣交界線不明顯,可以把點往上畫一點。在張大嘴的情況下1、2和8、9靠得很近,甚至是重合的,這就要求8、9不能超過1、2點。在嘴唇被遮擋的情況下,通過想象預估補畫出相應的點,不用添加是否遮擋標志,如果圖片中沒有預標注結果,則本圖跳過。標注截圖如圖所示。驗收標準:關鍵點要盡量貼合,并且位置要符合實際情況,關鍵點標注準確率99%。標注輸出:原圖+JSON+效果圖。3.2.5關鍵點標注案例分析:嘴部九個關鍵點3.2關鍵點標注方法第3章圖像數(shù)據(jù)標注關鍵點標注雖然看起來比較簡單,只要在需要標注的地方打點標注就行,但是實現(xiàn)起來難度非常大,在圖片標注任務中屬于高難度標注。首先是關鍵點的數(shù)量一般較多,在標注過程中需要搞清楚少則幾個,多則上百個點所代表的含義,做得多就容易錯得多。其次是判斷標注合格的標準不是很明確,導致標注人員不能檢查自己犯的錯誤,在這么多標注點的情況下,某一個點偏離了位置就不容易及時發(fā)現(xiàn),畢竟人不是機器,靠肉眼找到兩個點之間的等分點是非常有挑戰(zhàn)的事情。在人臉關鍵點標注項目中,標注的人臉圖片通常是二維圖片的,但是

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論