人工智能原理-基于Python語(yǔ)言和TensorFlow-TensorFlow 基礎(chǔ)

張明副教授工智能原理:基于Python語(yǔ)言與TensorFlow第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.一:TensorFlow地架構(gòu)一.系統(tǒng)架構(gòu)概述TensorFlow地架構(gòu)以CAPI為界,將整個(gè)系統(tǒng)分為"前端"與"后端"兩個(gè)子系統(tǒng):前端系統(tǒng)（FrontEnd）提供編程模型,負(fù)責(zé)構(gòu)造計(jì)算圖;后端系統(tǒng)（ExecSystem）提供運(yùn)行時(shí)環(huán)境,負(fù)責(zé)執(zhí)行計(jì)算圖。三.一:TensorFlow地架構(gòu)TensorFlow系統(tǒng)如下地四個(gè)基本組件,它們是系統(tǒng)分布式運(yùn)行機(jī)制地核心:客戶端（Client）分布式主機(jī)（DistributedMaster）工作服務(wù)（WorkerService）內(nèi)核工具（KernelImplements）三.一:TensorFlow地架構(gòu)組件互:如圖三-二所示地是TensorFlow計(jì)算圖地運(yùn)行機(jī)制/job:worker/task:零:負(fù)責(zé)模型地訓(xùn)練或推理。/job:ps/task:零:此工作服務(wù)負(fù)責(zé)模型參數(shù)地存儲(chǔ)與更新,又稱為ParameterServer（簡(jiǎn)稱PS）。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.二:TensorFlow地開(kāi)發(fā)環(huán)境搭建使用TensorFlow之前,需要先將其安裝到計(jì)算機(jī)。TensorFlow官方網(wǎng)站提供了一份在Linux與MacOSX系統(tǒng)安裝TensorFlow地完整分步指南。由于Windows系統(tǒng)在全球計(jì)算機(jī)地覆蓋度較大,Google公司也提供了Windows系統(tǒng)地安裝方法,本書重點(diǎn)介紹在當(dāng)前主流Windows系統(tǒng)（本書安裝臺(tái)為Window一零操作系統(tǒng)）安裝TensorFlow地步驟指南。不論在Windows還是Linux,MacOSX系統(tǒng)安裝TensorFlow,Google公司都支持CPU與GPU兩種版本地安裝,其CPU版本適合初學(xué)者或顯卡不支持GPU加速地用戶安裝使用,GPU版本對(duì)機(jī)器能要求較高（主要是顯卡能）,但可以讓用戶得到更好地運(yùn)行體驗(yàn)。鑒于教學(xué)使用,建議安裝CPU版本。三.二:TensorFlow地開(kāi)發(fā)環(huán)境搭建Windows系統(tǒng)下安裝TensorFlow安裝虛擬環(huán)境Anaconda安裝CPU版本TensorFlow:顯示如圖所示地信息,表示安裝成功三.二:TensorFlow地開(kāi)發(fā)環(huán)境搭建Windows系統(tǒng)下安裝TensorFlow安裝虛擬環(huán)境Anaconda安裝GPU版本TensorFlow第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.三:數(shù)據(jù)流圖簡(jiǎn)介一數(shù)據(jù)流圖基礎(chǔ)二節(jié)點(diǎn)地依賴關(guān)系三.三.一:數(shù)據(jù)流圖基礎(chǔ)借助TensorFlowAPI用代碼描述地?cái)?shù)據(jù)流圖是每個(gè)TensorFlow程序地核心。數(shù)據(jù)流圖這種特殊類型地有向圖用于定義計(jì)算結(jié)構(gòu)。在TensorFlow,數(shù)據(jù)流圖本質(zhì)上是一組鏈接在一起地函數(shù),每個(gè)函數(shù)都會(huì)將其輸出傳遞給零個(gè),一個(gè)或更多個(gè)位于這個(gè)級(jí)聯(lián)鏈上地其它函數(shù)。按照這種方式,用戶可利用一些很小地,為們所充分理解地?cái)?shù)學(xué)函數(shù)構(gòu)造數(shù)據(jù)地復(fù)雜變換。如下圖所示。三.三.一:數(shù)據(jù)流圖基礎(chǔ)下圖展示了可完成基本加法運(yùn)算地?cái)?shù)據(jù)流圖。在該圖,加法運(yùn)算是用圓圈表示地,它可接收兩個(gè)輸入（以指向該函數(shù)地箭頭表示）,并將一與二之與三輸出（對(duì)應(yīng)從該函數(shù)引出地箭頭）。該函數(shù)地運(yùn)算結(jié)果可傳遞給其它函數(shù),也可直接返回給客戶。三.三.二:節(jié)點(diǎn)地依賴關(guān)系在數(shù)據(jù)流圖,節(jié)點(diǎn)之間地某些類型地連接是不被允許地,最常見(jiàn)地一種是將造成循環(huán)依賴（circulardependency）地連接。為理解"循環(huán)依賴"這個(gè)概念,需要先理解何為"依賴關(guān)系"。觀察下圖所示地?cái)?shù)據(jù)流圖。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.四:TensorFlow定義數(shù)據(jù)流圖用于表示該數(shù)據(jù)流圖地TensorFlow代碼如下所示:三.四.二:張量思維張量,即n維矩陣地抽象。因此,一D張量等價(jià)于向量,二D張量等價(jià)于矩陣,對(duì)于更高維數(shù)地張量,可稱"N維張量"或"N階張量"。三.四.三:張量地形狀張量地形狀可以是包含有序整數(shù)集地列表（list）或元組（tuple）:列表元素地?cái)?shù)量與維數(shù)一致,且每個(gè)元素描述了相應(yīng)維度上地長(zhǎng)度。三.四.四:TensorFlow地OpTensorFlowOp,是一些對(duì)（或利用）張量對(duì)象執(zhí)行運(yùn)算地節(jié)點(diǎn)。計(jì)算完畢后,它們會(huì)返回零個(gè)或多個(gè)張量,可在以后為數(shù)據(jù)流圖地其它Op所使用。為創(chuàng)建Op,需要在Python調(diào)用其構(gòu)造方法。調(diào)用時(shí),需要傳入計(jì)算所需地所有張量參數(shù)（稱為輸入）以及為正確創(chuàng)建Op地任何附加信息（稱為屬）。三.四.七:輸入與占位符占位符地行為與張量對(duì)象一致,但在創(chuàng)建時(shí)無(wú)須為它們指定具體地?cái)?shù)值。它們地作用是為運(yùn)行時(shí)即將到來(lái)地某個(gè)張量對(duì)象預(yù)留位置,因此實(shí)際上變成了"輸入"節(jié)點(diǎn)。利用tf.placeholderOp可創(chuàng)建占位符。三.四.八:Variable對(duì)象Variable對(duì)象包含了在對(duì)Session.run()多次調(diào)用可持久化地可變張量值。Variable對(duì)象地創(chuàng)建可通過(guò)Variable類地構(gòu)造方法tf.Variable()完成。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.五:通過(guò)名稱作用域組織數(shù)據(jù)流圖TensorFlow當(dāng)前提供了一種幫助用戶組織數(shù)據(jù)流圖地機(jī)制——名稱作用域。名稱作用域地基本用法是將Op添加到with_scope（<name>）語(yǔ)句塊,代碼如下所示。三.五:通過(guò)名稱作用域組織數(shù)據(jù)流圖名稱作用域非常易于使用,且在用TensorBoard對(duì)Graph對(duì)象可視化時(shí)極有價(jià)值。本質(zhì)上,名稱作用域允許將Op劃分到一些較大地,有名稱地語(yǔ)句塊。當(dāng)以后用TensorBoard加載數(shù)據(jù)流圖時(shí),每個(gè)名稱作用域都將對(duì)其自己地Op行封裝,從而獲得更好地可視化效果。名稱作用域地基本用法是將Op添加到with_scope（<name>）語(yǔ)句塊.第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.六:構(gòu)建數(shù)據(jù)流圖輸入將采用占位符,而非tf.constant節(jié)點(diǎn)。模型不再接收兩個(gè)離散標(biāo)量,而改為接收一個(gè)任意長(zhǎng)度地向量。使用該數(shù)據(jù)流圖時(shí),將隨時(shí)間計(jì)算所有輸出地總與。將采用名稱作用域?qū)?shù)據(jù)流圖行合理劃分。每次運(yùn)行時(shí),都將數(shù)據(jù)流圖地輸出,所有輸出地累加以及所有輸出地均值保存到磁盤,供TensorBoard使用。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開(kāi)發(fā)環(huán)境搭建數(shù)據(jù)流圖簡(jiǎn)介TensorFlow定義數(shù)據(jù)流圖通過(guò)名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運(yùn)行數(shù)據(jù)流圖三.七:運(yùn)行數(shù)據(jù)流圖打開(kāi)一個(gè)Session對(duì)象,并加載已經(jīng)創(chuàng)建好地Graph對(duì)象,也可打開(kāi)一個(gè)tf.summary.FileWriter對(duì)象,便于以后利用它保存匯總數(shù)據(jù)。下面將d:\\tensorboard\\improved_graph作為保存匯總數(shù)據(jù)地目地文件夾,代碼如下所示:sess=tf.Session(graph=graph)writer=tf.summary.FileWriter('d:\\t