老年照護(hù)機(jī)器人中控系統(tǒng)開(kāi)發(fā)

老年照護(hù)機(jī)器人中控系統(tǒng)開(kāi)發(fā)摘要：伴隨著人口老齡化的愈發(fā)嚴(yán)重，護(hù)理機(jī)器人已成為老齡化階段解決養(yǎng)老問(wèn)題的重要手段之一。快速進(jìn)入老齡化社會(huì)的中國(guó),由于長(zhǎng)期的計(jì)劃生育政策導(dǎo)致目前可以用于老年照顧的勞動(dòng)力相對(duì)短缺,因此中國(guó)智能機(jī)器人從事老年照顧有著迫切的需求。本畢業(yè)設(shè)計(jì)運(yùn)用樹(shù)莓派，外接USB攝像頭通過(guò)OpenCV和Tensorflow以及ssd_mobilenet_v1_coco的訓(xùn)練模型進(jìn)行訓(xùn)練來(lái)實(shí)現(xiàn)對(duì)外界的檢測(cè)以及人臉和物體識(shí)別，再通過(guò)PCA9685模塊來(lái)驅(qū)動(dòng)電機(jī)實(shí)現(xiàn)攝像頭的近360度的旋轉(zhuǎn)以及目標(biāo)追蹤，再通過(guò)百度語(yǔ)音API接口以及圖靈機(jī)器人API接口，配合搭載在樹(shù)莓派上的喇叭和麥克風(fēng)實(shí)現(xiàn)語(yǔ)音對(duì)話及語(yǔ)音控制。關(guān)鍵詞：物聯(lián)網(wǎng)技術(shù)；養(yǎng)老；樹(shù)莓派；opencv；tensorflow；語(yǔ)音技術(shù)

目錄14428第一章緒論 113891.1研究的背景及意義 1154831.2老年護(hù)理機(jī)器人發(fā)展歷史及現(xiàn)狀 2168351.3研究?jī)?nèi)容及及系統(tǒng)介紹 225351第二章相關(guān)技術(shù)簡(jiǎn)介 368062.1軟硬件主要技術(shù)及運(yùn)行環(huán)境 3219562.2相關(guān)開(kāi)發(fā)技術(shù) 389212.1.1RaspberryPi 349102.1.2Python 32872.1.3OpenCV 3269912.1.4TensorFlow 333992.1.5Spyder 4291452.1.6語(yǔ)音識(shí)別 4247062.1.7語(yǔ)音合成 422878第三章系統(tǒng)需求分析 547253.1設(shè)備功能需求分析 5260143.2系統(tǒng)功能需求分析 5298343.2.1安卓App功能需求 5254703.3總體性能需求分析 525774第四章系統(tǒng)設(shè)計(jì) 6213524.1網(wǎng)絡(luò)拓?fù)鋱D 6233064.2功能模塊 722154.3系統(tǒng)核心功能流程設(shè)計(jì) 812921第五章老年照顧機(jī)器人中控系統(tǒng)設(shè)備設(shè)計(jì)與制作 9236715.1老年照顧機(jī)器人中控系統(tǒng)原理圖分析 9270865.1.1電源電路 10232355.1.2PCA9685舵機(jī)控制電路 10194945.1.3主控模塊驅(qū)動(dòng)電路 11157845.1.4按鍵模塊驅(qū)動(dòng)電路 1284025.1.5蜂鳴器 13302595.1.640pin接口 13183435.2制作設(shè)備的電子元器件 14133035.2.1主控模塊 1432505.2.2樹(shù)莓派拓展板 15108625.2.3樹(shù)莓派usb高清攝像頭 1557935.2.4步進(jìn)電機(jī) 1626265.2.5麥克風(fēng) 16116185.2.6揚(yáng)聲器 1756115.3實(shí)物模型圖 1717091第六章功能實(shí)現(xiàn) 18133926.1安卓App實(shí)現(xiàn) 18135996.1.1連接登入 18146586.1.2功能選擇 1969296.1.3實(shí)時(shí)視頻監(jiān)控 19132216.1.4實(shí)時(shí)反向控制 20178066.1.5語(yǔ)音播報(bào) 20322956.1.6聯(lián)系我們 214196.2人臉識(shí)別的實(shí)現(xiàn) 21107736.3物體識(shí)別的實(shí)現(xiàn) 24289936.4語(yǔ)音對(duì)話的實(shí)現(xiàn) 2537506.5關(guān)于功能流暢性的解決辦法 25108第七章系統(tǒng)測(cè)試 277.1屏幕適配108測(cè)試 28495第八章結(jié)論 2923635參考文獻(xiàn) 121407致謝 2第一章緒論物聯(lián)網(wǎng)的本質(zhì)是通過(guò)網(wǎng)絡(luò)，對(duì)人們感興趣的物體的狀態(tài)進(jìn)行實(shí)時(shí)了解，實(shí)時(shí)控制[1]。物聯(lián)網(wǎng)是指將各種實(shí)時(shí)信息獲取設(shè)備或設(shè)備集合體，通過(guò)各種接入網(wǎng)與互聯(lián)網(wǎng)、廣電網(wǎng)或電信網(wǎng)結(jié)合起來(lái)所形成的一個(gè)巨大的實(shí)時(shí)信息收集，信息傳輸，控制及信息服務(wù)的一體化的網(wǎng)絡(luò)[2]。而物聯(lián)網(wǎng)的產(chǎn)物——機(jī)器人具有獨(dú)立性或輔助性，可以幫助照顧老年人，并成為提高老年人護(hù)理服務(wù)水平的重要途徑。在大數(shù)據(jù)和云計(jì)算平臺(tái)的支持下，互聯(lián)網(wǎng)將成為老年人的“保姆”，機(jī)器人也將成為神奇的個(gè)人健康顧問(wèn)。隨著它們智力的提高，它們有一天將成為迪斯尼動(dòng)畫里的大白[3]。所以，老年照顧機(jī)器人的開(kāi)發(fā)顯的尤為重要。1.1研究的背景及意義隨著人口老齡化的不斷加劇，機(jī)器人已經(jīng)成為解決老年人老齡化問(wèn)題的重要手段之一，即使老年人的活動(dòng)能力下降，機(jī)器人也可以用于活動(dòng)身體和參與社會(huì)生活。護(hù)士可以減輕負(fù)擔(dān)，為老年人提供更好的護(hù)理[4]。在中國(guó)，由于長(zhǎng)期的計(jì)劃生育政策，老年人的照顧工作崗位相對(duì)較少，因此在中國(guó)老年人的護(hù)理中迫切需要智能機(jī)器人[5]。不過(guò)，市場(chǎng)中專業(yè)的護(hù)士越來(lái)越少，專家表示，未來(lái)用工荒只會(huì)更加嚴(yán)重，隨著機(jī)器自動(dòng)化的逐步發(fā)展，一些人能做的事情，比如從倉(cāng)庫(kù)里找到特定的產(chǎn)品，都能夠被機(jī)器人替代，這些機(jī)器人還將幫助老年人[6]。作為一個(gè)機(jī)器人愛(ài)好者，我認(rèn)為人工智能不僅具有照顧老人的潛力，減少了他們的社會(huì)疏離感，增加了老人的獨(dú)立性[7]。當(dāng)然，政策法規(guī)的支持能加速機(jī)器人的發(fā)展。應(yīng)鼓勵(lì)企業(yè)以服務(wù)為宗旨，將生產(chǎn)，教育和研究結(jié)合起來(lái)。將來(lái)，利用人工智能的語(yǔ)音識(shí)別，深度學(xué)習(xí)，數(shù)據(jù)算法等技術(shù)人們可以根據(jù)自己的喜好定制它。如果有一個(gè)喜歡聊天的老人，則制作一個(gè)“很會(huì)說(shuō)話的”的機(jī)器人；一些人關(guān)心國(guó)內(nèi)外的時(shí)事，可以有一個(gè)可以實(shí)時(shí)播放世界重大事件的機(jī)器人；甚至還有書(shū)法，繪畫和舞蹈機(jī)器人[8]。一項(xiàng)歐洲調(diào)查顯示，有69％的人對(duì)機(jī)器人持積極態(tài)度，而長(zhǎng)期獨(dú)居的老人容易出現(xiàn)心理問(wèn)題（孤獨(dú)，沮喪，焦慮等），具有陪伴功能的護(hù)理機(jī)器人可以緩解老年人的心理問(wèn)題。各國(guó)為此目的制定了諸如社會(huì)援助之類的支持政策，并在社區(qū)服務(wù)和管理方面具有相關(guān)經(jīng)驗(yàn)[9]。所以，在這樣一個(gè)大環(huán)境下，本設(shè)計(jì)就顯得尤為重要。通過(guò)樹(shù)莓派作為開(kāi)發(fā)板，實(shí)現(xiàn)老年照護(hù)機(jī)器人中控系統(tǒng)的開(kāi)發(fā)?？梢詸z測(cè)到人臉，分辨已識(shí)別和未識(shí)別的人，還能通過(guò)機(jī)器人讓家里人在外地也能實(shí)時(shí)看的到老人的狀況，并通過(guò)機(jī)器人的視頻直播實(shí)時(shí)監(jiān)測(cè)老人的身體狀況，實(shí)現(xiàn)目標(biāo)追蹤以及物體識(shí)別，和老人進(jìn)行對(duì)話達(dá)到陪伴與檢測(cè)共存的功能。而作為機(jī)器人最為重要的中控系統(tǒng)將完成機(jī)器人的大量工作，便顯得尤為重要。1.2老年護(hù)理機(jī)器人發(fā)展歷史及現(xiàn)狀國(guó)內(nèi)的護(hù)理機(jī)器人起步較晚且與國(guó)外研究存在很大差別。作為一個(gè)總?cè)丝诔^(guò)14億的國(guó)家，中國(guó)老年人數(shù)量也位居世界前茅。盡管近年來(lái)，隨著經(jīng)濟(jì)的持續(xù)發(fā)展，我國(guó)國(guó)民經(jīng)濟(jì)收入實(shí)現(xiàn)了質(zhì)的飛躍，但養(yǎng)老金制度的不完善發(fā)展已成為影響社會(huì)和諧的嚴(yán)重問(wèn)題。因此，迫切需要開(kāi)發(fā)人工智能的老年人護(hù)理服務(wù)產(chǎn)品，促進(jìn)“人工智能+老年人護(hù)理”服務(wù)體系的全面建設(shè)，使得廣大老年人的需求得到更好的滿足[10]。同時(shí)，我們也在不斷進(jìn)步。2016年的《麻省理工學(xué)院技術(shù)評(píng)論》網(wǎng)站公布數(shù)據(jù)表明中國(guó)的機(jī)器人革命排名第一，這說(shuō)明了中國(guó)目前正在進(jìn)行“大膽的機(jī)器人革命”。由杭州的一家技術(shù)公司開(kāi)發(fā)的“Artie”機(jī)器人，管理人員可以通過(guò)移動(dòng)客戶端或機(jī)器人機(jī)殼的觸摸屏將機(jī)器人引導(dǎo)給老人提供服務(wù)[11]。智能老人機(jī)器人已經(jīng)擁有各種智能老人護(hù)理服務(wù)，例如智能護(hù)理，家庭互動(dòng)和遠(yuǎn)程醫(yī)療。它們也可以轉(zhuǎn)變?yōu)橐苿?dòng)電視，以緩解老年人的無(wú)聊感。《2012年機(jī)器人產(chǎn)業(yè)市場(chǎng)趨勢(shì)》報(bào)告顯示，在日本于2015年宣布的“新機(jī)器人戰(zhàn)略”中，服務(wù)業(yè)和醫(yī)療保健占一半?？梢杂^察到，機(jī)器人在這兩個(gè)領(lǐng)域都有著廣闊的前景。索尼的“人工智能機(jī)器狗”能夠表達(dá)六種情緒通過(guò)改變尾巴和眼睛的顏色。以下舉例一些外國(guó)案例。美國(guó)：IBM的“沃森”人工智能系統(tǒng)英國(guó)：BritishLifeTrust計(jì)劃通過(guò)在地板和家用電器中植入電子芯片設(shè)備，來(lái)建造一棟完全智能的老年人公寓，以幫助老年人診斷疾病。日本制造商宣布，預(yù)計(jì)將在2016年10月推出價(jià)格約為990元的聊天機(jī)器人。未來(lái)，智能機(jī)器人技術(shù)將沿著自主性，大數(shù)據(jù)，智能通信和自適應(yīng)發(fā)展三個(gè)方向發(fā)展[12]。但如今國(guó)內(nèi)外還沒(méi)有完整成型的老年護(hù)理機(jī)器人，雖各有成效，但尚未成型。這意味著老年護(hù)理機(jī)器人的市場(chǎng)將會(huì)很龐大。1.3研究?jī)?nèi)容及及系統(tǒng)介紹 本畢業(yè)設(shè)計(jì)主要包含硬件設(shè)計(jì)與制作，安卓App的設(shè)計(jì)與實(shí)現(xiàn)兩個(gè)部分。老年照顧機(jī)器人中控系統(tǒng)開(kāi)發(fā)：運(yùn)用樹(shù)莓派，外接USB攝像頭通過(guò)OpenCV和Tensorflow以及ssd_mobilenet_v1_coco訓(xùn)練模型進(jìn)行訓(xùn)練來(lái)實(shí)現(xiàn)對(duì)外界的檢測(cè)以及人臉和物體識(shí)別，再通過(guò)兩個(gè)PCA9685驅(qū)動(dòng)電機(jī)來(lái)實(shí)現(xiàn)攝像頭的接近360度的旋轉(zhuǎn)以及目標(biāo)追蹤。再通過(guò)百度語(yǔ)音API和喇叭和麥克風(fēng)實(shí)現(xiàn)語(yǔ)音識(shí)別和語(yǔ)音播報(bào)。運(yùn)用了Python語(yǔ)言進(jìn)行相關(guān)的技術(shù)編寫。安卓APP開(kāi)發(fā)：使用Androidstudio軟件來(lái)編寫，通過(guò)TCP、UDP的連接方式實(shí)現(xiàn)對(duì)安卓APP的功能開(kāi)發(fā)。第二章相關(guān)技術(shù)簡(jiǎn)介2.1軟硬件主要技術(shù)及運(yùn)行環(huán)境開(kāi)發(fā)工具運(yùn)行的操作系統(tǒng)為Windows10專業(yè)版中文操作系統(tǒng)，樹(shù)莓派3B+作為主要的開(kāi)發(fā)工具載體，使用SD卡下載操作系統(tǒng)即可使用，由于設(shè)備的完整性，只需將相關(guān)的元件按照其信號(hào)輸出組成就能實(shí)現(xiàn)，在樹(shù)莓派上使用Spyder軟件編寫Python語(yǔ)言的開(kāi)發(fā)。另外，本設(shè)計(jì)使用AndroidStudio軟件來(lái)開(kāi)發(fā)安卓APP。2.2相關(guān)開(kāi)發(fā)技術(shù)2.1.1樹(shù)莓派樹(shù)莓派是世界上最小的臺(tái)式機(jī)，雖然它體積很小但是，但是它的功能相當(dāng)于一個(gè)電腦。中文名為“樹(shù)莓派”。由于它是開(kāi)源的，網(wǎng)上可以獲取到很多配套的硬件模塊、開(kāi)源代碼和開(kāi)發(fā)教程。軟硬件資源很完備，社區(qū)論壇支持廣泛，在物聯(lián)網(wǎng)應(yīng)用中發(fā)揮著巨大的作用[13]。2.1.2PythonPython最初被設(shè)計(jì)主要是用來(lái)編寫自動(dòng)化腳本，隨著版本的更新，新特性的增加，它所能做的事情有很多。Python語(yǔ)言非常的簡(jiǎn)潔，由于它的易讀性讓更多的不會(huì)編程的人能夠很好的入門，開(kāi)源也使它的生態(tài)很齊全，各種模塊接口應(yīng)有盡有。2.1.3OpenCVOpenCV的全稱是：OpenSourceComputerVisionLibrary它是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺(jué)庫(kù)，可以運(yùn)行在多種操作系統(tǒng)上。它輕量級(jí)而且高效，同時(shí)提供了多語(yǔ)言的接口，在圖像處理和計(jì)算機(jī)視覺(jué)方面有著通用算法。同時(shí)它也是開(kāi)發(fā)計(jì)算機(jī)視覺(jué)應(yīng)用中最流行的庫(kù)之一[14]。2.1.4TensorFlowTensorFlow是一個(gè)基于數(shù)據(jù)流編程的符號(hào)數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)算法的編程實(shí)現(xiàn)，它是世界上最受歡迎的開(kāi)源機(jī)器學(xué)習(xí)框架之一。在樹(shù)莓派上可以通過(guò)它來(lái)實(shí)現(xiàn)一些基礎(chǔ)的圖像處理，比如在物體識(shí)別中核心算法就是它提供[15]。2.1.5SpyderSpyder是一個(gè)很方便并且功能強(qiáng)大的編譯器，在使用Spyder時(shí)，可以直觀的看到編譯的結(jié)果，更方便的經(jīng)行斷點(diǎn)處理?？梢韵袷褂肞ythonshell一樣靈活。2.1.6語(yǔ)音識(shí)別在本系統(tǒng)中主要采用百度語(yǔ)音API的接口來(lái)實(shí)現(xiàn)語(yǔ)音識(shí)別。把聲音類似于用幀的方式經(jīng)行切割，變成很多小段，然后把波性轉(zhuǎn)換，再做聲學(xué)特征提取，切割它采用了類似神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法來(lái)取代了以往的識(shí)別模塊，從而大幅提升了識(shí)別效率。之后把多維向量用矩陣來(lái)表示，繪制成向量圖，根據(jù)矩陣的大小把其轉(zhuǎn)換成對(duì)應(yīng)的文本。這便是語(yǔ)音識(shí)別的基本原理2.1.7語(yǔ)音合成其原理主要是對(duì)要合成的文字經(jīng)行分析，提取其波形信息，根據(jù)結(jié)果，通過(guò)一定的方法生成語(yǔ)音波性。再通過(guò)對(duì)文字上下文的聯(lián)系建模，將波性合成的更符合聲學(xué)模型，最后用聲碼器恢復(fù)語(yǔ)音波性[16]。本畢設(shè)采用的是百度語(yǔ)音API提供的接口來(lái)實(shí)現(xiàn)語(yǔ)音合成

第三章系統(tǒng)需求分析3.1設(shè)備功能需求分析本中控系統(tǒng)硬件運(yùn)用樹(shù)莓派，外接USB攝像頭通過(guò)OpenCV和Tensorflow以及ssd_mobilenet_v1_coco訓(xùn)練模型進(jìn)行訓(xùn)練來(lái)實(shí)現(xiàn)對(duì)外界的檢測(cè)以及人臉和物體識(shí)別，再通過(guò)兩個(gè)PCA9685驅(qū)動(dòng)電機(jī)來(lái)實(shí)現(xiàn)攝像頭的接近360度的旋轉(zhuǎn)以及目標(biāo)追蹤。使得該中控系統(tǒng)能夠識(shí)別家人和其他人，并通過(guò)物體識(shí)別配合老年護(hù)理機(jī)器人的其他部分幫助老人完成一些動(dòng)作。通過(guò)百度語(yǔ)音API接口和揚(yáng)聲器及麥克風(fēng)實(shí)現(xiàn)語(yǔ)音識(shí)別和語(yǔ)音播報(bào)。同時(shí)運(yùn)用圖靈機(jī)器人的接口來(lái)實(shí)現(xiàn)與老人的日常對(duì)話功能。由于Python語(yǔ)言的接口比較豐富且易于實(shí)現(xiàn)人工智能的便攜性所以需運(yùn)用Python語(yǔ)言進(jìn)行相關(guān)的技術(shù)編寫。3.2系統(tǒng)功能需求分析3.2.1安卓App功能需求安卓端App的功能：安卓APP是控制本設(shè)備的用戶終端。用戶通過(guò)App可以連接設(shè)備登入后，通過(guò)功能選擇來(lái)實(shí)現(xiàn)實(shí)時(shí)視頻監(jiān)控、實(shí)時(shí)反向控制、聯(lián)系我們等，使得子女在外也可也了解到老人在家里的狀況。具體功能如下。(1)連接登入：通過(guò)Socket的連接方式來(lái)實(shí)現(xiàn)安卓App端和硬件端的連接。手機(jī)端通過(guò)輸入樹(shù)莓派IP、以及端口的地址進(jìn)行連接登入。(2)功能選擇：在首頁(yè)下用戶可選擇跳轉(zhuǎn)到控制界面、語(yǔ)音播報(bào)界面、聯(lián)系我們等界面.(3)實(shí)時(shí)視頻監(jiān)控：用戶可以實(shí)時(shí)的查看到硬件端的視頻，通過(guò)UDP的連接傳輸，來(lái)實(shí)現(xiàn)將樹(shù)莓派的視頻在app端實(shí)時(shí)的顯示，這樣能夠看到老人的狀況。(4)實(shí)時(shí)反向控制：用戶可以實(shí)時(shí)的反向控制硬件的運(yùn)動(dòng)，通過(guò)TCP的連接傳輸，實(shí)現(xiàn)對(duì)樹(shù)莓派的云臺(tái)舵機(jī)的控制。(5)聯(lián)系我們：用戶可在此界面查看我們的詳細(xì)聯(lián)系信息，通過(guò)此聯(lián)系方式向我們咨詢。3.3總體性能需求分析老年護(hù)理機(jī)器人中控系統(tǒng)設(shè)備的性能需求如下。(1)確保攝像頭捕捉的景象清晰、延遲性低。(2)確保人臉識(shí)別準(zhǔn)確率和物體識(shí)別精度高。(3)樹(shù)莓派發(fā)送數(shù)據(jù)到服務(wù)器，安卓App端收據(jù)通過(guò)網(wǎng)絡(luò)獲取的及時(shí)性。(4)確保語(yǔ)音對(duì)話功能的智能性，能夠與老人經(jīng)行正常的交流對(duì)話。(5)設(shè)備低功耗、體積小且部署方便，能夠安全穩(wěn)定運(yùn)行。(6)設(shè)備操作起來(lái)較為容易，界面簡(jiǎn)單并且能夠更好的直接入手。

第四章系統(tǒng)設(shè)計(jì)4.1網(wǎng)絡(luò)拓?fù)鋱D樹(shù)莓派硬件只需接上電源及網(wǎng)絡(luò)，硬件便會(huì)自動(dòng)進(jìn)入工作模式，將攝像頭采集到的圖像傳輸?shù)皆品?wù)器。而安卓App端可以通過(guò)查看到實(shí)時(shí)視頻監(jiān)控，第一次使用App需要進(jìn)行IP和端口的輸入綁定，進(jìn)入后即可通過(guò)該App反向控制，語(yǔ)音播報(bào)等功能。網(wǎng)絡(luò)拓?fù)鋱D如圖4-1所示，圖4-1中控系統(tǒng)拓?fù)鋱D4.2功能模塊本設(shè)備的功能模塊主要是安卓App，如圖4-2所示。安卓App功能模塊主要功能有:連接登入、功能選擇、實(shí)時(shí)監(jiān)控、實(shí)時(shí)反向控制、語(yǔ)音播報(bào)、聯(lián)系我們。圖4-2功能模塊圖4.3系統(tǒng)核心功能流程設(shè)計(jì)系統(tǒng)的核心功能是在實(shí)現(xiàn)人臉識(shí)別以及物體識(shí)別的基礎(chǔ)上，通過(guò)與語(yǔ)音對(duì)話的相結(jié)合使得用戶可以通過(guò)與設(shè)備的語(yǔ)音對(duì)話來(lái)讓老年護(hù)理機(jī)器人執(zhí)行相應(yīng)的操作。在實(shí)現(xiàn)人臉、物體識(shí)別的基礎(chǔ)上對(duì)其調(diào)用方式經(jīng)行優(yōu)化，使得能夠通過(guò)語(yǔ)音對(duì)話來(lái)執(zhí)行。同時(shí)再配合安卓App端的實(shí)時(shí)視頻監(jiān)控以及反向控制功能，使得該系統(tǒng)更加完善。

第五章老年照顧機(jī)器人中控系統(tǒng)設(shè)備設(shè)計(jì)與制作5.1老年照顧機(jī)器人中控系統(tǒng)原理圖分析本設(shè)備的硬件核心使用的是樹(shù)莓派3B+，它體積不大，僅有校園卡左右的大小但是功能強(qiáng)大，具備電腦的大部分功能且價(jià)格相對(duì)不高。作為硬件可以更好的支持老年照顧機(jī)器人中控系統(tǒng)。如圖5-1所示。圖5-1整體電路設(shè)計(jì)5.1.1電源電路拓展板集成了5V穩(wěn)壓電路輸出，提供了多種電源管理方案：防反接保護(hù)，電池低電壓保護(hù)，可以有效保護(hù)電源和拓展板。電路如圖5-2所示。圖5-2電源供電模塊5.1.2PCA9685舵機(jī)控制電路通常來(lái)說(shuō)舵機(jī)由三個(gè)引腳控制，一個(gè)VCC，一個(gè)GND以及一個(gè)SINGAL，樹(shù)莓派只有29個(gè)GPIO引腳，每個(gè)舵機(jī)需要一個(gè)SINGAL引腳，這樣下來(lái)是浪費(fèi)資源。通過(guò)PCA９６８５來(lái)控制電路就顯得合適很多，它通過(guò)內(nèi)置的IIC即ＰＷＭ驅(qū)動(dòng)和一個(gè)時(shí)鐘協(xié)議便可以控制１６個(gè)舵機(jī)。電路如圖5-3所示。圖5-3PCA9685舵機(jī)控制模塊5.1.3主控模塊驅(qū)動(dòng)電路樹(shù)莓派3B+的主控模塊為BCM2839，電路如圖5-4所示。圖5-4主控模塊5.1.4按鍵模塊驅(qū)動(dòng)電路按鍵模塊通過(guò)引腳GPIO檢測(cè)按鍵左側(cè)來(lái)電平實(shí)現(xiàn)，通過(guò)其高低電平來(lái)判斷是按下還是松開(kāi)狀態(tài)，電路如圖5-5所示。圖5-5按鍵模塊5.1.5蜂鳴器蜂鳴器需要較大電流，采用三極管驅(qū)動(dòng)，判斷其GPIO的高低電平來(lái)判斷是出于發(fā)聲狀態(tài)還是關(guān)閉狀態(tài)，其電路如圖5-6所示。圖5-6蜂鳴器模塊5.1.640pin接口樹(shù)莓派3B+40pin引腳可以用作外接各種不同的元器件，但是接口也有限，可以使用面包板的插口作為擴(kuò)展插口。功能圖如圖5-7所示。圖5-740pin外設(shè)接口5.2制作設(shè)備的電子元器件5.2.1主控模塊樹(shù)莓派的主控模塊主要采用1.2GHz四核64位ARMv8處理器，在其中有藍(lán)牙模塊和WiFi無(wú)線模塊，有著4個(gè)USB2.0端口，40針的擴(kuò)展GPIO引腳等，可以通過(guò)微型SD端口裝載內(nèi)存卡擴(kuò)展內(nèi)存，如圖5-8所示。圖5-8主控模塊5.2.2樹(shù)莓派拓展板該樹(shù)莓派拓展版是為了拓展樹(shù)莓派的IO引腳接口做準(zhǔn)備，上面搭載了6路舵機(jī)接口，以及2路直流電機(jī)接口，并提供了更安全的供電系統(tǒng)。示意圖如圖5-9所示。圖5-9樹(shù)莓派拓展版5.2.3樹(shù)莓派usb高清攝像頭在本設(shè)計(jì)中，樹(shù)莓派通過(guò)攝像頭采集到的畫面經(jīng)行處理，來(lái)實(shí)現(xiàn)圖像識(shí)別的功能。采用的是免驅(qū)的usb高清攝像頭，也可采用類似的夜視高清攝像頭。示意圖如圖5-10所示。圖5-10usb高清攝像頭5.2.4步進(jìn)電機(jī)通過(guò)金屬舵機(jī)接到拓展板的接口，使用PCA9685模塊來(lái)實(shí)現(xiàn)對(duì)電機(jī)的精確控制，達(dá)到云臺(tái)的近360的旋轉(zhuǎn)。示意圖如圖5-11所示。圖5-11金屬舵機(jī)5.2.5麥克風(fēng)本設(shè)計(jì)采用麥克風(fēng)作為語(yǔ)音對(duì)話時(shí)的聲音采集口，用這種免驅(qū)的usb麥克風(fēng)，不用安裝驅(qū)動(dòng)便可以直接使用。示意圖如圖5-12所示。圖5-12麥克風(fēng)5.2.6揚(yáng)聲器本設(shè)計(jì)通過(guò)PAM8403模塊外接8Ω2W的2pin揚(yáng)聲器，來(lái)實(shí)現(xiàn)語(yǔ)音對(duì)話時(shí)的語(yǔ)音播報(bào)的功能。示意圖如圖5-13所示。圖5-13揚(yáng)聲器5.3實(shí)物模型圖實(shí)物圖模型示意如圖5-14所示.圖5-14實(shí)物圖第六章功能實(shí)現(xiàn)6.1安卓App實(shí)現(xiàn)安卓App是用戶使用本設(shè)備的控制終端，通過(guò)連接后可以在App上實(shí)時(shí)視頻監(jiān)控，實(shí)時(shí)反向控制，并進(jìn)行語(yǔ)音播報(bào)。6.1.1連接登入App連接登入界面，如圖6-1所示，輸入對(duì)應(yīng)的網(wǎng)絡(luò)地址和通信端口完成App端與硬件端的TCP連接與UDP連接。圖6-1連接登入6.1.2功能選擇App首頁(yè)如圖6-2所示，在首頁(yè)下用戶可跳轉(zhuǎn)到控制界面、語(yǔ)音播報(bào)界面、聯(lián)系我們等界面。圖6-2功能選擇6.1.3實(shí)時(shí)視頻監(jiān)控監(jiān)控界面如圖6-3所示，用戶可以通過(guò)此界面實(shí)時(shí)查看到硬件端實(shí)時(shí)傳輸?shù)漠嬅?。圖6-3監(jiān)控界面6.1.4實(shí)時(shí)反向控制控制界面如圖6-4所示，用戶可以通過(guò)此界面實(shí)時(shí)控制硬件端云臺(tái)的近360度的旋轉(zhuǎn)控制，運(yùn)動(dòng)舵機(jī)采用步進(jìn)電接，通過(guò)編程設(shè)置，每點(diǎn)擊一下舵機(jī)旋轉(zhuǎn)15度，超過(guò)預(yù)先測(cè)試好設(shè)置的極限蜂鳴器會(huì)報(bào)警提醒。圖6-4控制界面6.1.5語(yǔ)音播報(bào)用戶可以輸入要播報(bào)的內(nèi)容，點(diǎn)擊發(fā)送，硬件端會(huì)通過(guò)揚(yáng)聲器語(yǔ)音播報(bào)內(nèi)容，比如：提醒老人用藥之類的提醒。界面如圖6-5所示。圖6-5語(yǔ)音播報(bào)界面6.1.6聯(lián)系我們聯(lián)系我們的界面如圖6-6所示，用戶可在此界面查看我們的詳細(xì)聯(lián)系信息，通過(guò)此聯(lián)系方式向我們咨詢。圖6-6聯(lián)系我們界面6.2人臉識(shí)別的實(shí)現(xiàn)人臉識(shí)別，是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種識(shí)別技術(shù)。本設(shè)計(jì)中的人臉識(shí)別基于人臉識(shí)別框架Dlib，了解過(guò)國(guó)產(chǎn)的Face++，功能挺強(qiáng)大，可以返回106個(gè)高精度關(guān)鍵點(diǎn)，但是其不開(kāi)源，于是唯有退而求次。選擇了Dlib，不僅開(kāi)源，而且提供多個(gè)平臺(tái)，多種語(yǔ)言版本。在樹(shù)莓派端安裝好所需的環(huán)境：Dlib、Numpy、Lscikit-image、opencv以及python的3.6版本。通過(guò)三個(gè)步驟實(shí)現(xiàn)人臉識(shí)別；分別時(shí)是攝像頭的人臉?shù)浫耄崛√卣鹘⑷四様?shù)據(jù)庫(kù),最后調(diào)用攝像頭進(jìn)行人臉識(shí)別。(1).攝像頭的人臉?shù)浫?通過(guò)調(diào)用Dlib庫(kù)的的正向人臉檢測(cè)器dlib.get_frontal_face_detector()、68點(diǎn)特征預(yù)測(cè)器shape_predictor_5_face_landmarks.dat將檢測(cè)到的人臉信息采集錄入，將其灰度化后把人臉圖像數(shù)據(jù)存儲(chǔ)到以人名命名的文件夾，用于第二步的人臉數(shù)據(jù)庫(kù)建立。示意圖如圖6-7所示。圖6-7人臉圖像信息采集(2).建立人臉數(shù)據(jù)庫(kù)：將第一步采集到的人臉信息中提取人臉特征存入csv，這一步是將人臉圖像的128D特征通過(guò)Dlib的人臉識(shí)別模型face_recognition_model_v來(lái)提取出來(lái)，得到每張圖片中人臉的128D特征，取得所有特征的均值，寫入對(duì)應(yīng)的人臉數(shù)據(jù)特征csv中用于之后的人臉比對(duì)。人臉特征均值提取示意圖如下圖6-8所示。圖6-8人臉特征均值提取(3).調(diào)用攝像頭實(shí)時(shí)視頻流進(jìn)行實(shí)時(shí)人臉檢測(cè)，通過(guò)人臉識(shí)別模型face_recognition_model_v1提取出攝像頭中人臉的128D特征，存儲(chǔ)到features_cap_arr，遍歷捕獲到的圖像中所有的人臉特征features_known_arr和實(shí)時(shí)捕獲的人臉特征features_cap_arr對(duì)比，計(jì)算兩個(gè)128D向量間的歐式距離。依據(jù)預(yù)先設(shè)置的閾值0.4來(lái)判斷，若歐式距離大于0.4，則和預(yù)設(shè)人臉數(shù)據(jù)庫(kù)的特征差異比較大，判定攝像頭中的人是未知unknow；若歐式距離小于等于0.4，則在預(yù)設(shè)的人臉數(shù)據(jù)庫(kù)中找到歐式距離小的，判定攝像頭中的人是數(shù)據(jù)庫(kù)中的person_X。示意圖如圖6-9所示。圖6-9實(shí)時(shí)人臉識(shí)別(4)通過(guò)python寫一個(gè)腳本調(diào)用這三個(gè)文件實(shí)現(xiàn)快速的人臉?shù)浫胍约坝?xùn)練。腳本運(yùn)行如圖6-10所示圖6-10人臉識(shí)別程序運(yùn)行6.3物體識(shí)別的實(shí)現(xiàn)在樹(shù)莓派上實(shí)現(xiàn)物體識(shí)別是通過(guò)Tensorflow+OpenCV+攝像頭來(lái)實(shí)現(xiàn)實(shí)時(shí)物體檢測(cè)。首先要安裝matplotlib庫(kù)，下載Tensorflow提供的modelsAPI，再下載用COCO訓(xùn)練集預(yù)訓(xùn)練的模型，使用的是ssd_mobilenet_v1_coco（SSD是專門為速度優(yōu)化過(guò)最快的網(wǎng)絡(luò)）。做物體檢測(cè)的網(wǎng)絡(luò)有很多種，如fasterrcnn，ssd，yolo等等，通過(guò)比較不同的網(wǎng)絡(luò)規(guī)模，每個(gè)網(wǎng)絡(luò)都有自己的優(yōu)勢(shì)。由于樹(shù)莓派計(jì)算能力有限，在這里，我選擇了SSD和faster-rcnn模型經(jīng)行對(duì)比。加載SSD模型時(shí)間：約9s（相當(dāng)于開(kāi)機(jī)需要9秒的時(shí)間），識(shí)別精準(zhǔn)度還不錯(cuò)，能夠識(shí)別日常生活中的常見(jiàn)物體。并能夠給出相應(yīng)的判斷百分比。faster-rcnn模型，加載需要兩分鐘，由于內(nèi)存不足，跑不動(dòng)。由于樹(shù)莓派的CPU局限性，并且沒(méi)有能力GPU優(yōu)化，所以無(wú)法用Tensorflow-GPU來(lái)做測(cè)試。因此SSD模型最為適合本應(yīng)用的需求。物體識(shí)別程序運(yùn)行如圖6-11所示。圖6-11物體識(shí)別程序運(yùn)行6.4語(yǔ)音對(duì)話的實(shí)現(xiàn)智能語(yǔ)音對(duì)話的實(shí)現(xiàn)主要分為以下三部分：語(yǔ)音信號(hào)的采集：采集語(yǔ)音信號(hào)，以wav文件保存，通過(guò)以下命令啟動(dòng)樹(shù)莓派錄制功能：arecord-D"plughw:1"-fS16_LE-r16000-d3wav。語(yǔ)音信號(hào)的識(shí)別：在本設(shè)計(jì)中我用BaiduAI的語(yǔ)音接口向BaiduAI平臺(tái)申請(qǐng)了一個(gè)語(yǔ)音識(shí)別賬號(hào)，得到了API的密鑰，之后需要在Python代碼中填寫這兩個(gè)密鑰，通過(guò)Python調(diào)用百度語(yǔ)音接口識(shí)別采集到的語(yǔ)音信號(hào)，并將識(shí)別出的語(yǔ)音信號(hào)以wav文件的形式存儲(chǔ)在樹(shù)莓派中。語(yǔ)音機(jī)器人的回復(fù)：讀取存儲(chǔ)識(shí)別信號(hào)的wav文件，調(diào)用Turingrobot接口，得到智能響應(yīng)。智能語(yǔ)音識(shí)別提交的數(shù)據(jù)格式如下：Data={“format”:“wav”,“rate”:16000,“channel”:1,“cuid”:“”,“token”:tok,“speech”:wav_data,“l(fā)en”:wav_length}。在語(yǔ)音識(shí)別的基礎(chǔ)上，增加了一個(gè)Turingrobot接口。請(qǐng)求的數(shù)據(jù)格式如下所示：body={"key":Tuling_API_KEY,"info":words.encode("utf-8")}。其中，key填寫的就是所申請(qǐng)到的機(jī)器人的apikey，info就是通過(guò)百度語(yǔ)音接口識(shí)別后的語(yǔ)音數(shù)據(jù)。r=requests.post(url,data=body,verify=True)，其中的url為圖靈機(jī)器人接口的路徑，r為圖靈機(jī)器人返回的語(yǔ)音數(shù)據(jù)。6.5關(guān)于功能流暢性的解決辦法由于openCV、Tensorflow需要巨大的運(yùn)算量，對(duì)樹(shù)莓派cpu而言運(yùn)算壓力過(guò)大，不足以完全運(yùn)行而本設(shè)計(jì)基本都是對(duì)實(shí)時(shí)視頻經(jīng)行的運(yùn)用，所以會(huì)出現(xiàn)卡頓的現(xiàn)象。因此用了另外一種方式，即樹(shù)莓派端作為視頻傳輸?shù)拿浇?，將?shí)時(shí)視頻傳輸?shù)絇C端，通過(guò)PC來(lái)處理視覺(jué)運(yùn)算。實(shí)現(xiàn)方式如下：首先在PC端搭建運(yùn)算所需環(huán)境，Python、OpenCV、numpy、scikit-image、Dlib、scipy、pandas、Tensorflow。安裝好PC端的環(huán)境之后就是將樹(shù)莓派上的視頻流傳輸?shù)絇C上，即樹(shù)莓派直播推流有多種實(shí)現(xiàn)方式，在此舉例三種：(1)使用raspivid工具推流。該工具已經(jīng)默認(rèn)集成到了樹(shù)莓派之中，raspivid-t0-w1280-h720-fps20-o-|nc-k-l8090。該命令執(zhí)行玩后不會(huì)出現(xiàn)任何打印信息即可。把mplayer工具安裝在局域網(wǎng)內(nèi)的電腦上，然后執(zhí)行命令，mplayer-fps200-demuxerh264esffmpeg://tcp://9:8080。將出現(xiàn)一個(gè)窗口，顯示實(shí)時(shí)的樹(shù)莓派視頻流，延遲約200毫秒。雖然該種傳輸方式延遲較低，但是要樹(shù)莓派專屬接口得攝像頭，且接收方式單一，不能靈活的調(diào)用。(2).調(diào)用v4l2接口捕獲視頻+live555實(shí)現(xiàn)rtsp服務(wù)。首先安裝live555，安裝其庫(kù)文件，再編譯執(zhí)行工具。利用vlc類似的工具播放rtsp流：rtsp://樹(shù)莓派IP:9554/webcam。測(cè)試效果：良好，延時(shí)和圖像都可以，但很難實(shí)現(xiàn)，會(huì)出現(xiàn)不同的缺包，并且很難檢查錯(cuò)誤位置。該種實(shí)現(xiàn)方式同樣需要樹(shù)莓派專用攝像頭來(lái)實(shí)現(xiàn)傳輸，且接收方式必須要用stsp視頻工具來(lái)播放，不方便靈活調(diào)用(3).采用MJPEG流媒體模式進(jìn)行視頻監(jiān)控，配置過(guò)程簡(jiǎn)單快速，但MJPEG流媒體不支持樹(shù)莓派CSI接口的攝像頭，，所以只能使用USB攝像頭。首先在樹(shù)莓派上安裝MJPG-streamer，在github上下載mjpeg-streamer安裝，在樹(shù)莓派上開(kāi)啟傳輸服務(wù)：cdmjpg-streamercdmjpg-streamer-experimentalcdmjpg_streamer-i"，cdinput_uvc.so"-o"，cdoutput_http.so-w./www"。在PC端可通過(guò)瀏覽器查看傳輸是否成功：http://IP:8080/?action=stream。經(jīng)過(guò)測(cè)試，該種傳輸方式的延時(shí)大約在220ms，基本上可以滿足要求。通過(guò)以上的三種視頻轉(zhuǎn)播方式的對(duì)比，本設(shè)計(jì)使用了最后一種：mjpeg-streamer

的方式，理由是本設(shè)計(jì)使用的是usb高清攝像頭作為視頻采集，且該方式能夠較為靈活的在代碼中調(diào)用，較為貼合本設(shè)計(jì)。接下來(lái)是設(shè)置MJPG-streamer的開(kāi)機(jī)自啟動(dòng)：在系統(tǒng)的主目錄，創(chuàng)建一個(gè)新的可執(zhí)行sh文件，輸入打開(kāi)指令并退出保存，最后授予可執(zhí)行權(quán)限：sudoChmod+X/home/pi/videostart.sh。然后創(chuàng)建另一個(gè)目錄并輸入以下命令：sudomkdir.config/autostart。再新建一個(gè)文件，文件內(nèi)容如下：

[DesktopEntry]

Type=shell

Exec=/home/pi/videoStart.sh。最后保存退出，這樣便可以每次開(kāi)機(jī)自啟動(dòng)。成功之后，在Python文件里創(chuàng)建攝像頭對(duì)象：video_stream_path="9:8080/?action=stream"

cap=cv2.VideoCapture(video_stream_path)這兩行代碼的目的是將OpenCV的調(diào)用本地?cái)z像頭中的0端口改為video_stream_path，并對(duì)video_stream_path給與視頻接收地址的賦值。通過(guò)這樣的方式便能夠?qū)崿F(xiàn)將樹(shù)莓派端的視頻實(shí)時(shí)傳輸?shù)絇C，通過(guò)PC更為強(qiáng)大的CPU來(lái)做復(fù)雜的運(yùn)算。第七章系統(tǒng)測(cè)試由于App端的使用客戶各不相同，系統(tǒng)和屏幕的大小以及屏幕密度碎片化的出現(xiàn)，就容易產(chǎn)生在不同手機(jī)上顯示的內(nèi)容不一樣，為了給用戶帶來(lái)一致的體驗(yàn)效果，所以需要對(duì)不同屏幕進(jìn)行UI適配。首先就是對(duì)圖片資源的適配，在AndroidStudio的資源目錄res目錄下，把不同分辨的的圖片放置于不同分辨率的的圖片文件夾下。以便于對(duì)圖片更好的適配。其次便是布局方式的選擇，為了布局方便選擇了能夠根據(jù)屏幕大小來(lái)適配UI的LinearLayout線性布局，當(dāng)兩個(gè)或者更多的的布局占滿屏幕時(shí)，子布局使用了權(quán)重適配，以便于達(dá)到適配UI的目的。同時(shí)在多元素的界面采用了RelativeLayout的相對(duì)布局，不采用絕對(duì)布局，因?yàn)榻^對(duì)布局的適配性很差。相對(duì)布局的子控件之間使用相對(duì)的方式來(lái)排列，因?yàn)槠涓鱾€(gè)視圖之間的位置不會(huì)隨著屏幕的大小而產(chǎn)生改變，而線性布局在復(fù)雜的元素中無(wú)法準(zhǔn)確的把握好各個(gè)子視圖的位置，會(huì)導(dǎo)致其緊貼排列。同時(shí)采用尺寸限定符layout-large創(chuàng)建一個(gè)文件來(lái)完成讓屏幕在尺寸大于7英寸時(shí)采用適配平板的雙面板布局，小于時(shí)采用適配手機(jī)的單面板布局。內(nèi)容如圖7-1所示。圖7-1小于7英寸屏幕適配 適配尺寸大于7寸平板的雙面板布局如圖7-2所示。圖7-2大于7英寸屏幕適配具體采用了dp+自適應(yīng)布局+weight比例布局直接適配，這是一種最原始的Android適配方案。這能保證寫出來(lái)的界面適配絕大部分手機(jī)，但部分手機(jī)仍然需要單獨(dú)適配，因?yàn)椴皇撬械?080P的手機(jī)dpi都是480這樣會(huì)導(dǎo)致相同分辨率的手機(jī)中有可能是300px。接下來(lái)是實(shí)例測(cè)試，通過(guò)對(duì)華為榮耀20、紅米note5、小米9、華為mate30的4個(gè)機(jī)型進(jìn)行功能性測(cè)試。如表7-1所示是APP客戶端在不同型號(hào)和不同尺寸大小的手機(jī)進(jìn)行登陸、反向控制、語(yǔ)音播報(bào)等一些操作的測(cè)試數(shù)據(jù)，測(cè)量結(jié)果顯示各項(xiàng)適配正常。表7-1APP客戶端測(cè)試手機(jī)型號(hào)屏幕大小連接登入功能選擇反向控制語(yǔ)音播報(bào)華為榮耀206.26英寸正常登入正常正常正常紅米note55.99英寸正常登入正常正常正常小米96.39英寸正常登入正常正常正常華為mate306.62英寸正常登入正常正常正常第八章結(jié)論本次畢業(yè)設(shè)計(jì)本人通過(guò)堅(jiān)持不懈的努力與學(xué)習(xí)，克服了種種難題，完成了老年護(hù)理機(jī)器人中控系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)。本次畢業(yè)設(shè)計(jì)的制作讓我對(duì)物聯(lián)網(wǎng)工程專業(yè)知識(shí)有了更深入的了解，專業(yè)技術(shù)得到了很大的提高，獨(dú)立完成一個(gè)項(xiàng)目，對(duì)我今后在工作中的影響頗深。本次的畢業(yè)設(shè)計(jì)的制作也是我大學(xué)中難得的一次項(xiàng)目經(jīng)歷，在此之前安卓知識(shí)我學(xué)得不是很好，但是通過(guò)本次畢業(yè)設(shè)計(jì)的制作，對(duì)我的安卓知識(shí)有了很大提高，例如：TCP、UDP的傳輸。硬件知識(shí)，在大二實(shí)習(xí)培訓(xùn)的時(shí)候有學(xué)過(guò)Stm32單片機(jī)，但是沒(méi)有接觸過(guò)樹(shù)莓派，本次畢業(yè)設(shè)計(jì)硬件用的是樹(shù)莓派，需要用Python語(yǔ)言編寫，通過(guò)網(wǎng)絡(luò)上的教程自己學(xué)習(xí)了一下，對(duì)Python語(yǔ)言有了些了解，語(yǔ)言格式非常嚴(yán)格，總之畢設(shè)制作的過(guò)程讓我對(duì)物聯(lián)網(wǎng)專業(yè)有了更深的了解，是一次不可多得的經(jīng)歷黃思坦：老年照護(hù)機(jī)器人中控系統(tǒng)開(kāi)發(fā)2