人工智能與-大數(shù)據(jù)分析

人工智能與大數(shù)據(jù)分析目錄人工智能與大數(shù)據(jù)分析概述Python數(shù)據(jù)分析NumPy與Pandas簡介泰坦尼克號案例人工智能與大數(shù)據(jù)分析概述人工智能與大數(shù)據(jù)分析概述二十四節(jié)氣歌、朝霞不出門，晚霞行千里。對于一些簡單的自然現(xiàn)象，前人們通過歸納提取得出很多經(jīng)驗(yàn)知識。但是現(xiàn)代世界中有很多復(fù)雜問題，數(shù)據(jù)量極大，已經(jīng)遠(yuǎn)遠(yuǎn)超出了人腦可處理的范圍。大數(shù)據(jù)分析是數(shù)學(xué)與計算機(jī)科學(xué)相結(jié)合的產(chǎn)物，在實(shí)用應(yīng)用中，人們可以通過計算機(jī)工具和數(shù)學(xué)知識處理數(shù)據(jù)，得出結(jié)果作出判斷，以便采取適當(dāng)行動。

人工智能與大數(shù)據(jù)分析概述數(shù)據(jù)(data)客觀事物未經(jīng)加工的原始素材。包括文本、數(shù)字、音頻、圖像、視頻等等。大數(shù)據(jù)分析(dataanalysis)大數(shù)據(jù)分析是基于某種行業(yè)目的,有目的地進(jìn)行收集,整理,加工和分析數(shù)據(jù),

提煉有價值信息的一個過程。人工智能與大數(shù)據(jù)分析概述大數(shù)據(jù)分析是將數(shù)據(jù)轉(zhuǎn)化為知識/智慧的手段。數(shù)據(jù)原始素材信息有含義的數(shù)據(jù)知識對事物的正確理解和認(rèn)識人工智能與大數(shù)據(jù)分析概述數(shù)據(jù)分析師常用工具PythonRSQLExcelSPSS人工智能與大數(shù)據(jù)分析概述大數(shù)據(jù)分析非常普遍，日常出行、購物、企業(yè)生產(chǎn)決策處處有數(shù)據(jù)分析。幾個實(shí)際的例子：沃爾瑪購物籃分析世界杯點(diǎn)球預(yù)測

UPS快遞——數(shù)據(jù)分析下的最佳行車路徑試衣間的數(shù)據(jù)分析應(yīng)用阿里信用貸款和淘寶數(shù)據(jù)魔方

人工智能與大數(shù)據(jù)分析概述薩姆·沃爾頓將一個百貨商店沃爾瑪奇跡般地經(jīng)營為全球最大的連鎖零售企業(yè)。早在1985年10月就被《福布斯》雜志列為全美富豪排行榜首位，連美國總統(tǒng)布什都贊揚(yáng)他是地道的美國人，展現(xiàn)了企業(yè)創(chuàng)新精神，是美國夢的縮影…人工智能與大數(shù)據(jù)分析概述1983年，當(dāng)一般零售商還在進(jìn)行信息化建設(shè)的時候，沃爾瑪已經(jīng)開始與休斯公司合作，花費(fèi)了2400萬美元發(fā)射了一顆人造衛(wèi)星，此后先后投入6億多美元建立起電腦與衛(wèi)星系統(tǒng)，還發(fā)明了條形碼、無線掃描槍、計算機(jī)跟蹤存貨等技術(shù)。借助于整套的高科技信息網(wǎng)絡(luò)，沃爾瑪?shù)母鞑块T溝通、各業(yè)務(wù)流程可迅速、準(zhǔn)確的運(yùn)行，數(shù)據(jù)庫系統(tǒng)很快積累了海量的經(jīng)營數(shù)據(jù)，包括大量的顧客消費(fèi)行為記錄。人工智能與大數(shù)據(jù)分析概述圣誕節(jié)快要到來時，沃爾瑪?shù)墓ぷ魅藛T按照慣例籌備節(jié)日的營銷策略。這一次它們使用了一種新的購物籃分析的軟件，對海量的顧客消費(fèi)行為進(jìn)行分析，一個意外的發(fā)現(xiàn)讓人們瞠目結(jié)舌，跟尿布一起購買最多的商品竟然是啤酒！人工智能與大數(shù)據(jù)分析概述沃爾瑪派出市場調(diào)查人員和分析師對這一結(jié)果進(jìn)行了深入研究，揭示了一條隱藏的在啤酒與尿布背后的美國人的一種行為模式：一些年齡在25-35歲的年輕父親下班后經(jīng)常要去超市買嬰兒尿布，而他們中30%-40%的人會順手為自己購買幾瓶啤酒。人工智能與大數(shù)據(jù)分析概述沃爾瑪馬上采取行動，將賣場內(nèi)原來相隔很遠(yuǎn)的婦嬰用品與酒類飲料區(qū)的距離拉近。同時對這兩個產(chǎn)品的價格也做出調(diào)整，并向一次購買達(dá)到一定金額的顧客贈送嬰兒奶嘴以及其他小禮品，結(jié)果是尿布與啤酒的銷量雙雙大增。人工智能與大數(shù)據(jù)分析概述2006年世界杯上，阿根廷和德國在1/4決賽中120分鐘難分高下，在點(diǎn)球大戰(zhàn)開始之前，老門將卡恩將一張紙條遞到萊曼手中。結(jié)果是，萊曼所有點(diǎn)球都判斷對了方向，除了兩個點(diǎn)球質(zhì)量太高無力回天外，其余全部撲出，阿根廷只能黯然出局。問題是，那張紙條上究竟寫了什么？人工智能與大數(shù)據(jù)分析概述上面記錄著阿根廷隊的克魯茲、阿亞拉、羅德里格斯以及坎比亞索習(xí)慣的腳法。德國隊守門員教練科普克如此精確的預(yù)測出阿根廷球員射出的點(diǎn)球方向，并不是他有什么過人的占卜天才?！畵潼c(diǎn)球秘籍’來自于德國科隆體育學(xué)院數(shù)據(jù)分析小組夜以繼日的努力。

人工智能與大數(shù)據(jù)分析概述分析小組收集了阿根廷球隊13000個點(diǎn)球的錄像，并根據(jù)阿根廷射門練習(xí)的數(shù)據(jù)找出了一些可以描述射門動作的行為特征，比如“阿亞拉，短助跑，右下角；里克爾梅，斜上助跑，右下角；馬克西，長距離助跑，左上角…….”

這些行為特征描述了阿根廷隊誰罰點(diǎn)球、怎么罰點(diǎn)球的規(guī)律。最終從這些特征中提煉出更具體的特征，幫助德國隊獲得勝利。人工智能與大數(shù)據(jù)分析概述UPS（美國聯(lián)合包裹公司）是一家美國快遞公司，世界上最大的快遞承運(yùn)商與包裹遞送公司。同時也是運(yùn)輸、物流、資本與電子商務(wù)服務(wù)的領(lǐng)導(dǎo)性的提供者。人工智能與大數(shù)據(jù)分析概述UPS是一個充分利用數(shù)據(jù)分析技術(shù)帶來盈利和獎項(xiàng)的科技公司。UPS多效地利用了地理定位數(shù)據(jù)。為了使總部跟蹤到車輛的位置和預(yù)防引擎故障，它的貨車上裝有傳感器、無線適配器和GPS。人工智能與大數(shù)據(jù)分析概述這些設(shè)備方便了公司監(jiān)督管理員工并優(yōu)化行車線路。UPS為貨車定制的最佳行車路徑是根據(jù)過去的行車數(shù)據(jù)總結(jié)分析而來。2011年，UPS的駕駛員少跑了近4828萬公里的路程。人工智能與大數(shù)據(jù)分析概述普拉達(dá)（PRADA）是意大利奢侈品牌，由瑪麗奧·普拉達(dá)于1913年在意大利米蘭創(chuàng)建，當(dāng)前全球最大的奢侈品牌之一。人工智能與大數(shù)據(jù)分析概述每件衣服上都有RFID碼，當(dāng)顧客拿起衣服進(jìn)試衣間時，衣服上的RFID會被自動識別，數(shù)據(jù)傳至PRADA總部。每一件衣服在哪個城市哪個旗艦店什么時間被拿進(jìn)試衣間停留多長時間，數(shù)據(jù)都被存儲起來加以分析。人工智能與大數(shù)據(jù)分析概述如果有一件衣服銷量很低，以往的作法是直接被廢棄掉。如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低，但進(jìn)試衣間的次數(shù)多。那就說明存在一些問題，衣服或許還有改進(jìn)的余地。這項(xiàng)應(yīng)用在提升消費(fèi)者購物體驗(yàn)的基礎(chǔ)上，PRADA還提升30%的銷售量。

人工智能與大數(shù)據(jù)分析概述中國最大的電子商務(wù)公司阿里巴巴（Alibaba）利用大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)提供服務(wù)：阿里信用貸款與淘寶數(shù)據(jù)魔方。

人工智能與大數(shù)據(jù)分析概述

每天有數(shù)以萬計的交易在淘寶上進(jìn)行。相應(yīng)的交易時間、商品價格、購買數(shù)量會被記錄，同時這些信息可以與買方和賣方的年齡、性別、地址、甚至興趣愛好等個人特征信息相匹配。

人工智能與大數(shù)據(jù)分析概述

淘寶數(shù)據(jù)魔方就是淘寶平臺上的大數(shù)據(jù)應(yīng)用方案。商家可以了解行業(yè)宏觀情況、品牌的市場狀況、消費(fèi)者行為情況。消費(fèi)者也能以更優(yōu)惠的價格買到更心儀的寶貝。

人工智能與大數(shù)據(jù)分析概述

阿里信用貸款則是通過企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)分析技術(shù)自動分析判定是否給予企業(yè)貸款，全程不會出現(xiàn)人工干預(yù)。人工智能與大數(shù)據(jù)分析概述開放數(shù)據(jù)為了滿足日益增長的數(shù)據(jù)需求，人們把很多數(shù)據(jù)資源放到了因特網(wǎng)上。這些被稱為開放數(shù)據(jù)（opendata）的數(shù)據(jù)資源對大眾免費(fèi)開放。人工智能與大數(shù)據(jù)分析概述開放數(shù)據(jù)下面是網(wǎng)上比較常用的開放數(shù)據(jù)網(wǎng)站：開放數(shù)據(jù)中國（/）亞馬遜AWS開放數(shù)據(jù)集（/datasets）UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫（/ml）datahub網(wǎng)站（http://datahub.io/dataset）人工智能與大數(shù)據(jù)分析概述數(shù)據(jù)分析流程數(shù)據(jù)分析要做的事情可具體分為5步：與外界進(jìn)行交互讀寫各種各樣的文件格式和數(shù)據(jù)庫數(shù)據(jù)準(zhǔn)備對數(shù)據(jù)進(jìn)行清理、整合、規(guī)范化、重塑、變形等處理數(shù)據(jù)轉(zhuǎn)換對數(shù)據(jù)集做一些數(shù)學(xué)和統(tǒng)計運(yùn)算以產(chǎn)生新的數(shù)據(jù)集數(shù)據(jù)建模和計算將數(shù)據(jù)跟統(tǒng)計模型、機(jī)器學(xué)習(xí)算法聯(lián)系起來分析結(jié)果展示創(chuàng)建圖片或文字摘要，展示分析結(jié)果Python數(shù)據(jù)分析Python數(shù)據(jù)分析為什么用Python？數(shù)據(jù)科學(xué)家們希望：用最小的編程代價在大數(shù)據(jù)集上進(jìn)行數(shù)值分析；編寫的代碼可讀性好、執(zhí)行效率高、運(yùn)行速度快；盡可能貼近一系列數(shù)學(xué)概念。Python數(shù)據(jù)分析為什么用Python？在科學(xué)計算領(lǐng)域，有很多符合這些要求的解決方案。在對比競爭中Python勝出，在科學(xué)領(lǐng)域被廣泛使用，具體原因如下：容易在Python中調(diào)用C、Fortran或者R代碼。Python是面向?qū)ο笳Z言，比C和Fortran更高級。Python可以寫出易讀、整潔并且缺陷最少的代碼。Python數(shù)據(jù)分析為什么用Python？另外Python還有很多方面的用途，比如：通用型腳本語言，可以作腳本來用，還能操作數(shù)據(jù)庫；Django等框架的問世，Python近些年還廣泛用于開發(fā)web應(yīng)用。Python數(shù)據(jù)分析Python數(shù)據(jù)分析常用庫NumPy

科學(xué)計算的基礎(chǔ)包庫Scipy

科學(xué)計算中的工具庫Matplotlib

繪制數(shù)據(jù)圖表庫Pandas

基于NumPy的數(shù)據(jù)分析庫Scikit-learn

機(jī)器學(xué)習(xí)建模庫Pytorch

一種深度學(xué)習(xí)框架NumPy和Pandas簡介NumPy和Pandas簡介NumPy是一個開源的Python科學(xué)計算庫?？梢院茏匀坏厥褂脭?shù)組和矩陣，也包含很多實(shí)用的數(shù)學(xué)函數(shù)。NumPy和Pandas簡介為什么使用NumPy？對于數(shù)值計算任務(wù)，使用NumPy要比直接編寫Python代碼便捷得多。NumPy能夠直接對數(shù)組和矩陣進(jìn)行操作，可以省略很多循環(huán)語句。NumPy眾多的數(shù)學(xué)函數(shù)能簡化編寫代碼的工作。NumPy和Pandas簡介Pandas是什么？

Pandas源自panel

data（面板數(shù)據(jù)）、Python

data

analysis（數(shù)據(jù)分析）NumPy和Pandas簡介Pandas的優(yōu)勢Pandas以NumPy為基礎(chǔ)，能利用NumPy在計算方面性能高的優(yōu)勢。Pandas提供了大量處理數(shù)據(jù)的函數(shù)和方法，強(qiáng)大而高效。兩種新型的結(jié)構(gòu)Series和DataFrame使Pandas在處理表格數(shù)據(jù)非常有效。NumPy和Pandas簡介本課程用得最多的Pandas對象是DataFrameNumPy和Pandas簡介安裝NumPy和Pandas：第一種安裝方式：Python

pip

NumPy/Pandas第二種安裝方法：Anaconda集成環(huán)境NumPy和Pandas簡介第一種安裝方式：Python

pip

NumPy/Pandas

NumPy是基于Python的，在安裝NumPy之前，需要先安裝Python。本課程使用的是Python3.6版本。安裝時記得勾選安裝pip選項(xiàng)，并配置環(huán)境變量。NumPy和Pandas簡介安裝NumPy和Pandas：本課程使用的NumPy版本為1.14，Pandas版本為0.23。NumPy

:

pip

install

numpyPandas:

pip

install

pandasNumPy和Pandas簡介安裝NumPy和Pandas：卸載安裝包：pip

uninstall

package_name更新安裝包：pip

install–U

package_name

查看安裝模塊版本號：pip

list

/

pip

freezeNumPy和Pandas簡介第二種安裝方式：Anaconda集成環(huán)境Anaconda

是一種Python語言的增值開源發(fā)行版，用于進(jìn)行大規(guī)模數(shù)據(jù)處理,預(yù)測分析,和科學(xué)計算,致力于簡化包的管理和部署。下載地址：/download/

NumPy和Pandas簡介安裝NumPy和Pandas：更新Anaconda：conda

update

conda查看Anaconda安裝包：conda

list

Anaconda內(nèi)置了大多數(shù)數(shù)據(jù)處理,預(yù)測分析,和科學(xué)計算的模塊包（包括NumPy和Pandas），所以無需另外安裝。

NumPy和Pandas簡介安裝NumPy和Pandas：

Anaconda安裝模塊包：conda

install

package_name

Anaconda卸載模塊包：conda

uninstall

package_name

Anaconda更新模塊包：

conda

update

--

package_name

NumPy和Pandas簡介集成開發(fā)環(huán)境：

IDE：Integrated

Development

Environment，集成開發(fā)環(huán)境。數(shù)據(jù)分析領(lǐng)域：jupyter

notebook

NumPy和Pandas簡介集成開發(fā)環(huán)境：

pip下安裝方式：pip

install

jupyter安裝后命令行輸入jupyter

notebook

或ipython

notebook打開。

NumPy和Pandas簡介集成開發(fā)環(huán)境：

Anaconda環(huán)境下自帶jupyter

notebookNumPy和Pandas簡介啟動jupyternotebook：

選擇目錄上傳文件新建文件NumPy和Pandas簡介工作界面：

重命名文件名工具欄輸入框泰坦尼克號案例泰坦尼克號案例泰坦尼克號是19世紀(jì)初世界上體積最龐大、內(nèi)部設(shè)施最豪華的客運(yùn)輪船，有永不沉沒的美譽(yù)。然而諷刺的是，在處女航中，泰坦尼克號便遭厄運(yùn)。泰坦尼克號案例1912年4月15日，載著1316號乘客和891名船員的豪華巨輪泰坦尼克號與冰山相撞而沉沒，次日凌晨2時20分左右，船體斷裂成兩截，沉入大西洋底3700米處。這場海難被認(rèn)為是20世紀(jì)人間十大災(zāi)難之一。1985年，泰坦尼克號的沉船遺骸在北大西洋兩英里半的海底被發(fā)現(xiàn)。

泰坦尼克號案例2200多名船員及乘客中，逾1500人喪生。二十世紀(jì)九十年代美國福斯電影公司、派拉蒙影業(yè)公司將泰坦尼克號拍成電影，這部愛情片也成為時代的經(jīng)典，家喻戶曉。從Kaggle網(wǎng)站下載Titanic數(shù)據(jù)集，我們可以通過Python對數(shù)據(jù)進(jìn)行解讀。數(shù)據(jù)集共有12列，目標(biāo)變量Survived表示的是該乘客是否獲救，1表示獲救，0表示未獲救，其余都是乘客的個人信息。泰坦尼克號案例11列個人信息包括：PassengerId=>乘客IDPclass=>艙位等級(1/2/3等艙位)Name=>乘客姓名Sex=>性別Age=>年齡SibSp=>堂兄弟/妹個數(shù)Parch=>父母與小孩個數(shù)Ticket=>船票信息Fare=>票價Cabin=>客艙Embarked=>登船港口(C/Q/S港口)泰坦尼克號案例首先將數(shù)據(jù)導(dǎo)入Python中，Pandas會讀取數(shù)據(jù)轉(zhuǎn)換為一個二維數(shù)據(jù)框，類似表格。泰坦尼克號案例Pandas中有匯總和描述性統(tǒng)計的函數(shù)，可以