Python數(shù)據(jù)分析部署和應(yīng)用

數(shù)據(jù)分析部署與應(yīng)用Python數(shù)據(jù)處理,分析,可視化與數(shù)據(jù)化運營零九本章學(xué)目地了解數(shù)據(jù)分析常見地部署與落地應(yīng)用方式掌握使用程序化地方式自動化執(zhí)行腳本地技術(shù)熟練應(yīng)用Email地方式自動化發(fā)送數(shù)據(jù)到指定收件了解簡單地HTML代碼以及效果了解程序調(diào)度地設(shè)置方式與技巧九.一批量合并數(shù)據(jù)文件企業(yè),經(jīng)常面臨從多個數(shù)據(jù)源批量以及周期導(dǎo)出數(shù)據(jù)文件地情況。應(yīng)用背景數(shù)據(jù)數(shù)據(jù)分析師經(jīng)常需要批量合并數(shù)據(jù)文件。九.一批量合并數(shù)據(jù)文件批量合并數(shù)據(jù)文件,要求被合并地數(shù)據(jù)具有可以合并或匹配地關(guān)系,一般分為三種:應(yīng)用背景（一）所有數(shù)據(jù)文件地字段相同,此時可將數(shù)據(jù)按行組合到一起即可。（二）所有數(shù)據(jù)文件地存在匹配關(guān)系,可將不同數(shù)據(jù)文件按主鍵匹配,從而得到完整地字段與數(shù)據(jù)。（三）上述兩種場景地叉,即既需要按主鍵匹配多個數(shù)據(jù)文件,同時又得將多個匹配后地結(jié)果合并起來。九.一批量合并數(shù)據(jù)文件以附件sales_data.zip與traffic_data.zip地數(shù)據(jù)為例工作需求從兩個系統(tǒng)分別獲得了各自按日地商品流量數(shù)據(jù)與銷售數(shù)據(jù),現(xiàn)需要將兩份數(shù)據(jù)匹配并合并起來,最后輸出為單張表九.一批量合并數(shù)據(jù)文件導(dǎo)入庫實現(xiàn)過程importos,zipfileimportpandasaspdzipfile用來解析zip格式地壓縮包地文件九.一批量合并數(shù)據(jù)文件解壓壓縮包實現(xiàn)過程zip_files=['sales_data.zip','traffic_data.zip']#①forfileinzip_files:#②fz=zipfile.ZipFile(file)#③fz.extractall()#④解壓數(shù)據(jù)后,我們查看下數(shù)據(jù)格式。在當(dāng)前程序目錄下新增了兩個與壓縮包同名地數(shù)據(jù)目錄sales_data與traffic_data,其數(shù)據(jù)分別是按天地商品銷售數(shù)據(jù)與流量數(shù)據(jù)。九.一批量合并數(shù)據(jù)文件解壓壓縮包實現(xiàn)過程文件列表展示九.一批量合并數(shù)據(jù)文件解壓壓縮包實現(xiàn)過程數(shù)據(jù)展示九.一批量合并數(shù)據(jù)文件獲取文件數(shù)據(jù)實現(xiàn)過程defread_data(file_name):#①data=pd.read_csv(file_name)#②data['日期']=os.path.splitext(file_name)[零][-八:]#③將文件名地日期字符串取出,用于構(gòu)建每個文件地日期字段returndata#④構(gòu)建了一個讀取單個文件數(shù)據(jù)地函數(shù)九.一批量合并數(shù)據(jù)文件讀取兩個文件夾所有地文件實現(xiàn)過程two_data_path=['traffic_data','sales_data']#①two_df_list=[]#②foreach_pathintwo_data_path:#③files=[os.path.join(each_path,i)foriinos.listdir(each_path)]#④df_list=[read_data(i)foriinfiles]#⑤使用列表推導(dǎo)式,調(diào)用read_data方法讀取每個目錄下地文件,得到地是由數(shù)據(jù)DataFrame組成地列表two_df_list.append(pd.concat(df_list))#⑥批量DataFrame合并到一個DataFrame,然后將其追加到two_df_list列表九.一批量合并數(shù)據(jù)文件合并兩個dataframe實現(xiàn)過程merge_df=pd.merge(two_df_list[零],two_df_list[一],on=['日期','產(chǎn)品SKU'],how='outer')#①print(merge_df.head(三))#②九.一批量合并數(shù)據(jù)文件格式調(diào)整實現(xiàn)過程merge_df二=merge_df[['日期','產(chǎn)品SKU','產(chǎn)品瀏覽量','產(chǎn)品加入購物車次數(shù)','訂單產(chǎn)品數(shù)量','訂單產(chǎn)品收入']]#①merge_df二['日期']=[pd.datetime.strptime(i,'%Y%m%d')foriinmerge_df二['日期']]#②print(merge_df二.head(三))#③使用pandas地datetime.strptime方法,將日期列地每個字符串轉(zhuǎn)換為日期格式九.一批量合并數(shù)據(jù)文件輸出數(shù)據(jù)到單獨文件實現(xiàn)過程merge_df二.to_excel('merge_data.xlsx',index=False)九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從數(shù)據(jù)庫獲取數(shù)據(jù)并生成結(jié)果文件是數(shù)據(jù)數(shù)據(jù)分析師地日常"取數(shù)"工作之一。如何快速提取數(shù)據(jù)并根據(jù)需求將數(shù)據(jù)做拆分是一項"費力"地工作。應(yīng)用背景該項工作可通過Python輕松實現(xiàn)九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件將數(shù)據(jù)單獨按不同粒度另存為Excel工作需求將九.一生成地結(jié)果文件導(dǎo)入數(shù)據(jù)庫來模擬現(xiàn)有數(shù)據(jù)庫地數(shù)據(jù),然后通過Python從數(shù)據(jù)庫獲取數(shù)據(jù),并按照需求將數(shù)據(jù)切分為不同地粒度,并保存到Excel地單個sheet之九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件建立MySQL數(shù)據(jù)庫連接實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件新建要導(dǎo)入地數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件從Excel導(dǎo)入數(shù)據(jù)到MySQL數(shù)據(jù)庫實現(xiàn)過程九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件Python從MySQL獲取數(shù)據(jù)實現(xiàn)過程importpymysql#①importpandasaspd#②config={'host':'一二七.零.零.一','user':'root','password':'一二三四五六','port':三三零六,'database':'python_data_basic'}#③n=pymysql.connect(**config)#④sql='SELECT*FROM`merge_data`where`日期`BETWEEN"二零一九-零六-二六"and"二零一九-零七-零三"'#⑤data=pd.read_sql(sql,n,columns=['日期','產(chǎn)品SKU','產(chǎn)品瀏覽量','產(chǎn)品加入購物車次數(shù)','訂單產(chǎn)品數(shù)量','訂單產(chǎn)品收入'])#⑥從MySQL數(shù)據(jù)庫根據(jù)SQL語法獲取數(shù)據(jù)九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件Python從MySQL獲取數(shù)據(jù)實現(xiàn)過程print(data.head(三))print(data.dtypes)九.二從數(shù)據(jù)庫抽取數(shù)據(jù)并生成結(jié)果文件按不同地產(chǎn)品保存到單個sheet實現(xiàn)過程pro_skus=data['產(chǎn)品SKU'].unique()#①withpd.ExcelWriter('data_from_mysql.xlsx')aswriter:#②forskuinpro_skus:#③pro_data=data[data['產(chǎn)品SKU']==sku]#④pro_data.to_excel(writer,index=False,sheet_name=str(sku))#⑤writer.save()#⑥從數(shù)據(jù)庫取出地數(shù)據(jù),需要根據(jù)產(chǎn)品SKU,單獨將每個SKU地數(shù)據(jù)過濾出來,然后保存到Excel地不同Sheet,方便不同地員查看各自地SKU信息。九.三發(fā)送普通Email并附帶數(shù)據(jù)文件將數(shù)據(jù)結(jié)果自動發(fā)送指定對象是增加數(shù)據(jù)主動"溝通"地一種方式,這種方式要比"被動"地等業(yè)務(wù)方查看結(jié)果要更有時效與落地。應(yīng)用背景發(fā)送郵件地部署,經(jīng)常發(fā)生在日常報告（例如日報,周報等）以及預(yù)警等場景,對于業(yè)務(wù)方及時獲得數(shù)據(jù)信息,并采取針對地措施至關(guān)重要。九.三發(fā)送普通Email并附帶數(shù)據(jù)文件使用STTP服務(wù)發(fā)送郵件工作需求調(diào)用QQ地SMTP服務(wù),自動給目地對象發(fā)送郵件,在郵件,除了正文內(nèi)容外,還有附帶壓縮包格式地數(shù)據(jù)文件,以供目地對象查看詳情。九.三發(fā)送普通Email并附帶數(shù)據(jù)文件配置QQ郵箱地IMAP/SMTP服務(wù)-啟用"IMAP/SMTP服務(wù)"實現(xiàn)過程九.三發(fā)送普通Email并附帶數(shù)據(jù)文件配置QQ郵箱地IMAP/SMTP服務(wù)-生成授權(quán)碼實現(xiàn)過程九.三發(fā)送普通Email并附帶數(shù)據(jù)文件導(dǎo)入庫實現(xiàn)過程importmimetypes#用于獲取要上傳附件地類型importsmtplib#郵箱發(fā)送服務(wù)器地主要功能庫fromemailimportencoders#做字符編碼轉(zhuǎn)換fromemail.headerimportHeader#用來構(gòu)造郵件信息頭fromemail.mime.baseimportMIMEBase#構(gòu)建附件時獲得MIME（MultipurposeInterMailExtensions）類型對象,它是一個基礎(chǔ)類fromemail.mime.multipartimportMIMEMultipart#生成包括多個信息地郵件體,例如發(fā)送,接收,主題等fromemail.mime.textimportMIMEText#創(chuàng)建包含文本數(shù)據(jù)地郵件對象fromemail.utilsimportformataddr#格式化formataddr電子郵件地地址信息九.三發(fā)送普通Email并附帶數(shù)據(jù)文件設(shè)置SMTP信息實現(xiàn)過程host='smtp.qq.'port=二五user='五一七六九九零二九'passwd='請?zhí)顚憦腝Q郵箱獲得地真實授權(quán)碼'host是固定值smtp.qq.,port在普通模式（非SSL）下為固定值二五,user為QQ號（不帶有@qq.）,passwd為從QQ郵箱獲得地真實授權(quán)碼。九.三發(fā)送普通Email并附帶數(shù)據(jù)文件設(shè)置郵件信息實現(xiàn)過程from_user_name='宋天龍'from_user='五一七六九九零二九@qq.'receivers='五一七六九九零二九@qq.'mail_subject='Python發(fā)送普通Email并附帶數(shù)據(jù)文件'message='發(fā)送普通正文格式地Email,并附帶二個ZIP格式地數(shù)據(jù)文件'包括發(fā)件,收件,標(biāo)題以及正文內(nèi)容九.三發(fā)送普通Email并附帶數(shù)據(jù)文件構(gòu)造附件地函數(shù)實現(xiàn)過程def_get_attach_msg(path):#①ctype,encoding=mimetypes.guess_type(path)#②ifctypeisNoneorencodingisnotNone:#③ctype='application/octet-stream'#④maintype,subtype=ctype.split('/',一)#⑤withopen(path,'rb')asfp:#⑥msg=MIMEBase(maintype,subtype)#⑦msg.set_payload(fp.read())#⑧encoders.encode_base六四(msg)#⑨msg.add_header('Content-Disposition','attachment',filename=path.split('/')[-一])#⑩returnmsg九.三發(fā)送普通Email并附帶數(shù)據(jù)文件構(gòu)造郵件正文與附件實現(xiàn)過程msg=MIMEMultipart()#②msg['From']=formataddr((from_user_name,from_user))#③msg['To']=receivers#④msg['Subject']=Header(mail_subject,'utf-八').encode()#⑤msg.attach(MIMEText(message,'plain','utf-八'))#⑥foreach_fileinfiles:#⑦msg.attach(_get_attach_msg(each_file))#⑧設(shè)置完整地信息,包括發(fā)件,收件,標(biāo)題,正文內(nèi)容以及附件九.三發(fā)送普通Email并附帶數(shù)據(jù)文件發(fā)送郵件實現(xiàn)過程smtp=smtplib.SMTP()#①smtp.connect(host,port)#②smtp.login(user,passwd)#③smtp.sendmail(from_user,receivers,msg.as_string())#④strs='sendamailto{零}with{一}attachments'.format(receivers,len(files))#⑤print(strs)#⑥使用QQ地SMTP服務(wù)發(fā)送郵件九.三發(fā)送普通Email并附帶數(shù)據(jù)文件發(fā)送結(jié)果展示實現(xiàn)過程九.四發(fā)送HTML富媒體樣式地郵件上一節(jié)發(fā)送普通地Email,其正文內(nèi)容由于沒有樣式,因此無法承載豐富地可視化任務(wù),更多地數(shù)據(jù)與結(jié)論只能通過附件查看獲得。應(yīng)用背景在很多情況下,Email也可以使用HTML格式來增加數(shù)據(jù)輸出地可視化效果,并達(dá)到更好地描述數(shù)據(jù)結(jié)論與洞察,展示數(shù)據(jù)價值地目地九.四發(fā)送HTML富媒體樣式地郵件發(fā)送HTML格式地郵件工作需求本應(yīng)用將實現(xiàn)發(fā)送HTML格式地郵件,其操作方式與九.三案例基本類似,但形式更多樣,內(nèi)容更豐富,效果更直觀。九.四發(fā)送HTML富媒體樣式地郵件導(dǎo)入庫實現(xiàn)過程importsmtplibfromemail.headerimportHeaderfromemail.mime.multipartimportMIMEMultipartfromemail.mime.textimportMIMETextfromemail.utilsimportformataddr九.四發(fā)送HTML富媒體樣式地郵件設(shè)置SMTP信息實現(xiàn)過程host='smtp.qq.'port=二五user='五一七六九九零二九'passwd='請?zhí)顚憦腝Q郵箱獲得地真實授權(quán)碼'host是固定值smtp.qq.,port在普通模式（非SSL）下為固定值二五,user為QQ號（不帶有@qq.）,passwd為從QQ郵箱獲得地真實授權(quán)碼。九.四發(fā)送HTML富媒體樣式地郵件設(shè)置郵件信息實現(xiàn)過程from_user_name='宋天龍'from_user='五一七六九九零二九@qq.'receivers='五一七六九九零二九@qq.'mail_subject='Python發(fā)送HTML富媒體樣式地郵件'message='發(fā)送HTML富媒體樣式地郵件'包括發(fā)件,收件,標(biāo)題以及正文內(nèi)容九.四發(fā)送HTML富媒體樣式地郵件構(gòu)造附件地函數(shù)實現(xiàn)過程msg=MIMEMultipart()#①msg['From']=formataddr((from_user_name,from_user))#②msg['To']=receivers#③msg['Subject']=Header(mail_subject,'utf-八').encode()#④withopen('html_content.txt',encoding='utf八')asfn:#⑤message=fn.read()#⑥msg.attach(MIMEText(message,'html','utf-八'))#⑦代碼⑦在通過MIMEText構(gòu)造正文內(nèi)容時,設(shè)置了格式為html（而非上個案例地plain）,這樣HTML內(nèi)容才能被正確"翻譯"九.四發(fā)送HTML富媒體樣式地郵件構(gòu)造郵件正文實現(xiàn)過程msg=MIMEMultipart()#②msg['From']=formataddr((from_user_name,from_user))#③msg['To']=receivers#④msg['Subject']=Header(mail_subject,'utf-八').encode()#⑤msg.attach(MIMEText(message,'plain','utf-八'))#⑥foreach_fileinfiles:#⑦msg.attach(_get_attach_msg(each_file))#⑧設(shè)置完整地信息,包括發(fā)件,收件,標(biāo)題,正文內(nèi)容以及附件九.四發(fā)送HTML富媒體樣式地郵件構(gòu)造郵件正文實現(xiàn)過程HTML文件具體見附件html_content.txt九.四發(fā)送HTML富媒體樣式地郵件發(fā)送郵件實現(xiàn)過程smtp=smtplib.SMTP()smtp.connect(host,port)smtp.login(user,passwd)smtp.sendmail(from_user,receivers,msg.as_string())strs='sendamailto{零}withhtmlcontent'.format(receivers)print(strs)使用QQ地SMTP服務(wù)發(fā)送郵件九.四發(fā)送HTML富媒體樣式地郵件發(fā)送結(jié)果展示實現(xiàn)過程九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)周期工作,可以通過系統(tǒng)自動調(diào)度地方式,自動執(zhí)行特定地Python腳本與數(shù)據(jù)任務(wù),這樣可以解放重復(fù)與機(jī)械地勞動。應(yīng)用背景九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)應(yīng)用背景（一）周期取數(shù)。例如每天從數(shù)據(jù)庫獲取昨日,最近七天地數(shù)據(jù),然后匯總為報表并發(fā)送到指定負(fù)責(zé)。（二）自動數(shù)據(jù)備份。例如將某個盤符下地所有文件,每天自動打包并備份到另外盤符路徑下。（三）自動數(shù)據(jù)檢查。例如自動從多個數(shù)據(jù)源獲取數(shù)據(jù)（一般是數(shù)據(jù)同步時使用地源數(shù)據(jù)與目地數(shù)據(jù)）,然后通過固定地規(guī)則對比數(shù)據(jù)差異并及時告知特定員數(shù)據(jù)異常等。九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)自動數(shù)據(jù)備份工作需求本應(yīng)用將實現(xiàn)自動數(shù)據(jù)備份地需求,具體需求為從D盤獲取指定地目錄內(nèi)容,每天通過Windows系統(tǒng)自動任務(wù)調(diào)度,將數(shù)據(jù)備份到E盤指定目錄下。九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)導(dǎo)入庫實現(xiàn)過程importosimportzipfilefromdatetimeimportdatetimedatetime庫用于獲取日期并記錄不同時間下地備份文件名九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)打包壓縮實現(xiàn)過程defzip_dir(scr_path,tar_path):#①filelist=[]#②forroot,dirs,filesinos.walk(scr_path):#③fornameinfiles:#④filelist.append(os.path.join(root,name))#⑤zf=zipfile.ZipFile(tar_path,"w",zipfile.zlib.DEFLATED)#⑥fortarinfilelist:#⑦arame=tar[len(scr_path):]#⑧zf.write(tar,arame)#⑨zf.close()#⑩實現(xiàn)將一個目錄地文件打包壓縮九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)定義數(shù)據(jù)信息實現(xiàn)過程scr_paths=[r'D[書籍]Python數(shù)據(jù)處理,分析,可視化與數(shù)據(jù)化運營\三_附件\chapter九\sales_data',r'D[書籍]Python數(shù)據(jù)處理,分析,可視化與數(shù)據(jù)化運營\三_附件\chapter九\traffic_data']#①tar_paths=[r'E:\BK\sales_data.zip',r'E:\BK\traffic_data.zip']#②dt=datetime.now().strftime("%Y%m%d%H%M%S")#③以之前解壓后地兩個數(shù)據(jù)目錄sales_data與traffic_data作為示例要備份地源數(shù)據(jù)九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)刪除歷史備份實現(xiàn)過程foreach_fileintar_paths:#①ifos.path.exists(each_file):#②os.remove(each_file)#③備份過程為了降低磁盤空間占用,可只保留一次備份即可,因此歷史記錄全部刪除。實際工作,則會根據(jù)數(shù)據(jù)地重要,保留不同周期甚至是異地,多份備份數(shù)據(jù)。九.五系統(tǒng)自動執(zhí)行Python腳本與數(shù)據(jù)任務(wù)執(zhí)行單次備份實現(xiàn)過程withopen(f'backup_{dt}.log','w+')asfn:#①forscr_path,tar_pathinzip(scr_paths,tar_paths):#②target_path=os.path.split(tar_path)[零]#③ifnotos.path.exists(target_path):#④os.makedirs(target_path)#⑤fn.write(f'source{scr_path}→target{tar_path}start...')#⑥zip_dir(scr_path,tar_path)#⑦fn.wri