2023學(xué)年完整公開課版Python與大數(shù)據(jù)

Python與大數(shù)據(jù)目錄12什么是大數(shù)據(jù)1什么是Python2Python與大數(shù)據(jù)3什么是Python1什么是Python

Python是一種跨平臺(tái)的計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言。是一個(gè)高層次的結(jié)合了解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮哪_本語(yǔ)言。最初被設(shè)計(jì)用于編寫自動(dòng)化腳本(shell)，隨著版本的不斷更新和語(yǔ)言新功能的添加，越多被用于獨(dú)立的、大型項(xiàng)目的開發(fā)。什么是大數(shù)據(jù)2什么是大數(shù)據(jù)

大數(shù)據(jù)（bigdata）：指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。Python與大數(shù)據(jù)3Python與大數(shù)據(jù)

大數(shù)據(jù)想要成為信息資產(chǎn)，需要有兩步：一是數(shù)據(jù)怎么來(lái)，二是數(shù)據(jù)處理。

數(shù)據(jù)處理中，Python是數(shù)據(jù)科學(xué)家最喜歡的語(yǔ)言之一。Python與大數(shù)據(jù)

數(shù)據(jù)來(lái)源:

在數(shù)據(jù)怎么來(lái)這個(gè)問(wèn)題上，數(shù)據(jù)挖掘無(wú)疑是很多公司或者個(gè)人的首選，畢竟大部分公司或者個(gè)人是沒(méi)有能力產(chǎn)生這么多數(shù)據(jù)的，只能是挖掘互聯(lián)網(wǎng)上的相關(guān)數(shù)據(jù)。網(wǎng)絡(luò)爬蟲是Python的傳統(tǒng)強(qiáng)勢(shì)領(lǐng)域，最流行的爬蟲框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml等都是能夠獨(dú)當(dāng)一面的類庫(kù)。Python與大數(shù)據(jù)

數(shù)據(jù)處理:

有了大數(shù)據(jù)，需要處理，才能找到適合的數(shù)據(jù)。Python本身就是一門工程性語(yǔ)言，數(shù)據(jù)科學(xué)家用Python實(shí)現(xiàn)的算法，能直接用在產(chǎn)品中；正是因?yàn)檫@些原因，才讓python語(yǔ)言成為很多公司處理大數(shù)據(jù)的首選。

pyth