2023年數(shù)據(jù)分析師常見(jiàn)筆試題目及答案

數(shù)據(jù)分析師常見(jiàn)的7道筆試題目及答案導(dǎo)讀：探索性數(shù)據(jù)分析側(cè)重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特性,而驗(yàn)證性數(shù)據(jù)分析則側(cè)重于已有假設(shè)的證實(shí)或證偽。以下是由小編J．Ｌ為您整理推薦的實(shí)用的應(yīng)聘筆試題目和經(jīng)驗(yàn)，歡迎參考閱讀。1、海量日記數(shù)據(jù),提取出某日訪問(wèn)百度次數(shù)最多的那個(gè)IＰ。一方面是這一天，并且是訪問(wèn)百度的日記中的ＩP取出來(lái)，逐個(gè)寫(xiě)入到一個(gè)大文獻(xiàn)中。注意到ＩP是32位的，最多有個(gè)2^3２個(gè)IP。同樣可以采用映射的方法，比如模1000，把整個(gè)大文獻(xiàn)映射為10０0個(gè)小文獻(xiàn),再找出每個(gè)小文中出現(xiàn)頻率最大的IP(可以采用hash_maｐ進(jìn)行頻率記錄,然后再找出頻率最大的幾個(gè))及相應(yīng)的頻率。然后再在這1０00個(gè)最大的ＩP中，找出那個(gè)頻率最大的IP,即為所求。或者如下闡述:算法思想:分而治之+Hasｈ1.IＰ地址最多有2^32=4G種取值情況,所以不能完全加載到內(nèi)存中解決;2.可以考慮采用“分而治之”的思想，按照IP地址的Hash（IP）24值,把海量IP日記分別存儲(chǔ)到1024個(gè)小文獻(xiàn)中。這樣,每個(gè)小文獻(xiàn)最多包含4MB個(gè)ＩP地址;３.對(duì)于每一個(gè)小文獻(xiàn),可以構(gòu)建一個(gè)ＩP為kｅy,出現(xiàn)次數(shù)為vａlｕe的Hashmaｐ，同時(shí)記錄當(dāng)前出現(xiàn)次數(shù)最多的那個(gè)IP地址;4.可以得到1０24個(gè)小文獻(xiàn)中的出現(xiàn)次數(shù)最多的IP，再依據(jù)常規(guī)的排序算法得到總體上出現(xiàn)次數(shù)最多的IP;2、搜索引擎會(huì)通過(guò)日記文獻(xiàn)把用戶每次檢索使用的所有檢索串都記錄下來(lái),每個(gè)查詢串的長(zhǎng)度為1-２５5字節(jié)。假設(shè)目前有一千萬(wàn)個(gè)記錄(這些查詢串的反復(fù)度比較高，雖然總數(shù)是1千萬(wàn),但假如除去反復(fù)后,不超過(guò)3百萬(wàn)個(gè)。一個(gè)查詢串的反復(fù)度越高,說(shuō)明查詢它的用戶越多,也就是越熱門(mén)。)，請(qǐng)你記錄最熱門(mén)的1０個(gè)查詢串，規(guī)定使用的內(nèi)存不能超過(guò)1G。典型的TopK算法,還是在這篇文章里頭有所闡述,文中,給出的最終算法是:第一步、先對(duì)這批海量數(shù)據(jù)預(yù)解決,在O(N）的時(shí)間內(nèi)用Haｓｈ表完畢記錄(之前寫(xiě)成了排序，特此訂正。Jｕly、2０23.04.27)；第二步、借助堆這個(gè)數(shù)據(jù)結(jié)構(gòu),找出TopK,時(shí)間復(fù)雜度為N‘lｏgK。即，借助堆結(jié)構(gòu)，我們可以在loｇ量級(jí)的時(shí)間內(nèi)查找和調(diào)整/移動(dòng)。因此，維護(hù)一個(gè)Ｋ(該題目中是1０）大小的小根堆，然后遍歷３00萬(wàn)的Queｒy,分別和根元素進(jìn)行對(duì)比所以，我們最終的時(shí)間復(fù)雜度是：O(Ｎ)＋N’*Ｏ(ｌｏgK），(Ｎ為10０0萬(wàn)，N’為300萬(wàn))。ｏk，更多,詳情，請(qǐng)參考原文。或者:采用tｒiｅ樹(shù)，關(guān)鍵字域存該查詢串出現(xiàn)的次數(shù),沒(méi)有出現(xiàn)為0。最后用10個(gè)元素的最小推來(lái)對(duì)出現(xiàn)頻率進(jìn)行排序。3、有一個(gè)1G大小的一個(gè)文獻(xiàn)，里面每一行是一個(gè)詞，詞的大小不超過(guò)16字節(jié),內(nèi)存限制大小是１M。返回頻數(shù)最高的10０個(gè)詞。方案：順序讀文獻(xiàn)中，對(duì)于每個(gè)詞x，取hasｈ(x)P00,然后按照該值存到5000個(gè)小文獻(xiàn)(記為x0,x１,…ｘ４999）中。這樣每個(gè)文獻(xiàn)大約是200k左右。假如其中的有的文獻(xiàn)超過(guò)了1M大小,還可以按照類(lèi)似的方法繼續(xù)往下分,直到分解得到的小文獻(xiàn)的大小都不超過(guò)1M。對(duì)每個(gè)小文獻(xiàn)，記錄每個(gè)文獻(xiàn)中出現(xiàn)的詞以及相應(yīng)的頻率(可以采用trie樹(shù)／hash_map等),并取出出現(xiàn)頻率最大的10０個(gè)詞(可以用含100個(gè)結(jié)點(diǎn)的最小堆)，并把100個(gè)詞及相應(yīng)的頻率存入文獻(xiàn),這樣又得到了50０0個(gè)文獻(xiàn)。下一步就是把這5000個(gè)文獻(xiàn)進(jìn)行歸并(類(lèi)似與歸并排序）的過(guò)程了。4、有10個(gè)文獻(xiàn),每個(gè)文獻(xiàn)1G，每個(gè)文獻(xiàn)的每一行存放的都是用戶的quｅry,每個(gè)文獻(xiàn)的query都也許反復(fù)。規(guī)定你按照queｒy的頻度排序。還是典型的ＴO(shè)PK算法,解決方案如下：方案1：順序讀取１0個(gè)文獻(xiàn)，按照hash(query)的結(jié)果將query寫(xiě)入到此外10個(gè)文獻(xiàn)(記為)中。這樣新生成的文獻(xiàn)每個(gè)的大小大約也１G(假設(shè)haｓｈ函數(shù)是隨機(jī)的)。找一臺(tái)內(nèi)存在2G左右的機(jī)器,依次對(duì)用hａｓh_map(queｒｙ，qｕeｒy_count）來(lái)記錄每個(gè)query出現(xiàn)的次數(shù)。運(yùn)用快速／堆/歸并排序按照出現(xiàn)次數(shù)進(jìn)行排序。將排序好的qｕｅry和相應(yīng)的query_couｔ輸出到文獻(xiàn)中。這樣得到了1０個(gè)排好序的文獻(xiàn)（記為)。對(duì)這1０個(gè)文獻(xiàn)進(jìn)行歸并排序（內(nèi)排序與外排序相結(jié)合)。方案２：一般qｕery的總量是有限的，只是反復(fù)的次數(shù)比較多而已，也許對(duì)于所有的quｅry,一次性就可以加入到內(nèi)存了。這樣,我們就可以采用trie樹(shù)/hash＿ｍaｐ等直接來(lái)記錄每個(gè)queｒy出現(xiàn)的次數(shù)，然后按出現(xiàn)次數(shù)做快速/堆／歸并排序就可以了。方案3:與方案1類(lèi)似,但在做完haｓh,提成多個(gè)文獻(xiàn)后，可以交給多個(gè)文獻(xiàn)來(lái)解決，采用分布式的架構(gòu)來(lái)解決(比如MapRｅduce)，最后再進(jìn)行合并。5、給定a、ｂ兩個(gè)文獻(xiàn),各存放50億個(gè)url，每個(gè)url各占６4字節(jié)，內(nèi)存限制是4G,讓你找出a、b文獻(xiàn)共同的uｒl?方案1：可以估計(jì)每個(gè)文獻(xiàn)安的大小為５G×64＝3２0G,遠(yuǎn)遠(yuǎn)大于內(nèi)存限制的4Ｇ。所以不也許將其完全加載到內(nèi)存中解決?？紤]采用分而治之的方法。遍歷文獻(xiàn)a，對(duì)每個(gè)urｌ求取hasｈ(url)０0,然后根據(jù)所取得的值將uｒl分別存儲(chǔ)到10０0個(gè)小文獻(xiàn)(記為ａ0，a1，…,a999)中。這樣每個(gè)小文獻(xiàn)的大約為300M。遍歷文獻(xiàn)b,采用和a相同的方式將url分別存儲(chǔ)到10０0小文獻(xiàn)(記為b0,b1，…,b99９)。這樣解決后,所有也許相同的url都在相應(yīng)的小文獻(xiàn)(ａ0ｖsｂ0,a１ｖｓb1,…,a９９9vsb999）中，不相應(yīng)的小文獻(xiàn)不也許有相同的url。然后我們只規(guī)定出1000對(duì)小文獻(xiàn)中相同的urｌ即可。求每對(duì)小文獻(xiàn)中相同的urｌ時(shí)，可以把其中一個(gè)小文獻(xiàn)的url存儲(chǔ)到hａsh_seｔ中。然后遍歷另一個(gè)小文獻(xiàn)的每個(gè)url，看其是否在剛才構(gòu)建的hａsh＿ｓet中，假如是,那么就是共同的url,存到文獻(xiàn)里面就可以了。方案２:假如允許有一定的錯(cuò)誤率，可以使用Bｌoomｆilter,４Ｇ內(nèi)存大約可以表達(dá)340億bit。將其中一個(gè)文獻(xiàn)中的url使用Ｂlｏomｆiltｅｒ映射為這340億ｂit，然后挨個(gè)讀取此外一個(gè)文獻(xiàn)的uｒl,檢查是否與Ｂloomfiｌｔｅr，假如是,那么該url應(yīng)當(dāng)是共同的url（注意會(huì)有一定的錯(cuò)誤率)。Bｌoomｆilｔer日后會(huì)在本ＢＬO(píng)Ｇ內(nèi)具體闡述。6、在2.5億個(gè)整數(shù)中找出不反復(fù)的整數(shù),注,內(nèi)存局限性以容納這2．5億個(gè)整數(shù)。方案1:采用2-Bitｍap(每個(gè)數(shù)分派2bｉt,0０表達(dá)不存在，01表達(dá)出現(xiàn)一次，１0表達(dá)多次，1１無(wú)意義)進(jìn)行，共需內(nèi)存２＾3２*2bit=１GB內(nèi)存，還可以接受。然后掃描這2.５億個(gè)整數(shù),查看Biｔｍap中相相應(yīng)位，假如是00變01,０1變10,１0保持不變。所描完事后,查看bitmａp，把相應(yīng)位是01的整數(shù)輸出即可。方案２:也可采用與第１題類(lèi)似的方法，進(jìn)行劃分小文獻(xiàn)的方法。然后在小文獻(xiàn)中找出不反復(fù)的整數(shù),并排序。然后再進(jìn)行歸并，注意去除反復(fù)的元素。7、騰訊面試題:給40億個(gè)不反復(fù)的uｎsignｅｄinｔ的整數(shù)，沒(méi)排過(guò)序的，然后再給一個(gè)數(shù),如何快速判斷這個(gè)數(shù)是否在那４0億個(gè)數(shù)當(dāng)中?與上第6題類(lèi)似,我的第一反映時(shí)快速排序+二分查找。以下是其它更好的方法:方案1：ｏo,申請(qǐng)512Ｍ的內(nèi)存，一個(gè)bit位代表一個(gè)unsiｇnediｎｔ值。讀入４０億個(gè)數(shù)，設(shè)立相應(yīng)的ｂ