大數(shù)據(jù)開發(fā)工程師筆試試題（無答案）

大數(shù)據(jù)開發(fā)工程師筆試試題（無答案）1、請設(shè)計一個流式計算方法，對于源源不斷輸入的數(shù)值，實(shí)現(xiàn)以下功能（系統(tǒng)開銷越小越好）：[多項(xiàng)簡答題]1)統(tǒng)計當(dāng)前已經(jīng)輸入的全部數(shù)值中，最大的k（k>0,n>=k）個值________________________2)統(tǒng)計當(dāng)前已經(jīng)輸入的全部數(shù)值中的中位數(shù)（1個或2個）（寫出偽代碼或描述）________________________2、100維的單位向量，最大均值是多少，什么時候方差最大？（寫出數(shù)學(xué)推導(dǎo)過程）3、有n步臺階，

1)一次可以且僅可以向上走1或2步，一共有多少種走法？

2)一次可以且僅可以向上走X或y步，且滿足以下條件：

n>0,x>0,y>0

n>=x,n>=y

n%x=0,n%y=0

請問一共有多少種走法？（寫出偽代碼或描述）4、找到最長公共子序列（提示：子序列可以不連續(xù)），示例如下：

字符串1：cxn1ewhixope

字符串2：aneewhuovp33e

最長公共子序列：newhope

利用動態(tài)規(guī)劃算法求解該問題（寫出偽代碼或描述）5、將6個完全相同的乒乓球放入3個完全相同的抽屜，一共有多少種放法？（給出解答過程及答案）

提示：抽屜可以為空。6、假設(shè)某服務(wù)器集群上存有20億條用戶瀏覽的商品記錄，每條記錄的大小固定為1KB，則整體的記錄大小約為1.86T。當(dāng)前可操作的機(jī)器內(nèi)存為2G，磁盤空間512G?？梢酝ㄟ^內(nèi)網(wǎng)訪問服務(wù)器集群，查詢或獲取相關(guān)記錄。

請設(shè)計方法分別滿足以下需求：

a）快速的對這20億條記錄按字母進(jìn)行升序排序。

b）快速統(tǒng)計TOP100的商品ID。PART2|【計算機(jī)原理與操作系統(tǒng)】PART3|【概率與統(tǒng)計】

1、抽查產(chǎn)品質(zhì)量時，發(fā)現(xiàn)一件次品(不合格產(chǎn)品)，這件次品來自哪條生產(chǎn)線的概率最大？2、抽查產(chǎn)品質(zhì)量時，發(fā)現(xiàn)一箱當(dāng)中有2件次品，這箱產(chǎn)品來自哪條生產(chǎn)線的概率最大？3、已知合格產(chǎn)品重量都相等，而次品重量比合格產(chǎn)品輕。抽出n件產(chǎn)品，其中有一件次品，現(xiàn)在用一個無砝碼、無標(biāo)尺的天平從這n件產(chǎn)品中找到這件次品，最少需要多少次(假設(shè)天平秤盤足夠大)？4、一件次品會被檢驗(yàn)口(共三道)成功檢出的概率有多大(即三道檢驗(yàn)口對次品識別的整體召回率)？5、有多大概率能保證該車間每天生產(chǎn)的產(chǎn)品最終出廠后的次品件數(shù)小于2件？6、該車間對A生產(chǎn)線進(jìn)行了改造，改造后用該生產(chǎn)線生產(chǎn)了50件產(chǎn)品，其中有41件合格，是否可以認(rèn)為改造后的合格率顯著高于改造前(可以自己定義“顯著”的概念，一些數(shù)值可以用字符替代)？PART4|【機(jī)器學(xué)習(xí)】1、列出幾種常用的loss函數(shù)，簡述其形式、優(yōu)缺點(diǎn)和應(yīng)用場景。2、在NLP或CV領(lǐng)域，有哪些主要的任務(wù)，各有什么樣的應(yīng)用場景，分別有哪些常用算法。(NLP和CV選其中之一回答即可)。2、在分類任務(wù)中，當(dāng)樣本極不均衡時，會有什么樣的風(fēng)險，有哪些解決辦法。3、在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，RNN、CNN、GNN、attention等結(jié)