產(chǎn)品經(jīng)理B端通用批量數(shù)據(jù)導(dǎo)入方案設(shè)計(jì)

1、編輯導(dǎo)語： B 端產(chǎn)品往往有大量數(shù)據(jù)的需求錄入，如果逐條將數(shù)據(jù)錄入系統(tǒng)，將會(huì)花費(fèi)不少的時(shí)間。同時(shí)，在大量重復(fù)同樣的操作時(shí)，也會(huì)增加犯錯(cuò)的概率，導(dǎo)致錄入的數(shù)據(jù)出現(xiàn)問題。為例解決這個(gè)問題，本文作者試想在批量數(shù)據(jù)錄入場(chǎng)景下，通過數(shù)據(jù)導(dǎo)入功能，用戶將正確的數(shù)據(jù)整理到表格中，快速導(dǎo)入到數(shù)據(jù)庫，希望能給大家?guī)硪恍﹩l(fā)。B 端產(chǎn)品經(jīng)常遇到大量數(shù)據(jù)錄入的需求，如春季招聘完成后，給新招的120 個(gè)員工建立員工檔案，并創(chuàng)建員工帳號(hào)。如果逐條將大量的數(shù)據(jù)錄入系統(tǒng)，將花費(fèi)用戶不少的時(shí)間。新員工的員工信息通常會(huì)填寫在一個(gè)excel 表格中，人力在匯總后，錄入系統(tǒng)。如果逐個(gè)錄入，每創(chuàng)建一個(gè)員工的員工檔案，有以下幾個(gè)步驟

2、：如果錄入 1 個(gè)員工需要1 分鐘，那 120 個(gè)員工，就需要花費(fèi) 2 個(gè)小時(shí)。與此同時(shí)，用戶在大量地、重復(fù)做同樣的操作時(shí)，犯錯(cuò)的概率也會(huì)增加，導(dǎo)致錄入的數(shù)據(jù)可能出現(xiàn)問題，如將張三的身份證號(hào)，錯(cuò)誤地粘貼到了李四的員工檔案中，或者填寫到其他的字段中。在批量數(shù)據(jù)錄入場(chǎng)景下，數(shù)據(jù)導(dǎo)入功能，用戶可以將正確的原始數(shù)據(jù)整理到表格中，快速導(dǎo)入到數(shù)據(jù)庫，有效解決 “逐條數(shù)據(jù)錄入效率低下 ”和 “操作失誤導(dǎo)致數(shù)據(jù)錯(cuò)誤” 問題。用戶在批量導(dǎo)入數(shù)據(jù)前，需要先將要錄入系統(tǒng)的數(shù)據(jù)，整理成導(dǎo)入文件。再將導(dǎo)入文件上傳到系統(tǒng)中，系統(tǒng)完成數(shù)據(jù)校驗(yàn)后，再將導(dǎo)入文件中的數(shù)據(jù)，寫入數(shù)據(jù)庫。從這個(gè)流程可以得出，批量數(shù)據(jù)導(dǎo)入功能的核心點(diǎn)

3、有：合理設(shè)計(jì)導(dǎo)入模版、明確數(shù)據(jù)校驗(yàn)規(guī)則、異步導(dǎo)入數(shù)據(jù)、導(dǎo)入結(jié)果處理。由于 excel 具備強(qiáng)大的批量數(shù)據(jù)處理能力和便捷的操作體驗(yàn)，用 excel 整理導(dǎo)入文件是最合適的方式。但用戶自己并不清楚導(dǎo)入數(shù)據(jù)要如何整理導(dǎo)入文件中，因此我們需要設(shè)計(jì)一個(gè)導(dǎo)入模版，按業(yè)務(wù)數(shù)據(jù)表的格式要求，對(duì)要導(dǎo)入的數(shù)據(jù)進(jìn)行格式規(guī)范，確保要導(dǎo)入的數(shù)據(jù)合法。員工信息表中 “性別 ”字段的要求是：必填、枚舉類型（男、女），若導(dǎo)入表格中對(duì)應(yīng)列的值出現(xiàn)了空值或 “不詳” ，則數(shù)據(jù)非法。導(dǎo)入非法的數(shù)據(jù)，就會(huì)導(dǎo)致業(yè)務(wù)數(shù)據(jù)出現(xiàn)錯(cuò)誤。在設(shè)計(jì)導(dǎo)入模版時(shí)，要根據(jù)業(yè)務(wù)的實(shí)際情況，梳理出所有的字段，確定每個(gè)字段的格式要求，并給出對(duì)應(yīng)的提示信息。具體

4、要求如下：在導(dǎo)入數(shù)據(jù)前，要引導(dǎo)用戶下載導(dǎo)入模版，并按模版中的格式要求，整理好需要錄入系統(tǒng)的數(shù)據(jù)。導(dǎo)入文件格式校驗(yàn)數(shù)據(jù)校驗(yàn)的第一步，是校驗(yàn)導(dǎo)入文件的格式是否正確。如果導(dǎo)入文件格式只支持excel,而用戶上傳了 pdf格式的文件，那導(dǎo)入一定無法完成。導(dǎo)入文件表頭校驗(yàn)格式校驗(yàn)沒問題后，再校驗(yàn)導(dǎo)入文件表頭是否與數(shù)據(jù)表中，需要導(dǎo)入的字段是否匹配。表頭校驗(yàn)的方法是：將導(dǎo)入文件的表頭每個(gè)字段與數(shù)據(jù)表需要導(dǎo)入的字段逐一比對(duì)，檢查同一序號(hào)對(duì)應(yīng)列的字段名是否一致。只有導(dǎo)入文件所有字段序號(hào)和字段名與數(shù)據(jù)表完全一致時(shí)，導(dǎo)入文件表頭校驗(yàn)才匹配。數(shù)據(jù)導(dǎo)入時(shí)，系統(tǒng)會(huì)按照字段名進(jìn)行匹配，將導(dǎo)入文件中的數(shù)據(jù)，寫入數(shù)據(jù)表中對(duì)應(yīng)位

5、置的、同名的字段中。若不匹配，在數(shù)據(jù)導(dǎo)入時(shí)，導(dǎo)入文件中的數(shù)據(jù)無法找到對(duì)應(yīng)的數(shù)據(jù)表字段，從而無法導(dǎo)入。導(dǎo)入文件字段值校驗(yàn)表頭校驗(yàn)正常后，再對(duì)導(dǎo)入文件中具體的字段值做校驗(yàn)，確認(rèn)其是否合法。如果不對(duì)字段值進(jìn)行合法性校驗(yàn)，直接導(dǎo)入到數(shù)據(jù)表中，就有可能導(dǎo)致業(yè)務(wù)數(shù)據(jù)錯(cuò)誤，甚至引發(fā)嚴(yán)重事故。導(dǎo)入文件中 “獎(jiǎng)勵(lì)積分 ”列的值，本來應(yīng)該填寫?yīng)剟?lì)的積分?jǐn)?shù)量，但被錯(cuò)誤地填入了用戶手機(jī)號(hào)，結(jié)果導(dǎo)致每個(gè)用戶發(fā)放了 100 多億個(gè)積分。字段值校驗(yàn)的方法是：根據(jù)數(shù)據(jù)表對(duì)各個(gè)字段值的格式定義，逐個(gè)檢查導(dǎo)入文件中的對(duì)應(yīng)字段的值是否合法。字段值校驗(yàn)可能會(huì)遇到以下不合法的情況：數(shù)據(jù)校驗(yàn)完成后，根據(jù)數(shù)據(jù)校驗(yàn)結(jié)果，決定是否導(dǎo)入數(shù)據(jù)，或

6、導(dǎo)入哪些行的數(shù)據(jù)。對(duì)于所有列的值都合法的數(shù)據(jù)行，可以直接導(dǎo)入；而數(shù)據(jù)行的任意一列的值不合法，則該行數(shù)據(jù)無法導(dǎo)入。在批量錄入數(shù)據(jù)的場(chǎng)景下，用戶的核心需求是：快速將數(shù)據(jù)錄入系統(tǒng)。產(chǎn)品方案應(yīng)該要圍繞該核心需求來設(shè)計(jì)。字段值完全正確的數(shù)據(jù)行，可以直接導(dǎo)入在執(zhí)行數(shù)據(jù)導(dǎo)入前，我們有必要先確定導(dǎo)入文件中，每一行的數(shù)據(jù)都完全正確嗎？其實(shí)并不需要。用戶在整理導(dǎo)入文件時(shí)，難免會(huì)出一些小錯(cuò)誤。比如導(dǎo)入文件有100行數(shù)據(jù)，某 1 行數(shù)據(jù)的某個(gè)值錯(cuò)誤，但剩下的 99 行數(shù)據(jù)的值都是正確的。如果要求所有數(shù)據(jù)都完全正確，才能被導(dǎo)入，那就會(huì)導(dǎo)致完全正確的大部分?jǐn)?shù)據(jù)，不能更 “及時(shí) ”地錄入系統(tǒng)中，必須要將其中極少數(shù)錯(cuò)誤的數(shù)據(jù)

7、修正后，重新檢驗(yàn)數(shù)據(jù)，再嘗試導(dǎo)入。更高效的做法是：導(dǎo)入文件中，字段值完全正確的數(shù)據(jù)行，可以直接導(dǎo)入，而錯(cuò)誤的部分?jǐn)?shù)據(jù)行，提供下載功能，讓用戶修改后，重新導(dǎo)入。覆蓋更新已有數(shù)據(jù)在系統(tǒng)導(dǎo)入過程中，若某條數(shù)據(jù)在系統(tǒng)中已經(jīng)存在，而導(dǎo)入文件也包含了該條數(shù)據(jù)，此時(shí)應(yīng)該如何處理？在產(chǎn)品的角度看，通常有三種處理方式：很明顯，第3 種處理方式的用戶操作成本及研發(fā)成本都是更低的。導(dǎo)入 5 月份的考試成績(jī)時(shí)，通過學(xué)號(hào)查詢，發(fā)現(xiàn)張三的成績(jī)已經(jīng)導(dǎo)入過了。此時(shí)將根據(jù)導(dǎo)入數(shù)據(jù)，更新張三的成績(jī)。采用這種方式，默認(rèn)了需要導(dǎo)入的數(shù)據(jù)，比系統(tǒng)中已存在的數(shù)據(jù)更及時(shí)、更準(zhǔn)確。因此我們必須要用戶：若檢測(cè)到導(dǎo)入數(shù)據(jù)在數(shù)據(jù)表中已存在，則更新

8、該條數(shù)據(jù)。系統(tǒng)異步處理如果需要導(dǎo)入的數(shù)據(jù)量大，且系統(tǒng)性能不足，系統(tǒng)就要花費(fèi)較長(zhǎng)的時(shí)間來處理。在等待系統(tǒng)處理完成期間，用戶想關(guān)掉導(dǎo)入頁面，去做其他操作，怎么辦？從研發(fā)的角度看，系統(tǒng)處理數(shù)據(jù)，通常有同步和異步兩種方式。如果使用同步方式，就會(huì)導(dǎo)致用戶等待時(shí)間過長(zhǎng)，甚至最后可能因?yàn)槌瑫r(shí)而導(dǎo)入失敗，給用戶帶來極大的負(fù)面感受。而使用異步方式導(dǎo)入，用戶上傳文件后，即可關(guān)閉導(dǎo)入窗口，放心地去做其他操作，且不會(huì)應(yīng)超時(shí)而導(dǎo)入失敗。異步導(dǎo)入，既避免用戶浪費(fèi)時(shí)間等待，又降低了導(dǎo)入失敗的概率，用戶體驗(yàn)明顯更好。數(shù)據(jù)導(dǎo)入完成后，需顯示導(dǎo)入結(jié)果，告知用戶導(dǎo)入成功了多少、失敗了多少。對(duì)于導(dǎo)入失敗的數(shù)據(jù)，提供下載導(dǎo)入失敗數(shù)據(jù)的入口，并在導(dǎo)出文件中標(biāo)記出不正確的值。這樣，用戶可以在修正后，重新導(dǎo)入。上文描述的批量導(dǎo)入方案，不僅能滿足用戶批量錄入數(shù)據(jù)的需求，還能低成本地復(fù)用到其他功能模塊。使用異步的方式來導(dǎo)入，用戶將導(dǎo)入文件上傳到系統(tǒng)后，即可放心地去做別的工作，數(shù)據(jù)導(dǎo)入