DA／T31-2005紙質(zhì)檔案數(shù)字化技術(shù)規(guī)范

紙質(zhì)檔案數(shù)字化技術(shù)規(guī)范DA/T31-20051范圍本標準規(guī)定了紙質(zhì)檔案數(shù)字化的主要技術(shù)要求。本標準適用于用掃描儀對各種紙質(zhì)檔案的數(shù)字化加工處理。2規(guī)范性引用文件下列文件中的條款通過本標準的引用而成為本標準的條款。凡是注日期的引用文件，其隨后所有的修改單(不包括勘誤的內(nèi)容)或修訂版均不適用于本標準，然而，鼓勵根據(jù)本標準達成協(xié)議的各方研究是否可使用這些文件的最新版本。凡是不注日期的引用文件，其最新版本適用于本標準。GBT 17235.1 連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮編碼GBT 17235.2 連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮編碼GBT 18894?2002 電子文件歸檔與管理規(guī)范ITU(CCITT)G3 二值圖像壓縮算法ITU(CCITT)G4 二值圖像壓縮算法DAT18?1999 檔案著錄規(guī)則檔案管理軟件功能要求暫行規(guī)定國家檔案局檔發(fā)20016號3 術(shù)語和定義下列術(shù)語和定義適用于本標準。3.1數(shù)字化 Digitization用計算機技術(shù)將模擬圖像轉(zhuǎn)換為數(shù)字圖像的處理過程。3.2紙質(zhì)檔案數(shù)字 化Digitization of Paper?Based Records對普通(黑色字跡清晰)的油印、鉛印、膠印等印刷件或復(fù)印件紙質(zhì)檔案進行數(shù)字化及應(yīng)用的過程。33數(shù)字圖像 Digital Image表示景物圖像的整數(shù)陣列。一個二維或更高維的采樣并量化的函數(shù)，由相同維數(shù)的連續(xù)圖像產(chǎn)生。在矩陣(或其他)網(wǎng)絡(luò)上采樣一連續(xù)函數(shù)，并在采樣點上將值最小化后的陣列。34黑白二值圖像 Binary Image只有黑白兩級灰度的數(shù)字圖像。它對應(yīng)于黑和白的兩種狀態(tài)文字稿、線條圖、指紋圖等。35連續(xù)色調(diào)靜態(tài)圖像 Continuous?tone Still Image以多于兩級灰度的不同濃淡層次或以不同顏色通道組合成的靜態(tài)數(shù)字圖像。36失真度 Distortion Measure對檔案原件進行數(shù)字化轉(zhuǎn)換后，在同等測試環(huán)境下，數(shù)字圖像與檔案原件色彩、幾何、壓縮算法等差值。37可懂度 intelligibility表示數(shù)字圖像向人或機器提供信息的能力。38清除圖像冗余或?qū)D像近似的任一種過程，其目的是對圖像以更緊湊的形式表現(xiàn)。3. 9 分辨率Resolution指單位長度內(nèi)圖像包含的點數(shù)或像素數(shù)。3.10TIFF Tagged Tmage File Format標記圖像文件格式。一種基于標記的無損（不丟失信息）壓縮格式，用于在應(yīng)用程序之間和計算機平臺之間交換文件。因為它存儲圖像細微層次的信息非常多，圖像的質(zhì)量也得以提高，故而非常有利于原件為黑白檔案的復(fù)制儲存。3.11 JPEG Joint photographic Experts Group聯(lián)合照片專家組。一種丟失少量信息的壓縮格式，尤其適用于屏幕和打印顯示，支持所有主要計算機平臺和Web瀏覽器。JPEG格式文件小，影像質(zhì)量多數(shù)情況下均可接受。考慮儲存空間及傳輸效率，原件為彩色的檔案可遷此格式復(fù)制儲存。4 數(shù)字化基本流程紙質(zhì)檔案數(shù)字化的基本流程主要包括案卷整理、目錄建庫、批量掃描、數(shù)據(jù)處理、信息存儲、檢索利用等工序。41 案卷整理對需要掃描的案卷進行適當整理，做出標識。42 目錄建庫為數(shù)字化的檔案檢索而建立必要的目錄數(shù)據(jù)庫。43 批量掃描按照檔案數(shù)字化具體任務(wù)的整體安排按計劃分批次進行掃描。44 數(shù)據(jù)處理441 對掃描圖像進行校對，確保圖像完整無誤，并視需要對有問題的掃描圖像進行糾偏、去污、拼接等技術(shù)處理。442 對裸數(shù)據(jù)進行驗收前的相應(yīng)處理，包括文件的格式轉(zhuǎn)換、邏輯分盤處理、添加說明性文件，以及數(shù)據(jù)的掛接、檢驗、上載、質(zhì)量檢查和備份。45 信息存儲根據(jù)不同的掃描圖像選擇適當數(shù)據(jù)格式、編碼方式和存儲介質(zhì)對信息進行保存。46 檢索利用按用戶需求提供檢索利用。5 案卷整理在批量掃描之前，按下述步驟對案卷進行整理，確保檔案數(shù)字化質(zhì)量。51 分件511 把同一案卷中的掃描件和非掃描件分開。512 在掃描件中將大圖、照片插入指示頁，便于掃描工序批量掃描，實際圖像放在圖像處理時進行重掃，替換指示頁。513 填寫數(shù)據(jù)加工過程處理單(見附錄A)，對需要特殊處理的頁，標識清楚。52 分頁對批量掃描前的檔案進行頁號、件號的標注。如在標注中與原檔案中的件數(shù)、頁號不一致，應(yīng)以此為準。53 拆卷去除檔案中原來的裝訂物，以便后續(xù)掃描工作的進行。54 裝卷按檔案保管要求恢復(fù)原裝訂。6 建目錄庫61 目錄著錄根據(jù)DAT18確定檔案著錄項，并進行著錄。62 數(shù)據(jù)格式選擇所選定的數(shù)據(jù)格式通用，應(yīng)能直接或間接與DBF文件格式或通過XML文檔進行數(shù)據(jù)交換。63 目錄輸入將著錄好的目錄輸入計算機內(nèi)，建立機讀目錄數(shù)據(jù)庫。7 批量掃描71 掃描方式紙質(zhì)檔案掃描可采用黑白二值圖像和連續(xù)色調(diào)圖像兩種方式。711 頁面為單色文字的紙質(zhì)檔案，宜采用黑白二值圖像掃描；頁面為多色文字圖像的檔案文件，可采用連續(xù)色調(diào)圖像掃描。712 字跡清晰、不帶圖片的檔案材料，采用黑白二值圖像掃描；清晰度較差或帶有圖片的檔案材料，可采用連續(xù)色調(diào)圖像掃描。72 分辨率選擇721 單色頁面檔案文件，掃描分辨率一般建議選擇100200dpi。722 彩色頁面檔案文件，掃描分辨率可選擇100dpi以上參數(shù)值進行。723 大幅面檔案文件，如工程圖紙、報紙等尺寸超過A3的，可選用大幅面圖像掃描儀(如A0)、大幅面數(shù)碼平臺、縮微照像后膠片數(shù)字轉(zhuǎn)換，也可以采用小幅面掃描后的圖像拼接。掃描分辨率應(yīng)選擇1OOdpi以上。724 需要時可根據(jù)原件的清晰度適當調(diào)整掃描分辨率。如原件質(zhì)量較差且尺寸較小，可適當提高分辨率；反之也可相應(yīng)減少分辨率，增減的多少以掃描后圖像按原尺寸顯示后是否清晰為準。73 特殊頁面的掃描731 粘貼頁與表格對于粘貼折頁，可用大幅面掃描儀掃描，或先分部掃描后拼接；對部分字體很小、字跡密集的情況，可適當提高掃描分辨率，選擇灰度掃描或彩色掃描，采用局部深化技術(shù)解決；對字跡與表格顏色深度不同的，采用局部淡化技術(shù)解決732 一般文本流程圖采用適當?shù)姆直媛蕭呙杓熬植可罨夹g(shù)，確保文本流程圖清晰。同時采用不同設(shè)備滿足文本流程圖的掃描工作。733 插圖采用高分辨率灰度或彩色掃描技術(shù)將插圖與文字一起掃描，保證原來的頁面布局和插圖清晰。73. 4照片對于頁面中有黑白或彩色照片的文件，采用JPEG格式掃描，確保照片清晰度，同時可避免圖像存儲空間過大。74 文件命名方式741 建立文件夾掃描時文件夾的建立應(yīng)按檔案實體分級建立，其中的每一份文件也需要單獨建立文件夾。742文件夾命名方法，以檔案實體中的檔號命名，一般為3位數(shù)，不足3位數(shù)的左邊補“0”。8 數(shù)據(jù)處理81圖像處理811糾偏 對掃描過程中出現(xiàn)的偏斜圖像進行整體糾正，保證數(shù)字圖像的偏斜角度小于1度。(圖像偏斜不超過頁面內(nèi)半個文字)。812去污 去除數(shù)字圖像中影響可懂度的雜質(zhì)。檔案數(shù)字化圖像的去污，應(yīng)遵循在不影響可懂度的前提下展現(xiàn)原貌的原則。8121局部去污，如去除黑邊、污點。8122整體去污，可一次性去除頁面上的污漬。813拼接 為保證檔案數(shù)字化圖像的整體性，對幅面分離的數(shù)字圖像進行拼接。814校對8141一次校對，檢查掃描完的圖像質(zhì)量情況，對不合格的圖像進行標記退回重新掃描。8142糾錯處理，根據(jù)一次校對中提出的諸如污漬、黑邊、偏斜、圖像質(zhì)量等問題，結(jié)合數(shù)據(jù)加工過程處理單(見附錄A)情況，對每份圖像進行相應(yīng)的處理。8143二次校對，對一次校對及數(shù)據(jù)處理后的數(shù)字圖像再次進行檢查，并標記圖像處理過程中不清晰的頁面。不合格的退回重新處理。82數(shù)據(jù)質(zhì)量檢查821文字錄入質(zhì)量 對錄入域清單上所標明的各著錄項的文字錄入進行正確率控制，保證錯誤率低于3。822圖像質(zhì)量 對紙質(zhì)文件掃描后形成的圖像文件進行清晰度、污漬、黑邊、偏斜等問題的控制，以達到要求的圖像質(zhì)量。保證掃描后的數(shù)字圖像清晰，便于清楚閱讀，適應(yīng)各種紙張和手寫、印刷字的情況。83數(shù)據(jù)掛接 檔案條目數(shù)據(jù)與圖像文件的對應(yīng)準確程度的控制。在生成裸數(shù)據(jù)光盤之前，根據(jù)資料整理信息、掃描前的標引信息及卷內(nèi)文件頁號信息核查圖像文件總數(shù)是否與實際文件數(shù)相等，如不相等則不能生成裸數(shù)據(jù)光盤，可打印出清單，回退給圖像處理人員補掃。84數(shù)據(jù)檢驗841將裸數(shù)據(jù)進行驗收前的相應(yīng)處理，包括文件的格式轉(zhuǎn)換、邏輯分盤處理、添加說明性文件。842對數(shù)據(jù)進行檢驗，給出合格或不合格結(jié)論。843將數(shù)字加工后的數(shù)據(jù)轉(zhuǎn)換為裸數(shù)據(jù)光盤格式，拷貝到活動硬盤上。844系統(tǒng)應(yīng)自動記錄檢驗進度。85數(shù)據(jù)上載檔案數(shù)字化各工序的數(shù)據(jù)通過網(wǎng)絡(luò)及時上載到數(shù)據(jù)服務(wù)器端匯總，其中數(shù)字圖像自動搜索對應(yīng)的目錄數(shù)據(jù)，加入對應(yīng)的電子地址數(shù)字圖像文件名，建立起一一對應(yīng)的關(guān)系。86數(shù)據(jù)備份定期對服務(wù)器的各類數(shù)據(jù)進行備份，防止數(shù)據(jù)丟失。9信息存儲 以JPEG數(shù)字壓縮編碼或TIFF國際通用標準格式。采用國際標準的傳真文檔壓縮格式壓縮后，分別按頁編號后分頁存儲。數(shù)字圖像的存儲管理應(yīng)保持原紙質(zhì)檔案的保管模式對應(yīng)存儲。91壓縮存儲格式 檔案數(shù)字圖像格式采用TIFF和JPEG數(shù)字壓縮編碼。911黑白二值圖像 黑白二值掃描圖像文件采用TIFF（CCITTG3）格式二值圖像壓縮算法，壓縮率就緒（Cr)為15：1。也可采用TIFF（CCIFFG4）格式二值圖像壓縮算法，壓縮率(Cr)為3 O：1。912連續(xù)色調(diào)靜態(tài)圖像 連續(xù)色調(diào)靜態(tài)圖像采用JPEG數(shù)字壓縮編碼，平均壓縮率(cr)為15：1。92編碼方式 應(yīng)盡是采用實時操作性強的編碼方式。失真度編碼，用較少的比特率獲得較好的圖像質(zhì)量；無失真編碼，以低壓縮保持信息的不失真。一般情況下宜采用國際通用編解碼算法。93存儲方式與載體可選用在線和離線、不同載體進行存儲。10檢索利用101檢