第2章-信息管理的技術(shù)基礎(chǔ)-

第2章

信息管理的技術(shù)基礎(chǔ)教學(xué)目的：

熟悉該章節(jié)提到的幾個信息管理技術(shù)的概念，了解相關(guān)技術(shù)的特點。重點：數(shù)據(jù)挖掘技術(shù)術(shù)語，信息安全威脅和對策難點：知識組織技術(shù)2024/9/292本章內(nèi)容2.1網(wǎng)格技術(shù)2.2知識組織技術(shù)2.3網(wǎng)絡(luò)信息檢索技術(shù)2.4信息安全技術(shù)2024/9/2932.1網(wǎng)格技術(shù)網(wǎng)格技術(shù)概述；網(wǎng)格技術(shù)的本質(zhì)和特點；網(wǎng)格技術(shù)的分類2024/9/2942.1網(wǎng)格技術(shù)

1）網(wǎng)格技術(shù)概述網(wǎng)格思想的來源

網(wǎng)格是借鑒電力網(wǎng)的概念提出的。提出網(wǎng)格的目的就是能夠使得人們在使用網(wǎng)格資源的時候，能夠像使用電力資源一樣，自由使用，而不用關(guān)心我現(xiàn)在使用的電力資源是水力發(fā)電的還是熱電呢，是從哪個發(fā)電廠得來之類的事情。網(wǎng)格也希望給最終用戶提供的是與地理位置無關(guān)，與具體的計算設(shè)施無關(guān)的通用的計算能力。2024/9/2952.1網(wǎng)格技術(shù)

1）網(wǎng)格技術(shù)概述網(wǎng)格的概念：網(wǎng)格是可以作為虛擬的整體而使用的在地理上分散的異構(gòu)資源，這些資源可能屬于不同管理域，它們包括網(wǎng)絡(luò)可達的異構(gòu)計算機、數(shù)據(jù)庫、科學(xué)儀器、文件和超級計算系統(tǒng)等。2024/9/2962024/9/2972024/9/2982.1網(wǎng)格技術(shù)

2）網(wǎng)格技術(shù)的本質(zhì)和特點網(wǎng)格技術(shù)的本質(zhì)

網(wǎng)格的本質(zhì)不是它的規(guī)模，而是充分利用互連網(wǎng)絡(luò)中的現(xiàn)有軟硬件資源，支持廣域環(huán)境上的計算數(shù)據(jù)、存儲、信息和知識資源的共享、互通與互用，消除資源孤島。以較低成本獲得較高的性能。

共享與協(xié)同是網(wǎng)格的本質(zhì)問題。

共享是將網(wǎng)絡(luò)上海量、自治、分布、異構(gòu)的資源進行有效組織，以服務(wù)的方式為網(wǎng)格用戶提供統(tǒng)一透明的訪問機制。這些資源包括計算、存儲、數(shù)據(jù)、軟件、儀器設(shè)備、傳感器、信息庫、知識庫和專家等。

協(xié)同是指資源可以相互交互、理解、協(xié)作，以期共同完成復(fù)雜的網(wǎng)格應(yīng)用。包括人－人、人－資源、資源－資源的協(xié)同。2024/9/2992.1網(wǎng)格技術(shù)

2）網(wǎng)格技術(shù)的本質(zhì)和特點網(wǎng)格技術(shù)的特點P1

（1）分布性:組成網(wǎng)格的資源可能是計算資源、存儲資源、數(shù)據(jù)資源、儀器資源等，它們分布在地理位置不同的許多地方。2024/9/29102.1網(wǎng)格技術(shù)

2）網(wǎng)格技術(shù)的本質(zhì)和特點網(wǎng)格技術(shù)的特點P2

（2）異構(gòu)性：組成網(wǎng)格的資源是異構(gòu)的，對于計算資源，有不同類型的計算機，不同的計算方式，不同的計算接口，不同的系統(tǒng)架構(gòu)。對于存儲資源和其他資源，也面臨這樣的問題。（3）自治性：網(wǎng)格上的資源首先是屬于某一本地的個人或者組織，網(wǎng)格資源的擁有者對資源具有最高級別的管理權(quán)限，網(wǎng)格應(yīng)該允許資源擁有者對其資源有自主的管理能力，因此，網(wǎng)格具有自治性。2024/9/29112.1網(wǎng)格技術(shù)

2）網(wǎng)格技術(shù)的本質(zhì)和特點網(wǎng)格技術(shù)的特點P3

（4）動態(tài)性：由于網(wǎng)格資源具有自治性，因此網(wǎng)格資源可能動態(tài)地加入或者退出網(wǎng)格，也可能出現(xiàn)故障而導(dǎo)致不可用。（5）自相似性:網(wǎng)格的局部和整體之間存在著一定的相似性，局部往往在許多地方具有全局的某些特征，而全局的特征在局部也有一定的體現(xiàn)。

2024/9/29122.1網(wǎng)格技術(shù)

3）網(wǎng)格技術(shù)分類

網(wǎng)格的分類按網(wǎng)格主體分為科學(xué)網(wǎng)格、地球系統(tǒng)網(wǎng)格、地震網(wǎng)格、軍事網(wǎng)格、物理網(wǎng)格、游戲網(wǎng)格、教育網(wǎng)格等許多種。

按網(wǎng)格客體分為數(shù)據(jù)網(wǎng)格、計算網(wǎng)格和服務(wù)網(wǎng)格。按網(wǎng)格客體的不同層次可以分為資源網(wǎng)格、信息網(wǎng)格和知識網(wǎng)格。

2024/9/2913本章內(nèi)容2.1網(wǎng)格技術(shù)2.2知識組織技術(shù)2.3網(wǎng)絡(luò)信息檢索技術(shù)2.4信息安全技術(shù)2024/9/29142.2知識組織技術(shù)知識發(fā)現(xiàn)和數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)倉庫2024/9/2915

日本人巧用內(nèi)容分析法獲取經(jīng)濟情報日本的搜集情報活動堪稱世界一流。

二戰(zhàn)后，日本約有1萬多人被派到美國學(xué)習(xí)新工藝和管理技術(shù)，并陸續(xù)學(xué)成回國。

美國人后來經(jīng)調(diào)查研究得出驚人的結(jié)論：這些日本人僅僅花費了25億美元，就幾乎把西方的所有技術(shù)都搞到了手，而這筆花費僅占美國每年研究經(jīng)費的十分之一。2024/9/2916第一階段：油田存在性的判斷60年代中期，日本人應(yīng)用內(nèi)容分析法推測出我國剛開發(fā)的大慶油田。日本人對大慶油田早有耳聞，但始終無準(zhǔn)確的信息。后來，日本人從1964年4月20日出版的《人民日報》上看到“大慶精神大慶人”的字句，于是日本人判斷“中國的大慶油田確有其事”。但是，大慶油田究竟在什么地方，日本人還沒有材料作出判斷。2024/9/2917第二階段：油田地點的判斷->在東北從1966年7月的一期《中國畫報》封面上，日本人看到一張照片，鐵人王進喜身穿大棉襖，頭頂著鵝毛大雪。猜測到：2024/9/2918“大慶油田是在冬季為零下三十度的東北地區(qū)，大致在哈爾濱與齊齊哈爾之間”。后來，到中國來的日本人坐這段火車時發(fā)現(xiàn)，來往的油罐車上有很厚的一層土，從土的顏色和厚度，證實了“大慶油田在東北”的論斷。但大慶油田的具體地點還是不清楚。2024/9/2919第三階段：油田地點的判斷->在馬家窯1966年10月，日本人又從《人民中國》雜志上找到了王進喜的先進事跡，在該事跡介紹中還寫有這樣一段話：王進喜一到馬家窯看到大片荒野時說：“好大的油海!把石油工業(yè)落后的帽子丟到太平洋去?！庇谑?，日本從偽滿州地圖上查找到“馬家窯是位于黑龍江海倫縣東面的一個小村，在北安鐵路上一個小車站東邊十多公里處。”日本人終于將大慶油田的準(zhǔn)確地理位置搞清楚了。2024/9/2920第四階段：煉油規(guī)模的判斷（1）從1966年7月《中國畫報》上發(fā)表的一張大慶煉油廠反應(yīng)塔的照片上，日本人推算出大慶煉油廠的規(guī)模。其推算方法很簡單，首先找到反應(yīng)塔上的扶手欄桿，扶手欄桿一般是一米多一點，以扶手欄桿和反應(yīng)塔的直徑相比，得知反應(yīng)塔內(nèi)徑約為5米。據(jù)此，日本人推斷：大慶煉油廠的加工能力為每日900kL，如果以殘留油為原油的30％計算，原油加工能力為每日3000kL，一年以360天計算，則其年產(chǎn)量為100萬kL。2024/9/2921第四階段：煉油規(guī)模的判斷（2）根據(jù)這個油田的出油能力和煉油廠規(guī)模，日本人得出結(jié)論：中國將在最近幾年出現(xiàn)煉油設(shè)備不足，買日本的輕油裂解設(shè)備是完全有可能的，以滿足每日煉油10000kL的需要。這就是日本人在1966年從中國公開報刊中獲得的有關(guān)大慶油田的重要信息，然后按他們估計的大慶油田要求進行產(chǎn)品設(shè)計。2024/9/2922大慶給日本帶來了什么機遇？根據(jù)大慶油田出油能力與煉油廠有限的煉油能力，日本人推論：中國將在最近幾年必然因為煉油設(shè)備不足，會考慮買日本的輕油裂解設(shè)備。中國要買的設(shè)備規(guī)模和數(shù)量多大？根據(jù)情報分析，要滿足日煉油1萬千升的需要。這是日本在1966年根據(jù)公開報刊點滴信息作出的判斷和決策。2024/9/2923

日本人得到了什么有了如此多的準(zhǔn)確情報，日本人迅速設(shè)計出適合大慶油田開采用的石油設(shè)備。當(dāng)我國政府向世界各國征求開采大慶油田的設(shè)計方案時，日本人一舉中標(biāo)。日本人將這一國家機密首次破獲并從中國賺得真金白銀達50億美金！2024/9/29242.2知識組織技術(shù)

1）知識發(fā)現(xiàn)

數(shù)據(jù)挖掘

知識發(fā)現(xiàn)（Knowledgediscoveryofdatabase）:

知識發(fā)現(xiàn)是從數(shù)據(jù)集中識別出有效的、新穎的、潛在有用的，以及最終可理解的模式的非平凡過程。知識發(fā)現(xiàn)將信息變?yōu)橹R，從數(shù)據(jù)礦山中找到蘊藏的知識金塊，將為知識創(chuàng)新和知識經(jīng)濟的發(fā)展作出貢獻。

P12024/9/29252.2知識組織技術(shù)

1）知識發(fā)現(xiàn)

數(shù)據(jù)挖掘

知識發(fā)現(xiàn)是所謂"數(shù)據(jù)挖掘"的一種更廣義的說法，即從各種媒體表示的信息中，根據(jù)不同的需求獲得知識。知識發(fā)現(xiàn)的目的是向使用者屏蔽原始數(shù)據(jù)的繁瑣細節(jié)，從原始數(shù)據(jù)中提煉出有意義的、簡潔的知識，直接向使用者報告。

P22024/9/2926典型數(shù)據(jù)挖掘案例：尿布和啤酒的故事先請大家做個腦力游戲說出任何尿布和啤酒的聯(lián)系，即在什么情況下它們可以相提并論。請想象這樣的一副情景：在一個大的超級市場里面，人來人往。一角的貨架上，尿布和啤酒赫然地擺放在一起出售。而且，尿布和啤酒的銷售量雙雙增加。

這是上個世紀發(fā)生在美國沃爾瑪連鎖超市的真實事件，而且也許是將尿布和啤酒最好地聯(lián)系起來的方法，因為它甚至符合了今天正在流行的“雙贏”原理。2024/9/2927數(shù)據(jù)挖掘過程2024/9/29282.2知識組織技術(shù)

1）知識發(fā)現(xiàn)

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘定義：

◆

數(shù)據(jù)挖掘在技術(shù)上的定義

數(shù)據(jù)挖掘（DataMining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數(shù)據(jù)源必須是真實的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識；發(fā)現(xiàn)的知識要可接受、可理解、可運用；

2024/9/29292.2知識組織技術(shù)

1）知識發(fā)現(xiàn)

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘定義：

◆

數(shù)據(jù)挖掘在商業(yè)角度定義

數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。

按企業(yè)既定業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進行探索和分析，揭示隱藏的、未知的或驗證已知的規(guī)律性，并進一步將其模型化的先進有效的方法。

2024/9/29302.2知識組織技術(shù)

1）知識發(fā)現(xiàn)

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘的任務(wù)：1）描述性挖掘任務(wù)：用數(shù)據(jù)挖掘算法來描述大量數(shù)據(jù)的特性；2）預(yù)測性挖掘任務(wù)：用當(dāng)前的數(shù)據(jù)進行分析，來預(yù)測未知事物或者事件的發(fā)生。

2024/9/29312.2知識組織技術(shù)

1）知識發(fā)現(xiàn)

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘算法預(yù)測描述分類數(shù)值預(yù)測密度估計類/概念描述頻繁模式挖掘聚類分析離群點分析2024/9/2932應(yīng)用實例電信

：客戶流失百貨公司/超市：購物籃分析

保險：交叉銷售，流失信用卡：

欺詐探測電子商務(wù)：

網(wǎng)站日志分析，個性化服務(wù)稅務(wù)部門：偷漏稅行為探測警察機關(guān)：犯罪行為分析醫(yī)學(xué)：

醫(yī)療保健，病癥原因分析2024/9/29332.2知識組織技術(shù)

2）數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的概念：數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。

[WilliamH.Inmon]與其他數(shù)據(jù)庫應(yīng)用不同的是，數(shù)據(jù)倉庫更像一種過程，對分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過程。數(shù)據(jù)倉庫是知識發(fā)現(xiàn)、數(shù)據(jù)挖掘的基礎(chǔ)

2024/9/29342.2知識組織技術(shù)

2）數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的幾個重要概念：（1）ETLETL（Extract/Transformation/Load）—用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。元數(shù)據(jù)

關(guān)于數(shù)據(jù)的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息。

DataMart數(shù)據(jù)集市--小型的，面向部門或工作組級數(shù)據(jù)倉庫。2024/9/29352.2知識組織技術(shù)

2）數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的幾個重要概念：（2）OperationDataStore操作數(shù)據(jù)存儲—ODS是能支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合，是不同于DB的一種新的數(shù)據(jù)環(huán)境,是DW擴展后得到的一個混合形式。四個基本特點：面向主題的(Subject-Oriented)、集成的、可變的、當(dāng)前或接近當(dāng)前的。粒度數(shù)據(jù)倉庫的數(shù)據(jù)單元中保存數(shù)據(jù)的細化或綜合程度的級別。細化程度越高，粒度級就越??；相反，細化程度越低，粒度級就越大。分割結(jié)構(gòu)相同的數(shù)據(jù)可以被分成多個數(shù)據(jù)物理單元。任何給定的數(shù)據(jù)單元屬于且僅屬于一個分割。2024/9/29362.2知識組織技術(shù)

2）數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的特點：面向主題典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目集成的數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載非易失的數(shù)據(jù)倉庫的數(shù)據(jù)通常是一起載入和訪問的，但并不進行一般意義上的數(shù)據(jù)更新隨時間的變化性數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時間元素。2024/9/2937本章內(nèi)容2.1網(wǎng)格技術(shù)2.2知識組織技術(shù)2.3網(wǎng)絡(luò)信息檢索技術(shù)2.4信息安全技術(shù)2024/9/29382.3網(wǎng)絡(luò)信息檢索技術(shù)網(wǎng)絡(luò)爬蟲信息過濾2024/9/29392.3網(wǎng)絡(luò)信息檢索技術(shù)1）網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲概述

Crawler，即Spider（網(wǎng)絡(luò)爬蟲），其定義有廣義和狹義之分。狹義上指遵循標(biāo)準(zhǔn)的http協(xié)議，利用超鏈接和Web文檔檢索方法遍歷萬維網(wǎng)的軟件程序；而廣義的定義則是能遵循h(huán)ttp協(xié)議，檢索Web文檔的軟件都稱之為網(wǎng)絡(luò)爬蟲。

網(wǎng)絡(luò)爬蟲是一個功能很強的自動提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成部分。2024/9/29402.3網(wǎng)絡(luò)信息檢索技術(shù)1）網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲概述網(wǎng)絡(luò)爬蟲是搜索引擎中最核心的部分，整個搜索引擎的素材庫來源于網(wǎng)絡(luò)爬蟲的采集，從搜索引擎整個產(chǎn)業(yè)鏈來看，網(wǎng)絡(luò)爬蟲是處于最上游的產(chǎn)業(yè)。其性能好壞直接影響著搜索引擎整體性能和處理速度。通常網(wǎng)絡(luò)爬蟲是從一個或若干個初始網(wǎng)頁的上的URL開始，獲得初始網(wǎng)頁上的URL列表，在抓取網(wǎng)頁過程中，不斷從當(dāng)前頁面上抽取新的URL放入待爬行隊列，直到滿足系統(tǒng)的停止條件。2024/9/29412.3網(wǎng)絡(luò)信息檢索技術(shù)2）信息過濾

信息過濾的定義

信息過濾是根據(jù)用戶的信息需求，在動態(tài)的信息流中，搜索用戶感興趣的信息，屏蔽其它無用和不良的信息。

2024/9/29422.3網(wǎng)絡(luò)信息檢索技術(shù)2）信息過濾

信息過濾系統(tǒng)示意圖

過濾數(shù)據(jù)過濾器用戶數(shù)據(jù)源過濾數(shù)據(jù)2024/9/29432.3網(wǎng)絡(luò)信息檢索技術(shù)2）信息過濾

信息過濾的分類

主動(Active)的IF系統(tǒng)主動搜集信息，并將相關(guān)信息發(fā)送給用戶通常采用Push操作會造成信息過載問題，所以該系統(tǒng)要盡力建立精確的用戶需求。被動(Passive)的IF系統(tǒng)不負責(zé)為用戶搜集信息通常用于郵件和新聞組信息過濾2024/9/2944本章內(nèi)容2.1網(wǎng)格技術(shù)2.2知識組織技術(shù)2.3網(wǎng)絡(luò)信息檢索技術(shù)2.4信息安全技術(shù)2024/9/29452.4信息安全技術(shù)信息安全的概念信息安全的威脅信息安全的策略2024/9/29462.4信息安全技術(shù)1）信息安全概念

信息安全的概念

所謂網(wǎng)絡(luò)信息安全就是指網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護，不受偶然的或者惡意的原因而遭到破壞、更改、泄露，系統(tǒng)連續(xù)可靠正常地運行，網(wǎng)絡(luò)服務(wù)不中斷。網(wǎng)絡(luò)安全從其本質(zhì)上來講就是網(wǎng)絡(luò)上的信息安全，信息安全的根本目的是使一個國家的信息技術(shù)體系不受外來的威脅和侵害。從廣義來說，凡是涉及到網(wǎng)絡(luò)上信息的保密性、完整性、可用性、真實性和可控性的相關(guān)技術(shù)和理論都是網(wǎng)絡(luò)安全的研究領(lǐng)域。2024/9/29472.4信息安全技術(shù)2）信息安全的威脅信息安全的威脅P1（1）病毒。通過網(wǎng)絡(luò)傳播的計算機病毒，破壞性非常高，而且用戶很難防范，是計算機系統(tǒng)最直接的威脅。（2）網(wǎng)絡(luò)犯罪和黑客對網(wǎng)絡(luò)攻擊。利用計算機網(wǎng)絡(luò)破壞計算機信息系統(tǒng)，傳播計算機病毒、黃色淫穢圖像，竊取國家秘密或企業(yè)商業(yè)機密等，其動機有些是政治原因，也有一些僅僅是為了炫耀自己的技術(shù)。（3）拒絕服務(wù)攻擊。攻擊服務(wù)系統(tǒng)，使得合法用戶對信息或其他資源的合法訪問被無條件地拒絕。（4）信息泄漏。指信息被泄漏給非授權(quán)的人。（5）非授權(quán)訪問。未經(jīng)系統(tǒng)授權(quán)的人使用網(wǎng)絡(luò)或計算機資源。2024/9/29482.4信息安全技術(shù)2）信息安全的威脅信息安全的威脅

P2（6）竊取。非法用戶通過數(shù)據(jù)竊聽的手段獲得敏感信息。（7）截?。悍欠ㄓ脩羰紫全@得信息，再將此信息發(fā)送給真實接收者。（8）偽造：將偽造的信息發(fā)送給接收者。（9）篡改：非法用戶對合法用戶之間的通訊信息進行修改，再發(fā)送給接收者。（10）假冒。一個實體假裝成另外一個不同的實體。（11）行為否認。參與信息交換的一方，事后否認曾經(jīng)發(fā)生的行為。2024/9/29492.4信息安全技術(shù)