生物數(shù)據(jù)整合與挖掘為復旦大學出版社出版發(fā)行

1、生物數(shù)據(jù)整合與挖掘為復旦大學出版社出版發(fā)行。生物數(shù)據(jù)整合與挖掘內(nèi)容簡介 ：生物信息學應用計算機技術對各種生物數(shù)據(jù)進行管理和分析，以期發(fā)現(xiàn)生物數(shù)據(jù)所反映的生物規(guī)律，促進生命科學的發(fā)展。一方面，生命科學實驗產(chǎn)生的巨量的生物數(shù)據(jù)保存在世界各地的相關研究機構(gòu)中，或隱含在浩瀚的科學文獻里。這些數(shù)據(jù)反映了生命科學研究的整體進展和成果，有重疊更相互補充，這就需要將這些生物數(shù)據(jù)整合在一起。另一方面，生物信息學也希望采用數(shù)據(jù)挖掘技術對生物數(shù)據(jù)進行分析，以期發(fā)現(xiàn)生物規(guī)律，因此根據(jù)生命科學的需要和領域知識，設計出有效的生物數(shù)據(jù)挖掘算法和軟件工具是一個重要的研究內(nèi)容。本書較為系統(tǒng)地介紹了生物數(shù)據(jù)整合與挖掘的技術框架，

2、主要介紹了作者在這方面的研究成果，包括：生物數(shù)據(jù)抽取技術、生物數(shù)據(jù)整合技術、生物序列數(shù)據(jù)挖掘、基因表達譜芯片數(shù)據(jù)挖掘、轉(zhuǎn)錄因子及順式調(diào)控元件挖掘、生物數(shù)據(jù)模型和數(shù)據(jù)庫管理系統(tǒng)等內(nèi)容，還介紹了一個生物數(shù)據(jù)整合系統(tǒng)、一個基因表達譜芯片數(shù)據(jù)庫和數(shù)據(jù)挖掘系統(tǒng)、一個轉(zhuǎn)錄因子及順式調(diào)控元件的挖掘分析平臺等等的設計與實現(xiàn)。本書的讀者對象為從事生物信息學研究的科學工作者。本書也可以作為生物信息學專業(yè)研究生的教學參考書和生物軟件工程技術人員的參考書。生物數(shù)據(jù)整合與挖掘作者簡介 ：朱揚勇，1963年生，浙江武義人。1994年于復旦大學獲計算機軟件專業(yè)理學博士學位。現(xiàn)為復旦大學計算機科學技術學院教授；上海市政府信息

3、化專家；上海生物信息技術研究中心學術委員會委員；上海市計算機學會理事；上海市生物信息學會理事等。長期從事數(shù)據(jù)庫、數(shù)據(jù)挖掘、生物信息等方面的研究，已發(fā)表論文100余篇，出版數(shù)據(jù)庫系統(tǒng)設計與開發(fā)等教材5本。作為項目負責人，主持國家自然科學基金、“863計劃”、上海市科委重點發(fā)展基金等10多項課題的研究工作。目前主要從事數(shù)據(jù)科學的研究，是該領域的主要倡導者。目錄 ：第1章 背景知識1.1 生物信息學1.1.1 基本概念1.1.2 研究內(nèi)容1.1.3 研究方法1.1.4 研究機構(gòu)1.2 數(shù)據(jù)整合1.2.1 數(shù)據(jù)資源1.2.2 數(shù)據(jù)整合的動因1.2.3 數(shù)據(jù)整合的概念1.2.4 數(shù)據(jù)整合的內(nèi)容1.3 數(shù)

4、據(jù)挖掘1.3.1 數(shù)據(jù)挖掘的定義1.3.2 數(shù)據(jù)挖掘的任務1.3.3 數(shù)據(jù)挖掘的類型1.3.4 相關技術的差異第2章 數(shù)據(jù)整合與數(shù)據(jù)挖掘方法2.1 數(shù)據(jù)整合的方法2.1.1 數(shù)據(jù)整合的方式2.1.2 數(shù)據(jù)整合的步驟2.2 數(shù)據(jù)挖掘的方法2.2.1 數(shù)據(jù)挖掘過程示例2.2.2 數(shù)據(jù)挖掘過程模型2.2.3 數(shù)據(jù)挖掘應用方式2.3 數(shù)據(jù)清潔技術2.3.1 數(shù)據(jù)的質(zhì)量問題2.3.2 數(shù)據(jù)清潔的主要工作2.4 數(shù)據(jù)倉庫技術2.4.1 數(shù)據(jù)倉庫的概念2.4.2 數(shù)據(jù)組織2.4.3 主題設計2.4.4 數(shù)據(jù)加載2.4.5 數(shù)據(jù)規(guī)約2.5 小結(jié)第3章 生物數(shù)據(jù)源3.1 生物數(shù)據(jù)3.1.1 生物序列數(shù)據(jù)3.1.

5、2 生物分子結(jié)構(gòu)數(shù)據(jù)3.1.3 芯片及基因表達數(shù)據(jù)3.1.4 生物網(wǎng)絡數(shù)據(jù)3.2 生物數(shù)據(jù)組織3.2.1 生物數(shù)據(jù)的數(shù)據(jù)庫組織形式3.2.2 生物數(shù)據(jù)的互聯(lián)網(wǎng)組織形式3.3 生物數(shù)據(jù)庫3.3.1 生物序列數(shù)據(jù)庫3.3.2 基因組數(shù)據(jù)庫3.3.3 結(jié)構(gòu)數(shù)據(jù)庫3.3.4 芯片和基因表達數(shù)據(jù)庫3.3.5 生物文獻數(shù)據(jù)庫3.4 生物數(shù)據(jù)源的特征3.5 小結(jié)第4章 復雜生物數(shù)據(jù)源的數(shù)據(jù)抽取4.1 生物數(shù)據(jù)抽取4.1.1 生物數(shù)據(jù)抽取面臨的問題4.1.2 包裝器的要素4.1.3 抽取算法4.1.4 元數(shù)據(jù)生成與包裝器生成工具4.2 包裝器的設計4.2.1 基于實例切分的抽取算法4.2.2 基于定位器多結(jié)點

6、共享的數(shù)據(jù)抽取模型4.2.3 數(shù)據(jù)抽取模型描述4.2.4 元數(shù)據(jù)的生成和維護4.2.5 數(shù)據(jù)抽取模型表達能力4.3 包裝器解決方案4.3.1 面向無噪聲復雜數(shù)據(jù)源的解決方案4.3.2 面向含噪聲復雜數(shù)據(jù)源的解決方案4.3.3 rede和l-樹包裝器生成工具的架構(gòu)4.3.4 rede和l-樹包裝器生成工具的實現(xiàn)技術4.4 l-樹匹配：面向復雜數(shù)據(jù)源的數(shù)據(jù)抽取算法4.4.1 l-樹上的數(shù)據(jù)映射機制4.4.2 l-樹匹配算法的相關概念4.4.3 l-樹匹配算法4.4.4 l-樹匹配算法舉例4.5 基于l-樹的包裝器生成工具4.5.1 將ere擴充成數(shù)據(jù)抽取腳本語言4.5.2 可視化編輯調(diào)試環(huán)境4.5

7、.3 ere的可視化構(gòu)建4.5.4 ere的邏輯檢查4.5.5 抽取結(jié)果的可視化評價4.5.6 以xml格式輸出抽取結(jié)果4.6 小結(jié)第5章 生物數(shù)據(jù)整合案例5.1 生物數(shù)據(jù)整合系統(tǒng)的設計5.1.1 生物數(shù)據(jù)整合的關鍵問題分析5.1.2 生物數(shù)據(jù)整合目標的確立5.1.3 生物數(shù)據(jù)整合方式和技術的設計5.2 基于go的數(shù)據(jù)整合5.2.1 go簡介5.2.2 db2go表5.2.3 語義相似數(shù)據(jù)庫表5.2.4 以go統(tǒng)一數(shù)據(jù)的邏輯和語義5.3 數(shù)據(jù)抽取和增量更新5.3.1 數(shù)據(jù)抽取5.3.2 數(shù)據(jù)的增量更新5.4 基于go的查詢技術5.4.1 異構(gòu)生物數(shù)據(jù)庫的語義查詢5.4.2 biodw中語義查詢

8、的體系結(jié)構(gòu)5.4.3 go語義相似性度量方法5.4.4 語義相似性查詢5.5 biodw系統(tǒng)5.5.1 biodw的系統(tǒng)結(jié)構(gòu)5.5.2 biodw的系統(tǒng)的數(shù)據(jù)規(guī)模5.5.3 biodw的數(shù)據(jù)查詢5.6 小結(jié)第6章 生物序列數(shù)據(jù)挖掘進展6.1 生物序列數(shù)據(jù)挖掘的基本概念和內(nèi)容6.1.1 生物序列相似性6.1.2 生物序列模式挖掘6.1.3 生物序列聚類分析6.1.4 生物序列分類分析6.1.5 生物序列關聯(lián)分析6.1.6 生物序列異常分析6.2 生物序列數(shù)據(jù)挖掘的研究階段6.2.1 基于統(tǒng)計技術的數(shù)據(jù)挖掘方法的應用階段6.2.2 一般化數(shù)據(jù)挖掘方法的應用階段6.2.3 專門數(shù)據(jù)挖掘技術的設計階段

9、6.3 生物序列數(shù)據(jù)挖掘研究與應用現(xiàn)狀6.3.1 生物序列模式挖掘方面6.3.2 生物序列聚類分析方面6.3.3 生物序列分類分析方面6.3.4 生物序列關聯(lián)分析方面6.3.5 生物序列異常分析方面6.4 生物序列數(shù)據(jù)挖掘研究趨勢6.5 小結(jié)第7章 生物序列數(shù)據(jù)挖掘技術7.1 序列數(shù)據(jù)源7.2 生物序列模式挖掘7.2.1 生物序列模式挖掘問題7.2.2 基于多支持度的生物序列模式挖掘框架7.2.3 基于多支持度的生物序列模式挖掘算法7.3 生物序列聚類分析7.3.1 生物序列聚類問題分析7.3.2 蛋白質(zhì)序列聚類7.3.3 基因序列聚類7.4 生物序列分類分析7.4.1 生物序列分類問題分析7

10、.4.2 轉(zhuǎn)錄因子分類7.4.3 基于支持向量機的轉(zhuǎn)錄因子分類算法7.5 小結(jié)第8章 基因芯片數(shù)據(jù)挖掘8.1 基因表達譜芯片數(shù)據(jù)挖掘8.1.1 基因表達譜數(shù)據(jù)分析8.1.2 基因表達相似性分析8.1.3 基因表達共發(fā)生分析8.1.4 基因表達路徑分析8.1.5 特殊表達基因分析8.2 基因表達譜數(shù)據(jù)庫建設8.2.1 基因表達譜芯片數(shù)據(jù)的標準8.2.2 基因表達譜數(shù)據(jù)庫建設的難點8.2.3 數(shù)據(jù)庫結(jié)構(gòu)設計8.2.4 數(shù)據(jù)加載與數(shù)據(jù)管理8.2.5 自動導入數(shù)據(jù)8.3 基因表達譜數(shù)據(jù)挖掘系統(tǒng)8.3.1 數(shù)據(jù)挖掘框架8.3.2 bdmapa架構(gòu)擴展8.3.3 基因表達譜芯片數(shù)據(jù)挖掘系統(tǒng)8.4 小結(jié)第9

11、章 轉(zhuǎn)錄因子、順式調(diào)控元件挖掘系統(tǒng)9.1 轉(zhuǎn)錄因子、順式調(diào)控元件挖掘原理9.1.1 轉(zhuǎn)錄因子、順式調(diào)控元件挖掘原理9.1.2 順式調(diào)控元件文本挖掘原理9.2 轉(zhuǎn)錄因子、順式調(diào)控元件挖掘系統(tǒng)設計9.2.1 數(shù)據(jù)挖掘軟件9.2.2 數(shù)據(jù)分析服務9.2.3 綜合的轉(zhuǎn)錄因子、順式調(diào)控元件數(shù)據(jù)庫9.3 小結(jié)第10章 生物序列數(shù)據(jù)庫管理系統(tǒng)10.1 生物數(shù)據(jù)處理面臨的問題10.1.1 生物數(shù)據(jù)存儲方式10.1.2 生物序列數(shù)據(jù)庫的查詢需求10.2 生物序列數(shù)據(jù)模型bioseg10.2.1 數(shù)據(jù)結(jié)構(gòu)10.2.2 代數(shù)操作10.2.3 open builtin函數(shù)10.2.4 等價規(guī)則10.2.5 biose

12、g模型的特點10.3 生物序列數(shù)據(jù)庫管理系統(tǒng)的設計10.3.1 代數(shù)查詢實例10.3.2 查詢語言10.3.3 體系結(jié)構(gòu)10.4 小結(jié)參考文獻致謝書摘插圖 ：第1章背景知識諾貝爾獎獲得者dulbecc0于1986年在science雜志上發(fā)表的一篇短文中率先提出了人類基因組計劃。該計劃在探討生命奧秘的過程中，使得自動化的dna測序技術、生物數(shù)據(jù)挖掘分析技術、基因組數(shù)據(jù)庫和分析軟件、基因芯片技術的一些工具性技術獲得了快速發(fā)展，并使生物信息學作為一個學科領域獲得了公認。本章介紹生物信息學、數(shù)據(jù)整合與數(shù)據(jù)挖掘方面的背景知識和基本概念。 1.1 生物信息學生命科學實驗產(chǎn)生了大量生物數(shù)據(jù)，如何在數(shù)學、計算

13、機科學等的支持下充分利用這些生物數(shù)據(jù)更有效地開展生命的探討是一個很有意義的問題。于是，生物數(shù)據(jù)處理技術獲得了發(fā)展，并最終產(chǎn)生了生物信息學。1.1.1 基本概念生物信息學（bioinformatics）是指生命科學與數(shù)學科學、計算機科學和信息科學等交匯融合所形成的一門交叉學科。它應用先進的數(shù)據(jù)管理技術、數(shù)學分析模型和計算機軟件對各種生物數(shù)據(jù)進行提取、存儲、處理和分析，旨在掌握復雜生命現(xiàn)象的形成模式與演化規(guī)律。該定義是rashidi等人于2000年給出的。由于生命科學研究者各自從事的具體領域不同，對其存在不同的理解，因此至今仍沒有一個關于生物信息學的統(tǒng)一定義。但其基本的研究內(nèi)容和研究方法還是比較統(tǒng)

14、一的，就是通過研究生物數(shù)據(jù)來促進生命科學的研究。隨著生命科學研究的深入，生物信息學也受到廣泛關注。事實上，生物信息學起源要早很多。1953年4月25日，waston和crick提出dna（deoxyribo nucleic acid）雙螺旋結(jié)構(gòu)和自我復制機制，揭開了分子生物學研究的新篇章。1956年，在美國田納西州蓋特林堡召開首次“生物學中的信息理論研討會”，萌生了生物信息學概念。20世紀60年代，研究者開始搜集生物信息，并應用計算方法對其進行分析，發(fā)現(xiàn)其中反映生命現(xiàn)象的重要規(guī)律。隨后，生物學的研究手段發(fā)生了革命性的變化，由單純的觀察和實驗研究轉(zhuǎn)向與生物數(shù)據(jù)分析相結(jié)合。70年代到80年代初，數(shù)

15、學統(tǒng)計方法和計算機技術得到了較快發(fā)展，研究者開始應用計算機技術解決生物學問題，生物信息學初步形成。1986年，美國科學家首次提出“人類基因組計劃”（human genome project，hgp），促進了生物信息學的迅速發(fā)展。1987年，hwa a.lim博士首次將這一學科命名為“bioinformatics”（生物信息學）。正如dulbecco 1986年所說：“人類的dna序列是人類的真諦，這個世界上發(fā)生的一切事情，都與這一序列息息相關?！钡@些由數(shù)以億計acgt符號組成的dna序列中包含著什么信息？基因組中的這些信息怎樣控制有機體的發(fā)育？基因組本身又是怎樣進化的？要完全破譯這一序列以及

16、相關的內(nèi)容，人類還有相當長的路要走。生物信息學成為可能揭開謎底的重要方法之一。1.1.2研究內(nèi)容生物信息學的目標是指導生命科學研究，以揭示生物數(shù)據(jù)中蘊含的生物學知識和規(guī)律，讀懂基因組的遺傳信息。其研究內(nèi)容主要包括以下兩大方面。1.生物數(shù)據(jù)的存儲、管理和整合生物數(shù)據(jù)主要有生物序列數(shù)據(jù)（如dna序列、蛋白質(zhì)序列等）、生物分子結(jié)構(gòu)數(shù)據(jù)、芯片及基因表達數(shù)據(jù)、生物網(wǎng)絡數(shù)據(jù)（如蛋白質(zhì)相互作用網(wǎng)絡、調(diào)控網(wǎng)絡、代謝網(wǎng)絡等）、生物文獻數(shù)據(jù)等。目前在國際上總共約有1 000多個生物數(shù)據(jù)庫，存放數(shù)百tb（tera byte）的生物數(shù)據(jù)。由于大多數(shù)生物數(shù)據(jù)的含義目前還不為人們所知，因此大量的生物學研究將基于生物數(shù)據(jù)進

17、行。生物學研究手段由單純的觀察和實驗轉(zhuǎn)向現(xiàn)代信息學方法，即將生物的實驗變成了數(shù)據(jù)的計算。生物數(shù)據(jù)是一種非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量巨大、種類繁多、數(shù)據(jù)操作類型復雜等是其主要的特征。其表達和存儲方式是生物數(shù)據(jù)訪問和處理的關鍵。目前，生物數(shù)據(jù)的存儲方式有兩種：一種是采用文本文件方式存儲；另一種是采用關系數(shù)據(jù)庫、xml（extensible markup language）數(shù)據(jù)庫或者面向?qū)ο髷?shù)據(jù)庫等存儲方式，但是由于沒有合適的數(shù)據(jù)模型或數(shù)據(jù)類型，生物數(shù)據(jù)在這種存儲方式中也只是用數(shù)據(jù)庫管理系統(tǒng)（database management system，dbms）中提供的文本字段來存儲。就是說，兩者本質(zhì)上是一樣的，

18、都是文本方式。文本方式對復雜的生物數(shù)據(jù)操作（如：生物序列相似性查詢、motif查詢等）而言，處理效率是難以令人滿意的，也即目前的數(shù)據(jù)庫技術（包括xml數(shù)據(jù)庫技術）都不適合生物數(shù)據(jù)的存儲、管理和處理，這直接影響了生物信息學軟件的有效性和實用性，進而影響了生命科學和生物技術的發(fā)展。另外，文本方式的存儲在生物數(shù)據(jù)的處理能力和處理性能上也都不能滿足要求。因此，如何有效地管理和處理生物數(shù)據(jù)是一個亟待解決的問題。針對生物數(shù)據(jù)的特點，建立生物數(shù)據(jù)庫管理系統(tǒng)是一個關系生命科學與技術發(fā)展的重要課題。由于生物數(shù)據(jù)產(chǎn)生于世界各地的研究機構(gòu)，存儲在各種生物數(shù)據(jù)庫中，因此為完成一項研究工作，需要整合這些分散在各研究機構(gòu)

19、中的生物數(shù)據(jù)。但因為生物數(shù)據(jù)庫數(shù)量眾多且規(guī)模龐大，所以生物數(shù)據(jù)整合是一項艱巨的計算機工程任務。2.生物數(shù)據(jù)挖掘和分析生物信息學領域的核心內(nèi)容是研究如何通過對生物數(shù)據(jù)的分析，以期發(fā)現(xiàn)生物數(shù)據(jù)中的規(guī)律（如dna序列、結(jié)構(gòu)及其與生物功能之間的關系等），并對分析結(jié)果進行解釋和可視化，其研究范圍涉及基因組學、蛋白質(zhì)組學、系統(tǒng)生物學、比較基因組學等，挖掘和分析的內(nèi)容包括生物序列數(shù)據(jù)的分析和挖掘、蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)的分析和挖掘、生物網(wǎng)絡系統(tǒng)的分析和挖掘、芯片和基因表達數(shù)據(jù)分析等內(nèi)容。（1）生物序列數(shù)據(jù)的分析和挖掘序列比對：序列相似性研究是生物序列數(shù)據(jù)分析和挖掘研究的核心內(nèi)容，其中一個主要的應用問題是給定一條生物

20、序列，在序列數(shù)據(jù)庫中查詢與其相似程度大于一定閾值的序列（比較兩個或兩個以上的序列的相似性），即生物序列相似性查詢。序列比對是最基本、最重要的方法之一，它根據(jù)給定的相似矩陣（pam250，blosum62等），同時考慮可能的插入、刪除和突變，找出序列間的最優(yōu)聯(lián)配。序列比對主要有全局比對和局部比對兩種策略：全局比對是對序列的全長進行比對，適用于全局水平上相似性程度較高的序列；典型的算法有needleman-wunsch算法等；局部比對是尋找序列間相似性最大的子序列，典型的算法有基于動態(tài)規(guī)劃思想的smith-waterman算法以及啟發(fā)式的兩序列比對數(shù)據(jù)庫相似性搜索算法fasta和blast（bas

21、ic local alignment search t001）等。多序列比對是將一組序列同時進行比對，發(fā)現(xiàn)序列間的相似程度，大多采用啟發(fā)式算法，具有代表性的主要是漸進比對方法和迭代比對方法。功能元件分析：基因識別是識別dna序列上的具有生物學特征的片段，識別對象包括蛋白質(zhì)編碼（即基因的范圍和在序列中的位置），也包括其他具有一定生物學功能的功能元件，如轉(zhuǎn)錄因子、順式調(diào)控元件等。功能元件能夠表征序列的功能特征。序列上的功能元件主要包括編碼序列元功能片段和非編碼序列元功能片段等。其中，編碼序列可被轉(zhuǎn)錄并執(zhí)行一定的生物學功能；調(diào)控序列控制編碼序列的動態(tài)行為，如轉(zhuǎn)錄調(diào)控序列控制編碼序列的表達速率等。目前，“dna元件百科全書”（encyclopedia of dna elements，encode）計劃已開展人類基因組中功能元件的分析工作，但該計劃正處于初期，積累的數(shù)據(jù)仍然較少。（2）蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)的分析和挖掘人類基因工程的目的之一是要了解人體內(nèi)蛋白質(zhì)的結(jié)構(gòu)、功能、相互作用以及與各種人類疾病之間的關系。雖然蛋白質(zhì)由氨基酸的線性序列組成，但是只有折疊成特定的空間構(gòu)象才能具有相應的生物學功能。由于蛋白質(zhì)的三維結(jié)構(gòu)比其一級結(jié)構(gòu)在進化中更穩(wěn)定，同時也包含了較氨基酸序列（一級結(jié)構(gòu)）更多的信息，因此，蛋白質(zhì)結(jié)