Fiorano培訓(xùn)材料 第09課：DB組件的介紹

1、China Datang Corporation中國大唐集團(tuán)公司中國大唐集團(tuán)公司數(shù)據(jù)共享平臺項(xiàng)目建設(shè)數(shù)據(jù)共享平臺項(xiàng)目建設(shè)視頻培訓(xùn)會視頻培訓(xùn)會 China Datang Corporation第九課第九課 DB組件的介紹組件的介紹China Datang Corporation本課內(nèi)容本課內(nèi)容 Fiorano的簡單調(diào)試。 FioranoDB組件的介紹。 添加驅(qū)動程序。China Datang Corporation上周回顧上周回顧C(jī)hina Datang Corporation設(shè)計(jì)程序設(shè)計(jì)程序在編寫程序前首先需要設(shè)計(jì)程序。確定需要使用哪幾種組件。每一種組件需要多少個。每一個組件需要實(shí)現(xiàn)的功能。C

2、hina Datang Corporation新建程序新建程序用菜單-文件-new，開辟一個空白的工作面板。China Datang Corporation取得需要的組件取得需要的組件直接從組件面板中將DB組件拖到主面板中。DB組件的位置，組件面板-DB-DB主面板中就有了兩個DB組件。China Datang Corporation配置組件配置組件DB雙擊DB1組件，提示正在打開配置頁面，可以通過cancel取消剛才的操作。China Datang Corporation配置組件配置組件DB1打開后的配置頁面。第一頁數(shù)據(jù)庫連接配置。需要配置的參數(shù)：Database：選擇數(shù)據(jù)庫類型Driver

3、：數(shù)據(jù)庫驅(qū)動程序URL：該驅(qū)動下的連接參數(shù)User name：數(shù)據(jù)庫用戶名Password：數(shù)據(jù)庫密碼配置完成后使用右下角的Test測試數(shù)據(jù)庫連接。China Datang CorporationSQL配置配置配置組件執(zhí)行的sql點(diǎn)擊SQL configuration調(diào)出SQL配置頁面China Datang CorporationSQL配置配置該頁面下包含sql配置和高級屬性兩個分頁面。China Datang Corporation命名執(zhí)行的操作命名執(zhí)行的操作一個DB組件可以執(zhí)行多個sql語句，每個sql語句都需要命名以加以區(qū)分。點(diǎn)擊圖中的加號按鈕后可以添加表格。China Datang

4、Corporation選擇執(zhí)行方式選擇執(zhí)行方式幾乎所有的組件都有兩種執(zhí)行方式。Publish resultsScheduler分別對應(yīng)于一般的方式和按一定的計(jì)劃執(zhí)行。China Datang Corporation配置執(zhí)行方式只有在前面選擇執(zhí)行方式時選擇Scheduler才能配置這個頁面。China Datang Corporation異常處理異常處理，使用默認(rèn)方式。按Finish完成DB組件的配置。China Datang Corporation配置組件連接需要建立組件間的連接時，首先需要改變鼠標(biāo)的操作方式。在啟停程序的快捷按鈕的左側(cè)有兩個按鈕，分別表示鼠標(biāo)為拾取實(shí)體或是建立組件間的連接。點(diǎn)

5、擊右邊的按鈕后，就可以在組件間拖線，來建立聯(lián)系。在DB1的出口處按住鼠標(biāo)左鍵，拖到DB2的入口處放開。China Datang Corporation配置組件連接雙擊未配置的連接可以調(diào)出工具M(jìn)apper，配置組件間的聯(lián)系。或者通過鼠標(biāo)右鍵-Configure Transformation配置China Datang Corporation配置組件連接按住鼠標(biāo)的左鍵不放就可以拖放連接線。有兩種聯(lián)系，記錄集間的聯(lián)系和記錄集內(nèi)屬性的聯(lián)系。記錄集間的聯(lián)系由源出口的記錄集拖到結(jié)果集對應(yīng)的ZERO MANY上面。屬性間的聯(lián)系在屬性間直接拖線。China Datang Corporation程序調(diào)試技巧程序

6、調(diào)試技巧China Datang Corporation上周練習(xí)上周練習(xí)中的某些問題。驅(qū)動加載的問題，在后面講。發(fā)布運(yùn)行時的問題，節(jié)點(diǎn)選擇的問題。程序在正式運(yùn)行前需要指定每個組件運(yùn)行的節(jié)點(diǎn)。運(yùn)行這些組件的節(jié)點(diǎn)只能是連接到該FES的FPS。也就是說受該FES管理的FPS。如果是沒有連接到該FES的FPS，即便是在同一臺服務(wù)器上也是不能運(yùn)行該FES下的組件的。China Datang Corporation攔截?cái)?shù)據(jù)正常情況下，前面的組件的數(shù)據(jù)將直接傳送到下面的組件。這種數(shù)據(jù)的傳輸即不會經(jīng)過FES也不會經(jīng)過程序員的電腦。下圖中數(shù)據(jù)將直接由取數(shù)據(jù)組件傳送到存數(shù)據(jù)組件。為了調(diào)試的需要有時需要將數(shù)據(jù)攔截下

7、來，也就是讓取數(shù)據(jù)的組件把數(shù)據(jù)顯示在程序員的電腦上，而不是直接傳送到下面的組件。China Datang Corporation攔截?cái)?shù)據(jù)攔截?cái)?shù)據(jù)一般也稱為設(shè)置斷點(diǎn)。選中連接線右鍵-Set Event Interceptor設(shè)置斷點(diǎn)后的程序顯示如下面的右圖，顏色會變成紅色。China Datang Corporation攔截?cái)?shù)據(jù)攔截到數(shù)據(jù)后連接線就會發(fā)生相應(yīng)的變化。線條變藍(lán)、加粗和不停的閃動。下圖表示已經(jīng)攔截到了數(shù)據(jù)。這時雙擊連接線就可以查看所傳送的數(shù)據(jù)。China Datang Corporation查看數(shù)據(jù)雙擊連接線就可以查看所傳送的數(shù)據(jù)。這個窗口主要有兩部分，上面顯示一共有多少批次的數(shù)據(jù)。

8、通俗的說法是前面的組件發(fā)出多少批的數(shù)據(jù)。下面部分，顯示選中的批次的內(nèi)容。最下面有一些操作按鈕。對于DB組件每個批次包含多少記錄，在DB組件中可以設(shè)置。China Datang Corporation數(shù)據(jù)操作數(shù)據(jù)一旦被攔截后，就不會被自動傳往下面的組件。在這個窗口的下面有五個按鈕可以對攔截到的數(shù)據(jù)進(jìn)行操作。Forward 將選中的批次的數(shù)據(jù)傳往下面的組件。Forword All將所有批次的數(shù)據(jù)傳往下面的組件。Discard 丟棄選中的批次的數(shù)據(jù)。Discard All 丟棄所有數(shù)據(jù)。Close 關(guān)閉窗口，不對數(shù)據(jù)進(jìn)行任何操作。Forward和Discard是對選中批次的數(shù)據(jù)進(jìn)行操作，但事實(shí)上，斷

9、點(diǎn)中的數(shù)據(jù)只能先進(jìn)先出，也就是說只有第一個批次的數(shù)據(jù)這兩個選項(xiàng)才有效。后面的數(shù)據(jù)要在前面的數(shù)據(jù)處理后才能操作。China Datang Corporation取消斷點(diǎn)已設(shè)置的斷點(diǎn)可以通過右鍵-Remove Event interceptor取消。如果斷點(diǎn)中沒有攔截的數(shù)據(jù)，斷點(diǎn)將直接取消。如果斷點(diǎn)中有數(shù)據(jù)將會提示對數(shù)據(jù)操作，然后取消斷點(diǎn)。Forward All將數(shù)據(jù)傳輸?shù)较乱粋€組件后取消斷點(diǎn)，Dispose All丟掉數(shù)據(jù)后取消斷點(diǎn)，Cancel放棄。China Datang Corporation說明設(shè)置斷點(diǎn)事實(shí)上是通過向前面的組件發(fā)出了命令，將傳往下一個組件的數(shù)據(jù)傳往程序員的電腦。節(jié)點(diǎn)在接到

10、命令后就會對命令做出反應(yīng)?？梢岳斫鉃?，只有節(jié)點(diǎn)在線的情況下，才能有效的設(shè)置斷點(diǎn)，如果節(jié)點(diǎn)不在線或是不存在，那么就不能設(shè)置有效的斷點(diǎn)，甚至報(bào)錯。數(shù)據(jù)只能被一個工具攔截，也就是說某個程序員設(shè)置斷點(diǎn)后，其他的程序員在相同的地方設(shè)置斷點(diǎn)時會報(bào)錯。攔截到的數(shù)據(jù)是放在內(nèi)存中的，如果攔截到的數(shù)據(jù)很多，會對程序員的電腦造成壓力。退出打開的程序?qū)⒆詣尤∠O(shè)置的斷點(diǎn)。China Datang CorporationDB組件的介紹組件的介紹China Datang CorporationDB組件介紹DB組件是Fiorano提供的用于對數(shù)據(jù)庫進(jìn)行操作的組件。DB組件可以看作一個容器，F(xiàn)iorano通過組件連接數(shù)據(jù)庫，

11、將需要的參數(shù)輸入給數(shù)據(jù)庫，把SQL語句交由數(shù)據(jù)庫執(zhí)行，然后取得需要的結(jié)果并且把這些得到的數(shù)據(jù)傳輸出去。DB組件支持對目前主流數(shù)據(jù)庫的連接。DB組件可以實(shí)現(xiàn)取數(shù)據(jù)，對數(shù)據(jù)的更新、寫入、刪除和調(diào)用存儲過程。DB組件在配置時，需要連接到數(shù)據(jù)庫。配置完的組件再次打開時會自動檢查數(shù)據(jù)庫連接，如果連接中斷會在嘗試連接后報(bào)錯。在寫SQL語句時自動根據(jù)需要的屬性列和得到的屬性列生成出口和入口參數(shù)，包括出入口的屬性名和屬性的類型。DB組件可以通過配置執(zhí)行方式使組件不停的執(zhí)行。China Datang CorporationDB對數(shù)據(jù)庫的連接DB組件并沒有自帶任何數(shù)據(jù)庫的驅(qū)動程序，在連接數(shù)據(jù)前需要加載這些驅(qū)動程序

12、。連接數(shù)據(jù)庫的一般參數(shù)包括數(shù)據(jù)庫類型，驅(qū)動，連接的URL，用戶名和密碼等。URL數(shù)據(jù)庫類型和驅(qū)動類型對應(yīng)，不同的數(shù)據(jù)庫和不同的驅(qū)動程序有不同URL格式。China Datang CorporationDB對數(shù)據(jù)庫的連接其他的重要參數(shù)有數(shù)據(jù)庫自動提交auto commit，SQL執(zhí)行時間，每批返回的數(shù)據(jù)量Fetch size。Auto commit一般使用默認(rèn)選擇，也就是由組件在SQL執(zhí)行完后執(zhí)行提交工作，將所做的操作寫入數(shù)據(jù)庫。Query timeout SQL執(zhí)行時間限制。DB組件將SQL語句交給數(shù)據(jù)庫執(zhí)行后，并不會無限制等待，超過這個時間限制，將會被DB組件強(qiáng)制提交或是回滾，而導(dǎo)致SQL執(zhí)

13、行失敗。對于需要的時間比較長的SQL就需要將這個參數(shù)調(diào)大。Fetch size單獨(dú)使用時并沒有太大的作用，與后面的某個參數(shù)配合使用可以決定每個批次的數(shù)據(jù)的多少，或者說每個批次有多少條記錄。China Datang Corporation配置SQL語句DB組件支持的操作包括select（取數(shù)據(jù)）、insert、update、delete、存儲過程和監(jiān)視表格。對于存儲過程，有時間的話將在后面介紹。對于監(jiān)視表格，DB會在配置時自動修改數(shù)據(jù)庫中的某些信息，所以一般不推薦使用。一個DB組件可以執(zhí)行多個SQL語句。China Datang Corporation配置頁面介紹在DB組件的SQL配置頁面中上面

14、的框中顯示的該DB組件下已有的SQL語句。下面的方框顯示選中的SQL的詳細(xì)信息。上面框的右邊有4個功能按鈕，分別可以進(jìn)行相應(yīng)的操作。包括增加、修改、刪除和執(zhí)行。China Datang Corporation添加SQL語句通過ADD按鈕可以添加相應(yīng)SQL語句。China Datang Corporation查詢SQL語句在上面窗口中出現(xiàn)的只是SQL語句的SQL的名稱，需要查詢SQL的具體信息時需要選中SQL后查詢下面的窗口。下面的窗口一共有4個分頁，包括具體的SQL語句，輸入端口、輸出端口和其他的選項(xiàng)。China Datang Corporation查詢SQL語句對于Test1來說并沒有入口參

15、數(shù)，卻有出口參數(shù)。對于Test1語句從output中就可以看到這條語句執(zhí)行后形成的出口參數(shù)，包括結(jié)果集的名稱，各個屬性的名稱和屬性的類型。這里出現(xiàn)的參數(shù)與配置連接線時出現(xiàn)的出口參數(shù)是對應(yīng)的。通過右上角的advanced可以看到其他的一些信息。China Datang Corporation查詢SQL語句通過右上角的advanced可以看到其他的一些信息。這里出現(xiàn)的一些信息不準(zhǔn)備詳細(xì)介紹。一般來說，當(dāng)SQL語句完成時，DB組件會自動檢查數(shù)據(jù)庫將這些參數(shù)配置完成，并不需要程序員做很多修改。China Datang Corporation修改SQL語句通過第二個按鈕可以修改選中的修改語句。能做的修改

16、包括SQL的名稱和具體的SQL語句。DB組件中SQL語句間的順序不能修改。China Datang Corporation修改SQL語句通過彈出的頁面可以修改SQL語句。但SQL語句修改后，DB組件一般會自動修改出口的參數(shù)，入口參數(shù)需要手動調(diào)整。通過下面的兩個選項(xiàng)可以使出口和入口的參數(shù)保持不變。China Datang Corporation刪除SQL通過第三個按鈕可以刪除不需要的SQL語句。需要刪除SQL語句時會出現(xiàn)提示窗口，確認(rèn)所做的操作。按是的話，該語句將被刪除。China Datang CorporationSQL語句的執(zhí)行通過第四個按鈕可以執(zhí)行選中的SQL語句。新編程序或是在調(diào)試的時

17、候可以通過這里的執(zhí)行來測試所寫的SQL語句是否能得到需要的結(jié)果。China Datang CorporationSQL語句的執(zhí)行按下第四個按鈕后出現(xiàn)下面的窗口。第一個分頁面時輸入?yún)?shù)頁面，對于這條SQL不需要輸入?yún)?shù)。按下下面的RUN會執(zhí)行相應(yīng)的SQL語句。China Datang CorporationSQL語句的執(zhí)行按下下面的RUN后得到的結(jié)果。China Datang CorporationSQL語句的執(zhí)行對于有輸入?yún)?shù)的SQL語句就需要在第一個分頁中輸入相應(yīng)的參數(shù)，SQL才能執(zhí)行。否則會抱錯。下面是上次可第二個組件的Insert語句，需要在Value中寫入相應(yīng)的值后，才能運(yùn)行。Name

18、為屬性名，Type為屬性的存儲類型，Value為具體的值。China Datang CorporationSQL語句的執(zhí)行對于對數(shù)據(jù)庫有數(shù)據(jù)操作的SQL語句，在執(zhí)行后可以將SQL執(zhí)行對數(shù)據(jù)庫所做的操作提交或是回滾。Commit為提交，Rollback為回滾。當(dāng)按下Commit時剛才執(zhí)行的insert語句，產(chǎn)生的相應(yīng)的記錄將會被寫入數(shù)據(jù)庫。China Datang CorporationSQL語句的執(zhí)行推出執(zhí)行頁面可以通過第四個按鈕cancel。如果剛運(yùn)行的SQL語句對數(shù)據(jù)進(jìn)行了操作，cancel意味著退出的同時回滾，也就是不將操作結(jié)果寫入數(shù)據(jù)庫。China Datang Corporation

19、編寫SQL語句編寫SQL語句可以通過彈出的頁面進(jìn)行可視化的操作，這種可視化的操作對于簡單的SQL語句來說非常方便，但是對于復(fù)雜的SQL語句，這種方式顯得很煩瑣。China Datang Corporation編寫SQL語句對于復(fù)雜的SQL語句，特別是復(fù)雜的SELECT語句，建議在數(shù)據(jù)庫的工具中寫完SQL語句直接復(fù)制到SQL的窗口中。在按下確定后，DB組件將自動檢查SQL語句是否合法以及配置相應(yīng)的出入口參數(shù)。對于有問題的SQL語句會出現(xiàn)相應(yīng)的出錯信息。China Datang Corporation帶參的SQL語句對于insert和update語句一般是帶有輸入?yún)?shù)的。某些SELECT語句也可能

20、帶有輸入?yún)?shù)。例如符合某個條件的SQL語句，而這個條件又是不確定的，需要有前面的組件給出。這些SQL語句使用？表示輸入?yún)?shù)。例如上課中的insert語句。INSERT INTO DATANG.TEST_B( A, B, C )VALUES ( ?, ?, ? )China Datang Corporation帶參的SQL語句帶入口參數(shù)的SELECT語句可以先在數(shù)據(jù)庫的工具中使用某個具體的值替代這個參數(shù)值。復(fù)制到DB組件時將這個數(shù)值改為?即可。例如對TEST_B的A列檢索，查詢需要的值。SELECT * FROM TEST_BWHERE A=A復(fù)制到DB組件時直接將A=A，改為A=？即可SELE

21、CT * FROM TEST_BWHERE A=？China Datang Corporation帶參的SQL語句帶參SQL語句在修改時需要對入口參數(shù)進(jìn)行手動配置。當(dāng)上面的SQL通過EDIT修改后，入口參數(shù)需要手工調(diào)整。這時需要重新給出入口的屬性名和數(shù)據(jù)類型。INSERT INTO DATANG.TEST_B( A, B, C )VALUES ( ?, ?, ? )INSERT INTO DATANG.TEST_B( A, B)VALUES ( ?, ? )China Datang Corporation帶參的SQL語句修改這些參數(shù)的名稱和類型可以直接在上面修改。對于簡單的需要輸入?yún)?shù)的SQL

22、語句，不建議使用EDIT來修改?？梢杂脛h除后新建來自動匹配入口參數(shù)。China Datang CorporationSQL頁面的其他參數(shù)SQL配置頁面有兩個分頁，SQL寫完后可以配置其他的一些參數(shù)。China Datang CorporationSQL頁面的其他參數(shù)這里有幾個重要的參數(shù)，一般情況下可以使用默認(rèn)。Maximum Response Size ：DB組件的出口傳送數(shù)據(jù)時每批次數(shù)據(jù)的最大數(shù)據(jù)量。Commit Mode：SQL執(zhí)行時數(shù)據(jù)庫提交方式。Generate response for no selected records：SQL沒有得到數(shù)據(jù)時，DB組件產(chǎn)生一個空的消息傳遞給后面的

23、組件。China Datang CorporationSQL頁面的其他參數(shù)Maximum Response Size ：DB組件的出口傳送數(shù)據(jù)時每批次數(shù)據(jù)的最大數(shù)據(jù)量。一條SQL語句在執(zhí)行時可能會得到非常多的數(shù)據(jù)，DB組件在得到數(shù)據(jù)庫給出的數(shù)據(jù)后并不是把所有數(shù)據(jù)一次性全部發(fā)出。DB組件將根據(jù)這個值的大小限定每批次的最大數(shù)據(jù)量，分批發(fā)出這些數(shù)據(jù)。例如SQL查詢得到100W條記錄，限定值為100，那么DB組件為將這些記錄分為1W個批次，每個批次發(fā)出100條記錄。這個值得調(diào)節(jié)并不是無限的，受到數(shù)據(jù)庫連接配置時的Fetch size的限制。即便調(diào)大Fetch size的值，這個參數(shù)也不能無限調(diào)大。Ch

24、ina Datang CorporationSQL頁面的其他參數(shù)每批次的最大數(shù)據(jù)量的作用，首先是對網(wǎng)絡(luò)的影響。其次是影響DB組件執(zhí)行的速度。DB組件在接到數(shù)據(jù)庫返回的數(shù)據(jù)時，需要將數(shù)據(jù)分批傳遞出去，這需要DB組件消耗一定的時間，限定的值越大，消耗的時間越短。對后面的組件的執(zhí)行速度的影響，這個影響以后再講。某些程序?yàn)榱颂幚淼姆奖憧赡芤竺總€批次只有一條記錄。China Datang CorporationSQL頁面的其他參數(shù)Commit Mode：SQL執(zhí)行時數(shù)據(jù)庫提交方式。有入口參數(shù)的組件，接到數(shù)據(jù)后會啟動相應(yīng)的SQL語句。例如insert語句，當(dāng)前方來了一個批次200條記錄時，DB組件將數(shù)據(jù)

25、傳往數(shù)據(jù)庫并執(zhí)行寫操作。一般來說一批數(shù)據(jù)會執(zhí)行一次SQL語句。Commit Mode：SQL執(zhí)行時的提交方式，一般的話一個批次200條記錄全部寫入數(shù)據(jù)庫后才提交。這種一次性提交方式下，200條記錄中只要有1條記錄有問題，將會導(dǎo)致所有記錄全部拋棄，也就是剩下的199條記錄也無法寫入數(shù)據(jù)庫。China Datang CorporationSQL頁面的其他參數(shù)Commit Mode：SQL執(zhí)行時數(shù)據(jù)庫提交方式。Auto 自動提交：200條記錄1條出錯，剩余的199條記錄將被作為異常數(shù)據(jù)處理。After Batch 按批提交，需要附帶設(shè)置下一個的參數(shù)。AfterRow 逐條提交，每執(zhí)行一條記錄提交一次

26、。也就是剩余的199條記錄會被寫入數(shù)據(jù)庫。AfterDocument 默認(rèn)方式，一批數(shù)據(jù)執(zhí)行完后，一起提交。剩余的199條記錄直接作為錯誤拋出，不會啟動異常處理。China Datang CorporationSQL頁面的其他參數(shù)Commit Mode：SQL執(zhí)行時數(shù)據(jù)庫提交方式。提交的方式會影響數(shù)據(jù)的正確寫入。對于insert和update的操作，考慮到可能的錯誤，根據(jù)需要一般選用逐條提交。提交方式的不同還影響到DB組件執(zhí)行的速度。逐條提交執(zhí)行的速度最慢。China Datang CorporationSQL頁面的其他參數(shù)Generate response for no selected r

27、ecords：SQL沒有得到數(shù)據(jù)時，DB組件產(chǎn)生一個空的消息傳遞給后面的組件。一個程序中后面的組件需要得到前面的組件傳輸?shù)臄?shù)據(jù)時才能執(zhí)行，如果前面的組件沒有數(shù)據(jù)返回，一般也就不會有數(shù)據(jù)傳出，后面的組件也無法執(zhí)行有關(guān)的操作。而此時又想啟動后面組件有關(guān)的操作，可以選中這個參數(shù)，發(fā)出一個空消息，就可以運(yùn)行后面的組件，執(zhí)行相關(guān)的操作。China Datang Corporation執(zhí)行方式在SQL配置頁面中有一個執(zhí)行方式的選項(xiàng)，有兩種方式。Publish Results 普通方式，接受到數(shù)據(jù)時執(zhí)行相關(guān)操作，用于程序中后面的組件。Scheduler 按照某種計(jì)劃執(zhí)行。用戶程序的第一個組件。China D

28、atang Corporation執(zhí)行方式選擇Scheduler 方式執(zhí)行的話，需要配置執(zhí)行方式的頁面。第一個參數(shù)：polling start time，啟動時間，意義不大。Interval between polls：相隔兩次執(zhí)行的間隔時間。Number of polls：執(zhí)行次數(shù)。只有在不是無限次執(zhí)行的情況下才有效。Infinite times：是否無限次執(zhí)行。選中為無限次執(zhí)行。China Datang Corporation異常處理DB組件提供了一些異常處理。關(guān)于這里的選項(xiàng)在做出選擇的時候需要清楚可能導(dǎo)致的后果，這里只介紹一個。Connection Error，連接異常。組件在執(zhí)行操作時與數(shù)據(jù)庫連接中斷的情況。默認(rèn)選擇是發(fā)出錯誤信息，不進(jìn)行其他操作。這種選擇導(dǎo)致一旦數(shù)據(jù)庫連接中斷，DB組件就無法正常運(yùn)行。China Datang Corporation異常處理可以選中上面的Try rec