科技安裝手冊stre使用手冊t

1、Transwarp Data Hub Version 4.7 StreamSQL使用手冊星環(huán)信息科技（上海）版本號 T00147-10-010, 2017-01-12目錄1. Inceptor StreamSQL簡介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.1. StreamSQL的優(yōu)勢 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2. StreamSQL的技術(shù)指標 . . . . . . . . .

2、 . . . . . . . . . . . . . . . . . . . . . . . .2224456789991010111111121313131416161616171717171818181818181819191919192.快速入門 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...建Kafka數(shù)據(jù)源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3、. . .建Stream及觸發(fā)StreamJob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .接收并處理Kafka傳來的數(shù)據(jù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .停止Streamjob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.StreamSQL基礎(chǔ) . . . . . . . . . . . . . . . . . . . . .

4、. . . . . . . . . . . . . . . . .3.1. Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.1.1. Input Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.1.2. Derived Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.2.

5、.StreamJob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .與普通SQL最大的兩個區(qū)別 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.4.1. DML SQL背景運行 . . . . . . . . . . . . . . . . .

6、. . . . . . . . . . . . . . .3.4.2. 結(jié)果輸出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .交互方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .DDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1. Stream管理 .

7、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.1. CREATE STREAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....1.3.Kafka為源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Socket為源 . . . . . . . . . . . . . . . .

8、. . . . . . . . . . . . . . . . .復雜數(shù)據(jù)類型格式的指定 . . . . . . . . . . . . . . . . . . . . . . . . . . ......復雜類型STRUCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . .復雜類型ARRAY . . . . . . . . . . . . . . . . . . . . . . . . . . . . .復雜類型MAP . . . . . . . . . .

9、 . . . . . . . . . . . . . . . . . . . .復雜類型TIMESTAMP . . . . . . . . . . . . . . . . . . . . . . . . . . .. 自定義用戶數(shù)據(jù). . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.2. CREATE STREAM AS SELECT . . . . . . . . . . . . . . . . . . . . . . . . . . . .. FILTER轉(zhuǎn)化 . . . . . . . .

10、. . . . . . . . . . . . . . . . . . . . . . . . .. WINDOW轉(zhuǎn)化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...5.SHOW STREAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .DESCRIBE STREAM . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11、 . . . .ALTER STREAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....重命名Input Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . .修改Input增加Input替換InputStream屬性 . . . . . . . . . . . . . . . . . . . . . . . . . . . .Stream列 . . . . . . .

12、. . . . . . . . . . . . . . . . . . . . . .Stream列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.6. DROP STREAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2. Application管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.1. CREATE APPLIC

13、ATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....5.2.6.DESCRIBE APPLICATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .SHOW CURRENT APPLICATION . . . . . . . . . . . . . . . . . . . . . . . . . . . .2020202020202121212121222323232424262727272

14、82828292930313132323232323333333334353535353537ALTER APPLICATIONSHOW APPLICATIONS DROP APPLICATIONS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.3. StreamJob管理 . .

15、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....3.6.CREATE STREAMJOB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .DESCRIBE STREAMJOB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .ALTER STREAMJOB . . . . . . . . . . .

16、. . . . . . . . . . . . . . . . . . . . .SHOWLIST DROPSTREAMJOB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .STREAMJOB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .STREAMJOB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.DML . . . . . . . .

17、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.1. 窗口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....6.1.5.滑動窗口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .跳動窗口 . . . . . . . . . . . . . . . .

18、. . . . . . . . . . . . . . . . . . . .時間切分的其他設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .對Window Stream的聚合操作 . . . . . . . . . . . . . . . . . . . . . . . . . . .流之間的關(guān)聯(lián) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.2. 輸出方式 . . . . . . . . . . . . . . . . . . .

19、 . . . . . . . . . . . . . . . . . . ...3.6.3.輸出到流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .輸出到表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .批量Flush到HDFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .：SELECT . .

20、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.3.1. Ad-hoc6.4. 流不支持的DML StreamSQL權(quán)限管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21、. . . . . . .7.7.1. 授予權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....授予全局權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .授予database級別權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .授予Application級別權(quán)限 . . . . .

22、. . . . . . . . . . . . . . . . . . . . . . .授予Stream級別權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7.2. 收回權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....收回全局權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23、 .收回Database級別權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .收回Application級別權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . .收回Stream級別權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7.3. 查看權(quán)限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24、 . . . .7.4. StreamSQL操作所需權(quán)限總結(jié) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .運行時管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.1. 全局管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.1.1. 背壓功能（Back Pressure） . . . . . . . . .

25、 . . . . . . . . . . . . . . . . . .8.2. Application級別管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.3. StreamJob級別管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.9. 高級功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.1.告警

26、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37373737373838383838383939393939394040414243444444454546474747484949505153545556565757599.2. 高可用性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.2.1. 開啟CheckPoint . . . . . . . . . . . . . . . .

27、. . . . . . . . . . . . . . . . .9.2.2. 啟動Standby InceptorServer . . . . . . . . . . . . . . . . . . . . . . . . . . .9.3. At-Least-Once支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.4. 自定義參數(shù)設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..4.2.9.

28、4.3.Batch duration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Kafka receiver個數(shù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Holodesk窗口設(shè)置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9.5. PLSQL . . . . . . . . . . . . . . . . . . . . . . . . . .

29、 . . . . . . . . . . . . ......7.開啟流上的PLSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .開啟PLSQL的編譯優(yōu)化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .禁用print . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .嵌套SELECT需

30、要加 Ad-hoc的hint . . . . . . . . . . . . . . . . . . . . . . . . .數(shù)據(jù)庫名不以數(shù)字起始 . . . . . . . . . . . . . . . . . . . . . . . . . . . .簡單函數(shù)示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .游標示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10. StreamSQL實戰(zhàn) . .

31、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....Application間的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .流上的統(tǒng)計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .按時間字段切分的多流關(guān)聯(lián) . . . . . . . . . . . . . . . . . . . .

32、 . . . . . . . . .流上的PL/SQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .StreamJob的持久化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .高級功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0.6.3.郵件警告 . . . . . . . . . .

33、. . . . . . . . . . . . . . . . . . . . . . . . .高可用性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Holodesk配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11. StreamSQL參數(shù)整理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .附錄 A: Kafka基礎(chǔ)

34、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.1. 基礎(chǔ)概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.1.1.A.1.2.A.1.3.Topic和Producer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Consumer和Consumer Group . . . . . . . . . . .

35、. . . . . . . . . . . . . . . . .Replication和Failover . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.2. Kafka相關(guān)的簡單使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.2.1.A.2.2.A.2.3.A.2.4.A.2.5.A.2.6.啟動Zookeeper和Kafka服務 . . . . . . . . . . . . . . . . . . . . . . . . . . . .創(chuàng)

36、建Topic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .查看Topic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .用Producer消息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .用Consumer接收消息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37、.Kafka權(quán)限管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.2.6.1.A.2.6.2.A.2.6.3.授予權(quán)限 .查看權(quán)

38、限 .收回權(quán)限 .客戶服務 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .免責本說明書依據(jù)現(xiàn)有信息制作,其內(nèi)容更改,恕不另行通知。星環(huán)信息科技(上海)有限公司在編寫該說 明書的時候已盡最大努力保證期內(nèi)容準確可靠,但星環(huán)信息科技(上海)不對本說明書中的遺漏、使用請以實際使用為準。確或印刷錯誤導致的損失和損害承擔責任。具體注釋: Hadoop® 和 SPARK® 是ApacheTM 軟件商標。 Java® 是 Oracle公司在美國和其他和Xeon&

39、#174; 是英特爾公司在美國、中國和其他在美國和其他的商標或的的商標或的商標或的商標。 Intel®的商標。所有 © 2013年-2017年星環(huán)信息科技(上海)。保留所利。©星環(huán)信息科技(上海)改權(quán)。本說明書 的所有,并保留對本說明書及本的最終解釋權(quán)和修歸星環(huán)信息科技(上海)所有。未得到星環(huán)信息科技(上海)的,任何人 不得以任何方式或形式對本說明書內(nèi)的進行、摘錄、備份、修改、途。、翻譯成其他語言、或?qū)⑵淙炕虿糠钟糜谏虡I(yè)用手冊版本信息版本號: T00147-10-010發(fā)布日期: 2017-01-12Preface | 11. Inceptor StreamSQ

40、L簡介在4.3版本之前，Transwarp Data Hub（TDH）上的流處理應用必須用Java或者scala開發(fā)，這將流處理應用的開發(fā)門檻設(shè)置得非常高。從TDH 4.3開始，Transwarp Stream引入全新的StreamSQL使得用戶可以通過SQL的方式實現(xiàn)業(yè)務邏輯，大大降低了流應用開發(fā)的門檻。所以，星環(huán)科技推薦多數(shù)用戶采用StreamSQL開發(fā)流應用。StreamSQL幾乎可以應用于所有業(yè)務場景，包括ETL工具，規(guī)則業(yè)務邏輯，用戶可以選擇使用PLSQL，屬于StreamSQL的高級功能。工具等簡單業(yè)務場景。對于更復雜的1.1. StreamSQL的優(yōu)勢相對于采用編程的方式開發(fā)流應

41、用，采用StreamSQL具有以下優(yōu)勢：極高的易用性以往的流處理平臺有較高的入門門檻，比如Spark Streaming，Storm，必須對框架以及流處理本身，甚至是底層技術(shù)比較熟悉的情況下，才能寫出高效的流處理程序。這大大地限制了流處理的推廣和應用。而使用StreamSQL，用戶只需要有編寫普通SQL的經(jīng)驗，就可以寫出高效、安全、穩(wěn)定的流處理應用。性能提升在一些條件下，采用StreamSQL的方式甚至比編程方式獲得更高的性能提升。這是因為StreamSQL做了一些特殊優(yōu)化，在編程模式下無法輕易實現(xiàn)。比如，多條同一個輸入流的SQL只需一份數(shù)據(jù)；增加迭代框架，使得原本無法利用Spark API進

42、行優(yōu)化的迭代計算效率大大提升。化程度高通過編程的方式來實現(xiàn)流處理的另一個問題是化程度非常低。由于編程有較高的自由度，出現(xiàn)問題的可能性很大；而又由于編程的方式將流處理平臺和用戶程序綁定在一起，用戶沒辦法很好地區(qū)分是自己代碼的問題還是平臺的問題，導致無法及時地分析出錯品化程度。SQL作為一個通用的接口將大大地提高產(chǎn)遷移成本低用戶原有的業(yè)務邏輯很多是通過SQL實現(xiàn)的，如果通過編程的方式遷移到流上，遷移成本非常高，還不能保證遷移后的邏輯是否正確。而一旦采用StreamSQL的方式，用戶只需要修改少量SQL，遷移成本幾乎接近零。1.2. StreamSQL的技術(shù)指標 99%的ANSI SQL 2003的

43、支持率為了降低應用遷移成本, StreamSQL使用了完整的SQL編譯器,支持ANSI SQL 92和SQL 99標準,并且支持ANSI SQL 2003 OLAP擴展,可以滿足絕大部分現(xiàn)有業(yè)務對SQL的要求,方便應用平滑遷移。95%的PLSQL Oracle以及PLSQL DB2的支持率StreamSQL完美兼容PLSQL Oracle 11g 以及PLSQL DB2最新版本，可以滿足大多數(shù)用戶的復雜業(yè)務場景。強大的優(yōu)化器提升性能2 | 1. Inceptor StreamSQL簡介除了更好的SQL語義分析層以外，StreamSQL包含強大的優(yōu)化器保證SQL在引擎上有最佳的性能。包含3級優(yōu)化

44、器：首先是基于規(guī)則的優(yōu)化器,應用靜態(tài)優(yōu)化規(guī)則并生成一個邏輯執(zhí)行計劃，其次是基于成本的優(yōu)化器,通過衡量多個不同執(zhí)行計劃的CPU，IO和網(wǎng)絡(luò)成本,來選擇一個更合理的計劃并生成物理執(zhí)行計劃；最后是代碼，對一些比較的執(zhí)行邏輯生成更高效的執(zhí)行代碼或者Java Byte Code，從而保證SQL業(yè)務在分布式平臺上有最佳性能。支持按數(shù)據(jù)字段時間切分滑動窗口和跳動窗口常見的流框架一般只系統(tǒng)時間做窗口切分，但這往往達不到實際應用的要求。因此，StreamSQL實現(xiàn)了復雜內(nèi)部邏輯，使得用戶通過簡單的SQL語法就能指定特定數(shù)據(jù)字段作為窗口的依據(jù)。用戶可以通過與SQL 2003兼容的Window語法來創(chuàng)建滑動窗口或者

45、跳動窗口，并在窗口上進行各種復雜的聚合操作。支持多種輸出方式包括Hyperbase，Hive以及Holodesk等。支持企業(yè)數(shù)據(jù)總線從一個流讀入數(shù)據(jù)，再將其輸入另一個流，比如一個常見的企業(yè)數(shù)據(jù)總線以Kafka為中間件。支持運行時保證多用戶安全、穩(wěn)定運行各自StreamSQL。原來流處理應用要么物理上完全，但無法共享硬件也不方便管理；要么部署在同一個集群，但可能導致分配不均，甚至有誤操作影響其它用戶的可能。而StreamSQL出運行時概念，能保證用戶啟動、查看和停止流處理應用的操作只能當前所在層進行。StreamSQL與ANSI SQL 2003無縫兼容比如，用戶可以使用 CREATE STRE

46、AM 創(chuàng)建流；使用 DESCRIBE STREAM 獲取流的信息；使用ALTER STREAM經(jīng)創(chuàng)建的流。修改已經(jīng)定義的流；使用DROP STREAM刪除流；使用SHOW STREAMS查看已1. Inceptor StreamSQL簡介 | 32. 快速入門在開始正式介紹StreamSQL之前，我們先演示一個簡單的StreamSQL例子。在這個例子中， 的console工具生成一些簡單的數(shù)據(jù)，并讓StreamSQL來處理。這個演示包含三個部分：使用Kafka1.2.建一個Kafka數(shù)據(jù)源；在Inceptor中建一個Stream并觸發(fā)StreamJob；3.在Inceptor中處理Stream

47、從Kafka數(shù)據(jù)源接收的數(shù)據(jù)。2.1. 建Kafka數(shù)據(jù)源1.登陸您集群中的一臺安裝了Kafka的節(jié)點。進入/usr/lib/kafka/bin目錄，該目錄下有建Kafka數(shù)據(jù)源的所需要的一些。2.建一個Kafka Topic執(zhí)行下面指令，運行/usr/lib/kafka/bin目錄下的kafka-create-topic.sh：./kafka-create-topic.sh -partition 3 -topic demo -zookeeper 28:2181 -broker 27:9092creation succeeded!該topic名稱為dem

48、o，使用28上的Zookeeper，分3個partition。注意,如果您的Kafka處在安全模式下,你需要另外提供創(chuàng)建topic用戶的principal和keytab,并且該用戶需要有創(chuàng)建topic的權(quán)限。詳細請參考kafka權(quán)限管理.pdf。3.查看Kafka Topic執(zhí)行下面指令，運行/usr/lib/kafka/bin目錄下的kafka-list-topic.sh：./kafka-list-topic.sh -zookeeper 28:2181topic: demo partition: 0leader: 5replicas: 5 isr: 5

49、topic: demo partition: 1leader: 6replicas: 6 isr: 6topic: demo partition: 2leader: 4replicas: 4 isr: 4我們可以看到剛才建的名為demo的topic和一些相關(guān)信息，這些信息的意義會在之后的介紹中解釋。4.建Kafka producer并發(fā)布消息執(zhí)行下面指令，運行/usr/lib/kafka/bin目錄下的kafka-console-producer.sh：./kafka-console-producer.sh -broker-list 28:9092 -topic demo這

50、里我們指定了使用28節(jié)點為Kafka broker（詳細介紹見后文），并且指定了producer發(fā)布消息的topic為demo。現(xiàn)在，我們可以在命令行中輸入一些消息，這些消息都將被發(fā)布給demo：hello world5.到此，我們已經(jīng)建好了一個Kafka數(shù)據(jù)源，并發(fā)布了一些消息。先不要停止上面producer的進程，讓它保4 | 2. 快速入門持運行，您可以繼續(xù)在命令行中輸入消息。現(xiàn)在您可以打開另一個窗口登陸集群，進入Inceptor，建一個Stream并觸發(fā)StreamJob的開始。2.2. 建Stream及觸發(fā)StreamJob1.登陸您集群中的任意一個節(jié)點，連接到I

51、nceptor。這里，我們以hive用戶的Inceptor Server 2。連接一個LDAP認證beeline -u "jdbc:hive2:/localhost:<port>/default" -n hive -p 123此處的port由Transwarp Manager配置頁上的參數(shù) hive.server2.thrift.port 配置，默認為10010。2.建一個StreamCREATE STREAM demo_stream(id INT, letter STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY

52、 ','TBLPROPERTIES("topic"="demo","kafka.zookeeper"="28:2181");這里，我們建了一個名為demo_stream的Stream，它使用Kafka為源，接收發(fā)布給名為demo的topic的消息，將接收的消息按“,”分隔為兩列：id（類型為INT）和letter（類型為STRING）。3.查看StreamSHOW STREAMS;+-+|tab_name|+-+| demo_stream |+-+我們可以看到剛剛建好的demo_

53、stream。4.創(chuàng)建并觸發(fā)一個StreamJoba. 建一張新表demo_table，它需要和demo_stream有相同的schema：CREATE TABLE demo_table(id INT, letter STRING);b. 向demo_tabledemo_stream中的數(shù)據(jù)，這個操作會觸發(fā)StreamJob的執(zhí)行：INSERT INTO demo_table SELECT * FROM demo_stream;+-+| _c0 |+-+-+5.列出正在運行的StreamJob執(zhí)行下面指令：LIST STREAMJOBS;我們可以看到下面輸出：2. 快速入門 | 5輸出中包含s

54、treamid，觸發(fā)StreamJob的sql和status。6.在Inceptor管理界面查看Streamjob運行狀態(tài)打開瀏覽器，http:/<inceptor_server_ip>:<port>，可以在Inceptor的管理界面看到當前正在運行的StreamJob，其中此處的port由Transwarp 為4044：Manager配置界面上的inceptor.ui.port參數(shù)配置，默認可以看到在“ActiveStages”下有正在運行的demo_stream。7.此時demo_stream已經(jīng)開始接收發(fā)布到之前創(chuàng)建的demo的消息。需要注意的是，demo_str

55、eam對發(fā)布到demo的消息的接收是從streamid=29008ed34b9e45bca784362948b88a85的StreamJob觸發(fā)開始的，也就是說從執(zhí)行INSERT開始的，在執(zhí)行INSERT之前發(fā)布到demo的消息都前demo_table中沒有任何：被demo_stream接收。所以，目SELECT * FROM demo_table;+-+-+| id | letter |+-+-+-+-+2.3. 接收并處理Kafka傳來的數(shù)據(jù)1. 切換到正在運行向demo發(fā)布數(shù)據(jù)的Kafka producer的頁面：./kafka-console-producer.sh -broker-list 28:9092 -topic demo helloworld由于“hello”，“world”都是在streamid=29008ed34b9e45bca784362948b88a85的StreamJob觸發(fā)前發(fā)布的，這兩條消息都被demo_stream接