sikuli入門教程學(xué)習(xí).ppt

1、Sikuli調(diào)研分享,李俊薇,索引,1、簡介 2、下載和安裝 3、示例 4、疑問 5、在java程序中使用sikuli 6、優(yōu)缺點 7、技巧和附錄,簡介,Sikuli（在墨西哥維喬印第安人的語言里是”上帝之眼”的意思）是由美國麻省理工學(xué)院開發(fā)的一種最新編程技術(shù)，使得編程人員可以使用截圖替代代碼，從而簡化代碼的編寫流程。從它研究方向上看，是一種編程技術(shù)，但是該技術(shù)還可以用于進(jìn)行大規(guī)模的程序測試，腳本程序編寫使用的是python語言。 編程而非錄制 一般的工具是錄制腳本，而sikuli不存在錄制的問題，它需要自己手動編寫程序來完成測試。 資料來源：,Sikuli腳本示例圖（創(chuàng)建新賬戶的一個流程）,

2、如果存在創(chuàng)建賬戶按鈕入口 則點擊該按鈕入口 否則 點擊菜單“郵箱” 點擊“新建郵箱賬戶”選項 點擊輸入郵箱地址編輯區(qū) 輸入郵箱地址 點擊輸入密碼編輯區(qū) 輸入密碼 點擊下一步 點擊創(chuàng)建 。,下載和安裝,下載：/uid/sikuli/ （最新版本是0.10.1） 安裝（要有java環(huán)境） 啟動 直接使用安裝目錄下的Sikuli-IDE.exe啟動。 使用過程中，遇到過直接用exe啟動后可能無法正常使用的現(xiàn)象（在vista和win7下面遇到過，可能某些包無法加載，具體原因不知），網(wǎng)上開發(fā)人員的建議是使用安裝目錄下的Sikuli-IDE.bat，雙擊

3、后也會啟動sikuli的IDE界面，然后可以正常使用。 使用詳細(xì)資料參考地址（全英文）： /trac/wiki/reference-0.10#Howtousethisdocument,主界面,程序保存,編寫完程序后，用save as保存，會生成一個.sikuli的文件夾。,其中： .py是phthon腳本 .png是編寫腳本過程中執(zhí)行的截圖 .html能讓腳本在網(wǎng)絡(luò)上實現(xiàn)共享,注意：此處程序本身好像有bug，保存路徑不能含有中文字符，否則會報錯,幾個例子函數(shù),1、click（對象截圖） 點擊某個對象 2、type（可輸入對象截圖，字符串） 像某個可輸入對象輸入字

4、符串 3、rightClick（對象截圖） 在某個對象上點擊右鍵 4、快捷鍵ctrl+shift+2啟動抓圖，右鍵取消 5、wait（時間s） 等待多少s,一個例子程序,用例：閃電郵中創(chuàng)建一個用戶名和密碼均正確的賬戶 流程： 找到創(chuàng)建入口，點擊 輸入用戶名和密碼，點擊下一步 選擇賬戶模式，點下一步，點創(chuàng)建按鈕 等待同步通訊錄和收信完成 檢查是否創(chuàng)建成功（判斷依據(jù)是左邊賬戶列表是否有該賬戶）,Sikuli程序,account= psw=ljwtest if exists(1280742360468.png): click(1280742415811.png) else: click(128074

5、2437779.png) click(1280742453232.png) click(1280742480700.png) type(account) click(1280742506294.png) type(psw) click(1280742536496.png) click(1280742556137.png) waitVanish(1280742859224.png) if exists(1280742904208.png,5): click(1280742940020.png) waitVanish(1280742955019.png) waitVanish(1280743004

6、706.png,20) if exists(1280743048736.png) and exists(1280743102282.png): print(the account is create ok!),保存后的.py程序腳本,疑問：靠圖像識別可靠嗎？,靠圖像來對對象進(jìn)行識別，必然有很多不足之處，但是sikuli里面提 供了similarity的調(diào)整，在一定程度上彌補了這個缺點（但也不是絕對的） 實際調(diào)研情況： 腳本01是在xp下錄制的一段腳本，調(diào)整相似度和識別對象個數(shù)后，在默認(rèn)、國風(fēng)、虎年三套皮膚下均可運行通過。增加wait（）等待后，在vista下的默認(rèn)、國風(fēng)、虎年三套皮膚下也可以使

7、用?？岷谄つw差異較大，無法識別。 需要研究的是： 1、相似度調(diào)整到多少比較合適 2、識別對象個數(shù)調(diào)整到多少比較合適 3、等待時間設(shè)置為多少比較合適,相似度非常小的時候能匹配出較多對象，注意顏色（紅色表示最匹配的）,相似度調(diào)高一些的時候能匹配個數(shù)減少,相似度較高時匹配出最相似（想要的）對象,疑問：如何知道我點擊的是哪里？,在java程序中也可以使用sikuli,Sikuli script的核心是用java編寫的，所以在java代碼中可 以引用sikuli script包然后編寫自己的測試程序。,繼續(xù)查看如何在java程序中使用,跳過，看sikuli優(yōu)缺點,Java中使用sikuli-script

8、的步驟,1、獲取sikuli-script.jar 在sikuli的安裝目錄下面有一個sikuli-script.jar包。 2、安裝OpenCV Sikuli script使用OpenCV作為圖形識別引擎。如 果是windows系統(tǒng)，可以直接配置環(huán)境變量，在 path路徑中加入“ sikuli安裝路徑/tmplib”， windows系統(tǒng)能自動的找到OpenCV的dll。在mac 和linux下比較復(fù)雜，需要自己安裝OpenCV（沒 有研究）,Java中使用sikuli-script的步驟,3、在java項目中引入sikuli-script包 在eclipse中新建一個java項目，然后引入

9、4.1中獲取的 sikuli-script.jar包。項目建立成功后，可以在項目目錄中看到 這個包。,Java中使用sikuli-script的步驟,4、引用引入的包 在自己的程序中引入需要的sikuli classes，用 “import edu.mit.csail.uid.* ”，或者引入一些自己 需要的類，可能會用到一些Regin、Screen、 SikuliScript類。 5、程序編寫,import edu.mit.csail.uid.*; import edu.mit.csail.uid.Win32Util; public class TestSikuli public stati

10、c void main(String args) Screen s=new Screen(100); Win32Util app=new Win32Util();/啟動程序需要用到此類 int openapp=app.openApp(D:Program FilesNetease網(wǎng)易閃電郵Start.exe); /（小bug）此句不能正確執(zhí)行，貌似對含有漢字的路徑支持不好 int openapp=app.openApp(D:Program FileseMuleemule.exe); /此句可以正常執(zhí)行，需要全英文字符的路徑 if(openapp=0) System.out.print(app s

11、tarts ok!); else System.out.print(app starts failed!); try s.click(img/02.png, 0);/點擊增加賬戶的加號按鈕 s.click(img/05.png, 0);/點擊輸入用戶名的編輯框 s.type(null,0);/輸入用戶名 s.click(img/06.png, 0);/點擊輸入密碼的編輯框 s.type(null,ljwtest,0);/輸入密碼 /try catch(Exception e) e.printStackTrace(); /catch 以上的.png圖片都是保存在項目工程的img下的圖片（可以用s

12、ikuli截取的圖復(fù)制過去，然后自己可重命名）,優(yōu)點,1、整體上sikuli小巧、便捷、容易上手。 2、sikuli腳本可以不經(jīng)過API的編譯器直接自動化搜索到任何你能在屏幕上看到的東西 3、對各種程序都適合 4、不存在標(biāo)準(zhǔn)控件和非標(biāo)準(zhǔn)控件的問題 5、相對位置概念較小，要求不高（但是對象本身尺寸有影響） 6、一次編碼，多次運行（基于java的） 7、jython和java的支持，用編程的方式比較容易擴展,缺點,1、圖片的分辨率、色彩、尺寸、唯一性對程序的影響 （如果有兩個相同的，無法區(qū)分具體哪一個） 2、sikuli本身還不完善（處于開發(fā)、升級階段） 還有很多程序bug,能否繼續(xù)發(fā)展還是未知數(shù)

13、 3、只認(rèn)識當(dāng)前活動的圖標(biāo)（只有當(dāng)前桌面有才行） 4、用例組織方面有提供但是目前有bug，還未調(diào)研嘗試便利性 5、截圖的話，腳本存儲占用空間較大 6、相似度調(diào)整需要手動一個個的調(diào)整，工作量大 7、ljw200901t和ljw200902t的區(qū)別（不太容易區(qū)別出來，可能需要調(diào)整到similarity=1.0才行，但這樣的話可移植性就差了） 8、目前還不適合設(shè)計成一種測試框架（有用例組織功能，但是目前有bug，暫時沒有用過） 9、測試報告的生成,直接用message的話比較弱，需要用jython編程實現(xiàn)可能會強大一些（還未調(diào)研）,增加圖片識別時間,wait（）的使用 新建一個自定義郵件夾后輸入“t

14、est”，有wait（）后，才能正常表現(xiàn)。 程序代碼：,程序移植 點擊查看原始代碼01 在xp下寫的一個腳本，移植到vista下后，設(shè)置的皮膚都一樣，但是可能會拋出無法識別圖像的異常，某些時候可能是因為等待時間不夠久，程序來不及識別，可以用wait（）增加程序查找對象的時間。 代碼01是在xp下錄制的一段腳本，閃電郵的默認(rèn)、國風(fēng)、虎年三套皮膚均能夠正常運行。移植到vista下的默認(rèn)皮膚下后，拋出一些無法識別圖像的異常，但是在每個動作后增加了wait（1）等待1秒后，腳本可以正常執(zhí)行了。（等待時間可根據(jù)實際情況自由設(shè)定）個人感覺應(yīng)該是移植到vista下后，某些圖片屬性需要時間識別確認(rèn)，如果沒有等

15、待時間，可能沒有足夠時間識別。,附錄參考資料,Sikuli官方網(wǎng)站 /uid/sikuli/ Sikuli詳細(xì)的documentation /trac/wiki/reference-0.10#Howtousethisdocument Python學(xué)習(xí)地址（英文）： 更多sikuli類、函數(shù)使用可以參考java doc /documentation.shtml#/trac/wiki/How%20to%20use%20Sikuli%20Script% 20in%20your%20JAVA%20programs? （如果要在java program中使用，就要詳細(xì)看這個java doc文檔了）,Sikuli的系統(tǒng)設(shè)計架構(gòu),參考地址：/documentation.shtml#/trac/wiki/SystemDesign,其他示例,1、獲取popo表情和動漫表情 增加wait（）等待時間后，能判斷到圖片是否存在。 疑問：是否是根據(jù)某個時間內(nèi)判斷到的某一幀來 識別的？不確定 Wait（2） 程序運行結(jié)果，彈出“did n