設(shè)備roi分析案例

設(shè)備roi分析案例介紹很多領(lǐng)導(dǎo)將自動(dòng)化測試視為銀彈。他們認(rèn)為自動(dòng)化測試能解決諸如測試規(guī)劃、測試成本、缺陷報(bào)告等很多問題。自動(dòng)化測試在很多方面會(huì)帶來積極的效果，并且已經(jīng)有很多成功的案例能使人們認(rèn)為自動(dòng)化測試能節(jié)省成本和解決一些測試方面的問題。但是，同樣存在很多恐怖的故事，失望大于期望、過程的痛苦，甚至出現(xiàn)在某些獲得了收益的案例里。我就曾經(jīng)遇到過很多自動(dòng)化測試項(xiàng)目最終不幸失敗的案例。這些項(xiàng)目進(jìn)行了巨大的投入，最終都舍棄了花費(fèi)數(shù)年的時(shí)間開發(fā)出來的自動(dòng)化測試成果。本文的目的就是基于有實(shí)際意義的指導(dǎo)，使人們能夠理解和計(jì)算進(jìn)行自動(dòng)化測試工作所需的投入和可能獲得的回報(bào)。它描述了在建設(shè)自動(dòng)化測試的過程中將會(huì)遇到的諸如商務(wù)、組織和管理、以及測試工作方面的影響。在規(guī)劃自動(dòng)化測試的時(shí)候，要從多方面來考慮。例如，自動(dòng)化測試將會(huì)改變測試的復(fù)雜性，也將會(huì)改變從測試設(shè)計(jì)到測試運(yùn)行的測試組織和管理方法。它通常在組織管理方面帶來廣泛的影響，諸如任務(wù)執(zhí)行、測試方法、甚至在產(chǎn)品的特性上。在考慮自動(dòng)化測試的收益和能力上，我們可以將影響因素分為有形的和無形的兩類。在自動(dòng)化測試的前后可以用現(xiàn)有的測量技術(shù)（例如代碼覆蓋分析）來評估和計(jì)算測試的效果。自動(dòng)化測試可以達(dá)到非常有效的程度，可以增加代碼覆蓋的程度，可以提供一個(gè)新的角度來觀察被測軟件。同時(shí)，自動(dòng)化測試為我們提供了一種手工測試無法實(shí)現(xiàn)某些特定測試的解決途徑。自動(dòng)化測試可以產(chǎn)生無數(shù)的指令和組合方式，僅僅受限于電腦的能力和可用來運(yùn)行測試的時(shí)間而已。這些測試可以在覆蓋了100%的代碼基礎(chǔ)上去發(fā)現(xiàn)缺陷。自動(dòng)化的探針程序可以看到程序的內(nèi)部，諸如中間處理的結(jié)果、內(nèi)存中的數(shù)據(jù)、內(nèi)部程序的狀態(tài)，從而能判斷被測軟件是否能完成期望的功能。管理的觀點(diǎn)我們需要在多個(gè)方面設(shè)置管理上的期望值：無形成本和收益、不切實(shí)際的收益期望、手工測試和自動(dòng)化測試的共同因素、組織的影響。我們也要注意測量和計(jì)算的方法。無形成本是非常難于合理的計(jì)算的。在可衡量它們的點(diǎn)上，當(dāng)我們確定它們的財(cái)務(wù)上的價(jià)值時(shí)會(huì)存在很大的變數(shù)。在衡量自動(dòng)化測試能帶來多大的改變時(shí)也很難計(jì)算實(shí)際的數(shù)值。通常情況下，有的無形成本是絕對的，有時(shí)是相對的，但是絕大部分是無法區(qū)分的，這要取決于一個(gè)人的觀點(diǎn)和處理的方式。基于這個(gè)理解，建議在大多數(shù)的案例中，盡量將這些無形成本從投入回報(bào)比的計(jì)算中省去。一些無形成本的例子：1）無用戶干預(yù)的測試。盡管人的成本很容易計(jì)算，但是附加的計(jì)算機(jī)控制行為的成本是很難量化的。2）測試機(jī)構(gòu)的經(jīng)過改良的方法。這一點(diǎn)通常能提高生產(chǎn)力，但隨之而來的是自動(dòng)化測試所需的新規(guī)則和新任務(wù)。3）測試機(jī)構(gòu)的可觀察到的驟然生產(chǎn)力的降低。這個(gè)觀察一般基于測試工作啟動(dòng)后人員開始逐漸增加時(shí)出現(xiàn)了停滯的現(xiàn)象，安裝測試工具和創(chuàng)建自動(dòng)化測試腳本的延遲。4）并非所有測試組里的人都期望改變。自動(dòng)化測試會(huì)迫使個(gè)人習(xí)慣產(chǎn)生很大的改變，甚至某些測試人員在仍需繼續(xù)執(zhí)行手工測試時(shí)，還得進(jìn)行自動(dòng)化測試。5）發(fā)布前軟件產(chǎn)品測試循環(huán)的次數(shù)。自動(dòng)化測試能對產(chǎn)品的構(gòu)建（Build）進(jìn)行快速確認(rèn)，并能鼓舞人們多次使用。但是往復(fù)循環(huán)雖然能提高生產(chǎn)力和提高質(zhì)量，也可能導(dǎo)致人員的懶散、關(guān)注力逐漸降低、和質(zhì)量逐漸降低的情況。6）測試覆蓋率。既能增加測試覆蓋率，也可能反之，主要取決于手工測試的效率，自動(dòng)化的測試工具，和自動(dòng)化的測試。a）某些測試只能用自動(dòng)化測試來實(shí)現(xiàn)b）測試覆蓋率改變的數(shù)值難于測量c）好的探索性的測試或許比一般的自動(dòng)化測試更能發(fā)現(xiàn)一些不同尋常的情況d）手工測試可能使得某些情況或者環(huán)境難于進(jìn)行自動(dòng)化自動(dòng)化測試管理的期望值往往在設(shè)定上受到媒體、會(huì)議、廠商的大肆宣傳、相關(guān)書籍上對自動(dòng)化優(yōu)點(diǎn)的宣揚(yáng)。部分信息是準(zhǔn)確的和可適用的，但是大部分信息是出現(xiàn)在某些特定的環(huán)境下，適用于某些特定的項(xiàng)目，并且被過分的強(qiáng)調(diào)了成功這個(gè)字眼。自動(dòng)化測試不是一個(gè)銀彈。它不能解決所有的測試方面的問題，需要進(jìn)行小心細(xì)致的規(guī)劃。不正確的期望會(huì)最終導(dǎo)致一個(gè)獲得了收益的自動(dòng)化測試變成了失敗的案例。例如：1）所有的測試都要自動(dòng)化。這是不切實(shí)際和可望不可即的。2）從自動(dòng)化測試獲得立即的回報(bào)。某些自動(dòng)化測試可能能看到立即的效果，例如Build測試，但通常情況下，回報(bào)總是在投入一段時(shí)期后才能看到。需要花費(fèi)很多的時(shí)間和努力來創(chuàng)建大多數(shù)的自動(dòng)化測試內(nèi)容，而收效總是在一遍又一遍的測試運(yùn)行之后才能獲得。3）零啟動(dòng)時(shí)間。將測試自動(dòng)化是要花費(fèi)時(shí)間的。要選擇測試工具、搭建、安裝，而規(guī)劃和實(shí)現(xiàn)自動(dòng)化測試則要花費(fèi)數(shù)倍于手工測試的功夫。4）自動(dòng)化所有測試規(guī)劃的內(nèi)容。自動(dòng)化測試工具無法做所有的事情。5）使用錄制/回放進(jìn)行回歸測試。這種情況僅適用于被測軟件非常穩(wěn)定，即將來只有極少的測試案例會(huì)發(fā)生改變。這種情況非常少。6）自動(dòng)缺陷報(bào)告（無需用戶干預(yù)）。這通常會(huì)給測試的組織或開發(fā)帶來很大的問題。包括判斷是否與已有缺陷重復(fù)，錯(cuò)誤的失效原因探測，一個(gè)錯(cuò)誤引起多個(gè)測試的失效，無法重現(xiàn)的錯(cuò)誤等等。組織管理方面的影響包括設(shè)計(jì)自動(dòng)化測試和執(zhí)行自動(dòng)化測試所需的技能、自動(dòng)化測試工具、自動(dòng)化測試環(huán)境。開發(fā)和維護(hù)自動(dòng)化測試與手工測試之間是有很大的區(qū)別的。在建設(shè)自動(dòng)化測試時(shí)，工作技能變了、測試方法變了，甚至測試本身也發(fā)生了變化。自動(dòng)化測試還會(huì)對被測的產(chǎn)品、開發(fā)過程和發(fā)布過程產(chǎn)生潛在的影響。我們不得不仔細(xì)考慮和分析這些影響中的積極和消極的因素。自動(dòng)化測試若想成功，要從管理上設(shè)置合理的期望值，要正確地認(rèn)識(shí)到將要從自動(dòng)化測試中獲得哪些益處。關(guān)鍵是要牢記自動(dòng)化測試的目標(biāo)是要在某些方面將測試做的更好。自動(dòng)化測試僅僅是一個(gè)手段，借助這個(gè)手段來完成我們的任務(wù)—測試一個(gè)軟件產(chǎn)品。在管理測試工作和向測試工作進(jìn)行投入方面，成本/收益的分析向我們提供了非常有用的信息。我們也要看到，不同的自動(dòng)化測試實(shí)施行為將會(huì)帶來好處，也會(huì)帶來問題。例如，自動(dòng)化測試將會(huì)減少測試所需的人力資源，從而節(jié)省運(yùn)行測試過程中的人力耗費(fèi)。但是，自動(dòng)化測試也可能會(huì)產(chǎn)生各種各樣的結(jié)果，需要耗費(fèi)更多的人力進(jìn)行分析，從而產(chǎn)生比手工測試更多的人力成本耗費(fèi)。通常情況下，獲得自動(dòng)化測試的結(jié)果后，需要更長的時(shí)間去分析和隔離所發(fā)現(xiàn)的缺陷。投入回報(bào)比的影響要素：投入回報(bào)比（口。1）通常用獲得的收益除以投入成本來計(jì)算。如果我們開始一個(gè)新的項(xiàng)目，我們就用測試的價(jià)值除以測試的成本來計(jì)算測試的投入回報(bào)比。有時(shí)，自動(dòng)化測試的引入發(fā)生在