軟件測(cè)試人員績(jī)效考核詳細(xì)_第1頁(yè)
軟件測(cè)試人員績(jī)效考核詳細(xì)_第2頁(yè)
軟件測(cè)試人員績(jī)效考核詳細(xì)_第3頁(yè)
軟件測(cè)試人員績(jī)效考核詳細(xì)_第4頁(yè)
軟件測(cè)試人員績(jī)效考核詳細(xì)_第5頁(yè)
已閱讀5頁(yè),還剩43頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、試團(tuán)隊(duì)績(jī)效考績(jī)效評(píng)估的的客體:個(gè)體成員還是整個(gè)團(tuán)隊(duì)。●Pascerellayer認(rèn),團(tuán)隊(duì)績(jī)效評(píng)價(jià)應(yīng)以員個(gè)人完成工作的狀況為基本依據(jù),理由是激勵(lì)只能作用于個(gè)而不是群體;技能的提高和行為的改進(jìn)最終須落實(shí)到個(gè)人。若考核團(tuán)隊(duì)績(jī)效,個(gè)體的力得不到充分的肯定就容易造成社會(huì)懶現(xiàn)象,即個(gè)體由于參團(tuán)隊(duì)工作,其工作效比自己?jiǎn)为?dú)工作時(shí)的率反而大大降低。此現(xiàn)一旦在組織中蔓延開(kāi),

不僅會(huì)影響組織績(jī)效還毒害組織文化。同時(shí),由績(jī)效考核與薪酬及個(gè)價(jià)值的實(shí)現(xiàn)相聯(lián)系,此,在團(tuán)隊(duì)中,能力高的成員傾于對(duì)個(gè)人績(jī)效的考核從而得到更高的認(rèn)可報(bào)酬?!馴ingheim和Schuster則認(rèn)為對(duì)個(gè)人的考應(yīng)考慮團(tuán)隊(duì)的整體績(jī),因?yàn)閳F(tuán)隊(duì)的成功很大程度上依賴(lài)于團(tuán)成員間的團(tuán)結(jié)合作,解支持,若評(píng)估集中個(gè)體層面,會(huì)導(dǎo)致個(gè)主義盛行,忽視團(tuán)隊(duì)協(xié)作精神,阻礙信息技能的共享和績(jī)效的高,降低團(tuán)隊(duì)工作的勢(shì)?!褚虼嗽趯?shí)際操作中企業(yè)往往采取一種折的方法,即按一定比兼顧團(tuán)隊(duì)和個(gè)人兩個(gè)層面績(jī)效考核。目前的究來(lái)看,還沒(méi)有一很好的辦法可以科學(xué)確定這個(gè)比例。但是,果從團(tuán)隊(duì)性質(zhì)的差異團(tuán)隊(duì)所處的階段等面來(lái)考慮,那么至少以確定考核的天平是更個(gè)體的一極偏還是更團(tuán)體的一極偏。績(jī)效考核的內(nèi)容:果、行為還是能力。對(duì)績(jī)效內(nèi)涵存在著三不同的觀點(diǎn),即“績(jī)效是結(jié)果”“績(jī)效是行為”和績(jī)效是能力”。Bernardin

將績(jī)效--定義為“在特定的時(shí)內(nèi),由特定的工作職活動(dòng)產(chǎn)生的產(chǎn)出記錄

工作績(jī)效的總和相當(dāng)于關(guān)鍵和必工作職能中等績(jī)效的和(或平均值)”,是“績(jī)效是結(jié)果”的典型觀點(diǎn)。Murphy組織單位的目標(biāo)相關(guān)行為”

等人將績(jī)效定義為“一與組織或個(gè)體所工的。近年來(lái),以能力作為效的觀點(diǎn)得到了廣的使用,這是以評(píng)估個(gè)體擁有的完成某項(xiàng)工作所具備的知識(shí)和能力的式。

伴隨著這三種觀點(diǎn)的誕生和展,績(jī)效考核大致經(jīng)了基于結(jié)果、

基于行為以及基于能力的三個(gè)考核發(fā)展過(guò)。?雖然這三種觀點(diǎn)互區(qū)別,且都是在否定前者的基礎(chǔ)之上產(chǎn)生的,但是,果不帶入特定的環(huán)境特定的組織,及組織展的特定時(shí)期,那么三者之間并不在絕對(duì)的優(yōu)劣。

如果組織下達(dá)的目標(biāo)非清晰,

基于結(jié)果的績(jī)效考核是最容實(shí)施,也最有效;相,如果目標(biāo)模糊,無(wú)準(zhǔn)確衡量其結(jié)果,這種考核方式會(huì)失效?;谀芰Φ暮朔绞嚼碚撋鲜菑膽?zhàn)管理的角度出發(fā),最具有激勵(lì)效和長(zhǎng)期效應(yīng),

最有利于組織不斷發(fā),但在實(shí)際操作中卻很難達(dá)到效果。因?yàn)榱κ菬o(wú)形的,它依附個(gè)體,既受主觀因素控制,也受各方面客觀因素的影,很難用標(biāo)準(zhǔn)化的方衡量個(gè)體的能力,

即使是方法對(duì)組織期望成員所具有的力和特質(zhì)作出了解釋但這些解釋仍是描述模糊語(yǔ)言,在實(shí)際操作中仍然難做到真正的科學(xué)公正

基于行為的績(jī)效考核法通過(guò)考核員工為實(shí)現(xiàn)既定的結(jié)所必須做出的行為來(lái)現(xiàn)對(duì)結(jié)果的控制,建立在某種能力基礎(chǔ)上的,并且行為比能更具有外顯性和可測(cè),

由于行為必然是因此一定程度上,該方法兼顧組織目標(biāo)和個(gè)人能力

但是,績(jī)效考核中容出現(xiàn)目標(biāo)置換的現(xiàn)象,一味對(duì)行測(cè)評(píng)會(huì)導(dǎo)致成員將行作為目標(biāo),

進(jìn)而影響實(shí)際目標(biāo)的實(shí)現(xiàn)。因此,無(wú)論哪種核方式,都有其適用條件和要求,不存在種絕對(duì)好的方法。--基于項(xiàng)目團(tuán)隊(duì)生命周的績(jī)效考核:●化誕生期:這指團(tuán)隊(duì)形成前到團(tuán)隊(duì)式形成的一個(gè)階段,選擇合適的項(xiàng)目成員組成團(tuán)的時(shí)期。→核的客體是個(gè)人團(tuán)隊(duì)的首要任務(wù)是篩項(xiàng)目組成員,根據(jù)項(xiàng)目標(biāo)的要求,選擇最為合的人選組成團(tuán)隊(duì),所考核的對(duì)象是個(gè)人。→核的重點(diǎn)是能力從項(xiàng)目團(tuán)隊(duì)成立的目來(lái)看,它一般是為了發(fā)一種新產(chǎn)品或者提供一項(xiàng)的服務(wù),因此對(duì)成員的知識(shí)技能要求較高需要成員具有較高的技術(shù)水平和知儲(chǔ)備以及不斷

學(xué)習(xí)和創(chuàng)新的能力。時(shí),成立項(xiàng)目團(tuán)隊(duì),意在發(fā)揮團(tuán)隊(duì)快速響和凝聚集體智慧的優(yōu),

更加需要團(tuán)隊(duì)成員間相互合作相互支持,所以需要較系統(tǒng)地考核成員的調(diào)合作能力,

包括,對(duì)團(tuán)隊(duì)其它成員工作任務(wù)的認(rèn)識(shí)、口頭交流、個(gè)人成長(zhǎng)、題解決、責(zé)任承擔(dān)、導(dǎo)技能等等。因此,在選擇項(xiàng)目團(tuán)成員的時(shí)候,

通過(guò)對(duì)被選者專(zhuān)業(yè)技、基本素質(zhì)當(dāng)然也包括過(guò)去的工作經(jīng)歷和景等各方面的考核,終確定較為合適的人?!耖L(zhǎng)期:這是團(tuán)正式形成之后,團(tuán)隊(duì)作逐漸步入正軌,團(tuán)成員開(kāi)始通過(guò)個(gè)人努力和彼的合作共同在所研究項(xiàng)目上獲得初步的成。→核的客體是團(tuán)隊(duì)團(tuán)隊(duì)成立之初,成員作的意識(shí)還沒(méi)有形成工作的獨(dú)立性較強(qiáng),此時(shí)的工作重點(diǎn)應(yīng)該是營(yíng)造一種信任、

關(guān)懷、相互支持的合氛圍。同時(shí),項(xiàng)目也剛起步,沒(méi)有取得實(shí)質(zhì)的進(jìn)展,個(gè)人的貢獻(xiàn)無(wú)法準(zhǔn)確衡量,在這種情況下,果過(guò)多地衡量個(gè)人績(jī),特別是個(gè)人產(chǎn)出績(jī),不僅不利于合作精神的培養(yǎng),也會(huì)由于準(zhǔn)確性不高而成員產(chǎn)生不公平感,

從而對(duì)團(tuán)隊(duì)工--作形成抵觸情緒。重團(tuán)隊(duì)整體績(jī)效的考核可以向整個(gè)團(tuán)隊(duì)成傳遞這樣一個(gè)信息,即必須注重團(tuán)的整體效率,共同開(kāi)團(tuán)隊(duì)能力。同時(shí),對(duì)隊(duì)績(jī)效的考核還可以提高團(tuán)隊(duì)成對(duì)自己團(tuán)隊(duì)的自豪感所有感,屬感。

并不斷提高其認(rèn)同感歸→核的重點(diǎn)是行為剛剛進(jìn)入一個(gè)新的團(tuán),如果此前沒(méi)有進(jìn)過(guò)合作,成員之間會(huì)由于陌生而信任度較低,

彼此在溝通和交流上存困難,

需要相當(dāng)一段時(shí)間的磨合,工進(jìn)度也很緩慢。如果通過(guò)有意識(shí)的加強(qiáng)合意識(shí)的培養(yǎng),難么磨合期就會(huì)較長(zhǎng),而影響目標(biāo)的實(shí)現(xiàn)因在項(xiàng)目團(tuán)隊(duì)進(jìn)成長(zhǎng)期時(shí),

績(jī)效考核的重點(diǎn)應(yīng)該放對(duì)團(tuán)隊(duì)成員行為的考之上。

績(jī)效考核不僅僅是一過(guò)程的監(jiān)督和事后的衡量更是一種對(duì)員工行為行引導(dǎo)的方式。

作為一種信息的傳播途徑,通過(guò)評(píng)估的身,反饋以及與薪酬聯(lián)系,以直接或間接的方式告訴被考核者,組織鼓勵(lì)什樣的行為、對(duì)什么的行為,從而引導(dǎo)鼓勵(lì)成員采用更加積極的態(tài)度和行,主動(dòng)參與團(tuán)隊(duì)工作加強(qiáng)團(tuán)隊(duì)成員之間的作和學(xué)習(xí),使項(xiàng)目團(tuán)隊(duì)盡快度過(guò)合期,向著一個(gè)良性方向發(fā)展?!袷炱冢哼M(jìn)入成期,團(tuán)隊(duì)工作進(jìn)展順,項(xiàng)目取得關(guān)鍵性的破,團(tuán)隊(duì)成員自由溝通,合意識(shí)加強(qiáng)?!说目腕w是個(gè)人此時(shí)應(yīng)該加大對(duì)個(gè)人效考核的比重。因?yàn)槟恳呀?jīng)取得一定的突破,目標(biāo)接近實(shí)現(xiàn),團(tuán)隊(duì)成員的成果和貢獻(xiàn)相對(duì)比較清晰,較為準(zhǔn)確的衡量,要對(duì)其加以肯定。果仍然只是停留于對(duì)團(tuán)績(jī)效的整體考

可以核,并以此為基礎(chǔ)進(jìn)利益分配,的深入開(kāi)展和目標(biāo)的步實(shí)現(xiàn),

個(gè)體會(huì)逐漸產(chǎn)生不公平,因?yàn)殡S著項(xiàng)目工作個(gè)人由于態(tài)度、能力、技術(shù)支持等諸多方面的差--異,貢獻(xiàn)度的差距會(huì)步擴(kuò)大,客觀上會(huì)有員的貢獻(xiàn)大于其它人加以肯定和認(rèn)可,那就會(huì)挫傷這一部分核成員的積極性。

如果不及時(shí)→核的重點(diǎn)是結(jié)果成熟期的團(tuán)隊(duì)首要任是推動(dòng)工作進(jìn)展,以證最終成果的實(shí)現(xiàn)。由于有的工作方式已經(jīng)基形成,合作溝通的氛已經(jīng)建立,如果仍然強(qiáng)調(diào)對(duì)個(gè)體為的考核,使成員大部分的注意力投入日常的工作行為和方式之上。事上,鼓勵(lì)行為的本身不是目的,鍵是行帶來(lái)的結(jié)果,合作和交流是團(tuán)隊(duì)的本工作手段,

但手段不能代替目的項(xiàng)目及時(shí)高效地完成才是項(xiàng)目團(tuán)隊(duì)的存在的。如不以任務(wù)為向而長(zhǎng)期進(jìn)行行為考,體忽視目標(biāo)和結(jié)果,響工作的效率,例如過(guò)分的注重溝通和交,造成決策時(shí)議而不決,貽誤時(shí),或者意見(jiàn)趨中,成過(guò)分尊重群體意見(jiàn),愿表達(dá)自己突破性的想法和思路

容易使個(gè)●退期:項(xiàng)目目已經(jīng)基本實(shí)現(xiàn),團(tuán)隊(duì)將解散,此時(shí)需要對(duì)個(gè)項(xiàng)目團(tuán)隊(duì)作一個(gè)綜合的評(píng)。→核的客體兼顧個(gè)和團(tuán)隊(duì)。進(jìn)入衰退期績(jī)效考核一方面需要過(guò)對(duì)項(xiàng)目團(tuán)隊(duì)的整體績(jī)效作評(píng)估,

以考核項(xiàng)目的完成情況另方面,也需要團(tuán)隊(duì)成員績(jī)效作出公正學(xué)的總結(jié),這不僅決定成員能否取得公平的酬,進(jìn)入另一個(gè)團(tuán)隊(duì)的基。

也是其→核的重點(diǎn)主要是人的綜合績(jī)效以及團(tuán)的產(chǎn)出。

項(xiàng)目團(tuán)隊(duì)任務(wù)明確,業(yè)績(jī)是團(tuán)隊(duì)成立的最目的,因此在項(xiàng)目團(tuán)解散之際,需要對(duì)標(biāo)的實(shí)現(xiàn)情況作一個(gè)綜合評(píng)估,以判斷項(xiàng)目的成功與否對(duì)個(gè)人也需要做一個(gè)體的評(píng)價(jià),--尤其是產(chǎn)出和能力的估,組織需要對(duì)此進(jìn)備案,成為以后的項(xiàng)目團(tuán)隊(duì)選擇成員的重要根據(jù)。2、測(cè)試人員績(jī)效考核考核基于測(cè)試過(guò)程進(jìn),因此必須在過(guò)程結(jié)之后才能進(jìn)行。

由于工程是分布提交測(cè)試的,每月可以根據(jù)實(shí)際情況進(jìn)行月考核,

工程結(jié)束后或任務(wù)結(jié)后再統(tǒng)一考核。按照傳統(tǒng)試周期,測(cè)試過(guò)程分:測(cè)試計(jì)劃、測(cè)試設(shè)和測(cè)試執(zhí)行三個(gè)方面進(jìn)行。測(cè)試計(jì)劃屬于測(cè)試經(jīng)理的范疇。執(zhí)行。

測(cè)試人員主要是測(cè)試計(jì)和測(cè)試測(cè)試人員的績(jī)效考核括多個(gè)方面:●作態(tài)度。包括工責(zé)任心和工作積極性●作職責(zé)與期望達(dá)度工作職責(zé)和對(duì)測(cè)試工師的期望值,責(zé)內(nèi)容)。

(注意:在工作安排前求明確對(duì)應(yīng)測(cè)試工程的這里的工作職責(zé)一般和管理相關(guān)的工作職●作內(nèi)容考核?!c軟件開(kāi)發(fā)過(guò)程工作內(nèi)容考核,比如與需求和設(shè)計(jì)的評(píng)審就需要對(duì)需求的理解上,需求提出問(wèn)題的質(zhì)量等作出評(píng)價(jià)。--→與測(cè)試文檔的準(zhǔn)工作,如測(cè)試用例等需要通過(guò)評(píng)審測(cè)試文來(lái)考核測(cè)試人員的能力。如評(píng)審測(cè)試用例的質(zhì)量對(duì)需求的覆蓋程度理解和執(zhí)行等方面來(lái)判段測(cè)試人的能力?!袦y(cè)試的工作,要從測(cè)試人員所發(fā)現(xiàn)問(wèn)題對(duì)測(cè)試人員進(jìn)行價(jià)。包括發(fā)現(xiàn)問(wèn)題是復(fù)雜還是簡(jiǎn)單的,

是隱藏較深的,還是一些表面的問(wèn)題。包問(wèn)題的書(shū)寫(xiě)上進(jìn)行評(píng)價(jià),問(wèn)的書(shū)寫(xiě)是否詳清晰,開(kāi)發(fā)人員可再現(xiàn),是含糊其詞,不明所以。個(gè)問(wèn)題是否寫(xiě)多遍等→試結(jié)果缺陷殘留對(duì)于已經(jīng)發(fā)布的產(chǎn)品從用戶(hù)反饋問(wèn)題考核試人員的績(jī)效,但是這個(gè)能需要的時(shí)間比較長(zhǎng)對(duì)不同版本的測(cè)試可從版本的漏檢進(jìn)行統(tǒng)計(jì)?!嚾藛T的溝通能考核,包括缺陷在開(kāi)工程師中溝通的達(dá)成和拒絕率?!褡餍逝c工作質(zhì)考核?!囋O(shè)計(jì)中工作效相關(guān)指標(biāo):△檔產(chǎn)出率:這項(xiàng)標(biāo)值主要為測(cè)試用例檔頁(yè)數(shù)除于編寫(xiě)文檔有效時(shí)間獲得。用于考察測(cè)人員測(cè)試用例文檔的產(chǎn)率大小。公式:∑測(cè)試用例文檔數(shù)(頁(yè))/∑編寫(xiě)試用例文檔有效時(shí)間小時(shí))--參考指標(biāo):根據(jù)項(xiàng)目總得出平均在低于此值為差。

1.14頁(yè)小時(shí)左右高于此值為優(yōu),△例產(chǎn)出率:這項(xiàng)標(biāo)值主要為上述指標(biāo)的補(bǔ)充,試用例產(chǎn)出率大小。測(cè)試文檔頁(yè)數(shù)可能包含冗余信息較多,

用于考察測(cè)試人員測(cè)因此要查看文檔中測(cè)試用例的多少。方是測(cè)試用例文檔中測(cè)用例編號(hào)總和數(shù)除于寫(xiě)文檔的有效時(shí)間。公式:∑測(cè)試用例數(shù)個(gè))/∑編寫(xiě)測(cè)試用例文檔有效時(shí)間小時(shí))參考指標(biāo):平均4.21

個(gè)用例/

小時(shí)●試設(shè)計(jì)中工作質(zhì)相關(guān)指標(biāo):→求覆蓋率:計(jì)算試用例總數(shù)之和除于之一一對(duì)應(yīng)的功能點(diǎn)之和,主要查看是否有功能遺漏測(cè)試的情況。公式:∑測(cè)試用例數(shù)個(gè))/∑功能點(diǎn)(個(gè))參考指標(biāo):100%。如果連功能指標(biāo)都不能足100%蓋,起碼說(shuō)明測(cè)試不充分。這個(gè)指標(biāo)集起來(lái)相當(dāng)困難,如存在需求跟蹤矩陣或測(cè)試管理工具能把用例與需求一對(duì)應(yīng)就容易得多。

注意:有的功能是難測(cè)試的,那么未能覆蓋到的需求要綜分析,明確是測(cè)試人遺漏?還是無(wú)法測(cè)試這需要放入問(wèn)題跟蹤表中進(jìn)行后跟蹤;另外,有的功點(diǎn)包含的信息較多或有的用例包含幾個(gè)功能點(diǎn),這時(shí)只能把重復(fù)的功能點(diǎn)或重復(fù)用例按一個(gè)計(jì),說(shuō)明。

難于區(qū)分的要做--→檔質(zhì)量:測(cè)試用進(jìn)行評(píng)審和同行評(píng)審現(xiàn)的缺陷數(shù),或者將缺陷數(shù)除于文檔頁(yè)數(shù)算出率。此指標(biāo)考察測(cè)試員文檔編寫(xiě)的質(zhì)量如。公式:∑缺陷數(shù)(評(píng)和同行評(píng)審)(個(gè))/∑測(cè)試用例檔頁(yè)數(shù)(頁(yè))參考指標(biāo):由于評(píng)審發(fā)現(xiàn)的缺陷數(shù)是不固定的,

因此,這個(gè)指標(biāo)沒(méi)有供參考的數(shù)值。如果缺數(shù)大小不能直接用于較就使用缺陷/對(duì)比。

頁(yè)方式進(jìn)行橫向→檔有效率:使用試用例文檔進(jìn)行測(cè)試發(fā)現(xiàn)的系統(tǒng)測(cè)試缺陷除于此文檔頁(yè)數(shù)。用于考文檔是由有效的指導(dǎo)測(cè)試工作。公式:∑缺陷數(shù)(系測(cè)試)(個(gè))/∑試用例文檔頁(yè)(頁(yè))參考指標(biāo):平均2.18

個(gè)缺陷/

頁(yè)注意:如果存在測(cè)試員在測(cè)試時(shí)創(chuàng)建新文檔用于輔助測(cè)試時(shí)應(yīng)包這一部分?!行剩菏褂迷囉美l(fā)現(xiàn)的全部缺除于測(cè)試用例數(shù)總和這一指標(biāo)是上一指標(biāo)的補(bǔ)指標(biāo),用于考察用例量是否較高公式:∑缺陷數(shù)(系測(cè)試)(個(gè))/∑試用例數(shù)(個(gè)參考指標(biāo):平均0.59

個(gè)缺陷/

用例,也就是說(shuō),每執(zhí)兩個(gè)用例才得到

1個(gè)缺陷,各工程有所同,可以自己實(shí)踐一--→審問(wèn)題數(shù):是否在對(duì)需求理解、系統(tǒng)構(gòu)設(shè)計(jì)、系統(tǒng)設(shè)計(jì)等面引起爭(zhēng)議的問(wèn)題。體現(xiàn)測(cè)試人員發(fā)現(xiàn)問(wèn)題的入層次,有利于產(chǎn)品量的提高。●試執(zhí)行中工作效相關(guān)指標(biāo):→行效率:利用測(cè)用例文檔頁(yè)數(shù)除于此系統(tǒng)測(cè)試執(zhí)行的時(shí)間和包含用例文檔編寫(xiě)時(shí))。補(bǔ)充指標(biāo)方法是例的個(gè)數(shù)除于此次系測(cè)試的時(shí)間總和。用于獲得工作測(cè)試人員每小時(shí)執(zhí)行試的速度。

(不公式:∑測(cè)試用例文檔數(shù)(頁(yè))/∑執(zhí)系統(tǒng)測(cè)試的有效時(shí)間小時(shí))∑測(cè)試用例數(shù)(個(gè))/∑執(zhí)行系統(tǒng)測(cè)試有效時(shí)間(小時(shí))參考指標(biāo):平均0.53

頁(yè)/

小時(shí),1.95

個(gè)用例/小時(shí)。即測(cè)試人員每小時(shí)執(zhí)行半頁(yè)測(cè)試用例者每小時(shí)執(zhí)行

2個(gè)試用例。通過(guò)橫比較,容易知道那位成員的執(zhí)行效率高。注:執(zhí)行效率的不代表測(cè)試質(zhì)量也,

甚至執(zhí)行效率和測(cè)試質(zhì)量成反比,所后面工作質(zhì)量指標(biāo)會(huì)補(bǔ)充這一部分偏離。際結(jié)果表明,用例執(zhí)行率高的成員,其缺陷發(fā)現(xiàn)率往往偏低,核如果不將此納入進(jìn)來(lái)也可以將其作測(cè)試改進(jìn)的一項(xiàng)重要據(jù)進(jìn)行收集?!绕x度:檢查劃時(shí)間和實(shí)際時(shí)間的度,方法是計(jì)劃時(shí)間額減去實(shí)際時(shí)間差額除于際工時(shí)總和,

用于考察測(cè)試人員進(jìn)情況,監(jiān)控測(cè)試是否按照日程進(jìn)行,是否足了工程的進(jìn)度要求公式:∑(計(jì)劃開(kāi)始間

-實(shí)開(kāi)始時(shí)間)+∑計(jì)劃結(jié)束時(shí)間-實(shí)際結(jié)束時(shí)間)/

總工時(shí)--參考指標(biāo):15%進(jìn)度偏離是個(gè)對(duì)的指標(biāo),可能偏離了是對(duì)于一個(gè)長(zhǎng)達(dá)半年間的測(cè)試而言偏離天比上整體測(cè)試所需天不足

20

個(gè)工作日,但15%可能偏離了3個(gè)工作日,但是對(duì)一個(gè)只有過(guò)了整個(gè)測(cè)試階段所天數(shù)的60。

1

星期時(shí)間的測(cè)試已經(jīng)注意:計(jì)算時(shí)分子分要保持一致,即開(kāi)始結(jié)束時(shí)間已經(jīng)去除了工作日時(shí)間,則總工時(shí)也要除非工作日時(shí)間。

因?yàn)橹贫ㄓ?jì)劃時(shí)是根每個(gè)公司的工作日來(lái)制定的,也就是,考慮了非正常工作的日程。測(cè)試進(jìn)度也是考核很要的一步,

如果沒(méi)有進(jìn)度保證,所有的測(cè)試都存在風(fēng)險(xiǎn),第一種方法是測(cè)人員可以采用自下而的方式向測(cè)試經(jīng)理報(bào)計(jì)劃用時(shí),這種方式風(fēng)險(xiǎn)比較少個(gè)人根據(jù)自己能力大確定,但是缺點(diǎn)是在測(cè)試人員虛報(bào)可能性。另一種方是測(cè)試經(jīng)理進(jìn)行估算分配工作日程,

這時(shí)估算是很重要的前提,除了依賴(lài)于試經(jīng)理的經(jīng)驗(yàn)外,的方法。

對(duì)評(píng)估結(jié)果進(jìn)行同行審是很客觀可取→陷發(fā)現(xiàn)率:測(cè)試員各自發(fā)現(xiàn)的缺陷數(shù)和除于各自所花費(fèi)的試時(shí)間總和。由于執(zhí)行效率能足夠代表測(cè)試人是否認(rèn)真工作,的缺陷數(shù)就是重要的核指標(biāo),你的工作可通過(guò)這項(xiàng)指標(biāo)得到反。

那么,每小時(shí)發(fā)現(xiàn)公式:∑缺陷數(shù)(系測(cè)試)(個(gè))/∑執(zhí)行系統(tǒng)測(cè)試的有時(shí)間(小時(shí))參考指標(biāo):平均1.1

個(gè)缺陷/

小時(shí)假有位測(cè)試人沒(méi)有達(dá)到

1

小時(shí)發(fā)現(xiàn)1缺陷,那么,非產(chǎn)品質(zhì)量高、模塊小,否則,就是他的陷發(fā)現(xiàn)能--力不如其他測(cè)試人員當(dāng)然,詳細(xì)分類(lèi)中可根據(jù)發(fā)現(xiàn)重要缺陷的少來(lái)定義缺陷發(fā)現(xiàn)能力。●試執(zhí)行中工作質(zhì)相關(guān)指標(biāo):→缺數(shù):為了更客度量,考慮到bug的重性、技術(shù)難度、品類(lèi)型、模塊穩(wěn)定性等因素影響,不是“所發(fā)現(xiàn)的bug數(shù)”,而是用“所獲得bugvalue(缺陷值)來(lái)度量,公式被定義:Bug_value=(P0_Bug_Number

×+P1_Bug_Number1.4P2_Bug_Number

×+P3_Bug_Number

×0.3)×Wd×Ws×其中:P0_Bug_Number:致命的(fatal)陷數(shù)量;P1_Bug_Number

:嚴(yán)重的(critical缺陷數(shù)量;P2_Bug_Number一般的(major/normal陷數(shù)量;P3_Bug_Number:次要的(minor)陷數(shù)量

)缺Wd:技術(shù)難度系數(shù),Database,EnterpriseServerJava度系數(shù)大,發(fā)現(xiàn)Bug不易Wd可定在1.5–5.0Ws:穩(wěn)定性系數(shù),全模塊,Bug比較多,發(fā)現(xiàn)缺陷比較容易;本越高,越穩(wěn)定。Ws可以定在0.5–1.0,假如version10.01/100,Version2.0=4/10,Version3.0=9/100=64/100,Version8.0=81/100

為1.0,Version1.0,,Version8.0Wt:產(chǎn)品類(lèi)型系數(shù),根據(jù)實(shí)際情況和歷史據(jù)來(lái)判斷。合并為一個(gè)系數(shù)。

Wt也可以和Wd--→效缺陷數(shù)/率:被拒絕和刪除的缺陷總和,數(shù)總和除于缺陷總數(shù)這項(xiàng)指標(biāo)用于考察測(cè)人員發(fā)現(xiàn)的、數(shù)高低或者百分比,和比率越低測(cè)試質(zhì)量高。

或者被拒絕和刪除的陷被確認(rèn)為缺陷的缺陷公式:∑缺陷數(shù)(系測(cè)試中被拒絕和刪除的)(個(gè))∑缺陷數(shù)(系統(tǒng)測(cè)試被拒絕和刪除的)()/∑缺陷數(shù)(系測(cè)試)(個(gè))參考指標(biāo):平均21.9%(測(cè)試人員發(fā)現(xiàn)每100

個(gè)缺陷中平均有22

個(gè)缺陷不被開(kāi)發(fā)組確認(rèn)認(rèn)為不是“缺陷”或錯(cuò)誤錄入缺陷)。有缺陷比率容易給出,但是有效缺數(shù)具體數(shù)據(jù)要根據(jù)項(xiàng)情況,無(wú)法給出可參的數(shù)值。注意:這項(xiàng)指標(biāo)可能不正確的情況,因?yàn)闇y(cè)試人員誤操作需求理解等自身錯(cuò)誤起,

假使缺陷被拒絕和被刪的原因不是而是系統(tǒng)本身不能實(shí)或者數(shù)據(jù)錯(cuò)誤引起的,那么要考慮剔除這部分。于測(cè)試人員發(fā)現(xiàn)系統(tǒng)架根本性的、初始化參數(shù)設(shè)置錯(cuò)誤引的、錯(cuò)誤數(shù)據(jù)、誤環(huán)境等而開(kāi)發(fā)人員無(wú)法修正、

可以通過(guò)改變環(huán)境而無(wú)修改程序、陷,應(yīng)給予此測(cè)試人獎(jiǎng)勵(lì)。

重新導(dǎo)入數(shù)據(jù)、再次發(fā)布從而拒絕或刪除的缺→重缺陷率:這個(gè)例用于彌補(bǔ)缺陷發(fā)現(xiàn)的不足。主要是根據(jù)重程度分類(lèi)的缺陷數(shù)比全缺陷或者有效缺陷數(shù)

一般而言,每個(gè)公司本把缺陷嚴(yán)重程度分為嚴(yán)重、一和微小,或者更細(xì)(常等級(jí)數(shù)為奇數(shù))。外,可以對(duì)缺陷嚴(yán)重程度進(jìn)行折(嚴(yán)重:一般:微小=1:3:通過(guò)折算可以得出權(quán)重,然后在計(jì)算試人員分值。--公式:∑嚴(yán)重

一般/

微小/∑缺陷數(shù)∑嚴(yán)重/一般/

微小/∑有效缺陷數(shù)參考指標(biāo):嚴(yán)重~10%

一般~70%

微小~20%。當(dāng)測(cè)人員發(fā)現(xiàn)的缺陷中嚴(yán)重錯(cuò)誤比率越,說(shuō)明測(cè)試質(zhì)量相對(duì)好,通常嚴(yán)重程度陷數(shù)的分布呈正態(tài)分布?!鷫K缺陷率:這個(gè)標(biāo)主要是根據(jù)一個(gè)單測(cè)試模塊的缺陷數(shù)除模塊本身功能點(diǎn)數(shù)得出來(lái)的。假使一個(gè)模塊是單獨(dú)測(cè)的話(huà),

很容易可以和其他模進(jìn)行指標(biāo)橫向?qū)Ρ?,參照?yīng)的測(cè)試人員,得所測(cè)試模塊的缺陷數(shù)人員測(cè)試水平,也為發(fā)考核提供數(shù)據(jù)。

可以考察測(cè)試公式:∑缺陷數(shù)(系測(cè)試(個(gè))/

功能點(diǎn)(個(gè))∑缺陷數(shù)(系統(tǒng)測(cè)試個(gè))/

子功能點(diǎn)(個(gè))參考指標(biāo)

平均3.74

個(gè)缺陷/

功能點(diǎn)1個(gè)缺陷/

子功能點(diǎn)注意:有些功能點(diǎn)沒(méi)子功能點(diǎn),計(jì)算子功能點(diǎn)時(shí)要進(jìn)行說(shuō)明?!┤毕萋剩喊l(fā)布的線上故障,現(xiàn)階段試相關(guān)的故障主要都因?yàn)闇y(cè)試遺漏,有遺漏就明我們的測(cè)試還是效不高,可以改進(jìn)。公式:∑遺漏缺陷數(shù)/(∑遺漏缺陷數(shù)+∑漏版本發(fā)現(xiàn)缺數(shù))--→Bug發(fā)現(xiàn)的時(shí)間點(diǎn)bug曲線的收斂性,理想的效率高的模式應(yīng)該是前多后少,慢慢收斂的,如果前期bug常少,后期卻發(fā)大量bug,那我們前期效率就有問(wèn)題?!倍ㄎ缓涂勺x性可性?xún)?nèi)容包括Bug描述的規(guī)范性,分優(yōu)、良好、普通與不合格,描述是否清,問(wèn)題定位的附件是完備等。如果一個(gè)測(cè)試人員只會(huì)通過(guò)頁(yè)面將象表達(dá)出來(lái),而無(wú)法位這種現(xiàn)象是有什么起的,或者無(wú)法定該缺陷到底錯(cuò)在何處,那么可以判定測(cè)試人員是做了簡(jiǎn)單的表面測(cè),并沒(méi)有對(duì)所發(fā)現(xiàn)問(wèn)進(jìn)行分析定位。●技術(shù)組(性能自化和環(huán)境)測(cè)試人員效率的度量:→動(dòng)化測(cè)試的引入使用是否合理,不是個(gè)項(xiàng)目都適合做自動(dòng)的,自動(dòng)化并不能保證效的提高,用5個(gè)小時(shí)開(kāi)發(fā)的自動(dòng)化腳來(lái)替代3個(gè)小的手工測(cè)試并不合算自動(dòng)化測(cè)試需要評(píng)審按項(xiàng)目的大小不,必要的情況下才引入自動(dòng)化測(cè)試→動(dòng)化測(cè)試,特別性能測(cè)試結(jié)束之后,們要分析部分測(cè)試結(jié),測(cè)試結(jié)果的分析水平,可以作為衡量測(cè)試效的一個(gè)指標(biāo)?!駵y(cè)試項(xiàng)目負(fù)責(zé)人效率的度量:→試是否提早介入目,例如FRD階段就介入,越早介入越有利于測(cè)試,使測(cè)試人員更加悉整個(gè)項(xiàng)目,使問(wèn)題暴露,提高整體效率。--→發(fā)提交測(cè)試的時(shí),標(biāo)準(zhǔn)是否合理,把是否嚴(yán)格,如果開(kāi)發(fā)質(zhì)量不行,堅(jiān)決要退回,然會(huì)影響測(cè)試的效率進(jìn)度?!囉?jì)劃階段,評(píng)測(cè)試計(jì)劃的合理性,括任務(wù)細(xì)化,細(xì)化的度是否合理,任務(wù)順序,源安排,任務(wù)分配合,風(fēng)險(xiǎn)預(yù)估等等?!拷Y(jié)束后,評(píng)價(jià)目進(jìn)行階段中負(fù)責(zé)人跟進(jìn)情況,特殊情況理,風(fēng)險(xiǎn)觸發(fā)之后的處理資源協(xié)調(diào),信息收集共享,溝通,配合等?!裨嚬芾怼!鷦澷|(zhì)量:測(cè)試計(jì)的評(píng)審缺陷數(shù)或比率可以與其他同類(lèi)型項(xiàng)或數(shù)據(jù)庫(kù)平均指標(biāo)進(jìn)行對(duì)?!迫毕輸?shù)(評(píng)審和同評(píng)審)(個(gè))/∑試計(jì)劃文檔頁(yè)(頁(yè))→本質(zhì)量:成本度主要放在工作量這塊因?yàn)闊o(wú)論涉及工資是獎(jiǎng)金,都要和工作量掛上關(guān)。成本質(zhì)量主要是對(duì)試活動(dòng)的計(jì)劃工作量和比上實(shí)際的工作量數(shù)值總和。對(duì)測(cè)試人員考核的進(jìn)度離已經(jīng)考慮了進(jìn)度因,涉及的是成本因素。

而工作量公式:∑測(cè)試活動(dòng)計(jì)工作量(估算人日)

/∑測(cè)試活動(dòng)的實(shí)際作量(人日)參考指標(biāo):原則上不偏離計(jì)劃的±15%±20%。實(shí)際上,這個(gè)指標(biāo)是對(duì)成本的一種度。對(duì)于一個(gè)大的項(xiàng)目說(shuō),估算值往往差非常大,階段--統(tǒng)計(jì)時(shí)可能有±500?。∵@時(shí)調(diào)整計(jì)是很必要的,在最終段取考慮計(jì)算平均估算值。一個(gè)測(cè)經(jīng)理必須對(duì)完成任務(wù)成本進(jìn)行有效控制。

這兩項(xiàng)指標(biāo)是相對(duì)容易量化的部分而需要添加其他量化標(biāo)需要綜合考慮由項(xiàng)經(jīng)理和測(cè)試部部門(mén)經(jīng)理給出標(biāo)準(zhǔn)例如管理用時(shí)比率(個(gè)項(xiàng)目測(cè)試期間管時(shí)間占整個(gè)項(xiàng)目測(cè)試總時(shí)間)、系統(tǒng)整體缺陷數(shù)與其他同類(lèi)型項(xiàng)目或數(shù)據(jù)庫(kù)平均指標(biāo)進(jìn)行對(duì)比等等。●核具體方法:→各項(xiàng)指標(biāo)進(jìn)行匯分析,得出總和表格根據(jù)測(cè)試人員各項(xiàng)指大小進(jìn)行排行榜制作,如出1、、、4名?!A段涉及的權(quán)。例如將測(cè)試設(shè)計(jì)和試執(zhí)行權(quán)重各為中,作效率占40%(即所在階段20),工作質(zhì)量占在階段30)。

50%其60%即占所→定每類(lèi)指標(biāo)的分,然后每類(lèi)指標(biāo)達(dá)到均標(biāo)準(zhǔn)給或者超過(guò)根據(jù)80%~120比率給分。

100,達(dá)不到→比分統(tǒng)計(jì)出來(lái)后行綜合評(píng)定,必要的增加一些調(diào)整系數(shù)?!脤⒍ㄐ苑治黾{進(jìn)來(lái),采用問(wèn)卷調(diào)查項(xiàng)目經(jīng)理評(píng)分制度給定性指標(biāo)分?jǐn)?shù),建議這部權(quán)重不要超過(guò)性。

10%15%以保測(cè)試考核的可度量--→所有考核分?jǐn)?shù)給之后,提醒一點(diǎn)的是既然做了考核,就必公開(kāi)這些結(jié)果,而且考核有導(dǎo)向型,要讓考誤導(dǎo)了對(duì)質(zhì)量工作的求才是最重要的?!窈俗⒁馐马?xiàng):→目并不是一個(gè)月能完成的,如每月進(jìn),要考慮“可考核部”為那些,挑選那些指標(biāo)夠橫向?qū)Ρ?,然后分段、分任?wù)評(píng)定?!c測(cè)試的時(shí)間長(zhǎng)也要給予重視,除了述量化指標(biāo)外,測(cè)試員整體投入時(shí)間長(zhǎng)短也是重要的,

加班也要作為特殊考因素,也許某個(gè)測(cè)試員只參加了測(cè)試執(zhí)行

3小,各項(xiàng)指標(biāo)都是良好的,但是不可能他比其他參與時(shí)間更長(zhǎng)的人員更多分?jǐn)?shù)。這部分就是增調(diào)整系數(shù)的原因?!嚱?jīng)理的測(cè)試設(shè)和執(zhí)行部分和項(xiàng)目測(cè)人員一起考核,但是試管理工作要單獨(dú)考核,為另外的加分,或者文章前面所述納入項(xiàng)組給予考核。因?yàn)闇y(cè)試經(jīng)理在項(xiàng)目試中起著管理者和質(zhì)保證負(fù)責(zé)人的角色,要把他和其他測(cè)試工程師平等對(duì)。→核前要考慮項(xiàng)目實(shí)際情況,不要盲目輕易承諾測(cè)試組人員核會(huì)和薪金或者淘汰機(jī)制鉤,否則考核會(huì)起到效果?!鸀榭己苏咭⒁庀卤壤?,也許有些沒(méi)列入考核內(nèi)容,但是下這些點(diǎn)可以指導(dǎo)測(cè)試?!髟噲F(tuán)隊(duì)發(fā)現(xiàn)的bug

和所有bug之間的比例--△spec計(jì)造成的bug△重或者誤提交的bug

所占的比例△每發(fā)現(xiàn)的bug

的趨勢(shì)圖△Bug嚴(yán)重等級(jí)的構(gòu)比例△Bug從提交到解決平均需要時(shí)間△Bug從解決到關(guān)閉平均需要時(shí)間項(xiàng)目組測(cè)試人員考核主要目的是在于激勵(lì)測(cè)試組測(cè)試人員工作,

鼓勵(lì)能者,鞭策落后;另外,還以起到發(fā)現(xiàn)人才和查不足的作用。

考核中即要體現(xiàn)多勞多得的原則,也要體公正性和合理性原則

獎(jiǎng)罰分明才能有效促使量管理工作的進(jìn)步。要想考核到滿(mǎn)意的效果,上述法的重要的前提條件:

必須要在項(xiàng)目中充分收集相關(guān)數(shù)據(jù),

包括采集缺陷數(shù),記錄工、提交詳細(xì)工日志和進(jìn)行文檔配置管理,沒(méi)有這些數(shù)據(jù),量析就無(wú)從談起,測(cè)試人員考核也無(wú)從談起。3、測(cè)試人員工作度量測(cè)試度量主要從3部開(kāi)展工作:

一個(gè)是缺陷數(shù)據(jù)的統(tǒng)分析,第二個(gè)是工作量的統(tǒng)計(jì)分析,三個(gè)是測(cè)試工作量的算?!裣莸慕y(tǒng)計(jì)分析。要是從缺陷嚴(yán)重性、先級(jí)、模塊缺陷的分、缺陷的收斂情況、缺陷修復(fù)情況進(jìn)行統(tǒng)計(jì),根據(jù)統(tǒng)計(jì)結(jié)果,進(jìn)行定的分析。--●作量的統(tǒng)計(jì)分析→常工作量的記錄這個(gè)由團(tuán)隊(duì)成員自己寫(xiě)。在填寫(xiě)工作記錄,需要為每個(gè)工作記錄選相應(yīng)的任務(wù)類(lèi)型,并工作任務(wù)持續(xù)時(shí)間最不超過(guò)小時(shí)。

4→星期統(tǒng)計(jì)本周團(tuán)成員在各個(gè)項(xiàng)目中的入情況。也讓上司了解測(cè)試部于項(xiàng)目的支持情況。

不僅讓自己了清楚,→半個(gè)月統(tǒng)計(jì)整個(gè)隊(duì)的工作分配情況(但是數(shù)據(jù)是每周填寫(xiě)的)統(tǒng)計(jì)每個(gè)人在各個(gè)項(xiàng)目的作量分配情況。這個(gè)上面那個(gè)統(tǒng)計(jì)表的側(cè)點(diǎn)不一樣,上面這個(gè)統(tǒng)計(jì)表側(cè)重部門(mén)整體,現(xiàn)在這個(gè)側(cè)重于個(gè)體?!?如每周或半月將團(tuán)隊(duì)成員在項(xiàng)中的工作量投入情況錄到項(xiàng)目工作量投入表中。個(gè)表格主要用于統(tǒng)計(jì)體每個(gè)項(xiàng)目的測(cè)試工投入情況,及作為后續(xù)測(cè)試工作估算的原始數(shù)據(jù)?!?xiàng)目到達(dá)一個(gè)階后,將項(xiàng)目測(cè)試收集數(shù)據(jù)進(jìn)行匯總、統(tǒng)計(jì)收集的數(shù)據(jù)除項(xiàng)目基本信外,還包括工作量、試投入成本、項(xiàng)目規(guī)、項(xiàng)目總成本、項(xiàng)目總工作量。要分析測(cè)試在項(xiàng)目中投入情況、成本情況各個(gè)測(cè)試任務(wù)的分配情況等?!窈螅鶕?jù)對(duì)幾個(gè)目的工作量、成本以測(cè)試任務(wù)占項(xiàng)目總測(cè)投入的比例分析后,得到測(cè)試團(tuán)隊(duì)測(cè)試工作量估算的簡(jiǎn)易公式。

可以根據(jù)這個(gè)簡(jiǎn)易的公式進(jìn)行測(cè)試的估算,便測(cè)試計(jì)劃中關(guān)于作量估算部分的編寫(xiě)

避免在估算--工作量時(shí)缺乏依據(jù)。估算內(nèi)容主要包括:測(cè)總?cè)肆Τ杀菊柬?xiàng)目人力成本的比例及各項(xiàng)測(cè)試任務(wù)的作量分配比例。4、效率提高●測(cè)試負(fù)責(zé)人與開(kāi)發(fā)責(zé)人共同對(duì)項(xiàng)目進(jìn)度行商討分析,作出合的測(cè)試計(jì)劃,并在測(cè)試執(zhí)行過(guò)程中格按照測(cè)試計(jì)劃的進(jìn)和測(cè)試策略進(jìn)行?!駵y(cè)試人員盡早的進(jìn)需求理解階段,充分解需求文檔。●必要時(shí)做跟進(jìn)測(cè)試提高需求理解深度,間接提高測(cè)試執(zhí)行的率;跟進(jìn)測(cè)試,即系統(tǒng)測(cè)之前的草稿版測(cè)試,需與開(kāi)發(fā)方溝通,讓協(xié)助來(lái)執(zhí)行。跟進(jìn)試的目的不是發(fā)現(xiàn)bug,而是熟悉統(tǒng)環(huán)境,助需求理解和測(cè)試計(jì)。●盡量避免失敗的接測(cè)試。一次版本無(wú)法收,會(huì)浪費(fèi)很多人力和時(shí)間,還會(huì)影響測(cè)試人員的測(cè)試熱情●任務(wù)分配合理化。試負(fù)責(zé)人應(yīng)根據(jù)項(xiàng)目成員的經(jīng)驗(yàn)和能力能人因素,合理的分配測(cè)試務(wù),并將測(cè)試任務(wù)的塊和時(shí)間詳細(xì)化,這樣有助于提高整個(gè)項(xiàng)的測(cè)試效率。--●試工作從某種角看,會(huì)很容

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論