敏捷測試的方法和最佳實(shí)踐
有一次，當(dāng)開發(fā)人員完成當(dāng)前Sprint 任務(wù)的代碼之后，
測試人員 與開發(fā)人員、產(chǎn)品經(jīng)理一起來瀏覽產(chǎn)品、從頭到尾走一邊，產(chǎn)品經(jīng)理發(fā)現(xiàn)了問題，認(rèn)為需要對功能進(jìn)行比較大的修改。這時(shí)開發(fā)人員估計(jì)需要兩天時(shí)間才能完成代碼，但測試人員反對這樣做，我們本來只有5天測試時(shí)間，加上這次新做的功能比較多、開發(fā)代碼
質(zhì)量 不高，
驗(yàn)收測試 已經(jīng)很緊張。如果再延遲兩天，測試沒法完成。產(chǎn)品經(jīng)理說，你們不是在用敏捷
測試方法 ，應(yīng)該測得很快，三天應(yīng)該能完成測試工作啊! 什么是敏捷測試呢?敏捷測試當(dāng)然不能簡單地理解測得更快，絕對不是比以前用更少時(shí)間進(jìn)行測試，也不是將測試的范圍縮小了或?qū)①|(zhì)量降低來減少測試任務(wù)。也有人說，只有
敏捷開發(fā) ，沒有敏捷測試。下面我們就要討論一下：
l 究竟什么是敏捷測試?
l 敏捷測試有哪些流程改進(jìn)?
l 測試人員如何面對敏捷測試的挑戰(zhàn)?
l 在敏捷測試中如何制定相應(yīng)的
自動化測試 策略?
等等各種問題。
1. 什么是敏捷測試
假如將過去傳統(tǒng)的測試流程和方法硬塞入敏捷開發(fā)流程中，測試工作可能會事倍功半，測試人員可能會天天加班，而不能發(fā)揮應(yīng)用的作用。敏捷測試應(yīng)該是適應(yīng)敏捷方法而采用的新的測試流程、方法和實(shí)踐，對傳統(tǒng)的測試流程有所剪裁，有所不同的側(cè)重，例如減少
測試計(jì)劃 、
測試用例 設(shè)計(jì)等工作的比重，增加與產(chǎn)品設(shè)計(jì)人員、開發(fā)人員的交流和協(xié)作。在敏捷測試流程中，參與
單元測試 ，關(guān)注持續(xù)迭代的新功能，針對這些新功能進(jìn)行足夠的驗(yàn)收測試，而對原有功能的
回歸測試 則依賴于自動化測試。由于敏捷方法中迭代周期短，測試人員盡早開始測試，包括及時(shí)對
需求 、開發(fā)設(shè)計(jì)的評審，更重要的是能夠及時(shí)、持續(xù)的對軟件產(chǎn)品質(zhì)量進(jìn)行反饋。簡單地說，敏捷測試就是持續(xù)地對軟件質(zhì)量問題進(jìn)行及時(shí)地反饋，如圖1所示。
圖1 敏捷測試定義的形象描述
2. 敏捷測試流程的優(yōu)化
在敏捷方法中，需求變化比較快、產(chǎn)品開發(fā)周期很短，我們目前采用四周時(shí)間，也就是每個(gè)月發(fā)布一個(gè)新版本。開發(fā)周期短，功能不斷累加，給軟件測試帶來很大的挑戰(zhàn)，
軟件測試流程 要做相應(yīng)的調(diào)整。例如，我們原有的測試規(guī)范明確規(guī)定，首先要建立項(xiàng)目的主測試計(jì)劃書，然后再建立每個(gè)功能任務(wù)的測試計(jì)劃書，測試計(jì)劃書有嚴(yán)格的模板，而且需要和產(chǎn)品經(jīng)理、開發(fā)人員討論，并和測試團(tuán)隊(duì)其他人員(包括測試經(jīng)理)討論，最終得到大家的認(rèn)可和簽字才能通過，僅測試計(jì)劃經(jīng)過“起草、評審和簽發(fā)”一個(gè)完整的周期就需要一個(gè)月。在敏捷方法中，不再要求寫幾十頁的測試計(jì)劃書，而是在每個(gè)迭代周期，寫出一頁紙的測試計(jì)劃，將測試要點(diǎn)(包括策略、特定方法、重點(diǎn)范圍等)列出來就可以了。
在原有測試規(guī)范中，要求先用Excel寫出測試用例，然后進(jìn)行討論、評審，評審?fù)ㄟ^以后再導(dǎo)入測試用例庫(在線管理系統(tǒng))中。在敏捷測試中，可能不需要測試用例，而是針對
use case 或user story直接進(jìn)行驗(yàn)證，并進(jìn)行探索性測試。而節(jié)約出來的時(shí)間，用于開發(fā)原有功能的自動化
測試腳本 ，為回歸
測試服務(wù) 。自動化測試腳本將代替測試用例，成為軟件組織的財(cái)富。原有測試規(guī)范還要求進(jìn)行兩輪回歸測試，在敏捷測試中，只能進(jìn)行一輪回歸測試。綜合這些考慮，敏捷測試的流程簡單有效，如下圖2所示。
圖2 敏捷測試流程簡要圖
在敏捷測試流程中，如前所述，測試是一個(gè)持續(xù)的質(zhì)量反饋過程，測試中發(fā)現(xiàn)的問題及時(shí)反饋給產(chǎn)品經(jīng)理和開發(fā)人員，而且某些關(guān)鍵方面也要得到我們足夠的關(guān)注，主要有：
l 測試人員不僅要全程參與需求、產(chǎn)品功能設(shè)計(jì)等討論，而且要面對面地、充分地討論(包括帶語言、視頻的即時(shí)通訊)，僅僅通過郵件是不夠的。
l 參與代碼復(fù)審(code review)，并適當(dāng)輔助開發(fā)人員進(jìn)行單元測試。
l 在流程中增加一個(gè)環(huán)節(jié)“產(chǎn)品走查(Product work-through)”——測試人員和產(chǎn)品經(jīng)理、開發(fā)人員等在一起，從頭到尾將新功能看一遍，可直觀、快速地發(fā)現(xiàn)問題。
3. 新功能的測試和回歸測試策略
測試任務(wù)簡單地可分為新
功能測試 和回歸測試。在敏捷方法中，針對這兩部分的測試建立相應(yīng)的策略，以提高測試的效率，最大限度地降低質(zhì)量風(fēng)險(xiǎn)。新功能測試的策略主要有：
l 不需要測試用例，直接基于用例、基于對需求的理解來完成新功能的驗(yàn)證。即使要寫測試用例，只要保證各個(gè)功能點(diǎn)被覆蓋，不要過于詳細(xì)(大顆粒度)。
l 持續(xù)地進(jìn)行驗(yàn)證，一旦某塊新代碼完成(code drop), 就開始驗(yàn)證，而不是等到所有代碼完成后才開始測試。這也包括參與到單元測試和
集成測試 中。
l 實(shí)施端到端(end-to-end)的測試，確保完整的業(yè)務(wù)流程的實(shí)現(xiàn)，同時(shí)，也容易發(fā)現(xiàn)業(yè)務(wù)邏輯不夠清晰、不夠合理等各方面的問題。
l 閱讀代碼來發(fā)現(xiàn)問題，可以和開發(fā)人員工作保持同步，消除測試周期的壓力。
l 基于經(jīng)驗(yàn)，可以實(shí)施更多的探索性測試、組合交互性(interoperation)測試和用戶場景(user scenario)測試，更有效地發(fā)現(xiàn)埋藏較深的
缺陷 。
回歸測試是敏捷測試中需要面對的難點(diǎn)。每次迭代都會增加新的功能，一個(gè)產(chǎn)品可能會經(jīng)過十幾次、甚至幾十次迭代，回歸測試范圍在不斷增大，而每次迭代周期沒變，可能還是一個(gè)月。這樣
驗(yàn)收測試 的時(shí)間非常有限，所以回歸測試很大程度上依賴于自動化測試，因?yàn)楹茈y將回歸測試控制在非常有限的范圍內(nèi)。當(dāng)然，還是有些辦法可以幫助我們減少回歸測試的范圍，例如： l 通過執(zhí)行codediff來了解代碼變動的所有地方，再做代碼關(guān)聯(lián)分析，就可以明確知道要進(jìn)行哪些地方的回歸測試，回歸測試范圍會大大縮小。
l 基于風(fēng)險(xiǎn)和操作面分析來減少回歸測試的范圍，例如回歸測試只是保證主要功能點(diǎn)沒有問題，而忽視一些細(xì)節(jié)的問題。
l 持續(xù)測試的過程，只要有時(shí)間，就進(jìn)行測試，包括
開發(fā) 人員、產(chǎn)品設(shè)計(jì)人員都參與到日常的試用和測試中來。
4 自動化測試策略
由于開發(fā)周期短，
需求 、設(shè)計(jì)等方面溝通也需要花費(fèi)很多時(shí)間，沒有足夠時(shí)間開發(fā)自動化
測試腳本 ，至少對新功能的測試很難實(shí)現(xiàn)自動化測試。這時(shí)候，就需要正確的策略來提高自動化測試的效益，如圖30-3所示，并說明如下。
圖3 自動化測試的策略
l 構(gòu)建一個(gè)靈活的、開放的
自動化測試框架 ，如基于關(guān)鍵字驅(qū)動的
自動化框架 ，使測試腳本的開發(fā)簡單易行，腳本維護(hù)也方便。
l 針對穩(wěn)定的產(chǎn)品特性開發(fā)自動化測試腳本，也就是針對前期完成的已有功能開發(fā)自動化測試的腳本，而大部分新功能測試采用手工測試。
l 集中精力在單元層次上實(shí)現(xiàn)自動化測試，主要由開發(fā)人員實(shí)施，
測試人員 提供
單元測試 框架，并輔助完成一些所需的基礎(chǔ)工作。
l 在產(chǎn)品設(shè)計(jì)、編程時(shí)就很好地考慮了自動化測試的需求，使全面的、自動化的底層測試、接口測試成為可能，盡量避免用戶界面(UI)的自動化測試。
l 良好的IT基礎(chǔ)設(shè)施，包括自動化構(gòu)建軟件包、自動化版本驗(yàn)證(BVT)、自動化部署、覆蓋率自動產(chǎn)生等。
5 敏捷
測試工具自動化測試依賴于測試工具，所幸的是，目前已有很多敏捷測試工具。由于篇幅所限，這里只是簡單地列出一些常用的敏捷測試工具，不再深入討論了。
l
單元測試工具 ：TestNG、xUnit家族(如JUnit 、NUnit)、JMock、BizMock等。
l 功能
測試自動化 ：ThoughtWorks Twist。
l Web功能測試(frontend)：
Selenium IDE/RC、WatiR、WatiN。
l Web service測試工具(backend)：
soa pUI 。
l
性能測試 ：
JMeter +BadBoy。
l 驗(yàn)收測試框架：Fitnesse、Tellurium。
l 敏捷
測試過程 管理工具：微軟的Visual Studio 2010，包括TFS 2010、Scrum模板(MS VS Scrum 1.0)、Test Manager 2010、Coded UI Test等。
l 業(yè)務(wù)智能(BI)應(yīng)用的測試框架：Oraylis BI.Quality (+ NUnit)。
l 其它一些協(xié)作工具等，如TestLink、
BugZilla 、
BugFree 、wiki、
ant 等。
6 測試人員在敏捷方法中的價(jià)值
在敏捷方法中，開發(fā)人員的主導(dǎo)作用更明顯，系統(tǒng)設(shè)計(jì)、編程實(shí)現(xiàn)、單元測試、重構(gòu)等看似關(guān)鍵的一些任務(wù)都落在開發(fā)人員身上，測試人員容易被邊緣化。那么，在敏捷方法中，測試人員的價(jià)值又如何體現(xiàn)呢?
l 在需求和功能設(shè)計(jì)討論上，測試人員可以站在客戶角度上來闡述自己的觀點(diǎn)，扮演“用戶代表”角色，強(qiáng)調(diào)用戶體驗(yàn)，真正體現(xiàn)測試人員和開發(fā)人員的互補(bǔ)作用。
l 測試人員不僅扮演“用戶代表”角色，而且通過需求討論、代碼復(fù)審等各種活動及時(shí)地提供
質(zhì)量 反饋，包括代碼質(zhì)量、接口一致性等，保證在產(chǎn)品構(gòu)造的整個(gè)過程中質(zhì)量受到足夠的關(guān)注，以提高質(zhì)量改進(jìn)的持續(xù)性和可視性。
l 測試人員應(yīng)積極參與單元測試，即使不參加單元測試，也應(yīng)督促開發(fā)人員進(jìn)行單元測，確保單元測試達(dá)到80%以上覆蓋率，確保開發(fā)出具有良好可測試性的代碼。
l 在敏捷方法中，往往將一個(gè)大的系統(tǒng)開發(fā)分解成多個(gè)小的子系統(tǒng)(模塊或組件)，
集成測試 和端到端(end-to-end)測試顯得更為重要，測試人員在這些測試上能發(fā)揮更大的作用。
l 產(chǎn)品發(fā)布前，驗(yàn)收測試和回歸測試依然不可缺少，這更是測試人員的用武之地。
l 一個(gè)迭代周期結(jié)束后，對
缺陷 根本原因進(jìn)行分析、總結(jié)規(guī)律，幫助開發(fā)人員建立良好的習(xí)慣，預(yù)防缺陷，從根本上提高產(chǎn)品質(zhì)量。
理想情況下，測試人員掌握設(shè)計(jì)模式、具有很好的編程能力，可以和開發(fā)人員進(jìn)行角色互換，如在當(dāng)前版本開發(fā)(/迭代周期)中擔(dān)任測試人員角色，在下一個(gè)版本開發(fā)(/迭代周期)中則擔(dān)任開發(fā)人員角色。這樣雙方對不同角色的工作有著更深刻的認(rèn)識，消除溝通的障礙，開發(fā)的效率和質(zhì)量會有進(jìn)一步的提高。
小結(jié)
根據(jù)上面的討論和我們的實(shí)踐，最后針對敏捷測試進(jìn)行一個(gè)簡單的總結(jié)，就是：
l 敏捷測試就是持續(xù)測試、持續(xù)反饋，扮演“用戶代表”角色，確保產(chǎn)品滿足客戶的需求。
l 敏捷功能測試 = 新特性的手工測試 (
use case 驗(yàn)證和探索性測試) + 原有功能的自動化測試 (回歸測試)
l 敏捷測試人員和開發(fā)人員的區(qū)別越來越小，理想情況下，敏捷方法中，測試人員和開發(fā)人員在不同的迭代周期可以互換。
l 敏捷
測試流程 依據(jù)不同的團(tuán)隊(duì)特點(diǎn)、不同產(chǎn)品的特點(diǎn)而不同，因地制宜，適合才是最好。
