1.在多變量測試時(shí)不要瘋狂追逐測試變種的數(shù)量
建立MVT時(shí)，不要試圖在每個(gè)頁面上測試太多元素和變種。測試5個(gè)以上的不同頁面元素，每個(gè)元素有超過3個(gè)變種，得到明顯的測試結(jié)果就需要很長的時(shí)間。這是因?yàn)楣ぞ咝枰诿總€(gè)組合上得到足夠的流量，才能宣布明顯的優(yōu)勝者，如果你測試的頁面流量很低這樣的測試可能要花上好幾個(gè)月。
測試大量的測試變種不僅需要更長的時(shí)間才能得到顯著的結(jié)果，而且創(chuàng)建許多不同的測試版本也需要更長的時(shí)間(特別是在你需要大量幫助才能創(chuàng)建這些版本的情況下)。這可能嚴(yán)重降低每個(gè)月測試的數(shù)量，減慢優(yōu)化策略的進(jìn)展。
為了避免一次測試過多頁面元素的問題，理想的情況下你應(yīng)該嘗試將測試限制在7元素以內(nèi)，每個(gè)元素只有兩個(gè)變種。
如果你想要測試7個(gè)以上元素，建議你用創(chuàng)新A/B測試代替，在這種測試中你創(chuàng)建個(gè)完全不同的頁面，與當(dāng)前頁面進(jìn)行對比次測試。獲得一個(gè)明顯的測試優(yōu)勝者所花的時(shí)間相對來說要少得多，然后你可以在優(yōu)勝頁面版本的元素上進(jìn)一步開展后續(xù)的測試。
2.確保測試挑戰(zhàn)者有足夠的差異
挑戰(zhàn)者版本與控制版本過于相近，以至于訪問者幾乎注意不到差別(更不用說影響轉(zhuǎn)化率了)，這是測試表現(xiàn)不佳的較常見原因之一。當(dāng)你測試設(shè)計(jì)人員控制創(chuàng)建的圖形元素如橫幅或者圖片)時(shí)，特別容易出現(xiàn)此類問題。為了緩解這些問題，你應(yīng)該與設(shè)計(jì)團(tuán)隊(duì)會(huì)談，確保他們知道測試的動(dòng)機(jī)和方向，給他們舉一些顯著不同版本的例子 。
理想情況下，你需要?jiǎng)?chuàng)建一個(gè)有顯著不同的挑戰(zhàn)者版本。例如，不要只是稍微改變個(gè)按鈕的顏色；你應(yīng)該進(jìn)行更醒目、更明顯的修改，例如使用差別很大的圖片或者用詞然而，如果不進(jìn)行迭代測試找出對轉(zhuǎn)化影響最大的元素，那么不建議一次修改多個(gè)元素如果你的挑戰(zhàn)者版本需要不同的文本(例如，新的標(biāo)題或者行動(dòng)號召)，你應(yīng)該讓營銷團(tuán)隊(duì)幫助你創(chuàng)建變種，以增加它更好地影響訪問者的概率。理想狀況下，你應(yīng)該讓一位營銷負(fù)責(zé)人專門負(fù)責(zé)這項(xiàng)任務(wù)，他將成為優(yōu)化團(tuán)隊(duì)的一員。
3.不要花太多時(shí)間完善測試挑戰(zhàn)者版本
測試缺乏效率的一個(gè)常見原因是將太多時(shí)間花在設(shè)計(jì)一個(gè)完善的測試變種上。你不應(yīng)該在完善它們上花費(fèi)太多時(shí)間，因?yàn)榇蟛糠职姹咀詈鬅o法獲得優(yōu)勝而留在網(wǎng)站上，相反，你只需要投資足夠的時(shí)間表達(dá)變種的主要思想即可一一花費(fèi)常規(guī)設(shè)計(jì)時(shí)間的80%，不要最困難、最費(fèi)時(shí)的20%花在它們的完善上。
需要記住的關(guān)鍵點(diǎn)是，如果有必要，你總是可以對優(yōu)勝版本進(jìn)行調(diào)整，例如精確地符合品牌要求(只要你不對優(yōu)勝版本進(jìn)行重大修改，就不會(huì)使測試的結(jié)果失效)。
你應(yīng)該明確地向設(shè)計(jì)部門強(qiáng)調(diào)這一點(diǎn)，并確保他們不會(huì)將太多的時(shí)間花在絕對地完善每個(gè)測試設(shè)計(jì)上。這樣做就意味著運(yùn)行測試所需要的可見資源較少，最終意味著你能更經(jīng)常和更有效地運(yùn)行測試。
4.及早規(guī)劃測試資源
在你創(chuàng)建測試時(shí)，往往需要來自許多不同部門的幫助，包括IT部門(幫助測試的實(shí)施)、設(shè)計(jì)部門(幫助設(shè)計(jì)測試變種)以及營銷部門(幫助提出與營銷相關(guān)的改進(jìn)，如行動(dòng)號召或者標(biāo)題)。
如果沒有及早計(jì)劃獲得這類幫助和資源，就會(huì)導(dǎo)致你的測試創(chuàng)建很慢且效率低下，最終降低測試的頻率(為了擁有一個(gè)長期有效的測試計(jì)劃，你必須能夠同時(shí)測試許多內(nèi)容)。這種現(xiàn)象常常出現(xiàn)的原因是最后時(shí)刻的測試資源規(guī)劃可能有被其他部門延遲的危險(xiǎn)。最后時(shí)刻通常有許多有關(guān)測試的問題需要回答，這也會(huì)推遲啟動(dòng)的時(shí)間。
因此，你必須盡可能提前規(guī)劃需要的資源并排定優(yōu)先順序，并且與項(xiàng)目經(jīng)理緊密協(xié)作提高成功的可能性 。
5.在測試期間對流量主要來源的更改保持謹(jǐn)慎
另一個(gè)需要注意的事實(shí)是，在運(yùn)行測試期間，流量來源模式的影響可能變化。前前面已經(jīng)提到過，轉(zhuǎn)化率在不同流量源中可能有很大的不同，因此可能嚴(yán)重地影響你的測試結(jié)果例如，如果你在網(wǎng)站上進(jìn)行測試并且發(fā)起一個(gè)大型新聞郵件活動(dòng)，這可能在幾天內(nèi)提高了你的轉(zhuǎn)化率，你的測試在短期內(nèi)看上去比實(shí)際的表現(xiàn)要好。這是因?yàn)樾侣勦]件流流量的來源質(zhì)量較高，所以轉(zhuǎn)化率往往更高。
另一個(gè)例子是，如果你的營銷部門在測試中期開始一場付費(fèi)搜索活動(dòng)，這類的流量也更有針對性，有更大的轉(zhuǎn)化可能，也會(huì)影響你的結(jié)果。
大部分較為高級的測試工具實(shí)際上都可以過濾分組或者流量，避免這類情形。因此在你啟動(dòng)測試之前，應(yīng)該詢問營銷團(tuán)隊(duì)他們在測試期間是否計(jì)劃舉行可能改變網(wǎng)站流量質(zhì)量(從而影響你的測試結(jié)果)的重大流量驅(qū)動(dòng)活動(dòng)，然后建立過濾器，在測試期間刪除這些分組。
6.不要在開始時(shí)刪除表現(xiàn)不住的測試版本
進(jìn)行測試的人們常常受到誘惑，刪除和排除似乎表現(xiàn)不佳的測試版本，特別是在他們或者其他人已經(jīng)相信這些性性能不佳的版本不如其他測試版本好的情況下
這是很不好的，因?yàn)橛袝r(shí)候網(wǎng)站設(shè)計(jì) 開始時(shí)表現(xiàn)不佳的測試版本可能隨著時(shí)間的推移而變得更好，甚至最后得測試的勝利。因此，你應(yīng)該保留所有測試變種.直到測試結(jié)束 。
本文地址：http://blackside-inc.com//article/2651.html
