用戶體驗是決定互聯(lián)網(wǎng)產(chǎn)品能否長久生存的基礎(chǔ)，每一個基于產(chǎn)品功能、使用、外觀的微小體驗，都將極大關(guān)系到用戶留存影響。本文將講述火山引擎A/B測試（DataTester）助力企業(yè)協(xié)作平臺飛書進(jìn)行用戶體驗優(yōu)化的案例。

對飛書而言，用戶體驗旅程從打開產(chǎn)品頁面的一瞬間就已開始，這里有一個十分重要的指標(biāo)——頁面秒開率，秒開率是指頁面在一秒之內(nèi)打開的比率。為了能夠持續(xù)吸引用戶，一款產(chǎn)品則至少需要在1000毫秒以內(nèi)呈現(xiàn)出交互內(nèi)容。飛書為了提升用戶體驗，對其各項功能的秒開率指標(biāo)的優(yōu)化下了大功夫。在這個過程中，火山引擎DataTester通過嚴(yán)格的變量控制，落地更精準(zhǔn)的實驗結(jié)果，幫助研發(fā)團(tuán)隊直接佐證并明確了所選優(yōu)化方案的收益。

影響秒開率其實有很多種因素，如代碼冗余，插件拖累…… 在其中，有一項重要的影響因素是“類加載”。類加載是指當(dāng)頁面被打開時，背后是調(diào)用的多個元素的代碼，它們會經(jīng)歷驗證、準(zhǔn)備、解析、初始化等環(huán)節(jié)后，才能被使用，這個流程是比較耗費(fèi)時間的。

(資料圖片)

以飛書的一項功能“飛書妙記”加載為例。當(dāng)飛書整體進(jìn)行冷啟動時，如果用戶是首次打開飛書妙記界面，就會伴隨著接近1600個類的大量加載，這對頁面啟動速度有著不可忽視的影響。如何減少如此高的類加載數(shù)量對秒開率的影響呢？飛書團(tuán)隊希望嘗試采用的方案是：接入SnapBoost方案。

SnapBoost方案的思路是讓App能夠提前對頁面使用到的"類"進(jìn)行加載，通俗來說，也就是在用戶打開頁面之前，將耗時較長的部分提前進(jìn)行加載，當(dāng)用戶在打開頁面的時候，這些代碼省去了編譯和解析的時間，可以直接執(zhí)行，使秒開率得到提升。

那么SnapBoost方案是否能有效降低“飛書妙記”的加載時間呢？飛書團(tuán)隊采用了火山引擎A/B測試（DataTester）進(jìn)行方案可行性的重要驗證。

本次A/B實驗三大指標(biāo)：

· 類加載數(shù)量

· Activity切換耗時 ：Activity通常指一個單獨(dú)的屏幕（頁面），此指標(biāo)指在不同頁面之間的切換耗時。

· 可感知耗時  ：指用戶操作相關(guān)動作(點(diǎn)擊播放、滑動卡片等)到首幀渲染出來感知到的耗時。

優(yōu)化前后收益驗證：

火山引擎DataTester的實驗結(jié)果，對SnapBoost方案的提升性能假設(shè)給予了強(qiáng)有力的佐證，通過SnapBoost方案等一系列優(yōu)化，飛書妙記的秒開率可以達(dá)成37%的優(yōu)化提升，目前該方案已經(jīng)成功地進(jìn)行了全量上線。

除了飛書妙記的秒開率提升，飛書的視頻會議等全線功能，其實都在使用火山引擎DataTester進(jìn)行A/B實驗。DataTester為飛書的產(chǎn)品功能迭代帶來了明確收益佐證能力。

“ DataTester是結(jié)合A/B測試方法論最好的一個工具。”飛書的研發(fā)成員在采訪時講到。除了使用DataTester，飛書團(tuán)隊也會通過灰度等方式來做對比實驗。相比起灰度等實驗方式，DataTester的最大優(yōu)勢在于更加嚴(yán)格的變量控制，實驗創(chuàng)建者可以更直白地看清楚優(yōu)化效果，在灰度的基礎(chǔ)上，進(jìn)一步提升實驗結(jié)果的說服力。

火山引擎DataTester目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)，支持了多種業(yè)務(wù)場景需求，為業(yè)務(wù)的用戶增長、轉(zhuǎn)化、產(chǎn)品迭代、運(yùn)營活動等各個環(huán)節(jié)提供了科學(xué)的決策依據(jù)，將成熟的“數(shù)據(jù)驅(qū)動增長”經(jīng)驗賦能給各行業(yè)。（作者：康晏）

關(guān)鍵詞：