參賽單位：北京火山引擎科技有限公司

案例名稱：某保險集團APP A/B測試平臺場景應用案例

案例簡介：

該APP作為某保險集團互聯網戰略的超級APP，隨著用戶量增大，產品迭代、營銷活動的持續優化受到了更高挑戰。為解決以上難題，該保險集團攜手火山引擎共建APP A/B測試平臺，提升用戶體驗與營銷效率。

該APP A/B測試平臺作為國內金融業首創全功能A/B測試落地案例，通過產品、模型、策略、灰度發布等不同場景進行數據驗證，包含UI優化、文案賽馬、頁面布局、轉化漏斗、Push推送、模型優化、灰度發布等功能，為該保險集團構建了數字化、智能化為核心的精細化運營體系。

創新技術/模式應用：

過去十幾年中，保險行業持續線上化、數字化進程，這個過程中，一方面為了驗證新技術在實際業務中的能力，需要具備高效、科學、公正的分析技術平臺；另一方面，為提升產品迭代率，快速找到用戶體驗、用戶轉化最優方案，需要具備支持快速高效對比試驗的平臺。該APP A/B測試平臺解決了以上問題，具體體現在：

1. 科學可靠的分流服務

該APP的A/B測試平臺，分流服務更可靠，底層算法對用戶群體進行了均勻、隨機的分流，從而確保各實驗組樣本的同質性；分流服務性能更穩定，能支持億級DAU產品Push實驗等高并發請求場景。

2. 先進成熟的統計策略

該A/B測試平臺所采用的統計策略，依托于經典統計學的假設檢驗方法，從置信度、置信區間等多個層面對實驗結果進行判斷，同時配備以貝葉斯統計原理為基礎的實驗引擎，提供漏斗分析等多種輔助分析手段，賦能商業決策。

3. 特殊場景下的特型實驗

該A/B測試平臺不僅支持產品全生命周期中各場景下的實驗需求，在各種特殊場景下也能提供特殊的實驗解決方案：

（1）可視化實驗：通過可視化拖拽形式改變產品、頁面布局和各種前端元素，從而完成對照組與實驗組的配置，減少A/B測試的研發壓力，縮短實驗的上線周期。

（2）MAB動態流量調優實驗：應用貝葉斯統計原理，可同時提交多種策略（如提供多個Push文案、落地頁面等），可智能化動態擴量優勝版本，實現核心指標收益的最大化（如CTR、購買率最大化）。實驗開啟后，無需人工干預，流量自動向「有可能成為最優」的策略傾斜，根據實時指標變化，動態更新流量配置。

（3）多鏈接實驗 （Split URL實驗）：用戶訪問統一的落地頁URL后，將分流至不同的URL落地頁，適用于廣告投放、活動運營等場景。

（4）推送實驗：在活動推送過程中，可配置多個文案、落地頁等，并開啟實驗觀測轉化效果，提供智能調優的文案賽馬功能。

（5）MVT實驗（多變量實驗）：多個參數的自動化組合，自動探索計算最優解。

（6）父子實驗 （關聯實驗）：子實驗的流量均來自于父實驗的某一個實驗版本。

4. 穩定安全的灰度發布能力

在產品在新功能發布前，采取小流量測試的方式，驗證現有功能是否穩定，并可通過開關模式便捷地管理產品內功能的開啟、關閉，明顯減少線上事故發生。

項目效果評估：

1. 業務側

該A/B測試平臺應用于業務的各個方面，如頁面UI改版、各類活動運營、推送運營、APP功能流程更新等：

（1）頁面UI改版實驗、各類運營頁面優化上：該A/B測試平臺通過可視化實驗的方法，產品、運營和設計人員都可自主進行進行小流量A/B測試。先驗證UI新版的有效性，再完整上線的流程，可在技術成本降低的同時，提升UI迭代速度和質量。在某次站內廣告測試中，該APP通過可視化實驗，用戶的CTR提升80%。

（2）推送運營上：需要不斷測試如推送人群、頻率、文案、內容、圖片、用戶打開方式等一系列步驟。其A/B測試平臺提供了完整的可配置項，推送過程中的所有步驟均以所見即所得的配置，再結合MAB動態流量調優，系統可以自動在多種變量之中尋找最優解（MVT實驗）。對此，運營人員只需要定期上線預期更優的推送策略，A/B測試平臺即可完成自動分發，自動調優，優化了APP的推送運營流程，提升了整體的推送激活率，在一項保險產品的

推送中，通過A/B測試平臺優化流程，該產品購買轉化率提升近100%。

2. 產品側

該APP基于A/B測試平臺，目前建立了以下效果能力模塊，產品體驗、業務能力得到持續優化：

（1）多種實驗模塊：可視化實驗模塊、編程實驗模塊、多鏈接合并實驗、推送實驗。

（2）實驗控制模塊：動態調整實驗流量、精確的控制用戶分組、實驗暫停、一鍵發布或回滾。

（3）正交實驗模塊：解決并行進行大量A/B測試的需求與有限流量之間的矛盾。

（4）實驗數據統計與分析模塊：支持實時數據統計與分析；支持實驗數據的科學性分析，包括置信區間、統計顯著性分析等；支持實驗指標的深度下鉆，包括用戶維度和事件維度組合下鉆，漏斗分析等。

（5）灰度發布模塊：支持全平臺灰度發布；支持用戶與事件定向實驗，基于用戶標簽、事件標簽的定向配置分發；支持定時、定量灰度發布。

（6）實驗監控模塊：支持對實驗指標進行實時監控；支持監控觸發郵件預警。

（7）A/B測試管理平臺：具備系統管理、用戶及用戶群管理、角色管理、權限管理、配置管理等功能，操作便捷明了。

智能分流實驗模塊：支持智能分流，根據轉化情況，進行AI智能流量分配，支持實時動態流量調整，實時可以調整每個版本分配的流量。

項目牽頭人：

官玫 火山引擎金融行業技術解決方案

責任編輯：方杰