圖片來源:Pixabay CC0 圖與文無關
自去年對15家農村商業銀行進行兼容性和相關性能方面的測試后《15家農商行手機銀行評測:近半數存兼容性問題》,為持續跟蹤和檢測更大范圍的手機銀行客戶端的兼容性和易用性等方面的表現,為行業發展提供有益參考,2019年CFCA兼容和性能測試平臺針對15家農村商業銀行進行兼容性和相關性能方面的測試。
整體上來看,15家農村商業銀行個人手機銀行APP安卓客戶端整體兼容性表現良好,較去年“近半數存兼容性問題”的情況,大有改善。在當前市面流行的主流手機適配測試均測試通過,不存在兼容性問題。
UI界面測試方面,大多數銀行APP的UI都過關,4家存在主要體現在功能頁面UI異常、手機頂部信息欄信息遮擋等問題,需要針對特定問題進行優化與更改。
應用啟動時間、啟動用戶體驗時間、CPU、GPU、內存、電量和電池溫度等方面表現均良好,各家銀行APP并沒有過多消耗設備資源情況。
弱網兼容性測試方面,部分手機銀行APP弱網環境下出現功能無法正常進行且APP穩定性比較差的方面問題。建議針對弱網環境出現的問題進行程序的優化。
需要指出的是,個別手機銀行APP因為“體重”增加的原因,導致“上行流量消耗”、“下行流量消耗”和“總流量消耗”以及“電池溫度”等多項數據的表現弱于去年,因此,我們有必要對APP在功能延展,UI表現方面保持克制,控制“體重”。
本次指標數量從2018年的10個增加為21個,新增加了UI界面顯示情況、耗電量、安裝時間、CPU占用高于80%運行情況、低丟包率低延時網絡運行情況、低丟包率高延時網絡運行情況、高丟包率低延時網絡運行情況、高丟包率高延時網絡運行情況、網絡超時運行情況、網絡限速運行情況、無網絡運行情況等指標提供參考。
本次測試包含15家農村商業銀行的個人手機銀行安卓手機客戶端,包括:北京農商銀行、上海農商銀行、常熟農商銀行、張家港農商銀行、蘇州農商銀行、廣州農商銀行、重慶農村商業銀行、成都農商銀行、鄞州銀行、深圳農村商業銀行、浙江省農村信用社聯合社、安徽省農村信用社聯合社、江西省農村信用社聯合社、山東省農村信用社聯合社、云南省農村信用社聯合社。
一、兼容性:滿分
本次測試兼容性情況使用設備分布情況如下:
根據測試結果:接受測試的15家銀行中,所有的APP在100臺設備中均可以正常安裝、運行、卸載,占100%,全員拿到滿分。
二、UI測試:4家銀行的APP需針對特定機型做優化
本次UI顯示測試的結果顯示,4家銀行的手機銀行APP頁面UI存在顯示問題,主要體現在功能頁面UI異常、某些頁面遮擋手機頂部信息欄的信息等錯誤。
報告建議,對于頁面UI存在問題的,需要針對APP模塊功能的特定機型進行頁面UI優化。
三、性能測試:成都農商行拿下多個第一
本次測試使用性能測試環境為三星S8手機,安卓系統版本7.0,網絡環境為CFCA測試WIFI(中國電信網絡)連接。測試過程中系統無其他APP后臺運行,被測試銀行手機銀行APP在無其他APP干擾情況下冷啟動開始測試,測試過程采取隨機測試,測試時長大約2到3分鐘。
經測試,成都農商行在上行流量消耗、下行流量消耗、總流量消耗、電量消耗表現優異,排在第一位,另外,該行在電池溫度和內存平均占用率等方面表現也不俗,位列第二位。
15家銀行手機銀行應用啟動時間均在2秒以內,平均為1.05秒,最大為2秒,張家港農商銀行手機銀行啟動時間最短,在0.3秒完成第一個頁面啟動。
15家銀行手機銀行啟動用戶體驗時間分布在2.69秒到6.92秒之間,差別較小。平均為4.32秒,最大為6.92秒,重慶農村商業銀行啟動用戶體驗時間最短,從用戶點擊APP圖標到可操作的首頁面完全加載完成用時2.69秒。
根據用戶最佳體驗原則,APP啟動后5秒內完成所有加載達到用戶可操作首頁面體驗最佳。15家銀行APP中11家銀行APP在5秒以內,有4家銀行APP啟動時用戶需要等待大于5秒才可以操作。
建議在不影響用戶使用的前提下,對相關的圖片或功能進行優化。在移動互聯網時代,人們在功能體驗的耐心正變得越來越少。
15家銀行APP 運行時的CPU占用率在0.5%到20%不等,平均占用為6.87%,最高占用為20%。最低為重慶農村商業銀行手機銀行,運行時平均占用0.5%。
15家銀行APP 運行時的GPU平均占用為16.37%,最高占用為53.96%。最低為蘇州農商銀行手機銀行,運行時平均占用1.94%。最高占用和最低占用的差距較大,而且最高占用的APP遠遠高于平均占用,需要好好優化圖形加載和功能布局的問題。
內存平均占用率最低的為鄞州銀行平均占用90.45MB,15家銀行APP平均內存占用為276.36MB,最高占用為374.81MB。
APP向服務端發送數據流量不同APP表現從0.39KB到14.83KB不等,上行流量消耗最低為成都農商銀行手機銀行,運行過程總上行流量為0.39KB,15款APP平均的上行流量為3.14KB,最高流量APP在運行過程總上行流量為14.83KB。
APP從服務端下載數據流量APP表現從0.34KB到16.05KB不等,下行流量消耗最低為成都農商銀行手機銀行,運行過程總下行流量為0.34KB,15款APP平均的下行流量為4.17KB,最高流量APP在運行過程總下行流量為16.05KB。
成都農商銀行手機銀行APP為最省流量APP,測試過程總消耗0.73KB。15家銀行APP運行過程總消耗流量均值為7.31KB,消耗最大的APP流量為30.88KB。
20-40℃為手機電池的正常溫度,電池溫度指標方面各個銀行APP指標基本相同,最小為運行時溫度28.14℃,最高為33℃,平均30.7℃,各個銀行APP運行時對電池的消耗均不大。
15家銀行APP安裝時的時間在8秒到30秒不等,平均安裝時間為15.07秒,最高安裝時間30秒。最低為山東省農村信用社聯合社,安裝用時8秒。
15家銀行APP運行過程中耗電量在4.73mAh到10.8mAh不等,平均耗電量6.59mAh,最高耗電量為10.8mAh。最低為成都農商銀行手機銀行,運行耗電量4.73mAh。
APP在CPU占用率80%以上的情況下運行,15家銀行APP中均會發生卡頓現象。
四、弱網環境測試情況:多數表現欠佳
本次弱網測試結果顯示,部分手機銀行APP弱網環境下出現功能無法正常進行且APP穩定性比較差的方面問題。報告建議,對于弱網環境出現問題APP,加強弱網環境下操作響應時間的速度以及加強弱網環境下UI界面友好度和APP的穩定性。
低丟包率低延時:15家銀行APP運行過程中暫未發現問題。
低丟包率高延時:15家銀行APP運行過程中暫未發現問題。
高丟包率低延時:15家銀行中的13家銀行出現通訊異常無法加載進入主頁后退出或卡在加載界面。
高丟包率高延時: 15家銀行中的13家銀行出現通訊異常無法加載進入主頁后退出或卡在加載界面。
網絡超時: 15家銀行中的14家銀行出現通訊異常無法加載進入主頁后退出或卡在加載界面。
網絡限速:加載較慢,暫未發現問題。
無網絡:15家銀行中的14家銀行出現通訊異常無法加載進入主頁后退出或卡在加載界面。
五、15家農村商業銀行手機銀行2018、2019年數據對比
15家農村商業銀行手機銀行APP的CPU平均占用2019年數據略高于2018年數據基本持平。這和近年來 手機銀行功能逐漸增加,頁面UI不斷復雜化的趨勢有關,建議銀行在功能新增和頁面布局上有所克制。
15家農村商業銀行手機銀行APP的GPU平均占用數據中,2018年與2019年數據基本持平。除個別銀行外,整體上和去年差別不大,未來走勢還有待進一步觀察。
15家農村商業銀行手機銀行APP的電池溫度2018年與2019年數據相差較大。去年,各家銀行手機銀行的電池溫度差異加到,而到了今年,電池溫度幾乎都保持在同一條水平線上,這確實是一個有趣的現象。
15家農村商業銀行手機銀行APP的內存平均占用的數據中,2019年數據高于2018年數據。這也和近年來手機銀行功能增加,UI布局有很大關系。未來,在保證手機銀行主要功能和創新點足夠滿足用戶使用的前提下,考慮這方面的優化問題。
15家農村商業銀行手機銀行APP的啟動用戶體驗時間2018年數據略高于2019年數據。
15家農村商業銀行手機銀行APP的上行流量2018年數據與2019年數據除個別銀行APP,其他銀行數據差異不大。個別銀行需要對此引起一定的注意,下一個版本需要就此做出相應的優化措施。下圖中“下行流量消耗”和“總流量消耗”都有這個類似的情況,也發生在同樣的幾家銀行的身上,需要考慮“減肥”的問題。
15家農村商業銀行手機銀行的下行流量2018年數據高于2019年數據。
15家農村商業銀行手機銀行APP的總流量2018年數據高于2019年數據。
15家農村商業銀行手機銀行APP的應用啟動時間2019年數據與2018年數據基本持平。
根據對比折線圖,2018年數據中的流量消耗數據大,2019年數據內存平均占用較2018年的數據大,其余數據差異不大。15家農村商業銀行手機銀行APP經過一年的時間,用戶體驗時間得到了相應的優化。隨著一段時間內APP應用功能的豐富,某些參數數據均不同程度負增長。
測試APP的版本截止于2019年7月5日,各個銀行官網的下載版本。詳細如下:
各銀行官網下載的手機銀行APP
本次測試共分為APP兼容性測試、UI界面測試、性能測試、弱網兼容性測試四大方面,共21個指標。兼容情況、UI界面顯示情況、應用啟動時間、應用啟動用戶體驗時間、設備CPU占用率、設備GPU占用率、內存占用、設備上行流量、設備下行流量、設備總流量消耗、電池溫度、耗電量、安裝時間、CPU占用高于80%運行情況、低丟包率低延時網絡運行情況、低丟包率高延時網絡運行情況、高丟包率低延時網絡運行情況、高丟包率高延時網絡運行情況、網絡超時運行情況、網絡限速運行情況、無網絡運行情況。其中兼容性測試覆蓋了100款主流安卓手機進行,性能測試選取了三星S8手機作為性能測試環境進行。
具體指標解釋如下:
? 兼容情況:選取當前主流100款安卓手機設備,覆蓋24個手機品牌,安卓操作系統版本覆蓋從4.4.4到9.0。APP分別在不同設備中運行,考察APP兼容性。
? UI界面顯示情況:指APP的頁面顯示是否存在異常情況,例如頁面遮蓋手機屏幕頂部的狀態欄信息、頁面有明顯的顯示混亂等。
? 應用啟動時間:指從操作系統開始啟動APP到APP第一個頁面加載完成總用時。單位:秒。
? 應用啟動用戶體驗時間:在APP非首次安裝啟動的情況下(因首次安裝啟動可能存在權限授予、版本更新等情況,為了測試的統一準確,這里指標在非首次冷啟動,無版本更新、授權等情況下進行),從用戶點擊APP圖標開始,到用戶看到真實可進行交易的主頁面(中間的廣告頁進行快速跳過,一般主頁面指九宮格菜單頁面)所用時間。單位:秒。
? CPU占用率:APP在運行過程中設備CPU占用平均值。單位:%
? GPU占用率: APP在運行過程中設備GPU占用平均值。單位:%
? 內存占用率:APP在運行過程中設備內存占用平均值。單位:MB
? 上行流量:APP在運行過程中該APP向服務器發送的數據總流量(統計為該APP的流量,非設備的總流量)。單位:KB
? 下行流量:APP在運行過程中該APP從服務器下載的數據總流量(統計為該APP的流量,非設備的總流量)。單位:KB
? 總流量:APP在運行過程中消耗的手機設備流量總和,總流量=上行流量+下行流量。單位:KB
? 電池溫度:APP在運行過程中該設備電池溫度,溫度的高低在一定程度上可以體現耗電的程度。單位:℃
? 耗電量:APP在運行過程中該設備消耗的總電量。單位:mAh
? 安裝時間:apk安裝包傳輸至手機以及安裝安裝包的總時間。單位:秒
? CPU占用高于80%運行情況:運行的手機設備處于CPU占用80%以上的高占用狀態,運行APP。
? 低丟包率低延時網絡運行情況:網絡帶寬設置上行30000kbps,下行40000kbps,丟包率上下行分別設置10%,延時設置100毫秒,運行APP。
? 低丟包率高延時網絡運行情況:網絡帶寬設置上行30000kbps,下行40000kbps,丟包率上下行分別設置10%,延時設置300毫秒,運行APP。
? 高丟包率低延時網絡運行情況:網絡帶寬設置上行30000kbps,下行40000kbps,丟包率上下行分別設置90%,延時設置100毫秒,運行APP。
? 高丟包率高延時網絡運行情況:網絡帶寬設置上行30000kbps,下行40000kbps,丟包率上下行分別設置90%,延時設置300毫秒,運行APP。
? 網絡超時運行情況:網絡帶寬設置上行30000kbps,下行40000kbps,丟包率上下行分別設置100%,延時設置100毫秒,運行APP。
? 網絡限速運行情況:網絡帶寬設置上行30kbps,下行40kbps,丟包率上下行分別設置0%,延時設置100毫秒,運行APP。
? 無網絡運行情況:設備斷開網絡,運行APP。
文中數據來自:CFCA兼容和性能測試平臺
責任編輯:王超
免責聲明:
中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。