第15期 2019/11/29
測試：品質(zhì)、品牌與價值的綜合體現(xiàn) ——2019至頂網(wǎng)公有云主機(jī)評測綜合分析報告（下）
從上篇測試文章中我們可以了解，公有云主機(jī)的網(wǎng)絡(luò)應(yīng)用性能，與CPU的處理能力息息相關(guān)，雖然在正常應(yīng)用流量測試中，絕大部分的公有云主機(jī)CPU使用并沒有達(dá)到一個很高的數(shù)值，這是因為測試所搭建的網(wǎng)頁比較簡單，沒有過多互動性內(nèi)容而導(dǎo)致的。公有云主機(jī)的CPU處理能力到底如何？為什么至頂網(wǎng)云能力評估小組一直提倡采用雙核云主機(jī)？網(wǎng)絡(luò)、計算、存儲中云主機(jī)的系統(tǒng)盤存儲能力又是如何？這些問題我們會在這部分文章中繼續(xù)為大家進(jìn)行解讀。
1+1＜2？公有云主機(jī)計算性能結(jié)果分析
1+1=2這是一道一年級的小學(xué)生也能解答出來的算數(shù)題，可是一個虛擬的vCPU再加上一個虛擬的vCPU呢？去年就有一個公有云廠商給我們提供了一個1+1<2的測試結(jié)果。那么今年公有云廠商的云主機(jī)又會有什么樣的表現(xiàn)呢？為此，在本測試試中，我們采用和去年相同的測試工具，對和去年相同的十個公有云廠商的公有云主機(jī)進(jìn)行了測試。在本次測試中，盡量選擇公有云廠商比較新的數(shù)據(jù)中心，和比較新型號的CPU進(jìn)行測試，現(xiàn)把所選十個公有云廠商測試數(shù)據(jù)中心及CPU型號整理如下：
先說一下選擇公有云主機(jī)型號時所發(fā)現(xiàn)的問題。現(xiàn)在發(fā)現(xiàn)，有很多公有云廠商在展示自身公有云產(chǎn)品的時候，出于產(chǎn)品展示的目的，將所有的公有云主機(jī)簡單粗暴的羅列出來，而不是站在用戶使用的角度來對產(chǎn)品進(jìn)行展示。對于公有云廠商來說，盡可能將自身產(chǎn)品展示出來這沒有什么問題，完全可以理解。但是作為一個用戶在選擇產(chǎn)品的時候，就完全無所適從了！
比如在上圖中，同樣vCPU數(shù)量、同樣內(nèi)存大小的云主機(jī)型號有三、四個，到底要選那個，要靠猜！此外是有關(guān)CPU的型號，我們選用的云主機(jī)中，只有阿里、百度、華為、騰訊這四個廠商將自身的公有云主機(jī)處理器型號明確的標(biāo)示了出來，而對CPU主頻明確標(biāo)示的更只有三家。因此在被測云主機(jī)應(yīng)當(dāng)如何正確選擇的問題上，著實難為了我們云能力評估小組的新樂同學(xué)。
有鑒于云主機(jī)型號眾多的問題并不是在一、兩個公有云廠商中出現(xiàn)，而且越是大品牌公有云廠商，這類問題就越嚴(yán)重。因此，不得不在此正式提出這個問題，也希望可以得到公有云廠商們的響應(yīng)，轉(zhuǎn)換一下對公有云產(chǎn)品的展示思維，從用戶角度出發(fā)、從應(yīng)用角度出發(fā)，讓用戶把更多精力可以放到實際業(yè)務(wù)上去，而不是為基礎(chǔ)設(shè)施的選擇而浪費時間。
公有云主機(jī)性能對比既然是對公有云主機(jī)的計算性能進(jìn)行測試，那難免要來跑一下分的。下面我們還是采用Geekbench 3.4.2 for Linux x86 (64-bit)對公有云主機(jī)計算能力進(jìn)行測試。同時為了對更多新業(yè)務(wù)處理能力進(jìn)行評估，同時采用Geekbench 4.3.3 for Linux x86 (64-bit)對公有云主機(jī)計算能力進(jìn)行評測。
Geekbench 3測試結(jié)果對比圖表
通過這個跑分成績可以充分說明一個問題，光看跑分不靠譜！
在這個對比圖表中，可以明確的看到，在今年的Geekbench 3測試成績中，單核與雙核成績最高的是金山云的公有云主機(jī)，但是在上篇的Web應(yīng)用性能測試中，唯一出現(xiàn)問題的也正是它。
不過對這些測試結(jié)果深度挖掘一下的話，還是可以看出一些有趣的事情來的。那就是單核與雙核性能提升不成比例的公有云廠商數(shù)量有所提升。
通過上面的Geekbench 3測試結(jié)果對比圖表可以看出，在2018年，只有阿里云一家出現(xiàn)了云主機(jī)單核計算性能與雙核計算性能不是接近成比例提升的情況�？墒窃诮衲甑臏y試中，不但阿里云的情況依舊，騰訊云和京東云也出現(xiàn)了和阿里云相擬的云主機(jī)單核計算性能與雙核計算性能不接近成比例提升現(xiàn)象。計算性能關(guān)系到處理效率，一家出現(xiàn)這種情況，可能是技術(shù)上的問題，可是多家跟隨著出現(xiàn)同樣情況，這里面就另有內(nèi)情了。
和阿里云的技術(shù)進(jìn)行深入溝通之后，才了解了其中的內(nèi)情。用過虛擬機(jī)的小伙伴都清楚，在一臺物理主機(jī)上，可以虛擬出很多臺虛擬機(jī)出來，可以多出這些虛擬機(jī)的計算能力怎么解決呢？就只能輪流來用物理的CPU了，一個虛擬機(jī)在使用的時候，其它沒有分配到物理CPU的虛擬機(jī)只能在一邊等著。如此一來，CPU的使用效率是提升了，但是虛擬機(jī)的業(yè)務(wù)處理能力實際上會下降的非常明顯。這樣的虛擬機(jī)，簡單跑跑功能體驗是沒有問題的，但真正用在企業(yè)業(yè)務(wù)系統(tǒng)中，往往會出現(xiàn)問題，這也就是常常有人吐槽的CPU超買。實際上為了業(yè)務(wù)系統(tǒng)的穩(wěn)定，現(xiàn)在超買的公有云廠商已經(jīng)不多了，找個軟件跑下分，一對比就可以看出來。于是通常將虛擬CPU和物理CPU做綁定。而問題就出現(xiàn)在這個“綁定”的方法上面。
Intel也在為提升CPU的使用效率想辦法，并且推出了一個超線程技術(shù)，一個物理CPU可以支持兩個線程，簡單點說就是一個CPU內(nèi)核可以當(dāng)兩個CPU來使，同時能干兩件事情。同時可以做更多的事情這是一件好事，但有一個前提條件，兩個線程請求的資源不能重復(fù)，如果都請求使用一些相同的計算資源或寄存器的話，也得按照先來后到的順序排隊等著。最后滿打滿算，超線程可以把一個CPU內(nèi)核的計算性能提升出30%左右。也就是說超線程技術(shù)的1+1是小于2的。
這個超線程和公有云主機(jī)有關(guān)系嗎？當(dāng)然有關(guān)系！在公有云上自然要發(fā)揮CPU的最大計算效能，一個虛機(jī)如果綁定一個物理CPU內(nèi)核的話，計算資源難免會出現(xiàn)浪費的情況，因此在現(xiàn)在的公有云上，一個vCPU實際上綁定的只是一個物理CPU內(nèi)核兩個線程中的一個。
這個時候，如果要使用一個雙核公有云主機(jī)，就會出現(xiàn)兩種情況：
1、兩個線程綁定在同一個物理CPU內(nèi)核之上。
2、兩個線程分別分配到兩個不同的物理CPU內(nèi)核上，各占其中的一個線程。
在CPU計算性能測試時，這兩種情況就會出現(xiàn)兩種測試結(jié)果：
1、當(dāng)兩個線程綁定在同一個物理CPU內(nèi)核上的時候，受到CPU內(nèi)核共用計算資源的影響，公有云主機(jī)的雙核計算性能就只能做到有限的提升，肯定無法實現(xiàn)計算能力成倍的增長。
2、當(dāng)兩個線程分別分配到兩個不同的物理CPU內(nèi)核上，各占其中的一個線程時，由于沒有共用計算資源的影響，公有云主機(jī)的雙核計算性能就可以做到接近成倍的計算性能提升。
從計算性能的角度來講，當(dāng)然是第二種分配方式更加理想，可以讓用戶得到更多的計算資源。但是從穩(wěn)定性的角度來看，結(jié)果就剛好相反了。如果數(shù)據(jù)中心用戶業(yè)務(wù)較少，計算資源非常充裕的話，公有云主機(jī)的計算性能確實可以得到成倍增長，但是數(shù)據(jù)中心的用戶業(yè)務(wù)一但提升，公有云主機(jī)的每個vCPU線程都在面臨其它公有云主機(jī)計算資源爭搶的時候，就會陷入計算資源用無可用的尷尬境地了。
還是以本次性能測試中分?jǐn)?shù)最高的金山云為例，在正常應(yīng)用流量測試中，其CPU使用率最高就達(dá)到了99.02%，其中User的使用率僅為8.98%，有82.03%的IOWait。
目前懷疑這高達(dá)82.03%的IOWait，很有可能就是因為計算資源被其他用戶擠占所導(dǎo)致的。其它計算性能成倍增長的公有云主機(jī)雖然還沒有出現(xiàn)這種情況，但是否能保證當(dāng)數(shù)據(jù)中心計算資源充分利用時，不會有這種情況發(fā)生，還有待去進(jìn)行更深度的技術(shù)分析。
這也許正是在公有云時代，祼金屬服務(wù)器依然可以大行其道的原因吧。然而，對于那些買不起裸金屬服務(wù)器的用戶而言，將雙核公有云主機(jī)的兩個線程綁定在同一個物理CPU內(nèi)核之上，就完全可以理解了，不管數(shù)據(jù)中心里有多少用戶，我自家使用的計算資源始終是有保障的，人再多也搶不走！
因為沒有得到其他兩個公有云廠商的正式回復(fù)，因此只能是猜測，這也許是今年繼阿里云公有云主機(jī)之后，京東云、騰訊云的公有云主機(jī)雙核計算能力也開始變成不成比例增長的真實原因。也只有真正的有那么多用戶去使用，才可以發(fā)現(xiàn)這種在實際應(yīng)用中才能產(chǎn)生的問題。雖然希望今后這種不成比例增長的現(xiàn)象可以更多的出現(xiàn)，不過還是要向公有云廠商建議一下，在選擇公有云主機(jī)的時候，最好可以事先將云主機(jī)計算能力分配方式說明一下，讓用戶可以更加明確的去進(jìn)行選擇。
既要有讀 還得有寫 公有云主機(jī)系統(tǒng)盤存儲性能分析
在購買公有云主機(jī)的時候，往往會附帶著提供一個10G到20G的系統(tǒng)盤存儲空間，讓用戶進(jìn)行操作系統(tǒng)和應(yīng)用的安裝，由于系統(tǒng)在公有云主機(jī)啟動時會在內(nèi)存中進(jìn)行加載，而應(yīng)用數(shù)據(jù)又通常會統(tǒng)一存儲到更好性能的存儲盤中去，因此系統(tǒng)盤的存儲性能也往往會另人忽視。而對于至頂網(wǎng)云能力評估小組的某些同志而言，蚊子再小它也是肉，有免費的東西不用那可實在是吃虧吃大了。所以接下來我們也對公有云主機(jī)的系統(tǒng)盤存儲性能進(jìn)行了測試。
讀寫性能測試在此項測試中，我們采用的是Linux下的fio測試工具，分別對公有云主機(jī)的4KB隨機(jī)讀、寫的IOPS性能和10MB順序讀、寫的帶寬性能進(jìn)行了測試，測試結(jié)果如下：
在當(dāng)前的分區(qū)格式下，基本上一個簇的大小就是4K字節(jié)，也就是說你哪怕存儲1個字節(jié)的文件也要占用一個4K的存儲空間。所以用4K文件塊大小來進(jìn)行存儲性能測試，可以比較準(zhǔn)確的對存儲IO性能進(jìn)行測試。但是從當(dāng)前的測試結(jié)果來看，在很多公有云主機(jī)的系統(tǒng)盤隨機(jī)讀與寫的IOPS性能差距極大。很多公有云主機(jī)均出現(xiàn)非常高比例的讀強(qiáng)寫弱情況。
較高的IO讀取性能固然可以為云主機(jī)提供很好的寫入能力，但是過高的IO性能不加以控制的話，也是一種計算資源的浪費。在這方面阿里云、百度云、華為云和京東云的讀寫性能分配比較平均。但京東云存儲的IOPS有控制的過低的嫌疑。而這方面百度云對存儲的控制，相對來說更加適于用戶的應(yīng)用。
在存儲性能測試中，不但要有適當(dāng)?shù)腎O處理能力，還要具體合適的傳輸帶寬。因此在本次測試中，至頂網(wǎng)云能力評估小組采用10MB大小文件塊，對系統(tǒng)盤讀寫帶寬也同樣進(jìn)行了測試。
在讀寫帶寬的性能測試中，可以看出大部分國內(nèi)公有云廠商在系統(tǒng)盤數(shù)據(jù)傳輸帶寬方面均表現(xiàn)的不錯。需要補(bǔ)充說明一下的是，本來計劃在測試中采用1MB文件塊大小對讀寫帶寬進(jìn)行測試，但因為有些公有云主機(jī)寫IOPS性能過低，采用1MB文件塊大小測試時無法準(zhǔn)確獲得其準(zhǔn)確帶寬性能，因此才放寬了標(biāo)準(zhǔn)，采用10MB文件塊大小進(jìn)行測試�？杉幢闳绱�，在Azure、華為云、金山云、青云和騰訊云寫帶寬測試中，連續(xù)記錄的傳輸帶寬都有比較明顯的傳輸波動情況出現(xiàn)。如此寬松條件下，寫帶寬傳輸依然存在比較明顯波動，這個情況也希望可以得到相關(guān)公有云廠商的重視。
重啟時間系統(tǒng)盤的首要任務(wù)是滿足系統(tǒng)和應(yīng)用的加載，因此至頂網(wǎng)云能力評估小組也對公有云主機(jī)的重新啟動時間進(jìn)行了測試。
在重啟時間測試中，采用對公有云主機(jī)外網(wǎng)IP長ping，并在命令行輸入reboot的方式，通過統(tǒng)計丟失ping包個數(shù)，了解公有云主機(jī)的重新啟動時間。
從系統(tǒng)盤重新啟動時間對比圖表可以看出，雖然AWS和Azure提供了很高的IO讀取性能，但是并沒有為其系統(tǒng)盤重啟帶來過多的優(yōu)勢。相反是讀寫帶寬都不占優(yōu)勢的青云，在系統(tǒng)重新啟動時，以2秒鐘的出色表示獲得了頭籌。這可能是和青云公有云主機(jī)在啟動時，是直接加載內(nèi)存和存儲的鏡像文件而不是和普通計算機(jī)是通過系統(tǒng)盤進(jìn)行文件讀取有關(guān)。
以上測試成績也可以為我們提個醒，“免費”的便宜可能并不好占，為了核心業(yè)務(wù)的穩(wěn)定著想，還是將關(guān)鍵數(shù)據(jù)放到廠商專門提供的云存儲上面會比較好。
可擴(kuò)展能力明顯好于去年
在去年至頂網(wǎng)征求用戶對公有云使用意見時，有很多用戶對公有云的可擴(kuò)展能力表示出了不滿。今年也特意對這十個公有云廠商的公有云主機(jī)可擴(kuò)展功能進(jìn)行了測試。
測試結(jié)果現(xiàn)實，當(dāng)前這十家公有云廠商在增加公網(wǎng)帶寬和提升云主機(jī)配置方面，都可以很方便的進(jìn)行設(shè)置。在增加支主機(jī)方面絕大部分公有云廠商都已經(jīng)提供了彈性伸縮功能，只需要事先做好伸縮配置，就可以很方面的進(jìn)行公有云主機(jī)擴(kuò)展應(yīng)用。只有UCloud和青云還是在使用較傳統(tǒng)的負(fù)載均衡方式對公有云主機(jī)進(jìn)行擴(kuò)展，不過青云的負(fù)載均衡設(shè)置也同樣十分方便并不會對用戶公有云主機(jī)擴(kuò)展造成過大困擾�？磥鞺Cloud還要在云主機(jī)相關(guān)應(yīng)用上再努點力了。
做數(shù)容易 做事太難 2019評測小結(jié)
如果要用一句話來做2019年公有云評測的總結(jié)的話，我想說的就是“做數(shù)容易，做事太難！”有些公有云廠商確實可以調(diào)制出比較出色的計算性能，但是在加載實際應(yīng)用后，就什么問題都出現(xiàn)了。有些公有云廠商的性能指標(biāo)都不是很突出，但業(yè)務(wù)應(yīng)用跑得卻十分順暢。
當(dāng)然，在這里至頂網(wǎng)云能力評估小組首先要檢討一下我們自身的問題，以前作者在做網(wǎng)絡(luò)和網(wǎng)絡(luò)安全產(chǎn)品測試的時候，確實習(xí)慣了使用專業(yè)的性能測試儀表，那個時候就好像手握玄鐵重劍一樣，可以輕松的將產(chǎn)品性能壓到極致，好壞高下一眼就可以看出來了�？梢栽诠性粕蟿t完全不同，基本找不到通用的專業(yè)測試工具可用，只好找些尋常的刀劍，好在是發(fā)現(xiàn)了一些破綻，要不還真是不好走下臺去了。但是，只有不斷的去發(fā)現(xiàn)問題，解決問題，才能不斷的進(jìn)步。對產(chǎn)品廠商如此，對測試技術(shù)來講也是如此！玄鐵重劍不好找，尋常刀劍不好用，那我們就要想辦法打造出更適用的倚天劍來，到時候再好好和產(chǎn)品研發(fā)的屠龍刀再比試一下。
這把倚天劍要怎么打，計劃將抽時間總結(jié)一下本次測試中的經(jīng)驗教訓(xùn)，再和眾多測試軟件、測試工具廠商多多進(jìn)行溝通。計劃以功能測試為基礎(chǔ)，結(jié)合一些關(guān)鍵性的應(yīng)用性能指標(biāo)，逐步完善出一套可實用的測試方案出來。有機(jī)會的話也會另外撰文，對這方面技術(shù)進(jìn)行一下更深度的分析。
總而言之，我們堅信，正因為不存在絕對的完美，我們才會不斷的去追求完美，不斷的去發(fā)現(xiàn)問題、解決問題，才會不斷的取得新進(jìn)步，產(chǎn)品如是，測試亦如是。
有關(guān)于這十個公有云的評價，我們書葆同學(xué)提議組織互聯(lián)網(wǎng)企業(yè)的專家用戶來進(jìn)行打分。對這個提供我舉雙手贊成。專業(yè)的事性由專業(yè)的人來做，做評測我們專業(yè)，可以把問題點找出來，但對產(chǎn)品做評價還是真正有使用經(jīng)驗的人更具有發(fā)言權(quán)。至頂網(wǎng)云能力評估小組要做的就是將產(chǎn)品最真實的一面，切切實實的展示出來，用戶自然會做出最明確的選擇。
未來我們還會更進(jìn)一步的對區(qū)塊鏈、5G、邊緣計算、數(shù)據(jù)庫、人工智能、大數(shù)據(jù)分析等技術(shù)做進(jìn)一步的評估分析工作。千萬不要以為這是在喊喊口號，為此我已經(jīng)準(zhǔn)備了一個商鋪，準(zhǔn)備找到業(yè)主后幫他做數(shù)字化轉(zhuǎn)型，可沒想到近一年了也沒租出去……這也可能就是傳統(tǒng)零售遇冷，無力進(jìn)行數(shù)字化轉(zhuǎn)型的一個縮影吧。但我們還是堅信傳統(tǒng)企業(yè)數(shù)字化轉(zhuǎn)型的未來是光明的。區(qū)塊鏈的溯源機(jī)制，為生產(chǎn)企業(yè)產(chǎn)品品質(zhì)提供了保障，未來假貨泛濫的情況會得到遏制。5G的低延遲、大帶寬、支持海量用戶應(yīng)用，將為產(chǎn)品生產(chǎn)、加工、銷售全流程質(zhì)量監(jiān)督打下基礎(chǔ)。邊緣計算行為分析可以為所有環(huán)節(jié)出現(xiàn)異常及時告警。至于產(chǎn)、銷、存的大數(shù)據(jù)分析又可以為產(chǎn)品生產(chǎn)規(guī)劃做出精準(zhǔn)的分析。傳統(tǒng)企業(yè)向數(shù)字化轉(zhuǎn)型的大路已經(jīng)鋪到我們眼前，所缺少的就是一個轉(zhuǎn)型成功的最佳實踐。而我們至頂網(wǎng)云能力評估小組不但會盡好媒體監(jiān)督職責(zé)，還會通過我們最豐厚的專業(yè)技術(shù)積累為用戶做好參謀，讓用戶用更少的投資，讓企業(yè)走更少的彎路，順利的在數(shù)字化轉(zhuǎn)型大道上大步向前。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志，閱讀更多雜志內(nèi)容，請掃描下方二維碼
