本期《百度云說》邀請(qǐng)到的嘉賓是百度云主任架構(gòu)師、百度云技術(shù)委員會(huì)主席呂毅。現(xiàn)負(fù)責(zé)百度云整體的技術(shù)把握，曾作為創(chuàng)始人，構(gòu)建和應(yīng)用百度集群操作系統(tǒng)Matrix。Matrix是國(guó)內(nèi)領(lǐng)先的成功構(gòu)建、并大規(guī)模應(yīng)用的基于輕量虛擬化技術(shù)支持的超大規(guī)模資源調(diào)度和管理的集群操作系統(tǒng)，是百度云架構(gòu)、百度業(yè)務(wù)平臺(tái)的基石。訪談全文如下。

Q：百度Matrix集群操作系統(tǒng)是在什么背景下誕生的？

    呂毅：云計(jì)算相比于傳統(tǒng)IT最大的優(yōu)勢(shì)就是在成本和效率層面實(shí)現(xiàn)了質(zhì)的飛躍。Matrix正是百度自身在追求成本和效率更加高效的大背景下誕生的，是內(nèi)部孵化且在業(yè)界具有領(lǐng)先地位的云計(jì)算產(chǎn)品。百度是在2010年開始對(duì)內(nèi)部云的虛擬化技術(shù)進(jìn)行嘗試，2012年正式開始立項(xiàng)做Matrix集群操作系統(tǒng)，以此來解決數(shù)據(jù)中心資源利用率不均衡、故障處理效率低以及配置管理復(fù)雜等挑戰(zhàn)。目前，Matrix已經(jīng)全面覆蓋百度內(nèi)部業(yè)務(wù)，并成為百度云的關(guān)鍵組件。

Q：百度Matrix從立項(xiàng)到現(xiàn)在經(jīng)歷了哪幾個(gè)發(fā)展階段？

    呂毅：2012年-2015年是Matrix發(fā)展的第一階段，這期間百度數(shù)據(jù)中心效率提升明顯，資源利用率得到大幅提升，獲得了很好的收益。

     2015年-2017年是Matrix發(fā)展的第二階段。由于大數(shù)據(jù)的大量生成以及AI的快速發(fā)展，大數(shù)據(jù)處理和模型訓(xùn)練增長(zhǎng)迅猛，從而對(duì)資源的需求大幅增加。為了結(jié)合業(yè)務(wù)發(fā)展需要和成本控制，從2015年開始啟動(dòng)大規(guī)模的混合部署，對(duì)資源管理、調(diào)度以及對(duì)上層業(yè)務(wù)的支持提出了更高的要求。Matrix在這個(gè)階段很好地滿足了業(yè)務(wù)需求，并得以實(shí)現(xiàn)大規(guī)模混布。目前，Matrix支撐了所有內(nèi)部業(yè)務(wù)的交付，混合部署也成為百度默認(rèn)的資源交付方式。同時(shí)，從業(yè)務(wù)角度看，混合資源和非混合資源的影響感知非常小，極大地節(jié)省了成本。

Q：百度Matrix最為核心的功能有哪些？

    呂毅：Matrix架構(gòu)是可以與Google Borg/Omega架構(gòu)來對(duì)標(biāo)的，通過分層調(diào)度器來滿足業(yè)務(wù)多樣性調(diào)度需求，通過共享狀態(tài)的方式達(dá)到資源的最大化利用。據(jù)悉，目前Matrix管理著國(guó)內(nèi)最大的容器集群系統(tǒng)。

    此外，Matrix還具備完善的調(diào)度生態(tài)，提供面向批量作業(yè)和服務(wù)的不同調(diào)度系統(tǒng)，能夠滿足業(yè)務(wù)高效吞吐和低延遲穩(wěn)定性的需求。在此基礎(chǔ)上，在百度內(nèi)部提供了完整的服務(wù)托管體系，面向業(yè)務(wù)提供多樣的服務(wù)管理功能，結(jié)合研發(fā)和測(cè)試過程的優(yōu)化，極大的提升業(yè)務(wù)的研發(fā)效率。

    簡(jiǎn)單來講，對(duì)客戶來說，只需要提供物理機(jī)，初始安裝Matrix集群操作系統(tǒng)后，剩下的就是通過Matrix實(shí)現(xiàn)對(duì)上層應(yīng)用服務(wù)的發(fā)布、部署、資源管理，以及整體資源優(yōu)化。

Q：從功能的角度，Matrix未來會(huì)朝著什么方向演進(jìn)？

呂毅：從開源來看，DockerImage已經(jīng)成為容器部署的標(biāo)準(zhǔn)。因此，在容器角度上，Matrix在內(nèi)核基礎(chǔ)上繼續(xù)定制優(yōu)化容器技術(shù)，并繼續(xù)完善配套的管理機(jī)制。

    從技術(shù)棧來看，最底層是虛擬機(jī)和物理機(jī)，Matrix會(huì)優(yōu)化管理整個(gè)集群的物理資源，包括物理資源的故障恢復(fù)以及分區(qū)域管理；往上是包括容器的編排和調(diào)度如何更加高效；最上層是服務(wù)管理層，涉及到服務(wù)的分級(jí)發(fā)布、服務(wù)管理等，如何更通用和易用，以及如何更好的優(yōu)化CI/CD，持續(xù)提升業(yè)務(wù)的迭代效率。

    最后，單獨(dú)提到容器技術(shù)，如何持續(xù)提高容器的安全性（隔離），實(shí)現(xiàn)真正多租戶的混合部署，逐步和虛機(jī)技術(shù)實(shí)現(xiàn)更好的融合。Matrix將繼續(xù)借鑒和回饋K8s/Docker社區(qū)，并結(jié)合百度自身對(duì)容器技術(shù)改進(jìn)和理解，進(jìn)一步完善自身功能，持續(xù)對(duì)內(nèi)部和外部客戶輸出。

Q：Matrix在當(dāng)前階段的發(fā)展目標(biāo)是什么？

    呂毅：Matrix當(dāng)前階段的目標(biāo)優(yōu)化內(nèi)部，同時(shí)對(duì)外賦能，百度公有云以及基于Matrix對(duì)外提供各種云服務(wù)，而一些企業(yè)級(jí)客戶其實(shí)在內(nèi)部的私有云同樣有著類似的需求。尤其是現(xiàn)在越來越多企業(yè)都有著大數(shù)據(jù)處理以及提升企業(yè)AI能力的需求，這其實(shí)和百度早期非常接近，希望能夠利用我們?cè)诩翰僮飨到y(tǒng)的經(jīng)驗(yàn)，包括服務(wù)管理、容器技術(shù)以及其他開源技術(shù)的實(shí)現(xiàn)，結(jié)合百度云的大數(shù)據(jù)和AI能力，整體打包做成客戶解決方案，滿足企業(yè)客戶的發(fā)展需求。

Q：Matrix這種非常強(qiáng)大的集群管理系統(tǒng)比較適合什么類型的客戶？

    呂毅：服務(wù)器數(shù)量只要達(dá)到上百臺(tái)的企業(yè)級(jí)客戶就可以采用Matrix。業(yè)務(wù)規(guī)模較小時(shí)，其實(shí)資源管理和調(diào)度相對(duì)較為簡(jiǎn)單；當(dāng)業(yè)務(wù)規(guī)模較大時(shí)，不引入容器技術(shù)就會(huì)導(dǎo)致上層管理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)復(fù)雜度增大，尤其是在混合部署下差異更高。引入容器技術(shù)，隨著規(guī)模增長(zhǎng)，客戶就會(huì)感受到容器本身效率會(huì)對(duì)業(yè)務(wù)產(chǎn)生的影響，這就需要集群操作系統(tǒng)來管理復(fù)雜的環(huán)境，規(guī)范和優(yōu)化業(yè)務(wù)。

Q：企業(yè)級(jí)客戶如果想采用Matrix的話，切入點(diǎn)會(huì)在哪里？

   呂毅：從我們現(xiàn)階段接觸的客戶需求來看，我們會(huì)首先輔助企業(yè)內(nèi)部構(gòu)建一套基于容器技術(shù)的系統(tǒng)，來優(yōu)化企業(yè)內(nèi)部原有的業(yè)務(wù)。現(xiàn)在很多企業(yè)對(duì)于大數(shù)據(jù)和AI的訴求是非常強(qiáng)勁的，這對(duì)于Cloud的能力提出了更高的要求，因此百度首先會(huì)在Cloud部分提出相應(yīng)的解決方案，滿足企業(yè)內(nèi)部應(yīng)用容器技術(shù)上遷移。

其次，百度可以為企業(yè)提供大數(shù)據(jù)和AI的定制化解決方案，最后整體面向企業(yè)進(jìn)行ABC的交付，很好地滿足企業(yè)的大數(shù)據(jù)和AI業(yè)務(wù)需求。

Q：Matrix對(duì)外賦能是否隨著業(yè)務(wù)和客戶的發(fā)展而變化？

    呂毅：企業(yè)級(jí)市場(chǎng)的核心就是以客戶業(yè)務(wù)需求為導(dǎo)向，Matrix也一致秉持這個(gè)發(fā)展理念。Matrix會(huì)沿著通用化的發(fā)展路線對(duì)外輸出，保持基礎(chǔ)核心功能層不變，在深度分析客戶需求之后結(jié)合百度的經(jīng)驗(yàn)，抽象出相對(duì)通用化的系統(tǒng)和解決方案，再結(jié)合客戶的業(yè)務(wù)需求進(jìn)行定制。此外，百度會(huì)繼續(xù)在內(nèi)部堅(jiān)持技術(shù)創(chuàng)新，包括加大對(duì)Kubernetes、Docker等社區(qū)的貢獻(xiàn)，持續(xù)優(yōu)化Matrix的核心功能。

Q：目前采用Matrix產(chǎn)品的經(jīng)典客戶案例是？

    呂毅：我們對(duì)外不單獨(dú)交付Matrix，Matrix是作為百度對(duì)外交付解決方案的一部分。目前國(guó)內(nèi)已經(jīng)有很多客戶在百度交付的解決方案中用到了Matrix技術(shù)。比如，百信銀行，作為國(guó)內(nèi)第一家互聯(lián)網(wǎng)銀行，是一家建立在云上面的銀行，并且集ABC能力于大成的新時(shí)代銀行，百信銀行采用了來自百度的云架構(gòu)技術(shù)，在分布式集群架構(gòu)上構(gòu)建起了銀行的核心業(yè)務(wù)系統(tǒng)，非常具有前瞻性和領(lǐng)先性。