02五大技術(shù)支撐，成就領(lǐng)先調(diào)度能力

//  基于預(yù)測(cè)的智能調(diào)度

阿基米德在核心功能——調(diào)度方面，利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)智能算法，對(duì)應(yīng)用的資源使用情況進(jìn)行畫(huà)像統(tǒng)計(jì)，并對(duì)應(yīng)用的未來(lái)資源使用情況進(jìn)行預(yù)測(cè)，以對(duì)應(yīng)用進(jìn)行合理部署，實(shí)現(xiàn)資源的優(yōu)化調(diào)度。

具體來(lái)看，阿基米德采用強(qiáng)化機(jī)器學(xué)習(xí)算法，可根據(jù)應(yīng)用的歷史數(shù)據(jù)，提取其資源使用的特征，進(jìn)而將不同的應(yīng)用進(jìn)行歸類(lèi)，形成應(yīng)用畫(huà)像。綜合應(yīng)用畫(huà)像和批處理任務(wù)的描述，對(duì)未來(lái)一段時(shí)間的任務(wù)調(diào)度進(jìn)行提前規(guī)劃，使得業(yè)務(wù)能夠正常運(yùn)行的同時(shí)，資源得到充分的利用，有效防止了批處理任務(wù)與長(zhǎng)期服務(wù)的資源競(jìng)爭(zhēng)。

阿基米德的智能調(diào)度可以成倍提升資源利用率成倍提升，極大降低企業(yè)采購(gòu)成本，以今年618為例，阿基米德調(diào)度實(shí)現(xiàn)CPU利用率3倍的提升。

//  基于監(jiān)控數(shù)據(jù)的精準(zhǔn)驅(qū)逐與碎片整理

資源碎片在幾乎每臺(tái)服務(wù)器上都有發(fā)生，不同批次采購(gòu)的服務(wù)器規(guī)格性能不同，服務(wù)器上的CPU或者內(nèi)存配額沒(méi)有同時(shí)分配完，就會(huì)出現(xiàn)資源碎片。

同時(shí)在長(zhǎng)期服務(wù)中，特別是面向用戶(hù)的任務(wù)，會(huì)出現(xiàn)明顯的高峰低谷，而且不同長(zhǎng)期服務(wù)的資源消耗也不同，因此集群中的時(shí)空資源利用率不均是常態(tài)。

針對(duì)資源碎片和時(shí)空分布不均問(wèn)題造成的資源浪費(fèi)，阿基米德通過(guò)對(duì)數(shù)據(jù)進(jìn)行全面監(jiān)控，采用批處理任務(wù)進(jìn)行統(tǒng)一填充式調(diào)度，完成資源碎片的充分利用、資源的時(shí)空復(fù)用，保障長(zhǎng)期服務(wù)穩(wěn)定存在，以及低頻度遷移。同時(shí)阿基米德會(huì)時(shí)刻保持一定的資源 buffer 應(yīng)對(duì)突發(fā)流量的資源需求。

//  調(diào)度器仿真系統(tǒng)及回放

為充分模擬真實(shí)事件狀況和實(shí)際操作過(guò)程，阿基米德支持通過(guò)模擬器+線上數(shù)據(jù)回放，對(duì)調(diào)度請(qǐng)求進(jìn)行仿真模擬，形成新的數(shù)據(jù)建模，并優(yōu)化調(diào)度方案，為智能調(diào)度提供更優(yōu)方案。

以最小成本、最快速度，阿基米德可分三步完成1:1機(jī)器資源和請(qǐng)求要求的調(diào)度需求模擬，培養(yǎng)真實(shí)復(fù)雜場(chǎng)景的調(diào)度能力。

仿真劇本管理模塊：用以采集清洗線上真實(shí)數(shù)據(jù)，生成仿真劇本，并可以支持純模擬劇本生成

仿真調(diào)度模擬模塊：將仿真數(shù)據(jù)灌入，經(jīng)過(guò)調(diào)度算法調(diào)度，模擬調(diào)度過(guò)程，最終生成調(diào)度結(jié)果

調(diào)度算法評(píng)測(cè)模塊：對(duì)調(diào)度過(guò)程和結(jié)果進(jìn)行監(jiān)測(cè)和評(píng)測(cè)，并通過(guò)可視化圖表對(duì)調(diào)度過(guò)程進(jìn)行展示

//  離在線混合部署

伴隨京東購(gòu)物節(jié)規(guī)模指數(shù)級(jí)增長(zhǎng)，添置服務(wù)器成為耗資巨大的燒錢(qián)工程。高出日常峰值的機(jī)器過(guò)后閑置，又不可避免地造成資源浪費(fèi)。

阿基米德支持將延遲不敏感的離線計(jì)算任務(wù)和延遲敏感的在線服務(wù)，部署到同一集群上運(yùn)行，讓在線服務(wù)的空閑資源充分被離線計(jì)算任務(wù)所使用，在線業(yè)務(wù)、離線業(yè)務(wù)共享混合云操作系統(tǒng)云艦的資源池。

通過(guò)應(yīng)用分級(jí)、DiskIO限速、Job調(diào)度管理、Pod流量限速等方式，阿基米德可保證離線業(yè)務(wù)不會(huì)影響在線業(yè)務(wù)，提高資源利用率。

//  多樣化IP地址管理

通過(guò)用戶(hù)annotation配置，阿基米德可實(shí)現(xiàn)多應(yīng)用場(chǎng)景的IP地址管理，包括IP地址隨機(jī)分配，用戶(hù)指定pod IP地址，用戶(hù)應(yīng)用分組內(nèi)IP保留和用戶(hù)自定義私有IP池等。

03復(fù)雜場(chǎng)景實(shí)踐

數(shù)智化基礎(chǔ)設(shè)施降本增效

阿基米德調(diào)度系統(tǒng)已經(jīng)全面接管京東的應(yīng)用資源調(diào)度，每日調(diào)度百萬(wàn)臺(tái)容器實(shí)例運(yùn)轉(zhuǎn)，服務(wù)履約率達(dá)到98.3%。

2021年618，在保證業(yè)務(wù)的正常運(yùn)行下，京東超大規(guī)模集群的CPU資源利用率提升3倍，單位訂單資源成本下降30%，內(nèi)存平均使用率提升57%，交付效率提升150%，在11.11備戰(zhàn)期間，阿基米德節(jié)省了數(shù)億元的服務(wù)器采購(gòu)成本。

在零售行業(yè)，針對(duì)離在線任務(wù)的不同運(yùn)行需求（在線任務(wù)資源占用少、響應(yīng)要求快，離線任務(wù)占用資源大、響應(yīng)要求慢），阿基米德混合部署兩個(gè)集群，把不同類(lèi)型的任務(wù)調(diào)度到相同的物理資源上，借助智能調(diào)度及資源隔離等方式保障SLO（服務(wù)等級(jí)目標(biāo)service level objective），極大降低成本。

在金融行業(yè)，尤其是支付場(chǎng)景，阿基米德讓各種配置不同的設(shè)施能夠在交易高峰期，以秒級(jí)速度將在線服務(wù)器的各種軟件、應(yīng)用轉(zhuǎn)移到離線服務(wù)器中，極大提升資源利用率。

在互聯(lián)網(wǎng)行業(yè)，經(jīng)常出現(xiàn)流量高并發(fā)的業(yè)務(wù)場(chǎng)景，阿基米德通過(guò)冷熱節(jié)點(diǎn)混部方式，充分釋放冷節(jié)點(diǎn)CPU利用率，有效滿(mǎn)足日志等數(shù)據(jù)處理需求。遇到購(gòu)物節(jié)這類(lèi)單量爆漲的場(chǎng)景，也可以通過(guò)K8S管理與調(diào)度充足計(jì)算資源支持，保證每一單平穩(wěn)順暢。

不止于資源調(diào)度，阿基米德在綠色節(jié)能方面也有卓越表現(xiàn)。

通常而言，機(jī)房的電力消耗主要是制冷為 CPU 降溫。阿基米德會(huì)根據(jù)應(yīng)用畫(huà)像與調(diào)度規(guī)劃，對(duì)于服務(wù)器 CPU 的主頻進(jìn)行相應(yīng)調(diào)整，以達(dá)到節(jié)能降耗的作用，在多個(gè)核心機(jī)房進(jìn)行的大規(guī)模實(shí)踐中，已取得了降低能耗降低 17% 的成果。

經(jīng)過(guò)多年京東業(yè)務(wù)實(shí)踐，阿基米德調(diào)度系統(tǒng)已在大規(guī)模超復(fù)雜場(chǎng)景中，實(shí)現(xiàn)了常態(tài)化應(yīng)用，并通過(guò)混合云操作系統(tǒng)云艦對(duì)外開(kāi)放，讓更多產(chǎn)業(yè)客戶(hù)用更低的成本獲得更強(qiáng)的計(jì)算能力，持續(xù)提升客戶(hù)的數(shù)智基礎(chǔ)設(shè)施效率。

未來(lái)，阿基米德調(diào)度系統(tǒng)將進(jìn)一步推動(dòng)優(yōu)化調(diào)度算法，精確應(yīng)用畫(huà)像，提升調(diào)度的準(zhǔn)確性，在整合計(jì)算、提升效率、節(jié)能降耗方面進(jìn)行更多的實(shí)踐，并把更多的業(yè)務(wù)一線的調(diào)度數(shù)據(jù)和模型與業(yè)界分享。