會上，中國信息通訊研究院為通過大數(shù)據(jù)產(chǎn)品能力評測的產(chǎn)品頒發(fā)證書，華為云FusionInsight MRS超大規(guī)模單集群以測試項(xiàng)全部滿分的成績順利通過評估，并成功突破單集群2萬節(jié)點(diǎn)的超大規(guī)模，樹立行業(yè)新標(biāo)桿。
中國信通院大數(shù)據(jù)產(chǎn)品評測是國內(nèi)最權(quán)威的大數(shù)據(jù)評測體系，評測范圍涵蓋大數(shù)據(jù)產(chǎn)品的基礎(chǔ)能力與性能專項(xiàng)，歷經(jīng)六年的蓬勃發(fā)展，大數(shù)據(jù)產(chǎn)品認(rèn)證已經(jīng)成為政企客戶選購選型過程中的重要參考，是業(yè)界衡量大數(shù)據(jù)產(chǎn)品質(zhì)量和能力的重要標(biāo)準(zhǔn)。
華為云FusionInsight MRS大數(shù)據(jù)為政企客戶提供一站式企業(yè)級大數(shù)據(jù)平臺，滿足客戶對全棧大數(shù)據(jù)平臺高性能、低成本、靈活易用的訴求，助力企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)。
在本次評估測試中，華為云FusionInsight MRS一次性通過了27個必選用例，此外，在集群無宕機(jī)升級、雙集群互備、運(yùn)維監(jiān)控模塊失效及恢復(fù)、跨數(shù)據(jù)庫關(guān)聯(lián)操作、在線水平搜索能力等六個可選用例中也實(shí)現(xiàn)了一次性通過，100%的通過率使得FusionInsight MRS在本次評估測試中交出了一份完美的答卷。
豐碩的成果離不開辛勤的勞作，在整個研發(fā)過程中，華為云FusionInsight MRS超大規(guī)模單集群的實(shí)踐也遇到了諸多挑戰(zhàn)，華為云大數(shù)據(jù)研發(fā)團(tuán)隊(duì)?wèi){借雄厚的研發(fā)實(shí)力和豐富的探索實(shí)踐經(jīng)驗(yàn)，通過以下七個方面實(shí)現(xiàn)了業(yè)界首個單集群突破2萬+規(guī)模，具體如下：
01運(yùn)維管理架構(gòu)改造
將原來的集約主從模式調(diào)整成了可彈性伸縮的分布式模式，提升了主備模式的監(jiān)控、告警、配置、元數(shù)據(jù)存儲模塊的性能，成功解決了運(yùn)維管理面臨的難題。
02Superior超級調(diào)度器
自研調(diào)度引擎，支持35w/s個Container的調(diào)度速率，資源利用率達(dá)到98%以上，超出開源Capacity的能力近一倍。
03文件對象管理優(yōu)化
利用合并單次讀寫流程中的交互次數(shù)、使用改良的數(shù)據(jù)通信壓縮算法、DataMovementTool等技術(shù)方案，在確保文件對象管理性能的同時，自動均衡不同命名空間之間的數(shù)據(jù)，大大降低了集群維護(hù)成本。
04多租戶的資源隔離能力
支持標(biāo)簽存儲、多服務(wù)、多實(shí)例、DN分組等方式進(jìn)行細(xì)粒度隔離，提升多租戶的資源隔離能力。
05元數(shù)據(jù)優(yōu)化
支持分布式緩存Redis方案，結(jié)合分布式鎖、緩存黑白名單機(jī)制、緩存生命周期管理等技術(shù)手段突破了Hive服務(wù)的元數(shù)據(jù)讀寫性能瓶頸，使得元數(shù)據(jù)能夠在大規(guī)模的單集群上規(guī)模商用。
06跨AZ的網(wǎng)絡(luò)帶寬消減
存儲上提供感知AZ的文件存儲策略，計算上提供感知AZ的任務(wù)調(diào)度機(jī)制，優(yōu)先在同AZ下進(jìn)行存儲與計算，減少跨AZ的網(wǎng)絡(luò)帶寬消耗。
07可靠性增強(qiáng)
支持多種機(jī)制保障任務(wù)的可靠運(yùn)行，如Hive不中斷業(yè)務(wù)的能力可確保發(fā)生異常時任務(wù)不中斷；Application Master的斷點(diǎn)續(xù)傳能力可記錄任務(wù)狀態(tài)，待AM恢復(fù)后繼續(xù)執(zhí)行。
得益于以上七個方面的大數(shù)據(jù)技術(shù)增強(qiáng)與優(yōu)化，華為云FusionInsight MRS順利通過信通院分布式批處理平臺基礎(chǔ)能力測試，節(jié)點(diǎn)規(guī)模達(dá)21000，成為業(yè)界首個單集群突破2萬節(jié)點(diǎn)的商用大數(shù)據(jù)產(chǎn)品。
華為云FusionInsight已是60+國家，3000+客戶的共同選擇，廣泛布局于政府、金融、安平、大企業(yè)、互聯(lián)網(wǎng)等領(lǐng)域。FusionInsight聯(lián)合800+合作伙伴，踐行“平臺+生態(tài)”戰(zhàn)略，釋放政企數(shù)據(jù)價值，讓數(shù)據(jù)“慧”說話，使企業(yè)更智能。
