應(yīng)對(duì)Meltdown和Spectre這兩個(gè)漏洞，對(duì)于OpenStack人來(lái)說(shuō)不是件輕松的事。比如CERN就必須重啟整個(gè)云來(lái)修補(bǔ)Meltdown和Spectre漏洞。
1月3日Meltdown和Spectre CPU安全漏洞被公開披露，引發(fā)了全球IT用戶和云運(yùn)營(yíng)商的一連串活動(dòng)。在OpenCtack溫哥華峰會(huì)上，Openstack人詳細(xì)介紹了他們?nèi)绾翁幚鞰eltdown和Spectre漏洞——這是一個(gè)很耗時(shí)的過(guò)程。
CERN
CERN（大型強(qiáng)子對(duì)撞機(jī)（LHC）的所在地）擁有最大的OpenStack云基礎(chǔ)設(shè)施（大約30萬(wàn)個(gè)計(jì)算核心）。Arne Wiebalck負(fù)責(zé)CERN的OpenStack云的整體運(yùn)維，當(dāng)Meltdown和Specter等漏洞出現(xiàn)時(shí)，他的責(zé)任是及時(shí)反應(yīng)并部署相應(yīng)的修復(fù)程序。
“在冬季休息期間，CERN通常會(huì)關(guān)閉兩個(gè)星期，所以當(dāng)每個(gè)人都還沒(méi)來(lái)上班時(shí)，事情發(fā)生了。”他說(shuō)。
根據(jù)Wiebalck的說(shuō)法，CERN有一個(gè)專門負(fù)責(zé)網(wǎng)絡(luò)安全的團(tuán)隊(duì)。他的運(yùn)維團(tuán)隊(duì)與安全團(tuán)隊(duì)協(xié)調(diào)，了解需要采取什么措施來(lái)緩解Meltdown和Spectre的風(fēng)險(xiǎn)。
“最終我們決定關(guān)閉整個(gè)云來(lái)打補(bǔ)丁。”Wiebalck說(shuō)。
考慮到CERNOpenStack云的規(guī)模，整體關(guān)閉和打補(bǔ)丁的折磨可不是小事。 Wiebalck表示，他的團(tuán)隊(duì)不得不關(guān)閉并重啟超過(guò)3萬(wàn)臺(tái)虛擬機(jī)，并告知成千上萬(wàn)的CERN云用戶會(huì)發(fā)生關(guān)機(jī)。
“我們已經(jīng)在生產(chǎn)中運(yùn)行了大約五年的云，而這是我們第一次不得不關(guān)閉所有的東西。”他說(shuō)。
不過(guò)，CERN并沒(méi)有簡(jiǎn)單地同時(shí)關(guān)閉所有的東西，而是在幾天的時(shí)間內(nèi)分階段執(zhí)行打補(bǔ)丁、關(guān)機(jī)和重啟過(guò)程。CERN使用了一個(gè)迭代過(guò)程，最初關(guān)閉了大約200個(gè)虛擬機(jī)管理程序，以查看它們是否會(huì)返回以及是否有任何錯(cuò)誤。
盡管CERN像大多數(shù)大型IT組織一樣利用自動(dòng)化流程，但在為Meltdown和Specter打補(bǔ)丁和重啟時(shí)，涉及必須由人來(lái)運(yùn)行和監(jiān)控的大量手動(dòng)流程。
“我們有一些工具可以與數(shù)百臺(tái)機(jī)器進(jìn)行對(duì)話，但實(shí)際上，我和我的同事基本上都是通過(guò)手動(dòng)方式來(lái)做這件事。”Wiebalck說(shuō)。
OpenStack基礎(chǔ)設(shè)施
Clarke Boylan是OpenStack基礎(chǔ)設(shè)施項(xiàng)目的PTL，負(fù)責(zé)運(yùn)行用于構(gòu)建全球云中使用的OpenStack軟件的系統(tǒng)。Boyland也和CERN的Wiebalck一樣，必須重啟大量系統(tǒng)才能為Meltdown和Spectre打補(bǔ)丁。
Boylan表示，OpenStack基礎(chǔ)設(shè)施團(tuán)隊(duì)將打補(bǔ)丁工作進(jìn)行了分工，并利用Ansible配置管理技術(shù)確保補(bǔ)丁內(nèi)核到位。
“我們?nèi)匀蛔屓俗屑?xì)觀察，以確保服務(wù)仍能以預(yù)期的方式運(yùn)行。”Boylan說(shuō)。
盡管有Meltdown和Spectre補(bǔ)丁，但人們擔(dān)心潛在的性能下降問(wèn)題—— 這正是Boylan團(tuán)隊(duì)所監(jiān)控的。OpenStack基礎(chǔ)設(shè)施團(tuán)隊(duì)的首要任務(wù)是盡快部署Linux內(nèi)核補(bǔ)丁。
更進(jìn)一步，Boylan指出，OpenStack Nova計(jì)算項(xiàng)目開發(fā)人員為Nova增加了一項(xiàng)功能，允許增強(qiáng)對(duì)CPU功能標(biāo)志的控制，以便云運(yùn)維人員可以限制對(duì)CPU更危險(xiǎn)部分的訪問(wèn)，并減輕補(bǔ)丁對(duì)性能的影響。
教訓(xùn)是什么？
像Dave McCowan這樣的OpenStack社區(qū)成員認(rèn)為，Meltdown and Spectre問(wèn)題對(duì)云運(yùn)維人員來(lái)說(shuō)是一個(gè)很好的教訓(xùn)。他是OpenStack Barbican秘密管理項(xiàng)目的前PTL、思科工程師。
“學(xué)到的教訓(xùn)是要為任何可能發(fā)生的事情做好準(zhǔn)備。當(dāng)你考慮架構(gòu)一個(gè)云和規(guī)劃工具時(shí)，要知道你可能需要給系統(tǒng)中的任何東西打補(bǔ)丁或替換它們。”
原文鏈接：
http://www.eweek.com/security/openstack-operators-detail-how-they-patched-for-meltdown-spectre
內(nèi)容覆蓋主流開源領(lǐng)域
投稿郵箱
openstackcn@sina.cn
