人類在對于災難的承擔與付出中，實現(xiàn)了向更高程度文明過渡的歷程，數(shù)據(jù)中心的基礎設施運維也是如此。如果說，處于高風險社會的事實，以暴亂、洪水、礦難、重大污染事件為標志的各類事故災難類突發(fā)公共事件在近年來的集中發(fā)生，是對于中國當下政治、社會的重大考驗。那么停電、停水、火災、洪水等意外事件的發(fā)生，對于數(shù)據(jù)中心的連續(xù)不間斷運營也提出了前所未有的挑戰(zhàn)。
本文基于業(yè)界的最佳實踐，對數(shù)據(jù)中心基礎設施運維之應急處理的組織體系、運行機制、應急保障、監(jiān)督管理等方面進行淺析，探討了應急處理的目的及意義，給出了應急處理相關(guān)名詞解釋，分析了應急處理的基本原則，研究了應急處理體系建設方式及應急處理物資管理建議，最后本文針對數(shù)據(jù)中心幾種典型場景，給出相應的應急處理建議，供讀者參考借鑒。
讀者可以根據(jù)自己的實際情況，對本文介紹的數(shù)據(jù)中心基礎設施運維的應急處理進行完善、修改和補充，制定適合自己的數(shù)據(jù)中心基礎設施的應急處理方案。
一、應急處理的目的及意義
為保障數(shù)據(jù)中心業(yè)務的連續(xù)運營，各類數(shù)據(jù)中心在硬件建設上通過設備及系統(tǒng)的冗余配置，使得數(shù)據(jù)中心的業(yè)務保障能力不斷提高。但與此同時，據(jù)統(tǒng)計顯示，全球每年仍有大量的數(shù)據(jù)中心由于基礎設施運維的應急處理不當，造成部分或全部業(yè)務宕機。如何保障數(shù)據(jù)中心在意外事件發(fā)生后能做到有章可循、有據(jù)可依，要求各類數(shù)據(jù)中心必須建立明確的應急處理體系，其目的及意義探討如下。
數(shù)據(jù)中心基礎設施運維的應急處理體系確定了應急救援的范圍和方法，使數(shù)據(jù)中心應急管理不再無據(jù)可依，無章可循，尤其是通過培訓和演練，可以使數(shù)據(jù)中心應急人員熟悉自己的任務和角色定位，具備完成指定任務所需的相應能力，并檢驗預案和執(zhí)行程序，評估應急人員的整體協(xié)調(diào)性。
數(shù)據(jù)中心基礎設施運維的應急處理建設，有利于在突發(fā)事件來臨時做出及時的應急響應，降低事故后果，應急行動對時間要求十分敏感，不允許有任何拖延，應急預案預先明確了應急各方職責和響應程序，在應急資源等方面進行先期準備，可以指導應急救援迅速、高效、有序的開展，將事故造成的人員傷亡、財產(chǎn)損失、環(huán)境破壞、運行中斷時間等降到最低限度。
數(shù)據(jù)中心基礎設施運維的應急處理體系是數(shù)據(jù)中心各類突發(fā)事故的應急基礎，通過編制應急預案，可以對那些事先無法預料到的突發(fā)事故起到基本的應急指導作用，成為開展應急救援的“底線”，在此基礎上，可以針對特定事故類別編制專項應急預案，并有針對性地制定應急預案、進行專項應急預案準備和演習。
數(shù)據(jù)中心基礎設施運維的應急處理體系，建立了與上級單位和部門應急救援體系的銜接，通過編制應急預案，可以確保當發(fā)生超過本級應急能力的重大事故時，與有關(guān)應急機構(gòu)的聯(lián)系和協(xié)調(diào)。
數(shù)據(jù)中心基礎設施運維的應急處理體系建設，有利于提高風險防范意識，應急預案的編制、評審、發(fā)布、宣傳、演練、教育和培訓，有利于各方了解面臨的重大事故及其相應的應急措施，有利于促進各方提高風險防范意識和能力。
二、應急處理相關(guān)名詞解釋
應急：應急是一種要求立即采取行動（超出了一般工作程序范圍）的狀態(tài)，以避免事故的發(fā)生或減輕事故的后果。
預案：為進行危機管理提前制定的操作計劃。
應急信息保障：當數(shù)據(jù)中心設施遭受破壞、性能降級、異?；驁?zhí)行重要信息保障任務時，通過應急方式來保障信息服務能力。
數(shù)據(jù)中心保障應急預案：為開展數(shù)據(jù)中心服務保障工作而提前制定的操作計劃，規(guī)定了各級單位應對各種突發(fā)或重要事件的工作原則、組織機構(gòu)、應急響應等通用性內(nèi)容，適用于應對各類突發(fā)或重要事件。
重大危險源：指在數(shù)據(jù)中心園區(qū)內(nèi)或周邊，長期地或是臨時地生產(chǎn)、搬運、使用或貯存危險性物品，且危險物品的數(shù)據(jù)等于或超過臨界量的，重大危險源歷來就是數(shù)據(jù)中心運營監(jiān)管重點對象。
分級響應：突發(fā)或重要事件發(fā)生時，按照分級負責、快速反應的原則，應急響應劃分參照國家應急預案標準。
三、應急處理的基本原則
數(shù)據(jù)中心基礎設施運維應急處理應遵循以下原則：
數(shù)據(jù)中心基礎設施運維應急處理應當遵守國家相關(guān)法律法規(guī)，遵守數(shù)據(jù)中心所在地區(qū)的行政法律法規(guī)。
數(shù)據(jù)中心基礎設施運維應急處理在保障人員生命安全的前提下，積極承擔應盡的社會責任，優(yōu)先確保涉及民生的信息服務安全、暢通。
數(shù)據(jù)中心基礎設施運維應急處理要做到統(tǒng)一領(lǐng)導，分級指揮，充分利用現(xiàn)有資源，突出保障重點。
數(shù)據(jù)中心基礎設施運維應急處理的信息發(fā)布應當及時、準確、客觀、全面，要積極主動，準確把握，避免猜測性、歪曲性的信息披露等。
四、應急處理體系建設
1、應急體系建設
各類數(shù)據(jù)中心應針對本數(shù)據(jù)中心基礎設施運維的特點，建立基礎設施運維應急處理體系，應急體系建設原則如下：
（1）總則：包括基礎設施運維應急處理體系目的、工作原則、編制依據(jù)和適用范圍。
（2）數(shù)據(jù)中心基礎設施運維應急處理組織指揮體系及職責：包括組織機構(gòu)和職責、組織體系框架描述。
（3）數(shù)據(jù)中心基礎設施運維應急處理的預防和預警機制：包括對預防機制、預警監(jiān)測、預防預警行動、預警分級和發(fā)布的介紹。
（4）數(shù)據(jù)中心基礎設施運維應急處理的應急響應：說明應急響應的階段劃分、應急響應各階段的工作內(nèi)容和要求。
（5）數(shù)據(jù)中心基礎設施運維應急處理的后期處置：包含情況匯報和經(jīng)驗總結(jié)、獎懲評定及表彰。
（6）數(shù)據(jù)中心基礎設施運維應急處理的保障措施：從信息資源、人力資源、財力資源、物力資源四個方面，說明為應對突發(fā)或重要事件所應配備的資源及相應的管理辦法。
（7）附則：包括名詞術(shù)語和縮寫語、預案的管理與更新、溝通與協(xié)作、制訂與解釋部門等內(nèi)容。
2、應急預案制定
數(shù)據(jù)中心基礎設施運維，要提前制定針對本數(shù)據(jù)中心的相關(guān)應急預案。數(shù)據(jù)中心基礎設施運維應急預案的制定，要注意以下幾個方面：
（1）針對性。數(shù)據(jù)中心基礎設施運維應急預案，是針對可能發(fā)生的事故，為迅速、有序地開展應急行動而預先制定的行動方案，因此，應急預案應結(jié)合危險分析的結(jié)果。
針對數(shù)據(jù)中心基礎設施運維重大危險源，如前所述重大危險源是指在數(shù)據(jù)中心園區(qū)內(nèi)或周邊，長期地或是臨時地生產(chǎn)、搬運、使用或貯存危險性物品，且危險物品的數(shù)據(jù)等于或超過臨界量的，重大危險源歷來就是數(shù)據(jù)中心運營監(jiān)管重點對象，比如數(shù)據(jù)中心周邊的施工現(xiàn)場、化工廠、加油站、供氣中心等均是數(shù)據(jù)中心周邊的重大危險源。
針對可能發(fā)生的各類事故，在編制應急預案之初，需要對數(shù)據(jù)中心運營管理過程中可能發(fā)生的各類事故進行分析和研究，結(jié)合可能發(fā)生的各類事故的發(fā)生概率、損失大小等，在此基礎上編制數(shù)據(jù)中心基礎設施運維預案，才能保證應急預案更廣范圍的覆蓋性。
針對數(shù)據(jù)中心基礎設施運維關(guān)鍵的崗位和地點，不同的數(shù)據(jù)中心，即便同一數(shù)據(jù)中心不同生產(chǎn)崗位，所存在的風險大小都往往不同，特別是在柴油發(fā)電機、高壓機房等，都存在一些特殊或關(guān)鍵的工作崗位和地點。
針對薄弱環(huán)節(jié)，各類數(shù)據(jù)中心的薄弱環(huán)節(jié)，主要是指數(shù)據(jù)中心為應對重大事故發(fā)生而存在的應急能力缺陷或不足方面，數(shù)據(jù)中心基礎設施運維部門在編制預案過程中，必須針對生產(chǎn)經(jīng)營在進行重大事故應急救援過程中，人力、物力、救援裝備等資源是否可以滿足要求而提出彌補措施。
針對重要入駐單位：重要的入駐單位或自用重要系統(tǒng)應當編制專門的預案，重要的入駐單位或自用重要系統(tǒng)往往關(guān)系到國計民生的大局，一旦發(fā)生事故，其造成的影響或損失往往不可估量，因此，針對這些重要的入駐單位或自用重要系統(tǒng)應當編制應急預案。比如政府、金融等領(lǐng)域，數(shù)據(jù)中心基礎設施運維有必要對此重要領(lǐng)域的客戶做專門的應急預案。
（2）科學性。應急救援工作是一項科學性很強的工作，編制應急預案必須以科學的態(tài)度，在全面調(diào)查研究的基礎上，實行領(lǐng)導和專家結(jié)合的方式，開展科學分析和論證，制定出決策程序和處置方案，應急手段先進的應急反應方案，使應急預案真正的具有科學性。
（3）可操作性。應急預案應具有實用性和可操作性，即發(fā)生重大事故災害時，有關(guān)應急組織、人員，可以按照應急預案的規(guī)定，迅速、有序、有效地開展應急救援行動，降低事故損失。
（4）完整性。
功能完整。數(shù)據(jù)中心基礎設施運維應急預案中，應說明有關(guān)部門應履行的應急準備、應急響應職能和災后恢復職能，說明為確保履行這些職能而應履行的支持性職能。
應急過程完整。數(shù)據(jù)中心基礎設施運維應急預案應包括應急管理工作中的預防、準備、響應、恢復四個階段。
適用范圍完整。數(shù)據(jù)中心基礎設施運維應急預案要闡明該預案的使用范圍，即針對不同事故性質(zhì)可能會對預案的適用范圍進行擴展。
（5）可讀性。
易于查詢。
語言簡潔、通俗易懂。
層次及結(jié)構(gòu)清晰。
（6）相互銜接性。各類針對各種場景的數(shù)據(jù)中心基礎設施運維應急預案，應相互協(xié)調(diào)一致、相互兼容。
（7）規(guī)范性。數(shù)據(jù)中心基礎設施運維應急預案的版本號建議采用“Vx.y.z（年份）”的形式表示。其中：V：表示版本，是＂version＂的簡寫；x：大版本更新，結(jié)構(gòu)變化，每次更新數(shù)值加1；y：具體更改，部分內(nèi)容的修正，每次更新數(shù)值加1；z：文字修改，奇數(shù)為包含對上一版修改記錄的稿子，偶數(shù)為對上一版修改稿的定稿；年份：最新修改年限，如“2014”代表最新修改發(fā)生在2014年。
x、y、z均為非負整數(shù)。每當x加1時，y和z應清零。
五、應急處理之物資管理
為了提升數(shù)據(jù)中心基礎設施運維質(zhì)量，加強數(shù)據(jù)中心自有應急服務保障物資和裝備的管理，確保數(shù)據(jù)中心各類業(yè)務保障工作的順利開展，依據(jù)國家法律、行業(yè)規(guī)范，各類數(shù)據(jù)中心應制定適合本數(shù)據(jù)中心的基礎設施運維應急物資管理辦法。
1、應急物資管理原則
（1）數(shù)據(jù)中心基礎設施運維應急物資，是指用于數(shù)據(jù)中心應對突發(fā)事件的業(yè)務保障和業(yè)務恢復工作所需的通信裝備、電源設備、輔助裝備、后勤保障裝備和個體防護裝備等。
（2）應急物資管理遵循“統(tǒng)籌管理、科學分布、合理儲備、統(tǒng)一調(diào)度、分級負責”的原則。
2、應急物資的存儲
數(shù)據(jù)中心基礎設施運維應急物資存儲工作，應遵循“統(tǒng)籌規(guī)劃、分區(qū)儲備、保障急需、方便調(diào)度、專業(yè)管理”原則。
根據(jù)數(shù)據(jù)中心基礎設施運維保障需要，各數(shù)據(jù)中心基礎設施運維部門要選用固定的應急物資存儲地點，確保應急物資“靈活、方便、快捷”地存儲和調(diào)用。各儲備點應滿足以下要求：
（1）選址在交通便利，供電可靠，周圍沒有明顯的安全隱患，不易受洪澇、山體滑坡等影響。
（2）滿足“四防”要求：防盜、防火、防水、防潮。
（3）儲備點需設置操作維護空間，便于應急設備的檢修、測試等。
3、應急物資的維護
（1）數(shù)據(jù)中心基礎設施運維相關(guān)應急物資的日常維護工作，由數(shù)據(jù)中心應急物資儲備部門負責，應參照各數(shù)據(jù)中心相關(guān)維護規(guī)程制定具體的應急物資維護細則并嚴格執(zhí)行。
（2）數(shù)據(jù)中心基礎設施運維相關(guān)應急物資儲備部門，要加強應急物資維護管理，根據(jù)儲備物資的有效期和質(zhì)量要求對儲備物資進行保養(yǎng)和適時輪換，確保應急物資的可用性和完好率。
（3）數(shù)據(jù)中心應急保障車輛應制定專門的安全生產(chǎn)管理辦法，車輛的保養(yǎng)和檢修頻次應高于車輛保養(yǎng)手冊的要求，五年以上車輛應將保養(yǎng)里程或者時間減少一半以上。
（4）數(shù)據(jù)中心應急保障設備至少應每年檢修和保養(yǎng)一次，各類重型設備應每半年在本數(shù)據(jù)中心災害高發(fā)季節(jié)之前及結(jié)束之后進行檢修和保養(yǎng)一次。
（5）專業(yè)管理部門牽頭負責應急物資，特別是備品備件的性能檢查和升級，至少應每半年進行應急物資的軟件、硬件與數(shù)據(jù)中心現(xiàn)行設備的同步更新和升級。
（6）數(shù)據(jù)中心各級基礎設施維護部門應提出應急物資維護支出預算，對執(zhí)行情況進行跟蹤。
（7）數(shù)據(jù)中心應急物資報廢按照《數(shù)據(jù)中心固定資產(chǎn)管理辦法》有關(guān)固定資產(chǎn)報廢的相關(guān)規(guī)定執(zhí)行。數(shù)據(jù)中心各級基礎設施運維部門應在應急物資報備時上報物資報廢情況。
六、應急處理之應急演練
為確保數(shù)據(jù)中心基礎設施維護工作的順利開展，保障數(shù)據(jù)中心基礎設施安全、機房設備穩(wěn)定運行，進一步驗證安防、消防、動力、空調(diào)、綜合監(jiān)控等系統(tǒng)在突發(fā)情況下的運行狀態(tài)，為各項操作規(guī)程和應急預案的編制奠定基礎，提升維護人員的現(xiàn)場實際操作能力和應急能力，日常的應急演練顯得尤為重要，各類數(shù)據(jù)中心應當重視應急演練，切實防患未然。
1、應急演練的目的和意義
為提高數(shù)據(jù)中心發(fā)生突發(fā)安全生產(chǎn)事故時，維護人員的快速反應能力，檢驗及維護在非正常狀態(tài)下的組織能力，縮短處理事故的時間，減少事故狀態(tài)下的經(jīng)濟損失，各類數(shù)據(jù)中心應當本著“安全第一，預防為主”的方針，組織進行數(shù)據(jù)中心基礎設施應急演練。通過數(shù)據(jù)中心意外事件的實戰(zhàn)演練，為日后數(shù)據(jù)中心基礎設施故障處理積累經(jīng)驗。通過應急演練，查找目前存在的薄弱環(huán)節(jié)，采取措施進行補救和提高，以保證在意外狀態(tài)下正確快速地處理異常狀況，保證數(shù)據(jù)中心基礎設施安全運行。數(shù)據(jù)中心各專業(yè)應急演練，應參照應急演練的總體部署。
2、應急演練的組織原則
（1）制定詳細的應急演練方案。凡事預則立，不預則廢。數(shù)據(jù)中心基礎設施運維之應急演練亦是如此，基礎設施運維各專業(yè)應密切結(jié)合本專業(yè)實際，制定詳細的應急演練計劃，對可預見的場景應提前做好應急演練部署。應急演練方案應包括以下內(nèi)容：
應急演練目的和意義。本部分應當闡述清楚本次應急演練針對的場景，驗證的內(nèi)容，目的及意義。如：為檢驗數(shù)據(jù)中心空調(diào)系統(tǒng)功能是否正常，監(jiān)測末端精密空調(diào)機組漏水監(jiān)控功能是否正常，考察空調(diào)維護人員漏水應急處理的響應時間，開展本次演練。
應急演練時間安排。此部分內(nèi)容應明確演練啟動籌備會時間，各參演單位參演人員就位時間，啟動時間及終止時間等信息。
應急演練地點。應急演練中涉及的主要區(qū)域，指揮調(diào)度區(qū)、演練觀摩區(qū)、演練操作區(qū)、總結(jié)點評區(qū)等，重要區(qū)域是否需要戒嚴和人員疏散等，應予詳細的描述。
應急演練涉及的系統(tǒng)及設備。本次演練涉及的所有系統(tǒng)及設備（包含可能間接影響的系統(tǒng)及設備）。
參演人員架構(gòu)及職責分工。該部分內(nèi)容應明確本次演練的組織架構(gòu)及人員分工，包括應急演練總指揮，各專業(yè)現(xiàn)場指揮，操作員，觀察員，記錄員等人員的姓名、職責、位置、聯(lián)系方式、應急聯(lián)系方式等信息，應在本部分予以明確。
應急演練場景描述。描述清楚本次應急演練涉及的應急場景，如：模擬數(shù)據(jù)中心末端空調(diào)風機故障引發(fā)動環(huán)監(jiān)控報警，設備無法正常啟用，導致機房局部產(chǎn)生溫高。維護人員需緊急關(guān)閉該機組并關(guān)閉相應的閥門，開啟備用機組。
應急演練的工作要求：
所有參演人員應做到聽從指揮，嚴格按照操作流程執(zhí)行操作，意外情況做到及時上報，并采取有效措施防止意外事件繼續(xù)發(fā)展。
所有人員應嚴格遵守職責分工，演練過程中密切關(guān)注設備異常情況，發(fā)現(xiàn)異常及時記錄和報告。
現(xiàn)場人員均按照演練計劃中各類指令進行下一步操作。
演練實施步驟。該部分內(nèi)容為應急演練方案中的主要內(nèi)容，本部分內(nèi)容要對演練中所有涉及的環(huán)節(jié)，每一步應急操作詳細內(nèi)容，出現(xiàn)的現(xiàn)象，下一步指令和操作，予以明確的描述。確保參演人員可按此進行逐步操作，此外，在實施步驟中應明確描述應急演練中突發(fā)情況操作步驟。
（2）應急演練嚴格落實。按照數(shù)據(jù)中心演練計劃，基于上述詳實的演練方案，在演練執(zhí)行的過程中要認真落實，嚴格監(jiān)控演練各環(huán)節(jié)的落實情況，不斷優(yōu)化此類應急演練的方案和流程，將數(shù)據(jù)中心應急演練工作常態(tài)化，隨時保持警惕，真正做到“平戰(zhàn)結(jié)合”。
（3）應急演練經(jīng)驗總結(jié)和提升。應急演練執(zhí)行完畢后，善于總結(jié)，將成功的經(jīng)驗及方法及時總結(jié)歸納，及時輸出應急演練報告，重要文獻應納入數(shù)據(jù)中心文檔庫、資料庫、案例庫。在演練過程中發(fā)現(xiàn)的問題及時給出解決方案并落實解決，應急演練過程中的優(yōu)秀參演維護單位和部門應予以表彰。
3、應急演練小結(jié)
綜上，應急演練工作的開展，是數(shù)據(jù)中心基礎設施運維中不可或缺的重要部分，演練執(zhí)行過程中加強“四點”管理，即抓住重點、克服難點、控制節(jié)點、保證終點；要求“科學運維、智慧演練”。
數(shù)據(jù)中心基礎設施應急演練，應圍繞各項工作的目標要求，增強應急演練工作的計劃性和主動性，堅決貫徹“12個有”：即各項應急演練工作開展之前要“有目標、有計劃、有要求”，應急演練工作開展之中要“有人抓、有人管、有落實”，“有制度、有流程、有手段”，應急演練工作完成之后要“有總結(jié)、有考核、有提升”。
（本文節(jié)選自《中國數(shù)據(jù)中心運維管理指針》，如需購買或轉(zhuǎn)載請留下您的聯(lián)系電話及郵箱發(fā)送留言至本公眾號，將有工作人員與您聯(lián)系）
聯(lián)系客服
