機(jī)房運(yùn)維(負(fù)責(zé)設(shè)備上下架、巡檢、報(bào)修、硬件監(jiān)控)
基礎(chǔ)設(shè)施運(yùn)維(系統(tǒng)初始化、網(wǎng)絡(luò)維護(hù))
基礎(chǔ)服務(wù)運(yùn)維(內(nèi)部DNS、負(fù)載均衡、系統(tǒng)監(jiān)控、資產(chǎn)管理、運(yùn)維平臺(tái))包含運(yùn)維開發(fā)
系統(tǒng)運(yùn)維(架構(gòu)層面的分布式緩存、分布式文件系統(tǒng)、日志收集、環(huán)境規(guī)劃(測試、開發(fā)、生產(chǎn))、架構(gòu)設(shè)計(jì)、性能優(yōu)化)
安全運(yùn)維(整體的安全方案、規(guī)范、漏洞監(jiān)測、安全防護(hù)等)
應(yīng)用運(yùn)維(業(yè)務(wù)熟悉、服務(wù)部署、業(yè)務(wù)部署、版本管理、灰度發(fā)布、應(yīng)用監(jiān)控)
監(jiān)控運(yùn)維(7*24運(yùn)維值班、故障處理)
轉(zhuǎn)自:https://www.unixhot.com/page/ops
運(yùn)維標(biāo)準(zhǔn)化:
1. 服務(wù)器標(biāo)簽化、設(shè)備負(fù)責(zé)人、設(shè)備采購詳情、設(shè)備擺放標(biāo)準(zhǔn)
2. 網(wǎng)絡(luò)劃分、遠(yuǎn)程控制卡、網(wǎng)卡端口
3. 服務(wù)器機(jī)型、硬盤、內(nèi)存統(tǒng)一。根據(jù)業(yè)務(wù)分類
4. 資產(chǎn)命名規(guī)范、編號(hào)規(guī)范、類型規(guī)范
5. 監(jiān)控標(biāo)準(zhǔn)
1. 操作系統(tǒng)版本
2. 系統(tǒng)初始化(DNS、NTP、內(nèi)核參數(shù)優(yōu)化、rsyslog、主機(jī)名規(guī)范)
3. 基礎(chǔ)Agent配備(Zabbix Agent、Logstash Agent、Saltstack minion)
4. 系統(tǒng)監(jiān)控標(biāo)準(zhǔn)(CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)、進(jìn)程)
1. Web服務(wù)器選型(Apache、Nginx)
2. 進(jìn)程啟動(dòng)用戶、端口監(jiān)聽規(guī)范、日志收集規(guī)范(訪問日志、錯(cuò)誤日志、運(yùn)行日志)
3. 配置管理(配置文件規(guī)范、腳本規(guī)范)
4. 架構(gòu)規(guī)范(Nginx Keepalived、LVS Keepalived等)
5. 部署規(guī)范(位置、包命名等)
1. 機(jī)房巡檢流程(周期、內(nèi)容、報(bào)修流程)
2. 業(yè)務(wù)部署流程(測試、生產(chǎn)、回歸)
3. 故障處理流程(緊急處理、故障升級(jí)、重大故障管理)
4. 工作日志流程(如何編寫工作日志)
5. 產(chǎn)品上線流程(發(fā)起-> 評(píng)審 -> 測試 -> 開發(fā) -> 部署 -> 上線 -> 監(jiān)控 -> 備份)
6. 產(chǎn)品下線流程(誰發(fā)起,數(shù)據(jù)如何處理)
7. 運(yùn)維安全規(guī)范(密碼復(fù)雜度、更改周期、VPN使用規(guī)范、服務(wù)登錄規(guī)范)
標(biāo)準(zhǔn)化(規(guī)范化、流程化、文檔化)目標(biāo):文檔化
運(yùn)維工具化
1、SHELL腳本(功能性(流程)腳本、檢查性)
2、開源工具:Zabbix、ELKStack、SaltStack、Cobbler
目標(biāo):
1. 促進(jìn)標(biāo)準(zhǔn)化的實(shí)施
2. 將重復(fù)的操作,簡單化
3. 將多次操作,流程化
4. 減少人為操作的低效和降低故障率
工具化和標(biāo)準(zhǔn)化關(guān)系緊密!
運(yùn)維平臺(tái)化(Web化)
1、做成Web界面
2、權(quán)限控制
3、日志記錄
4、弱化流程
5、不用ssh到服務(wù)器,減少人為操作造成的故障(web ssh)
運(yùn)維服務(wù)化(API化)
DNS Web管理 bind-DLZ dns-api
負(fù)載均衡Web管理 slb-api
Job管理平臺(tái) job-api
監(jiān)控平臺(tái)Zabbix zabbix-api
操作系統(tǒng)安裝平臺(tái) cobbler-api
部署平臺(tái) deploy-api
配置管理平臺(tái) saltstack-api
自動(dòng)化測試平臺(tái) test-api
1. 調(diào)用cobbler-api安裝操作系統(tǒng)
2. 調(diào)用saltstack-api進(jìn)行系統(tǒng)初始化
3. 調(diào)用dns-api 解析主機(jī)名
4. 調(diào)用zabbixx-api 將新上線機(jī)器加上監(jiān)控
5. 再次調(diào)用saltstack-api部署軟件
6. 調(diào)用deploy-api 將當(dāng)前版本的代碼部署到服務(wù)器上
7. 調(diào)用test-api 測試當(dāng)前服務(wù)運(yùn)行
8. 調(diào)用slb-api 將該節(jié)點(diǎn)加入集群
運(yùn)維智能化
智能化的自動(dòng)化擴(kuò)容、縮容、服務(wù)降級(jí)、故障自愈
觸發(fā)機(jī)制 --> 決策系統(tǒng)(決策樹) -->
1、zabbix 觸發(fā)action
觸發(fā):
1. 當(dāng)某個(gè)集群的訪問量超過最大支撐量
2. 并持續(xù)5分鐘
3. 不是攻擊
4. 資源池有可用資源(當(dāng)前網(wǎng)絡(luò)帶寬使用率、如果是公有云--錢夠不夠)
5. 當(dāng)前后端服務(wù)支撐量是否超過閥值,如果超過應(yīng)該后端擴(kuò)容
6. 數(shù)據(jù)庫是否可以支撐當(dāng)前并發(fā)
7. 當(dāng)前自動(dòng)化擴(kuò)展隊(duì)列,是否有正在擴(kuò)容的節(jié)點(diǎn)
8. 其它業(yè)務(wù)相關(guān)的
之前: 先判斷Buffer是否有最近X小時(shí),已經(jīng)移除的之前刪除的虛擬機(jī)
并查詢軟件版本是否和當(dāng)前一致,如果一致,跳過2、3、4步驟
如果不一致,跳過2、3步驟
2、 OpenStack 創(chuàng)建虛擬機(jī)
3、 Saltstack 配置環(huán)境
4、部署系統(tǒng)、部署當(dāng)前代碼
5、測試服務(wù)是否可用(注意間隔和次數(shù))
6、加入集群
7、通知(短信、郵件)
自動(dòng)化縮容:
1. 觸發(fā)條件和決策
2. 從集群中移除節(jié)點(diǎn)
3. 通知
4. 移除的節(jié)點(diǎn)存放于Buffer里面
5. Buffer里面超過1天的虛擬機(jī),自動(dòng)關(guān)閉,存放于刪除區(qū)
6. 刪除區(qū)的虛擬機(jī),每7天清理刪除
聯(lián)系客服