在面臨高速發(fā)展的移動(dòng)互聯(lián)網(wǎng)游戲行業(yè)，對(duì)運(yùn)維能力的要求變得越來(lái)越高，傳統(tǒng)運(yùn)維已經(jīng)無(wú)法適應(yīng)當(dāng)下的節(jié)奏，如何隨著時(shí)代演變而進(jìn)步，如何能在危機(jī)中給自己創(chuàng)造機(jī)會(huì)，抓住要領(lǐng)才能坦然面對(duì)萬(wàn)變。
談運(yùn)維服務(wù)體系之前，首先明確什么叫運(yùn)維服務(wù)。發(fā)布、變更、故障處理+SLA就是運(yùn)維服務(wù)，但不能算為全部，這僅僅只是基礎(chǔ)服務(wù)。今天在這里我們將重新定義運(yùn)維服務(wù)，運(yùn)維服務(wù)是指被你的產(chǎn)品或你服務(wù)的團(tuán)隊(duì)關(guān)注并且產(chǎn)生增值價(jià)值點(diǎn)，同時(shí)可計(jì)價(jià)的服務(wù)，也可以稱之為運(yùn)維增值服務(wù)。 運(yùn)維服務(wù)具備三個(gè)特征：
騰訊游戲運(yùn)維服務(wù)體系如我們?nèi)祟惞I(yè)時(shí)代變遷一樣，一直在隨著“技術(shù)”的發(fā)展而不斷演變。
第一個(gè)時(shí)代，我們稱為手工時(shí)代，在2008年以前，服務(wù)器的搬遷和業(yè)務(wù)的上線發(fā)布都是由人工進(jìn)行的，該時(shí)代不堪回首，運(yùn)維又苦又累。從 2008 年到 2012 年，隨著 shell 的大量使用，我們進(jìn)入了2.0腳本時(shí)代，據(jù)統(tǒng)計(jì)，我們一共擁有超過(guò)5萬(wàn)個(gè)腳本，這兩個(gè)時(shí)代的運(yùn)維服務(wù)體系的特征，就是支撐著發(fā)布、變更、故障以及遷移等基礎(chǔ)服務(wù)，做好基礎(chǔ)是整個(gè)團(tuán)隊(duì)存在的關(guān)鍵點(diǎn)。
從2013年開(kāi)始我們正式邁入了3.0自動(dòng)化工具時(shí)代，在這個(gè)時(shí)代，業(yè)務(wù)規(guī)模增大、自動(dòng)化運(yùn)維工具上線、團(tuán)隊(duì)成員逐漸成長(zhǎng)，我們得以思考運(yùn)維服務(wù)的進(jìn)一步演進(jìn)。目前使用的騰訊藍(lán)鯨平臺(tái)得益于標(biāo)準(zhǔn)化的建立、運(yùn)維崗位分工的細(xì)化。該平臺(tái)依托SOA理念和云技術(shù)構(gòu)建的運(yùn)維模式，以“原子服務(wù)集成”和“工具開(kāi)放構(gòu)建”的方式致力于解決“運(yùn)維基礎(chǔ)服務(wù)”的無(wú)人值守及“運(yùn)維增值服務(wù)”。
運(yùn)維服務(wù)要如何設(shè)計(jì)才可以讓產(chǎn)品關(guān)注并且體現(xiàn)運(yùn)維團(tuán)隊(duì)的技術(shù)和專業(yè)度以及效益。
首先要做產(chǎn)品關(guān)注的事情，所以服務(wù)設(shè)計(jì)必須從產(chǎn)品運(yùn)營(yíng)活動(dòng)場(chǎng)景出發(fā)，其次要體現(xiàn)效益，運(yùn)維以技術(shù)為根基，服務(wù)通過(guò)整合技術(shù)解決方案并且通過(guò)服務(wù)窗口統(tǒng)一對(duì)外提供，助力業(yè)務(wù)取得更好業(yè)績(jī)。
依據(jù)這些因素，我們根據(jù)產(chǎn)品運(yùn)營(yíng)活動(dòng)的八個(gè)場(chǎng)景設(shè)計(jì)出對(duì)應(yīng)的運(yùn)維服務(wù)：
同時(shí)需要配套一套運(yùn)維服務(wù)的質(zhì)量衡量指標(biāo)，用來(lái)衡量和體現(xiàn)自己的價(jià)值。
服務(wù)體系中的某項(xiàng)服務(wù)是如何運(yùn)作和產(chǎn)生效益的？下面分享兩個(gè)案例：
案例分享 1：版本服務(wù)
版本發(fā)布是運(yùn)維的日常工作之一，在提供版本服務(wù)時(shí)，運(yùn)維一般比較關(guān)注發(fā)布時(shí)長(zhǎng)，通過(guò)標(biāo)準(zhǔn)化和自動(dòng)化的工具建設(shè)，可以去不斷優(yōu)化和壓縮版本發(fā)布時(shí)長(zhǎng)。而產(chǎn)品則比較關(guān)注在線恢復(fù)時(shí)長(zhǎng)，也就是什么時(shí)候在線可以恢復(fù)到平時(shí)的水平。因?yàn)樵诰€恢復(fù)時(shí)長(zhǎng)會(huì)直接影響到業(yè)務(wù)的兩個(gè)指標(biāo)，DAU和在線時(shí)長(zhǎng)，這兩個(gè)指標(biāo)是項(xiàng)目的運(yùn)營(yíng)指標(biāo)，所以產(chǎn)品團(tuán)隊(duì)會(huì)更加關(guān)注它。
這意味著我們運(yùn)維團(tuán)隊(duì)要做好版本服務(wù)就需要做在線恢復(fù)時(shí)長(zhǎng)的縮短。在線恢復(fù)時(shí)長(zhǎng)從某些意義上說(shuō)，完全由用戶行為來(lái)控制，我們運(yùn)維團(tuán)隊(duì)如何去影響？
深度分析影響在線恢復(fù)時(shí)長(zhǎng)的因素：
為了減少在線恢復(fù)時(shí)長(zhǎng)，我們采取了如下圖的措施：
從 2013 年我們進(jìn)入了自動(dòng)化工具時(shí)代之后，在用戶和包量增長(zhǎng)200%的情況下，我們
的在線恢復(fù)時(shí)長(zhǎng)下降了 90%，并且?guī)捴挥玫搅嗽瓉?lái)的 50%。
接下來(lái)介紹版本服務(wù)的邏輯框架。
不同的業(yè)務(wù)有不同的版本需求，除了我們?nèi)粘Ｗ龅米疃嗟牟渴鹬?，其他最關(guān)鍵的是灰度控制、拆包、用戶數(shù)據(jù)分析、推送時(shí)間、自動(dòng)推送等模塊，底層支撐均由“藍(lán)鯨”的PaaS平臺(tái)提供。如果只有標(biāo)準(zhǔn)化和自動(dòng)化的手段，是無(wú)法讓我們實(shí)現(xiàn)這樣的效果的，依托藍(lán)鯨數(shù)據(jù)通道，可以很容易地獲取和分析業(yè)務(wù)數(shù)據(jù)，利用藍(lán)鯨的定時(shí)任務(wù)管理系統(tǒng)可以精準(zhǔn)投放版本包以及拆包的內(nèi)容。
介紹到這里，我們發(fā)現(xiàn)“用戶關(guān)注”、“增值效益”、“可計(jì)價(jià)”均可以實(shí)現(xiàn)，從效果看還是不錯(cuò)的，正所謂少花錢多辦事。是否說(shuō)我們服務(wù)體系的建設(shè)就按照這個(gè)思路繼續(xù)進(jìn)行下去就可以了？其實(shí)并不夠，我們?cè)诮ㄔO(shè)版本服務(wù)中碰到了幾個(gè)關(guān)鍵的問(wèn)題：
因?yàn)榧軜?gòu)的思路更加容易被運(yùn)維技術(shù)團(tuán)隊(duì)接受，我們引入了“微服務(wù)”架構(gòu)設(shè)計(jì)思路，它有三個(gè)關(guān)鍵點(diǎn)：去中心化、解耦合、獨(dú)立演進(jìn)。接下來(lái)將以“下載服務(wù)”來(lái)給大家介紹我們是如何做的，前面介紹的版本服務(wù)有一部分跟下載服務(wù)有關(guān)聯(lián)，服務(wù)分解之后也可以有效進(jìn)行服務(wù)間的復(fù)用，所以我以下載服務(wù)為例，介紹拆分后的效果。
案例分享 2：下載服務(wù)
依據(jù)“微服務(wù)”，我們進(jìn)行了服務(wù)分解，消除環(huán)節(jié)依賴，并且進(jìn)行了成本細(xì)分。服務(wù)分解之后可以有效進(jìn)行服務(wù)間的復(fù)用，下載服務(wù)一共拆分為7個(gè)服務(wù)子項(xiàng)，拆分之后每個(gè)服務(wù)子項(xiàng)可以獨(dú)立提供服務(wù)能力，同時(shí)也可以隨著需要進(jìn)行組合，兩兩組合、三個(gè)組合甚至更多，通過(guò)組合可以更好地提供業(yè)務(wù)所需要的解決方案以及服務(wù)獨(dú)立演進(jìn)和計(jì)價(jià)。
經(jīng)過(guò)了獨(dú)立演進(jìn)，下載服務(wù)從原來(lái)四個(gè)服務(wù)子項(xiàng)，優(yōu)化拓展到八個(gè)服務(wù)子項(xiàng)，其中也
包含了可以獨(dú)立提供給版本服務(wù)的功能子項(xiàng)，以及能夠不斷演進(jìn)，特別是以單個(gè)用戶為維度的演進(jìn)，我們做到了“用戶分級(jí)”、“地域”以及“單用戶 IP”。
引入“微服務(wù)”架構(gòu)設(shè)計(jì)思路之后，整個(gè)服務(wù)體系更加“靈活”、“可見(jiàn)收益”、“獨(dú)立計(jì)價(jià)”、“獨(dú)立演進(jìn)”并且更具“拓展”能力，同時(shí)具備服務(wù)之間的解決方案聯(lián)動(dòng)使用。
在新模式下，下載完成率整體業(yè)務(wù)提升20%+，玩家關(guān)注的下載時(shí)長(zhǎng)下降60%+，這些都是在沒(méi)有增加下載CDN成本的條件下做到的。這些還不夠，業(yè)務(wù)團(tuán)隊(duì)還不夠關(guān)注，我們還解決了業(yè)務(wù)團(tuán)隊(duì)最為關(guān)心的轉(zhuǎn)化率問(wèn)題，在整體轉(zhuǎn)化率方面，我們也提升了10%+，并且可以跟蹤到單個(gè)異常玩家。
騰訊游戲運(yùn)維服務(wù)體系按照產(chǎn)品關(guān)注和活動(dòng)場(chǎng)景重新劃分為版本、運(yùn)營(yíng)活動(dòng)、成本、用戶體驗(yàn)、運(yùn)維咨詢以及安全六個(gè)大類，六個(gè)大類下再進(jìn)行劃分服務(wù)子項(xiàng)，原來(lái)的高可用服務(wù)和架構(gòu)設(shè)計(jì)服務(wù)均衡分布在各大類服務(wù)中，并且具備按照業(yè)務(wù)項(xiàng)目團(tuán)隊(duì)進(jìn)行按需組合和復(fù)用。
服務(wù)化、產(chǎn)品化是運(yùn)維團(tuán)隊(duì)的專業(yè)和價(jià)值體現(xiàn)，依托業(yè)務(wù)助力業(yè)務(wù)一直是我們的理念，推動(dòng)運(yùn)維團(tuán)隊(duì)不斷向前，這個(gè)是我們內(nèi)部稱之為“云梯”的服務(wù)體系。
信息和物理融合正在繼續(xù)驅(qū)動(dòng)工業(yè)走向4.0。云的快速應(yīng)用以及藍(lán)鯨的加速成長(zhǎng)，壓縮了整個(gè)業(yè)務(wù)運(yùn)維團(tuán)隊(duì)的空間，但同時(shí)藍(lán)鯨結(jié)合運(yùn)維大數(shù)據(jù)、Docker等技術(shù)的快速應(yīng)用也給了業(yè)務(wù)運(yùn)維更多的機(jī)會(huì)，我們將持續(xù)演進(jìn)，邁向運(yùn)維智能化。
運(yùn)維智能化需要具備“感知、分析、決策、執(zhí)行、呈現(xiàn)和保護(hù)”六個(gè)能力項(xiàng)，同時(shí)需要團(tuán)隊(duì)的文化氛圍支持以及人才的轉(zhuǎn)型，在這六個(gè)能力以及兩個(gè)關(guān)鍵因素的支撐下，我們必將迎來(lái)運(yùn)維行業(yè)的4.0--智能化時(shí)代。
感謝您的閱讀！
洪楷，騰訊游戲運(yùn)營(yíng)部自研運(yùn)維中心總監(jiān)，騰訊游戲服務(wù)“云梯”的服務(wù)體系設(shè)計(jì)和建設(shè)第一負(fù)責(zé)人。2005年加入騰訊：先后負(fù)責(zé)計(jì)費(fèi)BOSS平臺(tái)、大數(shù)據(jù)平臺(tái)的運(yùn)維平臺(tái)開(kāi)發(fā)設(shè)計(jì)以及運(yùn)維團(tuán)隊(duì)管理工作，在多次平臺(tái)升級(jí)以及故障中得以錘煉。在游戲運(yùn)維中，先后負(fù)責(zé)“QQ炫舞”、“地下城與勇士”、“QQ飛車”以及騰訊自研“逆戰(zhàn)”、”御龍“等游戲業(yè)務(wù)的運(yùn)維團(tuán)隊(duì)管理以及運(yùn)維服務(wù)設(shè)計(jì)和建設(shè)工作。擁有十三年的運(yùn)維實(shí)踐，跟隨騰訊大平臺(tái)運(yùn)維成長(zhǎng)，深知運(yùn)維之痛，同時(shí)更了解如何從日常運(yùn)維中，挖掘業(yè)務(wù)運(yùn)維核心價(jià)值。
聯(lián)系客服
