ODPS是分布式的海量數(shù)據(jù)處理平臺(tái)，提供了豐富的數(shù)據(jù)處理功能和靈活的編程框架，主要的功能組件有如下幾個(gè)。
ODPS采用抽象的作業(yè)處理框架將不同場(chǎng)景的各種計(jì)算任務(wù)統(tǒng)一在同一個(gè)平臺(tái)之上，共享安全、存儲(chǔ)、數(shù)據(jù)管理和資源調(diào)度，為來(lái)自不同用戶需求的各種數(shù)據(jù)處理任務(wù)提供統(tǒng)一的編程接口和界面。
和阿里云的其他云計(jì)算服務(wù)一樣，ODPS也是采用HTTP RESTful服務(wù)，并提供Java SDK、命令行工具（Command Line Tool，CLT）和上傳下載工具dship，以及阿里云官網(wǎng)提供統(tǒng)一的管理控制臺(tái)界面。在阿里內(nèi)部，有多個(gè)團(tuán)隊(duì)基于ODPS構(gòu)建交互界面的Web集成開(kāi)發(fā)環(huán)境，提供數(shù)據(jù)采集、加工、處理分析、運(yùn)營(yíng)和維護(hù)的一條龍服務(wù)。基于ODPS進(jìn)行應(yīng)用開(kāi)發(fā)，最直接的是使用CLT以及dship等工具。如果不能滿足需要，也可以進(jìn)一步考慮使用ODPS SDK或RESTful API等進(jìn)行定制開(kāi)發(fā)，如圖1所示。
圖1 ODPS應(yīng)用開(kāi)發(fā)模式
如果你的業(yè)務(wù)發(fā)展需要一個(gè)足夠強(qiáng)大、能開(kāi)箱即用的大數(shù)據(jù)處理平臺(tái)，并且不想花費(fèi)太多精力去關(guān)注這一切如何實(shí)現(xiàn)與運(yùn)維，那么ODPS是一個(gè)非常理想的選擇。
在DT時(shí)代，數(shù)據(jù)是寶貴的生產(chǎn)資料，但不斷擴(kuò)大的數(shù)據(jù)規(guī)模給ODPS帶來(lái)了極大的挑戰(zhàn)。在阿里內(nèi)部就曾直面這種情況：在可以預(yù)見(jiàn)的時(shí)間內(nèi)，單個(gè)集群的規(guī)模無(wú)法再容納所有的數(shù)據(jù)。
解決方案是擴(kuò)大單集群的規(guī)模，同時(shí)讓?xiě)?yīng)用系統(tǒng)可以管理多個(gè)集群。在這個(gè)背景下，ODPS作為一個(gè)海量數(shù)據(jù)的處理平臺(tái)，結(jié)合5K項(xiàng)目開(kāi)發(fā)了多集群管理的功能，使得數(shù)據(jù)處理的規(guī)?？缟狭艘粋€(gè)新的臺(tái)階。當(dāng)單個(gè)計(jì)算集群的存儲(chǔ)或計(jì)算容量不足時(shí)，將數(shù)據(jù)重新分布到新的集群上。更重要的一點(diǎn)是，這種跨多個(gè)集群的能力，對(duì)上層應(yīng)用是透明的，用戶在運(yùn)行SQL或者Graph模型時(shí)，不必了解數(shù)據(jù)是分布在哪個(gè)物理集群上，如圖2所示。
圖2 ODPS的跨集群能力
這里，我們將基于最常見(jiàn)的網(wǎng)站日志分析這一應(yīng)用場(chǎng)景，實(shí)踐如何通過(guò)ODPS來(lái)構(gòu)建企業(yè)數(shù)據(jù)倉(cāng)庫(kù)，包括數(shù)據(jù)的導(dǎo)入導(dǎo)出以及清洗轉(zhuǎn)換。其ETL過(guò)程與基于傳統(tǒng)數(shù)據(jù)庫(kù)的解決方法并不完全一致，在數(shù)據(jù)傳輸環(huán)節(jié)并沒(méi)有太多的清洗轉(zhuǎn)換，這項(xiàng)工作是在數(shù)據(jù)加載到ODPS后，用SQL來(lái)完成的。在數(shù)據(jù)加載到ODPS后，可以充分利用平臺(tái)的水平擴(kuò)展能力，處理的數(shù)據(jù)量可以輕松地?cái)U(kuò)展到PB級(jí)別，而且作為一個(gè)統(tǒng)一的平臺(tái)，除構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)外，在ODPS中利用內(nèi)置的功能即可進(jìn)行數(shù)據(jù)挖掘和建模等工作。在實(shí)際工作中，數(shù)據(jù)采集、數(shù)倉(cāng)構(gòu)建和數(shù)據(jù)挖掘等都是由不同的團(tuán)隊(duì)來(lái)完成的，針對(duì)這一情況，ODPS中提供了完善的安全管理功能，可以精確地控制每個(gè)人可以訪問(wèn)到的數(shù)據(jù)內(nèi)容（下例中為突出主要的過(guò)程，忽略了用戶的授權(quán)管理）。
數(shù)據(jù)來(lái)源于網(wǎng)站酷殼（CoolShell.cn）上的HTTP訪問(wèn)日志數(shù)據(jù)（access.log），格式如下：
一個(gè)典型的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)通常包含數(shù)據(jù)采集、數(shù)據(jù)加工和存儲(chǔ)、數(shù)據(jù)展現(xiàn)等幾個(gè)過(guò)程，如圖3所示。
圖3 數(shù)據(jù)倉(cāng)庫(kù)主要過(guò)程
真實(shí)的網(wǎng)站日志數(shù)據(jù)中不可避免地會(huì)存在很多臟數(shù)據(jù)，可以先通過(guò)腳本對(duì)源數(shù)據(jù)做簡(jiǎn)單的處理解析，去掉無(wú)意義的信息，例如第二個(gè)字段“-”。在數(shù)據(jù)量比較大的情況下，單機(jī)處理可能成為瓶頸。這時(shí)可以將原始的數(shù)據(jù)先上傳到ODPS，充分利用分布式處理的優(yōu)勢(shì)，通過(guò)ODPS SQL對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換。
在ODPS中，大部分的數(shù)據(jù)都是以結(jié)構(gòu)化的表形式存在的，因此第一步要?jiǎng)?chuàng)建ODS層源數(shù)據(jù)表。由于數(shù)據(jù)是每天導(dǎo)入ODPS中，所以采取分區(qū)表，以日期字符串作為分區(qū)，在ODPS CLT中執(zhí)行SQL如下：
假設(shè)當(dāng)前數(shù)據(jù)是20140301這一天的，添加分區(qū)如下：
解析后的數(shù)據(jù)文件在/home/admin/data/20140301/output.log下，通過(guò)dship命令導(dǎo)入ODPS中，如下：
在ods_log_tracker表中，request字段包含三個(gè)信息：HTTP方法、請(qǐng)求路徑和HTTP協(xié)議版本，如“GET /articles/4914.html HTTP/1.1”。在后續(xù)處理中，會(huì)統(tǒng)計(jì)方法為GET的請(qǐng)求總數(shù)，并對(duì)請(qǐng)求路徑進(jìn)行分析，因而可以把原始表的request字段拆解成三個(gè)字段method、url和protocol。這里使用的是ODPS SQL內(nèi)置的正則函數(shù)解析的字符串并生成表dw_log_parser：
與傳統(tǒng)的RDBMS相比，ODPS SQL面向大數(shù)據(jù)OLAP應(yīng)用，沒(méi)有事務(wù)，也沒(méi)有提供update和delete功能。在寫(xiě)結(jié)果表時(shí)，盡量采用INSERT OVERWRITE到某個(gè)分區(qū)來(lái)保證數(shù)據(jù)一致性（如果用戶寫(xiě)錯(cuò)數(shù)據(jù)，只需要重寫(xiě)該分區(qū)，不會(huì)污染整張表）。如果采用INSERT INTO某張表的方式，那么在作業(yè)因各種原因出現(xiàn)中斷時(shí)，不方便確定斷點(diǎn)并重新調(diào)度運(yùn)行。
ODPS SQL提供了豐富的內(nèi)置函數(shù)，極大方便了應(yīng)用開(kāi)發(fā)者。對(duì)于某些功能，如果SQL無(wú)法完成的話，那么可以通過(guò)實(shí)現(xiàn)UDF（用戶自定義函數(shù)）來(lái)解決。例如希望將ip字段轉(zhuǎn)化成數(shù)字形式，從而和另一張表關(guān)聯(lián)查詢，可以實(shí)現(xiàn)UDF，如下：
編譯生成JAR包udf_ip2num.jar，將它作為資源上傳到ODPS，然后創(chuàng)建函數(shù)并測(cè)試，如下：
表dual（需要用戶自己創(chuàng)建）類似于Oracle中的dual表，包含一列和一行，經(jīng)常用于查詢一些偽列值（pseudo column），是SQL開(kāi)發(fā)調(diào)試的利器。
對(duì)于較復(fù)雜的數(shù)據(jù)分析需求，還可以通過(guò)ODPS DAG（類似MapReduce）編程模型來(lái)實(shí)現(xiàn)。篇幅限制，這里不一一介紹。
圖4 PV/UV展示結(jié)果
應(yīng)用數(shù)據(jù)集市往往是面向業(yè)務(wù)需求對(duì)數(shù)據(jù)倉(cāng)庫(kù)表進(jìn)行查詢分析，例如統(tǒng)計(jì)基于終端設(shè)備信息的PV和UV，生成結(jié)果表adm_user_measures。R是一款開(kāi)源的、功能強(qiáng)大的數(shù)據(jù)分析工具。通過(guò)R來(lái)繪圖，展示結(jié)果報(bào)表可以有兩種方式：一是通過(guò)dship命令將數(shù)據(jù)導(dǎo)出到本地，再通過(guò)R展現(xiàn)結(jié)果；二是在R環(huán)境中安裝RODPS Package，直接在R中讀取表中的數(shù)據(jù)并展現(xiàn)。在RStudio中，基于小樣本數(shù)據(jù)統(tǒng)計(jì)的展現(xiàn)結(jié)果如圖4所示。
Hadoop作為開(kāi)源的大數(shù)據(jù)處理平臺(tái)，已得到了廣泛應(yīng)用。在使用Hadoop集群的用戶，可以比較輕松地遷移到ODPS中，因?yàn)镺DPS SQL與Hive SQL語(yǔ)法基本一致，而MapReduce作業(yè)可以遷移到更加靈活的DAG的執(zhí)行模型。對(duì)于數(shù)據(jù)的遷移，可以通過(guò)ODPS Tunnel來(lái)完成。
數(shù)據(jù)通道服務(wù)ODPS Tunnel是ODPS與外部交互的統(tǒng)一數(shù)據(jù)通道，能提供高吞吐量的服務(wù)并且能夠水平進(jìn)行服務(wù)能力的擴(kuò)展。Tunnel服務(wù)的SDK集成于ODPS SDK中。實(shí)際上，dship也是調(diào)用SDK實(shí)現(xiàn)的客戶端工具，支持本地文件的導(dǎo)入導(dǎo)出。我們鼓勵(lì)用戶根據(jù)自己的場(chǎng)景需求，開(kāi)發(fā)自己的工具，例如基于SDK開(kāi)發(fā)對(duì)接其他數(shù)據(jù)源（如RDBMS）的工具。
把海量數(shù)據(jù)從Hadoop集群遷移到ODPS的基本思路是：實(shí)現(xiàn)一個(gè)Map Only程序，在Hadoop的Mapper中讀取Hadoop源數(shù)據(jù)，調(diào)用ODPS SDK寫(xiě)到ODPS中。執(zhí)行邏輯大致如圖5所示。
Hadoop MapReduce程序的執(zhí)行邏輯主要包含兩階段：一是在客戶端本地執(zhí)行，如參數(shù)解析和設(shè)置、預(yù)處理等，這在main函數(shù)完成；二是在集群上執(zhí)行Mapper，多臺(tái)Worker分布式執(zhí)行map代碼。在Mapper執(zhí)行完成后，客戶端有時(shí)還會(huì)做一些收尾工作，如執(zhí)行狀態(tài)匯總。
圖5 Hadoop到ODPS的數(shù)據(jù)遷移
這里，我們?cè)诳蛻舳吮镜氐膍ain函數(shù)中解析參數(shù)，創(chuàng)建UploadSession，把SessionID傳給Mapper，Mapper通過(guò)SessionID獲取UploadSession，實(shí)現(xiàn)寫(xiě)數(shù)據(jù)到ODPS。當(dāng)Mapper執(zhí)行完成后，客戶端判斷執(zhí)行結(jié)果狀態(tài)，執(zhí)行Session的commit操作，把成功上傳的數(shù)據(jù)Move到結(jié)果表中。
默認(rèn)情況下，Hadoop會(huì)自動(dòng)根據(jù)文件數(shù)劃分Mapper個(gè)數(shù)。在文件大小比較均勻時(shí)，這種方式?jīng)]什么問(wèn)題。然而存在大文件時(shí)，整個(gè)大文件只在一個(gè)Mapper中執(zhí)行可能會(huì)很慢，造成性能瓶頸。這種情況下，應(yīng)用程序可自己對(duì)文件進(jìn)行切分。
下面實(shí)現(xiàn)一個(gè)類Hdfs2ODPS來(lái)完成這個(gè)功能。其中run函數(shù)完成了前面提到的主要邏輯，主要代碼如下（其中包括了對(duì)ODPS Tunnel的使用）：
在這個(gè)函數(shù)中，首先調(diào)用函數(shù)parseArguments對(duì)參數(shù)進(jìn)行解析（后面會(huì)給出），然后初始化DataTunnel和UploadSession。創(chuàng)建UploadSession后，獲取SessionID，并設(shè)置到conf中，在集群上運(yùn)行的Mapper類會(huì)通過(guò)該conf獲取各個(gè)參數(shù)。然后，調(diào)用runJob函數(shù)，其代碼如下：
runJob函數(shù)設(shè)置Hadoop conf，然后通過(guò)JobClient.runJob(conf);啟動(dòng)Mapper類在集群上運(yùn)行，最后調(diào)用conf.getNumMapTasks() 獲取Task數(shù)，Task數(shù)即上傳到ODPS的并發(fā)數(shù)。在Mapper中，可以通過(guò)conf.getLong("mapred.task.partition")獲取Task編號(hào)，其值范圍為[0, NumMapTasks)。因此，在Mapper中可以把Task編號(hào)作為上傳的blockid。客戶端在Mapper成功返回時(shí)，就完成commit所有的Session。
與單機(jī)環(huán)境相比，在ODPS這樣的分布式環(huán)境中進(jìn)行開(kāi)發(fā)，思維模式上需要有很大轉(zhuǎn)變。下面分享一些實(shí)踐中的注意點(diǎn)。
在分布式環(huán)境下，數(shù)據(jù)傳輸需要涉及不同機(jī)器的通信協(xié)作，可以說(shuō)它是使用ODPS整個(gè)過(guò)程中最不穩(wěn)定的環(huán)節(jié)，因?yàn)樗且粋€(gè)開(kāi)放性問(wèn)題，由于數(shù)據(jù)源的不確定，如文件格式、數(shù)據(jù)類型、中文字符編碼格式、分隔符、不同系統(tǒng)（如Windows和Linux）下?lián)Q行符不同，double類型的精度損失等，存在各種未知的情況。臟數(shù)據(jù)也是不可避免的，在解析處理時(shí)，往往是把臟數(shù)據(jù)寫(xiě)到另一個(gè)文件中，便于后續(xù)人工介入查看，而不是直接丟棄。在上傳數(shù)據(jù)時(shí)，Tunnel是Append模式寫(xiě)入數(shù)據(jù)，因而如果多次寫(xiě)入同一份數(shù)據(jù)，就會(huì)存在數(shù)據(jù)重復(fù)。為了保證數(shù)據(jù)上傳的“冪等性”，可以先刪除要導(dǎo)入的分區(qū)，再上傳，這樣重復(fù)上傳也不會(huì)存在數(shù)據(jù)重復(fù)。收集數(shù)據(jù)是一切數(shù)據(jù)處理的開(kāi)始，所以必須非常嚴(yán)謹(jǐn)可靠，保證數(shù)據(jù)的正確性，否則在該環(huán)節(jié)引入的正確性問(wèn)題會(huì)導(dǎo)致后續(xù)處理全部出錯(cuò)，且很難發(fā)現(xiàn)。
對(duì)于數(shù)據(jù)處理流程設(shè)計(jì)，要特別注意以下幾點(diǎn)。
此外，數(shù)據(jù)比對(duì)、A/B測(cè)試、開(kāi)發(fā)測(cè)試和生產(chǎn)盡可能采用兩個(gè)獨(dú)立的Project。簡(jiǎn)言之，在應(yīng)用開(kāi)發(fā)實(shí)踐中，要理解計(jì)費(fèi)規(guī)則，盡可能優(yōu)化存儲(chǔ)計(jì)算開(kāi)銷。
阿里巴巴提出了“數(shù)據(jù)分享第一平臺(tái)”的愿景，其多年來(lái)堅(jiān)持投資開(kāi)發(fā)ODPS平臺(tái)的初心就是希望有一天能夠以安全和市場(chǎng)的模式，讓中小互聯(lián)網(wǎng)企業(yè)能夠使用阿里巴巴最寶貴的數(shù)據(jù)。阿里內(nèi)部提出了所有數(shù)據(jù)“存、通和用”，將不同業(yè)務(wù)數(shù)據(jù)關(guān)聯(lián)起來(lái)，發(fā)揮整體作用。ODPS目前正在發(fā)展中，它在規(guī)模上，支持淘寶核心數(shù)據(jù)倉(cāng)庫(kù)，每天有PB級(jí)的數(shù)據(jù)流入和加工；在正確性上，支持阿里金融的小額無(wú)擔(dān)保貸款業(yè)務(wù)，其對(duì)數(shù)據(jù)計(jì)算的準(zhǔn)確性要求非?？量?；在安全上，支持支付寶數(shù)據(jù)全部運(yùn)行在ODPS平臺(tái)上，由于支付寶要符合銀行監(jiān)管需要，對(duì)安全性要求非常高，除了支持各種授權(quán)和鑒權(quán)審查，ODPS平臺(tái)還支持“最小訪問(wèn)權(quán)限”原則：作業(yè)不但要檢查是否有權(quán)限訪問(wèn)數(shù)據(jù)，而且在整個(gè)執(zhí)行過(guò)程中，只允許訪問(wèn)自己的數(shù)據(jù)，不能訪問(wèn)其他數(shù)據(jù)。
前面的示例只是展現(xiàn)了ODPS的冰山一角。作為阿里巴巴云計(jì)算大數(shù)據(jù)平臺(tái)，ODPS采用內(nèi)聚式平臺(tái)系統(tǒng)架構(gòu)，各個(gè)組件緊湊內(nèi)聚，除了結(jié)構(gòu)化數(shù)據(jù)處理SQL、分布式編程模型MapReduce外，還包含圖計(jì)算模型、實(shí)時(shí)流處理和機(jī)器學(xué)習(xí)平臺(tái)，如圖6所示。
圖6 ODPS功能模塊
隨著ODPS對(duì)外開(kāi)放的不斷推進(jìn)和第三方數(shù)據(jù)的流入，相信會(huì)有各種創(chuàng)新在ODPS上生根發(fā)芽、開(kāi)花結(jié)果。
盡管如此，云計(jì)算和大數(shù)據(jù)是兩個(gè)新興的領(lǐng)域，技術(shù)和產(chǎn)品發(fā)展日新月異。作為一個(gè)平臺(tái)，雖然ODPS已在阿里內(nèi)部被廣泛使用，但在產(chǎn)品和技術(shù)上還有很多方面需要進(jìn)一步完善和加強(qiáng)，希望ODPS能夠和云計(jì)算大數(shù)據(jù)應(yīng)用共同成長(zhǎng)，成為業(yè)界最安全、最可靠和最方便易用的平臺(tái)。
本文主要內(nèi)容節(jié)選自作者即將出版的新書(shū)《ODPS權(quán)威指南》。
本文作者：張?jiān)七h(yuǎn)，長(zhǎng)期工作于數(shù)據(jù)倉(cāng)庫(kù)及BI領(lǐng)域，先后任職于建設(shè)銀行、TCS及惠普，2011年加入阿里云，擔(dān)任ODPS產(chǎn)品經(jīng)理，主要負(fù)責(zé)SQL模塊的產(chǎn)品功能。經(jīng)歷了阿里金融等數(shù)據(jù)倉(cāng)庫(kù)在ODPS上的建設(shè)過(guò)程，作為登月一號(hào)項(xiàng)目的PM負(fù)責(zé)將小微金服離線數(shù)據(jù)平臺(tái)遷移到ODPS。
李妹芳，阿里數(shù)據(jù)平臺(tái)事業(yè)部工程師，曾譯有《Linux系統(tǒng)編程》、《數(shù)據(jù)之美》、《數(shù)據(jù)可視化之美》等書(shū)，其新書(shū)《ODPS權(quán)威指南》即將上市。
聯(lián)系客服
