文 / 曾劍平
大數據的處理過程可以分為大數據采集、存儲、結構化處理、隱私保護、挖掘、結果展示(發(fā)布)等。各種領域的大數據應用一般都會涉及到這些基本過程，但不同應用可能會有所側重。對于互聯(lián)網大數據而言，由于其具有獨特完整的大數據特點，除了共性技術外，采集技術、結構化處理技術、隱私保護也非常突出，因此在另一篇推送文章（“基于互聯(lián)網大數據掌握大數據核心技術”）中我闡述了互聯(lián)網大數據作為教學、科研和應用研究的優(yōu)勢。
有很多算法和模型可以解決這些處理過程中的技術問題，并且為了最終用戶的使用方便，它們大都被進一步的封裝，形成了比較簡單易用的操作平臺。目前大數據技術平臺有很多，歸納起來可以按照以下方式進行分類：
（1）從大數據處理的過程來分：包括數據存儲、數據挖掘分析、以及為完成高效分析挖掘而設計的計算平臺，它們完成數據采集、ETL、存儲、結構化處理、挖掘、 分析、預測、應用等功能。
（2）從大數據處理的數據類型來劃分：可以分為針對關系型數據、非關系型數據（圖數據、文本數據、網絡型數據等）、半結構化數據、混合類型數據處理的技術平臺。
（3）從大數據處理的方式來劃分：可以分為批量處理、實時處理、綜合處理。其中批量數據是對成批數據進行一次性處理，而實時處理（流處理）對處理的延時有嚴格的要求，綜合處理是指同時具備批量處理和實時處理兩種方式。
（4）從平臺對數據的部署方式看，可以分為基于內存的、基于磁盤的。前者在分布式系統(tǒng)內部的數據交換是在內存中進行，后者則是通過磁盤文件的方式。
此外，技術平臺還有分布式、集中式之分，云環(huán)境和非云環(huán)境之分等。阿里云大數據平臺構建在阿里云云計算基礎設施之上，為用戶提供了大數據存儲、計算能力、大數據分析挖掘、以及輸出展示等服務，用戶可以容易地實現(xiàn)BI商業(yè)智能、人工智能服務，具備一站式數據應用能力。在以前的一篇推送（“基于阿里云大數據技術的個性化新聞推薦”）中，描述了基于阿里云大數據技術的個性化新聞推薦系統(tǒng)分析設計與部署方法。
不同的大數據技術平臺提供了對這些處理過程的支持，有的平臺可能會支持多個過程，但是側重點也不同，支持的深度也有所不同，因此有必要熟悉各種平臺的功能，并做出比較分析，以便在實際應用中選擇適合于自己需求的技術平臺。
選擇一個合適的大數據技術平臺是非常重要的，它能夠使得大數據應用開發(fā)更加容易、讓開發(fā)人員更集中精力在業(yè)務層面的數據分析與處理上。一些共性的基礎問題，例如數據如何存儲、如何檢索、數據統(tǒng)計等，就可以由平臺來完成。選擇合適的大數據技術平臺應當考慮以下因素：
（1）平臺的功能與性能
由于不同平臺側重的功能不同，平臺的性能也就有很多需要考察的方面。比如對于存儲平臺來說，數據的存儲效率、讀寫效率、并發(fā)訪問能力、對結構化與非結構化數據存儲的支持，所提供的數據訪問接口等方面就是比較重要的。對于大數據挖掘平臺來說，所支持的挖掘算法、算法的封裝程度、數據挖掘結果的展示能力、挖掘算法的時間和空間復雜度等，是比較重要的指標。
（2）平臺的集成度
好的平臺應該具有較高的集成度，為用戶提供良好的操作界面，具有完善的幫助和使用手冊、系統(tǒng)易于配置、移植性好。同時隨著目前軟件開源的趨勢，開源平臺有助于其版本的快速升級，盡快發(fā)現(xiàn)其中的bug，此外，開源的架構也比較容易進行擴展，植入更多的新算法，這對于最終用戶而言也是比較重要的。
（3）是否符合技術發(fā)展趨勢
大數據技術是當前發(fā)展和研究的熱點，其最終將走向逐步成熟，可以預見在這個過程中，并非所有的技術平臺都能生存下來。只有符合技術發(fā)展趨勢的技術平臺才會被用戶、被技術開發(fā)人員所接受。因此，一些不支持分布式、集群計算的平臺大概只能針對較小的數據量，側重于對挖掘算法的驗證。而與云計算、物聯(lián)網、人工智能聯(lián)系密切的技術平臺將成為主流，是技術發(fā)展趨勢。
同時應當充分意識到，技術迭代更新速度加快，當我們花很多時間去掌握熟悉某種技術平臺后，可能新的更好的技術平臺出現(xiàn)了，導致我們受累奔波于各種技術平臺，因此，最好的策略就是全面系統(tǒng)地掌握大數據技術的原理和實現(xiàn)方案，這樣學習新的技術平臺就很容易上手。《互聯(lián)網大數據處理技術與應用》一書具有系統(tǒng)、全面的大數據技術知識體系，以互聯(lián)網大數據為背景學習大數據技術。
聯(lián)系客服
