作者：盛瀚 北京銀行，長期從事信息化安全建設(shè)和IT服務(wù)管理的研究。
摘要：本文對大數(shù)據(jù)在金融行業(yè)的應(yīng)用發(fā)展進行分析，闡述大數(shù)據(jù)的特征和發(fā)展趨勢，結(jié)合金融行業(yè)特性介紹數(shù)據(jù)類型、技術(shù)實現(xiàn)和相關(guān)應(yīng)用及場景案例，同時從數(shù)據(jù)增長、數(shù)據(jù)保障、數(shù)據(jù)標準和數(shù)據(jù)人才四個方面描述了大數(shù)據(jù)金融存在的挑戰(zhàn)。
關(guān)鍵詞：大數(shù)據(jù)，金融
大數(shù)據(jù)（Big Data）是一個寬泛的概念，業(yè)界沒有統(tǒng)一的定義，大數(shù)據(jù)概念的興起可以追溯到2000年前后，最初理解為一類海量數(shù)據(jù)的集合。2011年，美國麥肯錫在研究報告《大數(shù)據(jù)的下一個前沿：創(chuàng)新、競爭和生產(chǎn)力》中給出了大數(shù)據(jù)的定義：大數(shù)據(jù)是指大小超出典型數(shù)據(jù)庫軟件工具收集、存儲、管理和分析能力的數(shù)據(jù)集。根據(jù)Gartner的定義，大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)在通信、金融、教育等各個領(lǐng)域存在已有時日，近年來隨著互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展進入了快速推廣階段。
大數(shù)據(jù)不僅有傳統(tǒng)數(shù)據(jù)定義的“三個V”，即數(shù)量（Volume）、速度（Velocity）和種類（Variety），還包含了更重要的第四個V，價值（Value）。
阿姆斯特丹大學(xué)提出了大數(shù)據(jù)體系架構(gòu)框架的5V特征，在原有4V基礎(chǔ)上增加了真實性（Veracity）特征，包括數(shù)據(jù)可信性、真?zhèn)涡?、來源和信譽、有效性和可審計性等特性，如圖1所示。
圖 1 大數(shù)據(jù)體系架構(gòu)框架5V特征
隨著大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展，各行業(yè)的應(yīng)用解決方案不斷成熟，大數(shù)據(jù)產(chǎn)業(yè)迎來了井噴式發(fā)展。Wikibon 數(shù)據(jù)顯示，2014年全球大數(shù)據(jù)市場規(guī)模達到285億美元，同比增長53.2%。大數(shù)據(jù)成為全球IT支出新的增長點，如圖2所示。Gartner數(shù)據(jù)顯示，2014年數(shù)據(jù)中心系統(tǒng)支出達1430億美元，比2013 年增長2.3%。大數(shù)據(jù)對全球IT 開支的直接或間接推動將達2320億美元，預(yù)計到2018年這一數(shù)據(jù)將增長三倍。
圖 2 Wikibon全球大數(shù)據(jù)市場規(guī)模測算
全球大數(shù)據(jù)市場結(jié)構(gòu)從壟斷競爭向完全競爭格局演化。企業(yè)數(shù)量迅速增多，產(chǎn)品和服務(wù)的差異增大，技術(shù)門檻逐步降低，市場競爭越發(fā)激烈。全球大數(shù)據(jù)市場中，行業(yè)解決方案、計算分析服務(wù)、存儲服務(wù)、數(shù)據(jù)庫服務(wù)和大數(shù)據(jù)應(yīng)用為市場份額排名最靠前的細分市場，如圖3所示。
圖 3 Wikibon全球大數(shù)據(jù)市場結(jié)構(gòu)測算
隨著大數(shù)據(jù)技術(shù)的應(yīng)用，越來越多的金融企業(yè)也開始投身到大數(shù)據(jù)應(yīng)用實踐中。麥肯錫的一份研究顯示，金融業(yè)在大數(shù)據(jù)價值潛力指數(shù)中排名第一。以銀行業(yè)為例，中國銀聯(lián)涉及43億張銀行卡，超過9億的持卡人，超過一千萬商戶，每天近七千萬條交易數(shù)據(jù)，核心交易數(shù)據(jù)都超過了TB級。
一直以來，金融企業(yè)對數(shù)據(jù)的重視程度非常高。隨著移動互聯(lián)網(wǎng)發(fā)展各種務(wù)和服多樣化市場整體規(guī)模擴大。對于數(shù)據(jù)分析帶來的主要業(yè)務(wù)價值，大量參加調(diào)研的金融企業(yè)表示，大數(shù)據(jù)分析的價值是可以根據(jù)商業(yè)分析實現(xiàn)更加智能的業(yè)務(wù)決策，讓企業(yè)戰(zhàn)略制定更加理性化。依靠有前瞻性的決策，實現(xiàn)生產(chǎn)過程中資源更優(yōu)化的分配，能夠根據(jù)市場變化迅速做出調(diào)整，提高用戶體驗以及資金周轉(zhuǎn)率，降低庫存積壓的風(fēng)險，從而獲取更高的利潤。
金融數(shù)據(jù)從數(shù)據(jù)類型上進行劃分，大致可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)三大類。
（1）結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化的數(shù)據(jù)來源自金融企業(yè)運營數(shù)據(jù)倉儲(ODS)和數(shù)據(jù)倉庫(EDW)。EDW為企業(yè)提供分析決策服務(wù)，ODS主要實現(xiàn)企業(yè)數(shù)據(jù)整合、共享和準實時運營監(jiān)控等功能。而通過Hadoop等組件的應(yīng)用可以將數(shù)月前甚至幾年前的歷史數(shù)據(jù)進行遷移保存。在分布式存儲結(jié)構(gòu)下，結(jié)構(gòu)化數(shù)據(jù)的存儲計算可以得到巨大的改善，可對海量離線數(shù)據(jù)進行離線分析，將離線數(shù)據(jù)優(yōu)勢最大化，為金融企業(yè)用戶打造立體用戶畫像提供最全面的數(shù)據(jù)支撐。
（2）半結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)的整合在數(shù)據(jù)整合中是最為復(fù)雜的。金融企業(yè)可對接來源于外部單位所提供的不同類型數(shù)據(jù)庫或Excel等的數(shù)據(jù)。“打通”多源異構(gòu)的數(shù)據(jù)是項目中遇到的最困難的部分，數(shù)據(jù)整合完畢可快速進行建模分析。
（3）非結(jié)構(gòu)化數(shù)據(jù)。金融行業(yè)對于非結(jié)構(gòu)化的處理的方法還是比較原始的。非結(jié)構(gòu)化數(shù)據(jù)涵蓋的范圍比較廣泛，有新聞，視頻，圖片以及社交網(wǎng)絡(luò)等數(shù)據(jù)。
金融數(shù)據(jù)一般具有“流數(shù)據(jù)”的特征，需要在短時間內(nèi)快速處理。與其他行業(yè)相比，金融具有邏輯關(guān)系緊密、處理實時性要求高、可展示性需求強等特征，通常需要以下幾類關(guān)鍵技術(shù)。
（1）數(shù)據(jù)分析技術(shù)。包括數(shù)據(jù)挖掘、機器學(xué)習(xí)等人工智能技術(shù)，主要應(yīng)用在用戶信用分析、用戶聚類分析、用戶特征分析、產(chǎn)品關(guān)聯(lián)分析、營銷分析等方面。金融系統(tǒng)安全性、穩(wěn)定性和實時性要求比較高，對大數(shù)據(jù)計算處理能力也要求非常高。
（2）數(shù)據(jù)管理技術(shù)。包括關(guān)系型和非關(guān)系型數(shù)據(jù)管理技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)清洗和轉(zhuǎn)換等技術(shù)。金融行業(yè)對數(shù)據(jù)的實時處理能力要求非常高，需要靈活地進行數(shù)據(jù)轉(zhuǎn)換配置和任務(wù)配置。
（3）數(shù)據(jù)處理技術(shù)。包括分布式計算、內(nèi)存計算技術(shù)、流處理技術(shù)等。通過新型數(shù)據(jù)處理技術(shù)更有效地利用軟硬件資源，在降低IT投入、維護成本和物理能耗的同事，提供更為穩(wěn)定、強大的數(shù)據(jù)處理能力。
（4）數(shù)據(jù)展現(xiàn)技術(shù)。包括可視化技術(shù)、歷史流展示技術(shù)、空間信息流展示技術(shù)等。主要用于金融產(chǎn)品健康度監(jiān)視、產(chǎn)品發(fā)展趨勢監(jiān)視、客戶價值監(jiān)視、反洗錢反欺預(yù)警等方面。
任何技術(shù)的應(yīng)用都是基于需求產(chǎn)生的，大數(shù)據(jù)金融的應(yīng)用也是由金融行業(yè)的業(yè)務(wù)驅(qū)動而衍生出來的。具體的應(yīng)用分類也沒有統(tǒng)一的標準。以金融行業(yè)最具代表性的銀行為例，根據(jù)業(yè)務(wù)驅(qū)動應(yīng)用場景大致可分為精準營銷、風(fēng)險控制、改善經(jīng)營、服務(wù)創(chuàng)新和產(chǎn)品創(chuàng)新等五個方面，如圖4所示。
（1）精準營銷： 互聯(lián)網(wǎng)時代的銀行在互聯(lián)網(wǎng)的沖擊下，迫切的需要掌握更多用戶信息，繼而構(gòu)建用戶360度立體畫像，即可對細分的客戶進行精準營銷、實時營銷等個性化智慧營銷。
（2）風(fēng)險控制：應(yīng)用大數(shù)據(jù)技術(shù)，可以統(tǒng)一管理金融企業(yè)內(nèi)部多源異構(gòu)數(shù)據(jù)與外部征信數(shù)據(jù)，可以更好的完善風(fēng)控體系。內(nèi)部可保障數(shù)據(jù)的完整性與安全性，外部可控制用戶風(fēng)險。
（3）改善經(jīng)營：通過大數(shù)據(jù)分析方法改善經(jīng)營決策，為管理層提供可靠的數(shù)據(jù)支撐，使經(jīng)營決策更加高效、敏捷，精確性更高。
（4）服務(wù)創(chuàng)新：通過對大數(shù)據(jù)的應(yīng)用，改善與客戶之間的交互、增加用戶粘性，為個人與政府提供增值服務(wù)，不斷增強金融企業(yè)業(yè)務(wù)核心競爭力。
（5）產(chǎn)品創(chuàng)新：通過高端數(shù)據(jù)分析和綜合化數(shù)據(jù)分享，有效對接銀行、保險、信托、基金等各類金融產(chǎn)品，使金融企業(yè)能夠從其他領(lǐng)域借鑒并創(chuàng)造出新的金融產(chǎn)品。
圖 4 金融大數(shù)據(jù)業(yè)務(wù)驅(qū)動
客戶畫像應(yīng)用主要分為個人客戶畫像和企業(yè)客戶畫像。其中個人客戶畫像包括人口統(tǒng)計學(xué)特征、消費能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險偏好等。以銀行為例，銀行擁有的客戶信息并不全面，基于銀行自身擁有的數(shù)據(jù)有時候難以得出理想的結(jié)果甚至可能得出錯誤的結(jié)論，所以還需要引入外部數(shù)據(jù)源，包括：運營商數(shù)據(jù)、主流電商網(wǎng)站數(shù)據(jù)、上網(wǎng)痕跡數(shù)據(jù)、SNS軟件、生活圈子、網(wǎng)絡(luò)應(yīng)用等，從而豐富用戶標簽，構(gòu)建一起全面的客戶畫像，如下圖5所示。
圖 5 大數(shù)據(jù)客戶全景畫像
通過大數(shù)據(jù)，金融企業(yè)可監(jiān)控各種市場推廣運作情況，將客戶行為轉(zhuǎn)化為咨詢流，從中分析客戶的個性特征、風(fēng)險偏好，了解客戶的金融往來習(xí)慣及使用行為，進一步分析及預(yù)測客戶潛在的需求，將精準行銷擴展至服務(wù)的創(chuàng)新與優(yōu)化。
圖 6 個性服務(wù)優(yōu)化過程
以銀行為例，通過大數(shù)據(jù)資料庫，可對下轄分子機構(gòu)服務(wù)柜臺及擺設(shè)、理財區(qū)裝飾、甚至座位的設(shè)計，依照資料庫中機構(gòu)所在地的人口特征、年齡及交易量復(fù)雜度等數(shù)據(jù)，以及客戶在網(wǎng)站、手機銀行、微信銀行等軟件使用習(xí)慣進行分析，為客戶提供個性化的服務(wù)。如：
? 針對高領(lǐng)客戶比例偏高的機構(gòu)，即考慮新增矮柜服務(wù)窗口并提供大屏幕顯示器提醒；
? 面對顧客對網(wǎng)銀、手機銀行的使用習(xí)慣，將瀏覽率高的欄目與瀏覽率低的欄目進行重新排版設(shè)計，以提升客戶使用率及忠誠度的目的；
? 根據(jù)不同人群在網(wǎng)絡(luò)、手機APP訪問的記錄行為，分析其關(guān)注資訊的不同（頁面瀏覽時間，次數(shù)，頻率等），提供不同需求的咨詢和服務(wù)。
大數(shù)據(jù)的分析對于風(fēng)險控制有著重要意義，金融機構(gòu)可通過對工商、稅務(wù)、司法、公安、行政、運營商、航旅、教育、銀聯(lián)、第三方等多方機構(gòu)信息進行數(shù)據(jù)分析，加工碎片數(shù)據(jù)，形成整合視圖，進行風(fēng)險分析，量化企業(yè)的信用額度，更有效的開展金融業(yè)務(wù)。
圖 7 互聯(lián)網(wǎng)大數(shù)據(jù)征信平臺
同時，在交易欺詐防控中，可以利用銀行持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發(fā)生行為模式（如轉(zhuǎn)賬）等，結(jié)合智能規(guī)則引擎（如從一個不經(jīng)常出現(xiàn)的國家為一個特有用戶轉(zhuǎn)賬或從一個不熟悉的位置進行在線交易）進行實時的交易反欺詐分析，如下圖8所示。
圖 8 銀行卡交易報告
通過使用各類數(shù)據(jù)項，進行機器學(xué)習(xí)和集成學(xué)習(xí)，從而產(chǎn)生信用評分。
圖 9 征信評分雷達
目前，全球各行業(yè)數(shù)據(jù)量的增長速度驚人，再我國尤其集中在金融、交通、電信、制造業(yè)等重點行業(yè)和醫(yī)保、社保、海關(guān)等重要領(lǐng)域，信息化的不斷深入正在進一步催生更多新的海量數(shù)據(jù)。據(jù)統(tǒng)計，2015年中國的數(shù)據(jù)總量達到1700EB 以上，同比增長90%，預(yù)計到2020 年這一數(shù)值將超過8000EB。以銀行業(yè)為例，每創(chuàng)收100萬元，銀行業(yè)平均產(chǎn)生130GB 的數(shù)據(jù)，數(shù)據(jù)強度高踞各行業(yè)之首。但在金融企業(yè)內(nèi)部數(shù)據(jù)處于割裂狀態(tài)，業(yè)務(wù)條線、職能部門、渠道部門、風(fēng)險部門等各個分支機構(gòu)往往是數(shù)據(jù)的真正擁有者，缺乏順暢的共享機制，導(dǎo)致海量數(shù)據(jù)往往處于分散和“睡眠”狀態(tài)，雖然金融行業(yè)擁有的數(shù)據(jù)量“富可敵國”，但真正利用時卻“捉襟見肘”。
安全與隱私問題是大數(shù)據(jù)發(fā)展過程中的一個關(guān)鍵問題，多項實際案例表明，即使無害的數(shù)據(jù)被大量收集后，也會暴露個人隱私。實際上，大數(shù)據(jù)安全含義更為廣泛，人們面臨的威脅并不僅限于個人隱私泄露，保護對象不僅包括大數(shù)據(jù)自身，也包含通過大數(shù)據(jù)分析得到的知識。
與當(dāng)前的其他信息一樣，大數(shù)據(jù)在存儲、處理、傳輸?shù)冗^程中面臨安全風(fēng)險，主要包括數(shù)據(jù)管理風(fēng)險和數(shù)據(jù)運營風(fēng)險。這里一方面需要技術(shù)手段的保護，同時需相關(guān)法律法規(guī)的完善和金融企業(yè)自身的自律。
要實現(xiàn)數(shù)據(jù)的互聯(lián)互通，必須包含兩個條件，其中互聯(lián)是技術(shù)體系標準，互通是數(shù)據(jù)體系標準。實現(xiàn)互聯(lián)可以要求系統(tǒng)使用標準化接口，而實現(xiàn)互通則需要圍繞產(chǎn)業(yè)鏈建立跨行業(yè)的數(shù)據(jù)標準結(jié)構(gòu)。目前，各行業(yè)的發(fā)展長期各施其政，行業(yè)間存在較高的壁壘，即使金融行業(yè)內(nèi)部，如銀行、證券、保險等行業(yè)也采用了不同的標準，遵守不同的行業(yè)規(guī)范。如何加快元數(shù)據(jù)、數(shù)據(jù)交換、數(shù)據(jù)交易、數(shù)據(jù)質(zhì)量、安全保密等重點共性標準的制定是大數(shù)據(jù)建設(shè)的關(guān)鍵。
與信息技術(shù)其他細分領(lǐng)域人才相比，大數(shù)據(jù)發(fā)展對人才的復(fù)合型能力要求更高，需要掌握計算機軟件技術(shù)，并具備數(shù)學(xué)、統(tǒng)計學(xué)等方面知識以及應(yīng)用領(lǐng)域的專業(yè)知識。目前金融行業(yè)在可承擔(dān)分析和挖掘的復(fù)合型人才、高端數(shù)據(jù)科學(xué)家以及管理人才都存在很大缺口。
黨的十八屆五中全會“十三五”規(guī)劃提出：“實施國家大數(shù)據(jù)戰(zhàn)略，推進數(shù)據(jù)資源開放共享”。2015年12月16日在第二屆世界互聯(lián)網(wǎng)大會開幕式上，提出：“十三五”時期，中國將大力實施網(wǎng)絡(luò)強國戰(zhàn)略、國家大數(shù)據(jù)戰(zhàn)略、“互聯(lián)網(wǎng)+”行動計劃。大數(shù)據(jù)已成驅(qū)動經(jīng)濟發(fā)展的新引擎，大數(shù)據(jù)應(yīng)用范圍和應(yīng)用水平將加速我國經(jīng)濟結(jié)構(gòu)調(diào)整、深度改變我們的生產(chǎn)生活方式，大數(shù)據(jù)金融應(yīng)用正是改變金融業(yè)態(tài)，引發(fā)金融行業(yè)經(jīng)營模式創(chuàng)新的催化劑和助推器。
[1] 陳利強 梁如見 張新宇 著.《金融大數(shù)據(jù)-戰(zhàn)略規(guī)劃與實踐指南》.電子工業(yè)出版社. 2015年
[2] 陳云 著.《金融大數(shù)據(jù)》. 上海科學(xué)技術(shù)出版社.2015年
[3] 中國電子信息產(chǎn)業(yè)發(fā)展研究院 工業(yè)和信息化部賽迪智庫.《大數(shù)據(jù)發(fā)展白皮書》. 2015年
聯(lián)系客服
