中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

導(dǎo)讀：元數(shù)據(jù)管理是對企業(yè)涉及的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)進行盤點、集成和管理，按照科學(xué)、有效的機制對元數(shù)據(jù)進行管理，并面向開發(fā)人員、最終用戶提供元數(shù)據(jù)服務(wù)，以滿足用戶的業(yè)務(wù)需求，對企業(yè)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)分析平臺的開發(fā)、維護過程提供支持。元數(shù)據(jù)管理是企業(yè)數(shù)據(jù)治理的基礎(chǔ)。

認識元數(shù)據(jù)

元數(shù)據(jù)(Metadata)，元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，簡言之，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。這么說對于沒有技術(shù)背景的人來說還是比較抽象的，我給大家舉幾個例子。

 

 

在我之前寫的一篇文章《關(guān)于“數(shù)據(jù)”的一些概念的整理和總結(jié)》中，有一個關(guān)于元數(shù)據(jù)的例子，歌曲《小芳》中有一段臺詞：“村里有個姑娘叫小芳，長得好看又善良” 這首耳熟能詳?shù)母?，我們分析一下，姓名：小芳、性別：姑娘（女）、長相：好看、性格：善良，住址：村里。這里面，小芳是被描述的對象也就是我們所謂的實體數(shù)據(jù)，而姓名、性別、長相、性格、住址就是描述“小芳”的元數(shù)據(jù)。

再舉個栗子：元數(shù)據(jù)就像“戶口本”，戶口本中除了有姓名、出生日期、住址、民族等信息外，還有家庭的血緣關(guān)系，父子關(guān)系、兄弟關(guān)系等。這些信息就構(gòu)成了對這個人的詳細描述，那這些信息就是描述這個人的元數(shù)據(jù)。

再舉個栗子：元數(shù)據(jù)好比“字典”，針對每個字都注音、含義、組詞、舉例等信息，同時也有關(guān)于字體結(jié)構(gòu)、相關(guān)引用、出處等。另外，我們可以通過拼音、偏旁部首都能查到這個字。所有的這些信息都是對這個字的詳細描述，那這些信息就是描述這個字的元數(shù)據(jù)。

再舉個栗子：元數(shù)據(jù)就如“地圖”，通過這張“地圖”能夠找到你所處的地點，以及你從哪來來，到哪里去，途中都需要路過哪些地方……

這下大家理解了吧，元數(shù)據(jù)是對數(shù)據(jù)的結(jié)構(gòu)化描述，使得數(shù)據(jù)更容易理解、查找、管理和使用。

元數(shù)據(jù)的分類

根據(jù)數(shù)據(jù)的性質(zhì)特點，業(yè)內(nèi)一般將元數(shù)據(jù)劃分為三類：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。

 

 

業(yè)務(wù)元數(shù)據(jù)是描述數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則等。通過明確業(yè)務(wù)元數(shù)據(jù)讓人們更容易理解和使用業(yè)務(wù)元數(shù)據(jù)，元數(shù)據(jù)消除了數(shù)據(jù)二義性，讓人們對數(shù)據(jù)有一致的認證，避免“各說自話”，進而為數(shù)據(jù)分析和應(yīng)用提供支撐。常見的業(yè)務(wù)元數(shù)據(jù)包括：業(yè)務(wù)定義、業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標等。

技術(shù)元數(shù)據(jù)是對數(shù)據(jù)的結(jié)構(gòu)化，方便計算機或數(shù)據(jù)庫之間對數(shù)據(jù)進行識別、存儲、傳輸和交換。技術(shù)元數(shù)據(jù)可以服務(wù)于開發(fā)人員，讓開發(fā)人員對數(shù)據(jù)的存儲、結(jié)構(gòu)更明確，從而為應(yīng)用的開發(fā)和系統(tǒng)的集成奠定基礎(chǔ)。技術(shù)元數(shù)據(jù)也可服務(wù)于業(yè)務(wù)人員，通過元數(shù)據(jù)理清數(shù)據(jù)關(guān)系，讓業(yè)務(wù)人員能夠更快速的找到想要的數(shù)據(jù)，進而對數(shù)據(jù)的來源去向進行分析，支持數(shù)據(jù)血緣追溯和影響分析。常見的技術(shù)元數(shù)據(jù)包括：存儲位置、數(shù)據(jù)模型、數(shù)據(jù)庫表、字段長度、字段類型、ETL腳本、SQL腳本、接口程序、數(shù)據(jù)關(guān)系等。

管理元數(shù)據(jù)描述了數(shù)據(jù)的管理屬性，包括管理部門、管理責(zé)任人等，通過明確管理屬性，有利于數(shù)據(jù)管理責(zé)任到部門和個人，是數(shù)據(jù)安全管理的基礎(chǔ)。常見的管理元數(shù)據(jù)包括：數(shù)據(jù)所有者、數(shù)據(jù)質(zhì)量定責(zé)、數(shù)據(jù)安全等級等。

 

表：元數(shù)據(jù)分類實例

 

元數(shù)據(jù)管理成熟度

在實施元數(shù)據(jù)管理的過程中，可以參照元數(shù)據(jù)管理的成熟度模型確定企業(yè)當(dāng)前元數(shù)據(jù)管理所在層次，并根據(jù)業(yè)務(wù)需要制定路線圖實現(xiàn)元數(shù)據(jù)管理水平的提升。下圖是元數(shù)據(jù)管理成熟度模型：

 

 

元數(shù)據(jù)管理成熟度評估模型

• L0: 初始狀態(tài)

元數(shù)據(jù)分散于日常的業(yè)務(wù)和職能管理中，由某個人或某一組人員在局部產(chǎn)生或獲取，并在局部使用。在局部環(huán)境工作數(shù)月或數(shù)年后，人們使這些元數(shù)據(jù)以及對它的理解內(nèi)在化，使對這種信息有習(xí)慣性的理解。這些元數(shù)據(jù)會永遠保存在某個人那兒，一旦這個人調(diào)離，這些元數(shù)據(jù)將永遠消失。

• L1: 從屬于業(yè)務(wù)系統(tǒng)

在這個階段，隨著各個業(yè)務(wù)系統(tǒng)自動化構(gòu)建完成，相應(yīng)的元數(shù)據(jù)也隨著需求整理、設(shè)計、開發(fā)、實施和維護等過程被各個業(yè)務(wù)系統(tǒng)孤立的全部或部分管理起來。業(yè)務(wù)元數(shù)據(jù)可能分散在各種業(yè)務(wù)規(guī)章、流程規(guī)定、需求、需求分析和概要設(shè)計等文檔以及業(yè)務(wù)系統(tǒng)中，技術(shù)元數(shù)據(jù)可能分散在詳細設(shè)計、模型設(shè)計和部署方案等各種文檔和各種中間件以及業(yè)務(wù)系統(tǒng)中。由于各個業(yè)務(wù)系統(tǒng)處于一個個豎井之中，元數(shù)據(jù)之間互通互聯(lián)困難，如果需要獲取其他系統(tǒng)的元數(shù)據(jù)，除了調(diào)閱各種文檔外，對分散在各種中間件和業(yè)務(wù)系統(tǒng)中的技術(shù)元數(shù)據(jù)需要一定的集成方式實現(xiàn)互通互聯(lián)。

• L2：元數(shù)據(jù)統(tǒng)一存儲

元數(shù)據(jù)依然在局部產(chǎn)生和獲取，但會集中到中央存儲庫進行存儲，業(yè)務(wù)元數(shù)據(jù)會手工錄入到中央存儲庫中，技術(shù)元數(shù)據(jù)分散在文檔中的部分也通過手工錄入到中央存儲庫中，而散落在各個中間件和業(yè)務(wù)系統(tǒng)中的技術(shù)元數(shù)據(jù)則通過數(shù)據(jù)集成的方式被讀取到中央存儲庫中。業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間全部或部分通過手工方式做了關(guān)聯(lián)。中央存儲庫的構(gòu)建，使得元數(shù)據(jù)在整個企業(yè)層面可被感知和搜索，極大地方便了企業(yè)獲取和查找元數(shù)據(jù)。缺點是，元數(shù)據(jù)仍然在各業(yè)務(wù)系統(tǒng)上維護，然后更新到中央存儲庫，各業(yè)務(wù)豎井之間仍然使用不同的命名法，經(jīng)常會造成相同的名字代表不同意義的事情，而同一件事情則使用了多個不同的名字，有些沒有納入業(yè)務(wù)系統(tǒng)管理的元數(shù)據(jù)則容易缺失。元數(shù)據(jù)沒有有效的權(quán)限管理，局部元數(shù)據(jù)更改后也不自動通知其他人。

• L3: 元數(shù)據(jù)集中管理

在 L2 的基礎(chǔ)上做了改進，增強了元數(shù)據(jù)的集中控制，局部業(yè)務(wù)單元或開發(fā)小組如不事先通知其他人，將無法對元數(shù)據(jù)進行修改。局部元數(shù)據(jù)的修改完成后將被廣播給其他人。和其他中間件和應(yīng)用系統(tǒng)的交互，仍然通過橋集成的方式進行，中央存儲庫中的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間還是通過手工方式進行映射。

• L4：元模型驅(qū)動管理

在 L3 的基礎(chǔ)上，通過構(gòu)建元模型以及元元模型，優(yōu)化各業(yè)務(wù)單元之間的各種沖突和各種副本，創(chuàng)建、管理和共享業(yè)務(wù)詞匯表和分類系統(tǒng)（基于主題領(lǐng)域的層次結(jié)構(gòu)）。業(yè)務(wù)詞匯表（業(yè)務(wù)元數(shù)據(jù)）包含與企業(yè)相關(guān)的詞匯、詞匯業(yè)務(wù)含義以及詞匯與信息資產(chǎn)（技術(shù)元數(shù)據(jù)）的關(guān)系，可以有效幫助企業(yè)用戶了解其業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)對應(yīng)的業(yè)務(wù)含義。分類是基于主題領(lǐng)域的層次結(jié)構(gòu)，用以對業(yè)務(wù)術(shù)語歸類。和其他中間件和應(yīng)用系統(tǒng)的交換，通過基于 CWM 的適配器方式進行連接。

• L5: 元數(shù)據(jù)管理自動化

在 L5 元數(shù)據(jù)管理是高度自動化的，當(dāng)邏輯層次元數(shù)據(jù)變更時，會被傳播到物理層次，同樣物理層次變更時邏輯層次將被更新。元數(shù)據(jù)中的任何變化將觸發(fā)業(yè)務(wù)工作流，以便其他業(yè)務(wù)系統(tǒng)進行相應(yīng)的修改。由于各個業(yè)務(wù)系統(tǒng)遵照相同的業(yè)務(wù)詞匯表和分類系統(tǒng)（元模型），他們之間的關(guān)系可以通過知識本體進行推斷，因此各個應(yīng)用系統(tǒng)之間的數(shù)據(jù)格式的映射自動產(chǎn)生。

 

元數(shù)據(jù)管理平臺架構(gòu)

元數(shù)據(jù)管理平臺從應(yīng)用層面，可以分類：元數(shù)據(jù)采集服務(wù)，應(yīng)用開發(fā)支持服務(wù)，元數(shù)據(jù)訪問服務(wù)、元數(shù)據(jù)管理服務(wù)和元數(shù)據(jù)分析服務(wù)。

 

 

元數(shù)據(jù)采集服務(wù)

在數(shù)據(jù)治理項目中，通常涉及到的元數(shù)據(jù)還包括：數(shù)據(jù)源的元數(shù)據(jù)，數(shù)據(jù)加工處理過程的元數(shù)據(jù)，數(shù)據(jù)倉庫或數(shù)據(jù)主題庫的元數(shù)據(jù)，數(shù)據(jù)應(yīng)用層的元數(shù)據(jù)，數(shù)據(jù)接口服務(wù)的元數(shù)據(jù)等等。元數(shù)據(jù)采集服務(wù)提供各類適配器滿足以上各類元數(shù)據(jù)的采集，并將元數(shù)據(jù)整合處理后統(tǒng)一存儲于中央元數(shù)據(jù)倉庫，實現(xiàn)元數(shù)據(jù)的統(tǒng)一管理。這個過程中，數(shù)據(jù)采集適配器十分重要，元數(shù)據(jù)采集要能夠適配各種DB、各類ETL、各類DW和Report產(chǎn)品，同時還需要適配各類結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)源。目前市場上的主流元數(shù)據(jù)產(chǎn)品還沒有哪一家能做到“萬能適配”，都需要在實際應(yīng)用過程中做或多或少的定制化開發(fā)。

元模型驅(qū)動的設(shè)計與開發(fā)

通過元數(shù)據(jù)管理平臺實現(xiàn)對應(yīng)用的邏輯模型、物理模型、UI模型等各類元模型管理，支撐應(yīng)用的設(shè)計和開發(fā)。應(yīng)用開發(fā)的元模型有三個狀態(tài)，分別是：設(shè)計態(tài)的元數(shù)據(jù)模型，通常由ERWin、PowerDesigner的等設(shè)計工具產(chǎn)生。測試態(tài)的元數(shù)據(jù)模型，通常是關(guān)系型數(shù)據(jù)：Oracle、DB2、Mysql、Teradata等，或非關(guān)系型數(shù)據(jù)庫：MongDB、HBase、Hive、Hadoop等。生產(chǎn)態(tài)的元模型，本質(zhì)上與測試態(tài)元數(shù)據(jù)差異不大。通過元數(shù)據(jù)平臺對應(yīng)用開發(fā)三種狀態(tài)的統(tǒng)一管理和對比分析，能夠有效降低元數(shù)據(jù)變更帶來的風(fēng)險，為下游ODS、DW的數(shù)據(jù)應(yīng)用提供支撐。另外，基于元數(shù)據(jù)的MDD（代碼生成服務(wù)），可以通過模型（元數(shù)據(jù)）完成業(yè)務(wù)對象元數(shù)據(jù)到UI元數(shù)據(jù)的關(guān)聯(lián)和轉(zhuǎn)換，自動生成相關(guān)代碼，表單界面，減少了開發(fā)人員的設(shè)計和編碼量，提升應(yīng)用和服務(wù)的開發(fā)效率。

 

元數(shù)據(jù)管理服務(wù)

市場上主流的元數(shù)據(jù)管理產(chǎn)品，基本都包括：元數(shù)據(jù)查詢、元模型管理、元數(shù)據(jù)維護、元數(shù)據(jù)版本管理、元數(shù)據(jù)對比分析、元數(shù)據(jù)適配器、元數(shù)據(jù)同步管理、元數(shù)據(jù)生命周期管理等功能。此類功能，各家產(chǎn)品大同小異，此處不再贅述。

元數(shù)據(jù)訪問服務(wù)

元數(shù)據(jù)訪問服務(wù)是元數(shù)據(jù)管理軟件提供的元數(shù)據(jù)訪問的接口服務(wù)，一般支持REST或Webservice等接口協(xié)議。通過元數(shù)據(jù)訪問服務(wù)支持企業(yè)元數(shù)據(jù)的共享，是企業(yè)數(shù)據(jù)治理的基礎(chǔ)。

 

元數(shù)據(jù)分析服務(wù)

 

血緣分析：是告訴你數(shù)據(jù)來自哪里，都經(jīng)過了哪些加工。其價值在于當(dāng)發(fā)現(xiàn)數(shù)據(jù)問題時可以通過數(shù)據(jù)的血緣關(guān)系，追根溯源，快速地定位到問題數(shù)據(jù)的來源和加工過程，減少數(shù)據(jù)問題排查分析的時間和難度。這個功能常用于數(shù)據(jù)分析發(fā)現(xiàn)數(shù)據(jù)問題時，快速定位和找到數(shù)據(jù)問題的原因。

 

影響分析：是告訴你數(shù)據(jù)都去了哪里，經(jīng)過了哪些加工。其價值在于當(dāng)發(fā)現(xiàn)數(shù)據(jù)問題時可以通過數(shù)據(jù)的關(guān)聯(lián)關(guān)系，向下追蹤，快速找到都哪些應(yīng)用或數(shù)據(jù)庫使用了這個數(shù)據(jù)，從而避免或降低數(shù)據(jù)問題帶來的更大的影響。這個功能常用于數(shù)據(jù)源的元數(shù)據(jù)變更對下游ETL、ODS、DW等應(yīng)用應(yīng)用的影響分析。

 

冷熱度分析：是告訴你哪些數(shù)據(jù)是企業(yè)常用數(shù)據(jù)，哪些數(shù)據(jù)屬于“僵死數(shù)據(jù)”。其價值在于讓數(shù)據(jù)活躍程度可視化，讓企業(yè)中的業(yè)務(wù)人員、管理人員都能夠清晰的看到數(shù)據(jù)的活躍程度，以便更好的駕馭數(shù)據(jù)，激活或處置“僵死數(shù)據(jù)”，從而為實現(xiàn)數(shù)據(jù)的自助式分析提供支撐。

 

關(guān)聯(lián)度分析：是告訴你數(shù)據(jù)和其他數(shù)據(jù)的關(guān)系以及它們的關(guān)系是怎樣建立的。關(guān)聯(lián)度分析是從某一實體關(guān)聯(lián)的其它實體和其參與的處理過程兩個角度來查看具體數(shù)據(jù)的使用情況，形成一張實體和所參與處理過程的網(wǎng)絡(luò)，從而進一步了解該實體的重要程度，如：表與ETL 程序、表與分析應(yīng)用、表與其他表的關(guān)聯(lián)情況等。本功能可以用來支撐需求變更的影響評估。

 

數(shù)據(jù)資產(chǎn)地圖：是告訴你有哪些數(shù)據(jù)，在哪里可以找到這些數(shù)據(jù)，能用這些數(shù)據(jù)干什么。通過元數(shù)據(jù)可以對企業(yè)數(shù)據(jù)進行完整的梳理、采集和整合，從而形成企業(yè)完整的數(shù)據(jù)資產(chǎn)地圖。數(shù)據(jù)資產(chǎn)地圖支持以拓撲圖的形式進行可視化展示各類元數(shù)據(jù)和數(shù)據(jù)處理過程，通過不同層次的圖形展現(xiàn)粒度控制，滿足業(yè)務(wù)上不同應(yīng)用場景的數(shù)據(jù)查詢和輔助分析需要。

 

元數(shù)據(jù)管理價值

 

一圖在手，天下我有

通過元數(shù)據(jù)以企業(yè)全局視角對企業(yè)各業(yè)務(wù)域的數(shù)據(jù)資產(chǎn)進行盤點，實現(xiàn)企業(yè)數(shù)據(jù)資源的統(tǒng)一梳理和盤查，有助于發(fā)現(xiàn)分布在不同系統(tǒng)、位置或個人電腦的數(shù)據(jù)，讓隱匿的數(shù)據(jù)顯性化。數(shù)據(jù)地圖包括了數(shù)據(jù)資源的基本信息，存儲位置信息、數(shù)據(jù)結(jié)構(gòu)信息、各數(shù)據(jù)之間關(guān)系信息，數(shù)據(jù)和人之間的關(guān)系信息，數(shù)據(jù)使用情況信息等，使數(shù)據(jù)資源信息詳細、統(tǒng)一、透明，降低“找數(shù)據(jù)”的溝通成本，為數(shù)據(jù)的使用和大數(shù)據(jù)挖掘提供支撐。

 

追根溯源，發(fā)現(xiàn)數(shù)據(jù)問題本質(zhì)

企業(yè)在做數(shù)據(jù)分析的時候，數(shù)據(jù)分析結(jié)果不正確，原因可能是數(shù)據(jù)分析過程出現(xiàn)數(shù)據(jù)問題，也可能是數(shù)據(jù)源本身就有問題，還可能是數(shù)據(jù)在加工處理過程中出現(xiàn)了數(shù)據(jù)問題……。通過元數(shù)據(jù)血緣分析，能夠快速定位數(shù)據(jù)來源和加工處理過程，能夠幫助數(shù)據(jù)分析人員快速定位數(shù)據(jù)問題。另外，通過元數(shù)據(jù)血緣關(guān)系分析，可以理解不同數(shù)據(jù)指標間的關(guān)系，分析產(chǎn)生指標的數(shù)據(jù)源頭波動情況帶來的影響。

 

模型驅(qū)動，敏捷開發(fā)

基于元數(shù)據(jù)模型的數(shù)據(jù)應(yīng)用規(guī)劃、設(shè)計和開發(fā)是企業(yè)數(shù)據(jù)應(yīng)用的一個高級階段。當(dāng)企業(yè)元數(shù)據(jù)管理達到一定水平（實現(xiàn)自動化管理的時候），企業(yè)中各類數(shù)據(jù)實體模型、數(shù)據(jù)關(guān)系模型、數(shù)據(jù)服務(wù)模型、數(shù)據(jù)應(yīng)用模型的元數(shù)據(jù)統(tǒng)一在元數(shù)據(jù)平臺進行管理，并自動更新數(shù)據(jù)間的關(guān)聯(lián)關(guān)系?；谠獢?shù)據(jù)、可擴展的MDA，才是快速滿足企業(yè)數(shù)據(jù)應(yīng)用個性化定制需求的最好解決方案。通過將大量的業(yè)務(wù)進行模型抽象，使用元數(shù)據(jù)進行業(yè)務(wù)描述，并通過相應(yīng)的模型驅(qū)動引擎在運行時驅(qū)動，使用高度抽象的領(lǐng)域業(yè)務(wù)模型作為構(gòu)件，完成代碼轉(zhuǎn)換，動態(tài)生成相關(guān)代碼，降低開發(fā)成本，應(yīng)對復(fù)雜需求變更。

 

 

總結(jié)：

元數(shù)據(jù)是企業(yè)數(shù)據(jù)資源的應(yīng)用字典和操作指南，元數(shù)據(jù)管理有利于統(tǒng)一數(shù)據(jù)口徑、標明數(shù)據(jù)方位、分析數(shù)據(jù)關(guān)系、管理數(shù)據(jù)變更，為企業(yè)級的數(shù)據(jù)戰(zhàn)略規(guī)劃、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)標準管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理以及數(shù)據(jù)的全生命周期管理提供支持，是企業(yè)實現(xiàn)數(shù)據(jù)自服務(wù)、推動企業(yè)數(shù)據(jù)化運營的可行路線。企業(yè)以元數(shù)據(jù)為抓手進行數(shù)據(jù)治理，幫助企業(yè)更好地對數(shù)據(jù)資產(chǎn)進行管理，理清數(shù)據(jù)之間的關(guān)系，實現(xiàn)精準高效的分析和決策。

注：本文的首發(fā)平臺為微信公眾號：learning-bigdata（談數(shù)據(jù)），如需要了解第一手數(shù)據(jù)治理相關(guān)內(nèi)容，請關(guān)注微信公眾號，CSDN微博不定期更新。

歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明，作者：石秀峰，公眾號：learning-bigdata（談數(shù)據(jù)）