當今，數(shù)字化正在各行業(yè)快速發(fā)展，醞釀著一場巨大的變革，許多企業(yè)將會經(jīng)歷***的改變。在數(shù)字化轉型的道路上，數(shù)據(jù)是上層建筑和質量的基石，而數(shù)據(jù)治理在提升企業(yè)數(shù)據(jù)質量的道路上扮演重要的角色。

目錄：

一、數(shù)字化是企業(yè)精細化管理的必由之路

二、數(shù)據(jù)治理就是自動化的數(shù)據(jù)生命周期管理

三、企業(yè)數(shù)據(jù)治理執(zhí)行建議

一、數(shù)字化是企業(yè)精細化管理的必由之路

我們現(xiàn)在身處一個虛擬時空交易與現(xiàn)實時空交付的數(shù)字化時代。

數(shù)據(jù)正發(fā)揮著越來越重要的作用，數(shù)據(jù)將驅動企業(yè)業(yè)務運營，我們通過數(shù)據(jù)去發(fā)現(xiàn)機會或定位問題的根源，從而從根本上解決問題。

從發(fā)展趨勢來看，未來的企業(yè)必將成為數(shù)字化的企業(yè)，數(shù)字化轉型將成為企業(yè)核心戰(zhàn)略，而在此過程中數(shù)據(jù)治理則是轉型道路的必由之路，它能提升企業(yè)數(shù)據(jù)的整體質量，規(guī)范企業(yè)管理數(shù)據(jù)的動作。

普元在多年的項目實踐過程中，發(fā)現(xiàn)企業(yè)在做數(shù)據(jù)治理的過程中存在著五個痛點，分別是：

企業(yè)數(shù)據(jù)摸底不清晰

缺乏數(shù)據(jù)治理落地體系方法

缺乏有效的支撐工具

數(shù)據(jù)整改周期長

系統(tǒng)建設各自為戰(zhàn)，數(shù)據(jù)關聯(lián)度不足，甚至割裂

企業(yè)中有價值的數(shù)據(jù)是散落在不同的業(yè)務系統(tǒng)中的，由于信息化進程和階段的不同，業(yè)務系統(tǒng)都是采用急用先建的策略進行。要從企業(yè)萬千雜亂的數(shù)據(jù)中理出價值密度高的數(shù)據(jù)，人工、無體系的管理方式在數(shù)據(jù)膨脹的環(huán)境下已心有余而力不足，企業(yè)需要自動化甚至智能化的手段去解決數(shù)據(jù)的問題。在多年的實踐中我們發(fā)現(xiàn)，自動化是大數(shù)據(jù)治理的關鍵因素。

作為數(shù)據(jù)密集型企業(yè)，銀行一直是國內數(shù)據(jù)治理的排頭兵，有數(shù)據(jù)治理相關的政策要求，也有數(shù)據(jù)強化管理的要求。下面我們舉幾個銀行的案例：

先看某大型知名銀行的案例。在這個案例中，我們幫助客戶實現(xiàn)了自動支撐數(shù)據(jù)標準構建、自動規(guī)范系統(tǒng)數(shù)據(jù)模型、自動構建企業(yè)數(shù)據(jù)地圖、自動實現(xiàn)數(shù)據(jù)協(xié)同變更、自動執(zhí)行關鍵數(shù)據(jù)檢核等全面自動化的數(shù)據(jù)生命周期管理，大大提升了對數(shù)據(jù)管理的力度。

再來看一個城商行的案例，該城商行通過自動化的企業(yè)數(shù)據(jù)地圖構建、自動實現(xiàn)數(shù)據(jù)協(xié)同變更、自動執(zhí)行關鍵數(shù)據(jù)檢核，保障了數(shù)據(jù)中心對數(shù)據(jù)的統(tǒng)一管理，推進了變更統(tǒng)籌管理、降低了源頭業(yè)務系統(tǒng)在數(shù)據(jù)結構變化過程中對分析類應用的影響，從而大大提升了該行IT項目群的整體管理水平。

由于時間和篇幅的原因，我們沒對電信、政府、制造業(yè)、航空業(yè)、物流業(yè)的案例進行介紹，但在普元實施這些行業(yè)客戶的時候，無不是通過自動化的手段去解決數(shù)據(jù)治理問題。

我們認為，數(shù)據(jù)治理其實是圍繞數(shù)據(jù)生命周期的不同階段，開展對數(shù)據(jù)規(guī)范、管理和整治活動的集合。由于數(shù)據(jù)在企業(yè)中存在的形態(tài)是瑣碎多樣且無體系的，企業(yè)必須用整體的思路、體系化的管理策略，使用自動化的方式去解決數(shù)據(jù)管理的問題。

二、數(shù)據(jù)治理就是自動化的數(shù)據(jù)生命周期管理

我們從不同行業(yè)的數(shù)據(jù)治理實施項目中提取了五種可執(zhí)行的自動化手段，來解決數(shù)據(jù)生命周期中不同階段的數(shù)據(jù)治理問題。

這五個手段分別是：

自動支撐數(shù)據(jù)標準構建

自動規(guī)范系統(tǒng)數(shù)據(jù)模型

自動構建企業(yè)數(shù)據(jù)地圖

自動實現(xiàn)數(shù)據(jù)協(xié)同變更

自動執(zhí)行關鍵數(shù)據(jù)檢核

1.自動支撐數(shù)據(jù)標準構建

自動支撐數(shù)據(jù)標準構建的意思是，企業(yè)能在在數(shù)據(jù)生命周期的規(guī)劃和標準規(guī)范階段，能通過工具來自動構建數(shù)據(jù)標準。

數(shù)據(jù)標準是企業(yè)的語義字典，不僅對企業(yè)數(shù)據(jù)架構，數(shù)據(jù)分類，數(shù)據(jù)特征進行了全方位的描述，還對業(yè)務活動和業(yè)務系統(tǒng)建設給出了數(shù)據(jù)架構層面的的指導性建議。它相當于一個綱領，用來規(guī)范信息系統(tǒng)的建設，并且協(xié)同業(yè)務和技術。

一般企業(yè)構建數(shù)據(jù)標準，需要參考同業(yè)、引用國家標準、考慮企業(yè)數(shù)據(jù)現(xiàn)狀。但我們發(fā)現(xiàn)標準和企業(yè)實際情況脫節(jié)是經(jīng)常會出現(xiàn)的問題，造成標準無法落地或落地困難，所以數(shù)據(jù)標準制定過程中一定要充分考慮企業(yè)的數(shù)據(jù)現(xiàn)狀。我們認為要在摸清企業(yè)數(shù)據(jù)現(xiàn)狀的基礎上再構建數(shù)據(jù)標準。

構建數(shù)據(jù)標準要從自動化的數(shù)據(jù)資產(chǎn)梳理開始。通過元數(shù)據(jù)管理工具自動摸清企業(yè)有哪些數(shù)據(jù)，在什么地方，如何存儲，歸誰使用，誰在運維，體量如何，數(shù)據(jù)含義是否明確，被誰關聯(lián)引用等，在這些都明確的基礎上，自動對元數(shù)據(jù)進行歸集和分類，將分類結果經(jīng)過甄別評審后歸集到定義好的數(shù)據(jù)標準分類體系上，整個過程在線上完成，實現(xiàn)數(shù)據(jù)標準構建的自動化支撐。

從整體統(tǒng)籌的的角度講，與傳統(tǒng)數(shù)據(jù)標準的構建方式相比，自動化構建數(shù)據(jù)標準有幾個好處:

一是數(shù)據(jù)標準是從企業(yè)實際數(shù)據(jù)環(huán)境中發(fā)掘出來的，制定的標準有現(xiàn)實依據(jù)；

二是關鍵的、核心的共享級數(shù)據(jù)明確了出處，在什么部門、在什么系統(tǒng)、在什么數(shù)據(jù)庫中、歸誰管理和負責一目了然，在進行數(shù)據(jù)共享的時候減少了數(shù)據(jù)分析時間，提高了工作效率。

三是針對存量的核心數(shù)據(jù)進行了數(shù)據(jù)標準映射，在標準制定過程中可以映射存量系統(tǒng)關鍵數(shù)據(jù)，在管理和使用上明確了這些數(shù)據(jù)和標準的關系。

2.自動規(guī)范系統(tǒng)數(shù)據(jù)模型

企業(yè)信息化正從分散化業(yè)務處理系統(tǒng)向平臺化業(yè)務系統(tǒng)轉變，如何落實數(shù)據(jù)標準化，發(fā)揮數(shù)據(jù)標準統(tǒng)籌規(guī)范的價值是一件不容易的事情。在數(shù)據(jù)生命周期的開發(fā)實施階段，自動規(guī)范系統(tǒng)數(shù)據(jù)模型變得很重要。

自動規(guī)范系統(tǒng)數(shù)據(jù)模型在數(shù)據(jù)生命周期過程中起到了承上啟下的作用，也是數(shù)據(jù)標準化落實的關鍵階段，是元數(shù)據(jù)事前管理的重要環(huán)節(jié)。

對于新增系統(tǒng)和存量系統(tǒng)來說，自動規(guī)范系統(tǒng)數(shù)據(jù)模型的方式也不同。在信息系統(tǒng)建設初期，業(yè)務模型、邏輯模型、數(shù)據(jù)模型要能在線上設計完成，并且設計的過程中能引用企業(yè)信息模型（非金融）或數(shù)據(jù)標準（金融），以此來達到規(guī)范模型的目的；

而對于存量系統(tǒng)，我們可以使用自動化的元數(shù)據(jù)采集能力，自下而上反向生成存量系統(tǒng)的數(shù)據(jù)模型，如上圖所示。

雖然在線設計系統(tǒng)模型在一定程度上保證了數(shù)據(jù)標準或企業(yè)信息模型的有效落地，但系統(tǒng)運行是一個持續(xù)的過程，投產(chǎn)后的系統(tǒng)元數(shù)據(jù)隨時都有可能發(fā)生變化，所以需要定期自動從生產(chǎn)環(huán)境中采集元數(shù)據(jù)和設計態(tài)中的元數(shù)據(jù)進行比對糾偏，保證設計和投產(chǎn)的一致。

3.自動構建企業(yè)數(shù)據(jù)地圖

企業(yè)組織是一個整體，描述的企業(yè)活動的數(shù)據(jù)應該也是一個整體。企業(yè)可以通過元數(shù)據(jù)管理工具，將企業(yè)所有元數(shù)據(jù)自動采集到一起，并在自動抽取元數(shù)據(jù)的過程中建立不同載體與跨載體的數(shù)據(jù)關系，形成一張反映企業(yè)現(xiàn)狀數(shù)據(jù)的關系網(wǎng)，我們通常稱這張網(wǎng)為“數(shù)據(jù)地圖”。

通過數(shù)據(jù)地圖，在運營管理上能統(tǒng)籌看待數(shù)據(jù)，全盤考慮數(shù)據(jù)架構，提出數(shù)據(jù)治理目標，從根本上解決問題。

企業(yè)數(shù)據(jù)地圖的構建必須是自動化的，通過自動化才能準確獲取企業(yè)信息系統(tǒng)中的元數(shù)據(jù)信息以及元數(shù)據(jù)間的關系信息，數(shù)據(jù)地圖的脈絡分析讓每個數(shù)據(jù)的在企業(yè)的數(shù)據(jù)鏈條的位置和數(shù)據(jù)價值變得清晰可見，通過數(shù)據(jù)地圖還能查詢數(shù)據(jù)的技術屬性、業(yè)務屬性、管理屬性、安全屬性、稽核屬性等，當然也能知道數(shù)據(jù)是否遵循了企業(yè)數(shù)據(jù)標準規(guī)范。

以上提到的數(shù)據(jù)間的流向關系在企業(yè)信息系統(tǒng)是真實存在的，我們選用合適的元數(shù)據(jù)工具能方便得到。但數(shù)據(jù)的關聯(lián)關系一般是邏輯上的。比如：核心系統(tǒng)、信貸系統(tǒng)、基金系統(tǒng)、網(wǎng)頁系統(tǒng)、理財系統(tǒng)都存在客戶號，要基于客戶號獲取這些系統(tǒng)中客戶實體的相關屬性信息，將會是一件不容易的事情。因為這需要知道相關系統(tǒng)在數(shù)據(jù)上的邏輯關系，而邏輯關系一般在跨部門，跨系統(tǒng)間是沒有在數(shù)據(jù)庫表層面建立的，所以在做數(shù)據(jù)分析的時候需要一種自動化的手段來給這些數(shù)據(jù)建立關系。

我們基于知識圖譜技術構建企業(yè)數(shù)據(jù)間的關聯(lián)關系，首先基于企業(yè)元數(shù)據(jù)信息，通過自然語言處理、模式識別等算法，以及業(yè)務規(guī)則過濾，實現(xiàn)實體對象提取；然后以本體的形式表示和存儲；***利用智能搜索、關聯(lián)查詢手段，為最終用戶推薦數(shù)據(jù)關聯(lián)關系。有了知識圖譜的支持，基于元數(shù)據(jù)的自助數(shù)據(jù)服務開發(fā)就變得很簡單了。

4.自動實現(xiàn)數(shù)據(jù)協(xié)同變更

在數(shù)據(jù)生命周期的使用階段，企業(yè)業(yè)務系統(tǒng)建設的步伐深化，數(shù)據(jù)需要在不同的系統(tǒng)當中流轉和交互，一些平臺類的系統(tǒng)開始出現(xiàn)，如ODS、倉庫、集市、大數(shù)據(jù)等，企業(yè)運營決策也依賴數(shù)據(jù)的整合，這期間面臨的一個主要問題就是數(shù)據(jù)全鏈路協(xié)同變更。

在數(shù)據(jù)鏈路上，任何一個點上數(shù)據(jù)結構的變化必將影響其他節(jié)點上的數(shù)據(jù)，我們需要一種自動化的能力實現(xiàn)全數(shù)據(jù)協(xié)同變更。下圖是一個典型的案例場景，供大家參考。

自動的全局數(shù)據(jù)協(xié)同變更包含兩層意思，

一是在數(shù)據(jù)鏈路上的任何一點發(fā)生數(shù)據(jù)結構的變化，如字段長度、字段類型等，會自動通知數(shù)據(jù)鏈路上的相關部門或責任人；

二是在數(shù)據(jù)作業(yè)異常后，會自動的通知作業(yè)依賴鏈路上相關的部門或責任人。

另外， 流程在數(shù)據(jù)管理工作中起到串聯(lián)和推動的作用，數(shù)據(jù)管理工作是企業(yè)級的一個大的基礎工程，涉及的部門、系統(tǒng)、人員較多，因此常態(tài)化的數(shù)據(jù)管理離不開流程驅動，引入流程化機制，能規(guī)范跨系統(tǒng)，垮部門的數(shù)據(jù)工作協(xié)作。

5.自動執(zhí)行關鍵數(shù)據(jù)檢核

數(shù)據(jù)治理的核心目標是通過優(yōu)化數(shù)據(jù)結構，規(guī)范數(shù)據(jù)定義，完善數(shù)據(jù)使用流程等手段來提升企業(yè)數(shù)據(jù)質量，我們所制定的組織、角色、工作方法都是圍繞這個目標來設計的。企業(yè)要通過自動化的手段重點監(jiān)控核心數(shù)據(jù)，如監(jiān)管類的數(shù)據(jù)，核心決策類指標數(shù)據(jù)等。

數(shù)據(jù)標準是衡量企業(yè)數(shù)據(jù)質量好壞的準則，對企業(yè)關鍵的數(shù)據(jù)檢核應該來源于數(shù)據(jù)標準規(guī)范要求。在上面的分享中，我們知道數(shù)據(jù)是多維的，包括技術維、業(yè)務維、管理維、質量維、安全維，針對數(shù)據(jù)標準的技術維度要求，結合元數(shù)據(jù)管理自動化構建針對關鍵數(shù)據(jù)的檢核規(guī)則，就能發(fā)現(xiàn)數(shù)據(jù)在技術維度上的不足或問題。

三、企業(yè)數(shù)據(jù)治理執(zhí)行建議

以上我們從數(shù)據(jù)生命周期的不同階級講解了開展大數(shù)據(jù)治理的五個自動化手段，下面我們根據(jù)普元多年數(shù)據(jù)治理項目實施的經(jīng)驗，給出企業(yè)在執(zhí)行數(shù)據(jù)治理的一些建議，供大家參考。

企業(yè)數(shù)據(jù)治理的目的是讓數(shù)據(jù)在業(yè)務和技術上保持統(tǒng)一的口徑和準確的含義，能在企業(yè)數(shù)據(jù)架構的規(guī)劃下指導信息化的建設，并能在需要的時候對數(shù)據(jù)進行連接、整合，進而挖掘出數(shù)據(jù)價值驅動企業(yè)運營。

在數(shù)據(jù)治理執(zhí)行建議中，我們將數(shù)據(jù)的生命周期切分成事前、事中和事后三個階段。

在事前階段，要定數(shù)據(jù)標準，信息系統(tǒng)的數(shù)據(jù)模型在線上參考標準進行設計，設計好的模型可以直接創(chuàng)建信息系統(tǒng)的數(shù)據(jù)庫，所有的模型變更調整都在平臺上進行。

模型設計過程中能看到其他系統(tǒng)的數(shù)據(jù)模型，也能看到其他系統(tǒng)數(shù)據(jù)標準化的情況。

過程要符合企業(yè)系統(tǒng)開發(fā)的管理流程，在流程驅動下完成設計和變更工作。

這樣做的好處有以下幾個：

企業(yè)元數(shù)據(jù)在事前的到有效管理和控制。

系統(tǒng)間數(shù)據(jù)不是割裂的，從數(shù)據(jù)架構角度看他是一個整體，我在用哪個系統(tǒng)的、那個業(yè)務的數(shù)據(jù)，誰又在用我的數(shù)據(jù)，一目了然，清晰可見。

數(shù)據(jù)標準（企業(yè)信息模型）落地有了載體，有了方法，有了能力支撐，標準執(zhí)行的程度可查、可控。

全局數(shù)據(jù)分析有了數(shù)據(jù)門戶，數(shù)據(jù)質量在模型層面得到有效提高。

如果企業(yè)沒有制定數(shù)據(jù)標準，這種事前管理思路也是值得嘗試的。

在事后階段，通過檢核的抓手促進企業(yè)數(shù)據(jù)標準落實。

這里提供兩個抓手

針對生產(chǎn)運行態(tài)的元數(shù)據(jù)進行定期的、自動化抽取，抽取結果和事前設計態(tài)元數(shù)據(jù)進行比對，發(fā)現(xiàn)差異，提出整改意見；

根據(jù)數(shù)據(jù)標準規(guī)范對關鍵數(shù)據(jù)進行質量檢核，發(fā)現(xiàn)數(shù)據(jù)問題，提出整改意見。

在事后階段，為了促進數(shù)據(jù)質量的持續(xù)提升，企業(yè)可以引進考核機制，進而為數(shù)據(jù)治理的有效開展提供保障。

關于作者：

王鵬

現(xiàn)任普元大數(shù)據(jù)產(chǎn)品線數(shù)據(jù)治理項目實施經(jīng)理，2009年進入國內數(shù)據(jù)治理領域，先后主導或參與金融業(yè)、運營商、制造業(yè)、政府、航空，物流等行業(yè)的數(shù)據(jù)治理解決方案的編寫，以及相關落地項目的實施。

[[212525]]