當(dāng)今，數(shù)字化正在各行業(yè)快速發(fā)展，醞釀著一場巨大的變革，許多企業(yè)將會經(jīng)歷***的改變。在數(shù)字化轉(zhuǎn)型的道路上，數(shù)據(jù)是上層建筑和質(zhì)量的基石，而數(shù)據(jù)治理在提升企業(yè)數(shù)據(jù)質(zhì)量的道路上扮演重要的角色。

目錄：

一、數(shù)字化是企業(yè)精細(xì)化管理的必由之路

二、數(shù)據(jù)治理就是自動化的數(shù)據(jù)生命周期管理

三、企業(yè)數(shù)據(jù)治理執(zhí)行建議

一、數(shù)字化是企業(yè)精細(xì)化管理的必由之路

我們現(xiàn)在身處一個虛擬時空交易與現(xiàn)實時空交付的數(shù)字化時代。

數(shù)據(jù)正發(fā)揮著越來越重要的作用，數(shù)據(jù)將驅(qū)動企業(yè)業(yè)務(wù)運營，我們通過數(shù)據(jù)去發(fā)現(xiàn)機會或定位問題的根源，從而從根本上解決問題。

從發(fā)展趨勢來看，未來的企業(yè)必將成為數(shù)字化的企業(yè)，數(shù)字化轉(zhuǎn)型將成為企業(yè)核心戰(zhàn)略，而在此過程中數(shù)據(jù)治理則是轉(zhuǎn)型道路的必由之路，它能提升企業(yè)數(shù)據(jù)的整體質(zhì)量，規(guī)范企業(yè)管理數(shù)據(jù)的動作。

普元在多年的項目實踐過程中，發(fā)現(xiàn)企業(yè)在做數(shù)據(jù)治理的過程中存在著五個痛點，分別是：

企業(yè)數(shù)據(jù)摸底不清晰

缺乏數(shù)據(jù)治理落地體系方法

缺乏有效的支撐工具

數(shù)據(jù)整改周期長

系統(tǒng)建設(shè)各自為戰(zhàn)，數(shù)據(jù)關(guān)聯(lián)度不足，甚至割裂

企業(yè)中有價值的數(shù)據(jù)是散落在不同的業(yè)務(wù)系統(tǒng)中的，由于信息化進程和階段的不同，業(yè)務(wù)系統(tǒng)都是采用急用先建的策略進行。要從企業(yè)萬千雜亂的數(shù)據(jù)中理出價值密度高的數(shù)據(jù)，人工、無體系的管理方式在數(shù)據(jù)膨脹的環(huán)境下已心有余而力不足，企業(yè)需要自動化甚至智能化的手段去解決數(shù)據(jù)的問題。在多年的實踐中我們發(fā)現(xiàn)，自動化是大數(shù)據(jù)治理的關(guān)鍵因素。

作為數(shù)據(jù)密集型企業(yè)，銀行一直是國內(nèi)數(shù)據(jù)治理的排頭兵，有數(shù)據(jù)治理相關(guān)的政策要求，也有數(shù)據(jù)強化管理的要求。下面我們舉幾個銀行的案例：

先看某大型知名銀行的案例。在這個案例中，我們幫助客戶實現(xiàn)了自動支撐數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建、自動規(guī)范系統(tǒng)數(shù)據(jù)模型、自動構(gòu)建企業(yè)數(shù)據(jù)地圖、自動實現(xiàn)數(shù)據(jù)協(xié)同變更、自動執(zhí)行關(guān)鍵數(shù)據(jù)檢核等全面自動化的數(shù)據(jù)生命周期管理，大大提升了對數(shù)據(jù)管理的力度。

再來看一個城商行的案例，該城商行通過自動化的企業(yè)數(shù)據(jù)地圖構(gòu)建、自動實現(xiàn)數(shù)據(jù)協(xié)同變更、自動執(zhí)行關(guān)鍵數(shù)據(jù)檢核，保障了數(shù)據(jù)中心對數(shù)據(jù)的統(tǒng)一管理，推進了變更統(tǒng)籌管理、降低了源頭業(yè)務(wù)系統(tǒng)在數(shù)據(jù)結(jié)構(gòu)變化過程中對分析類應(yīng)用的影響，從而大大提升了該行IT項目群的整體管理水平。

由于時間和篇幅的原因，我們沒對電信、政府、制造業(yè)、航空業(yè)、物流業(yè)的案例進行介紹，但在普元實施這些行業(yè)客戶的時候，無不是通過自動化的手段去解決數(shù)據(jù)治理問題。

我們認(rèn)為，數(shù)據(jù)治理其實是圍繞數(shù)據(jù)生命周期的不同階段，開展對數(shù)據(jù)規(guī)范、管理和整治活動的集合。由于數(shù)據(jù)在企業(yè)中存在的形態(tài)是瑣碎多樣且無體系的，企業(yè)必須用整體的思路、體系化的管理策略，使用自動化的方式去解決數(shù)據(jù)管理的問題。

二、數(shù)據(jù)治理就是自動化的數(shù)據(jù)生命周期管理

我們從不同行業(yè)的數(shù)據(jù)治理實施項目中提取了五種可執(zhí)行的自動化手段，來解決數(shù)據(jù)生命周期中不同階段的數(shù)據(jù)治理問題。

這五個手段分別是：

自動支撐數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建

自動規(guī)范系統(tǒng)數(shù)據(jù)模型

自動構(gòu)建企業(yè)數(shù)據(jù)地圖

自動實現(xiàn)數(shù)據(jù)協(xié)同變更

自動執(zhí)行關(guān)鍵數(shù)據(jù)檢核

1.自動支撐數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建

自動支撐數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建的意思是，企業(yè)能在在數(shù)據(jù)生命周期的規(guī)劃和標(biāo)準(zhǔn)規(guī)范階段，能通過工具來自動構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)。

數(shù)據(jù)標(biāo)準(zhǔn)是企業(yè)的語義字典，不僅對企業(yè)數(shù)據(jù)架構(gòu)，數(shù)據(jù)分類，數(shù)據(jù)特征進行了全方位的描述，還對業(yè)務(wù)活動和業(yè)務(wù)系統(tǒng)建設(shè)給出了數(shù)據(jù)架構(gòu)層面的的指導(dǎo)性建議。它相當(dāng)于一個綱領(lǐng)，用來規(guī)范信息系統(tǒng)的建設(shè)，并且協(xié)同業(yè)務(wù)和技術(shù)。

一般企業(yè)構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)，需要參考同業(yè)、引用國家標(biāo)準(zhǔn)、考慮企業(yè)數(shù)據(jù)現(xiàn)狀。但我們發(fā)現(xiàn)標(biāo)準(zhǔn)和企業(yè)實際情況脫節(jié)是經(jīng)常會出現(xiàn)的問題，造成標(biāo)準(zhǔn)無法落地或落地困難，所以數(shù)據(jù)標(biāo)準(zhǔn)制定過程中一定要充分考慮企業(yè)的數(shù)據(jù)現(xiàn)狀。我們認(rèn)為要在摸清企業(yè)數(shù)據(jù)現(xiàn)狀的基礎(chǔ)上再構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)。

構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)要從自動化的數(shù)據(jù)資產(chǎn)梳理開始。通過元數(shù)據(jù)管理工具自動摸清企業(yè)有哪些數(shù)據(jù)，在什么地方，如何存儲，歸誰使用，誰在運維，體量如何，數(shù)據(jù)含義是否明確，被誰關(guān)聯(lián)引用等，在這些都明確的基礎(chǔ)上，自動對元數(shù)據(jù)進行歸集和分類，將分類結(jié)果經(jīng)過甄別評審后歸集到定義好的數(shù)據(jù)標(biāo)準(zhǔn)分類體系上，整個過程在線上完成，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建的自動化支撐。

從整體統(tǒng)籌的的角度講，與傳統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)的構(gòu)建方式相比，自動化構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)有幾個好處:

一是數(shù)據(jù)標(biāo)準(zhǔn)是從企業(yè)實際數(shù)據(jù)環(huán)境中發(fā)掘出來的，制定的標(biāo)準(zhǔn)有現(xiàn)實依據(jù)；

二是關(guān)鍵的、核心的共享級數(shù)據(jù)明確了出處，在什么部門、在什么系統(tǒng)、在什么數(shù)據(jù)庫中、歸誰管理和負(fù)責(zé)一目了然，在進行數(shù)據(jù)共享的時候減少了數(shù)據(jù)分析時間，提高了工作效率。

三是針對存量的核心數(shù)據(jù)進行了數(shù)據(jù)標(biāo)準(zhǔn)映射，在標(biāo)準(zhǔn)制定過程中可以映射存量系統(tǒng)關(guān)鍵數(shù)據(jù)，在管理和使用上明確了這些數(shù)據(jù)和標(biāo)準(zhǔn)的關(guān)系。

2.自動規(guī)范系統(tǒng)數(shù)據(jù)模型

企業(yè)信息化正從分散化業(yè)務(wù)處理系統(tǒng)向平臺化業(yè)務(wù)系統(tǒng)轉(zhuǎn)變，如何落實數(shù)據(jù)標(biāo)準(zhǔn)化，發(fā)揮數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)籌規(guī)范的價值是一件不容易的事情。在數(shù)據(jù)生命周期的開發(fā)實施階段，自動規(guī)范系統(tǒng)數(shù)據(jù)模型變得很重要。

自動規(guī)范系統(tǒng)數(shù)據(jù)模型在數(shù)據(jù)生命周期過程中起到了承上啟下的作用，也是數(shù)據(jù)標(biāo)準(zhǔn)化落實的關(guān)鍵階段，是元數(shù)據(jù)事前管理的重要環(huán)節(jié)。

對于新增系統(tǒng)和存量系統(tǒng)來說，自動規(guī)范系統(tǒng)數(shù)據(jù)模型的方式也不同。在信息系統(tǒng)建設(shè)初期，業(yè)務(wù)模型、邏輯模型、數(shù)據(jù)模型要能在線上設(shè)計完成，并且設(shè)計的過程中能引用企業(yè)信息模型（非金融）或數(shù)據(jù)標(biāo)準(zhǔn)（金融），以此來達(dá)到規(guī)范模型的目的；

而對于存量系統(tǒng)，我們可以使用自動化的元數(shù)據(jù)采集能力，自下而上反向生成存量系統(tǒng)的數(shù)據(jù)模型，如上圖所示。

雖然在線設(shè)計系統(tǒng)模型在一定程度上保證了數(shù)據(jù)標(biāo)準(zhǔn)或企業(yè)信息模型的有效落地，但系統(tǒng)運行是一個持續(xù)的過程，投產(chǎn)后的系統(tǒng)元數(shù)據(jù)隨時都有可能發(fā)生變化，所以需要定期自動從生產(chǎn)環(huán)境中采集元數(shù)據(jù)和設(shè)計態(tài)中的元數(shù)據(jù)進行比對糾偏，保證設(shè)計和投產(chǎn)的一致。

3.自動構(gòu)建企業(yè)數(shù)據(jù)地圖

企業(yè)組織是一個整體，描述的企業(yè)活動的數(shù)據(jù)應(yīng)該也是一個整體。企業(yè)可以通過元數(shù)據(jù)管理工具，將企業(yè)所有元數(shù)據(jù)自動采集到一起，并在自動抽取元數(shù)據(jù)的過程中建立不同載體與跨載體的數(shù)據(jù)關(guān)系，形成一張反映企業(yè)現(xiàn)狀數(shù)據(jù)的關(guān)系網(wǎng)，我們通常稱這張網(wǎng)為“數(shù)據(jù)地圖”。

通過數(shù)據(jù)地圖，在運營管理上能統(tǒng)籌看待數(shù)據(jù)，全盤考慮數(shù)據(jù)架構(gòu)，提出數(shù)據(jù)治理目標(biāo)，從根本上解決問題。

企業(yè)數(shù)據(jù)地圖的構(gòu)建必須是自動化的，通過自動化才能準(zhǔn)確獲取企業(yè)信息系統(tǒng)中的元數(shù)據(jù)信息以及元數(shù)據(jù)間的關(guān)系信息，數(shù)據(jù)地圖的脈絡(luò)分析讓每個數(shù)據(jù)的在企業(yè)的數(shù)據(jù)鏈條的位置和數(shù)據(jù)價值變得清晰可見，通過數(shù)據(jù)地圖還能查詢數(shù)據(jù)的技術(shù)屬性、業(yè)務(wù)屬性、管理屬性、安全屬性、稽核屬性等，當(dāng)然也能知道數(shù)據(jù)是否遵循了企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。

以上提到的數(shù)據(jù)間的流向關(guān)系在企業(yè)信息系統(tǒng)是真實存在的，我們選用合適的元數(shù)據(jù)工具能方便得到。但數(shù)據(jù)的關(guān)聯(lián)關(guān)系一般是邏輯上的。比如：核心系統(tǒng)、信貸系統(tǒng)、基金系統(tǒng)、網(wǎng)頁系統(tǒng)、理財系統(tǒng)都存在客戶號，要基于客戶號獲取這些系統(tǒng)中客戶實體的相關(guān)屬性信息，將會是一件不容易的事情。因為這需要知道相關(guān)系統(tǒng)在數(shù)據(jù)上的邏輯關(guān)系，而邏輯關(guān)系一般在跨部門，跨系統(tǒng)間是沒有在數(shù)據(jù)庫表層面建立的，所以在做數(shù)據(jù)分析的時候需要一種自動化的手段來給這些數(shù)據(jù)建立關(guān)系。

我們基于知識圖譜技術(shù)構(gòu)建企業(yè)數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，首先基于企業(yè)元數(shù)據(jù)信息，通過自然語言處理、模式識別等算法，以及業(yè)務(wù)規(guī)則過濾，實現(xiàn)實體對象提??；然后以本體的形式表示和存儲；***利用智能搜索、關(guān)聯(lián)查詢手段，為最終用戶推薦數(shù)據(jù)關(guān)聯(lián)關(guān)系。有了知識圖譜的支持，基于元數(shù)據(jù)的自助數(shù)據(jù)服務(wù)開發(fā)就變得很簡單了。

4.自動實現(xiàn)數(shù)據(jù)協(xié)同變更

在數(shù)據(jù)生命周期的使用階段，企業(yè)業(yè)務(wù)系統(tǒng)建設(shè)的步伐深化，數(shù)據(jù)需要在不同的系統(tǒng)當(dāng)中流轉(zhuǎn)和交互，一些平臺類的系統(tǒng)開始出現(xiàn)，如ODS、倉庫、集市、大數(shù)據(jù)等，企業(yè)運營決策也依賴數(shù)據(jù)的整合，這期間面臨的一個主要問題就是數(shù)據(jù)全鏈路協(xié)同變更。

在數(shù)據(jù)鏈路上，任何一個點上數(shù)據(jù)結(jié)構(gòu)的變化必將影響其他節(jié)點上的數(shù)據(jù)，我們需要一種自動化的能力實現(xiàn)全數(shù)據(jù)協(xié)同變更。下圖是一個典型的案例場景，供大家參考。

自動的全局?jǐn)?shù)據(jù)協(xié)同變更包含兩層意思，

一是在數(shù)據(jù)鏈路上的任何一點發(fā)生數(shù)據(jù)結(jié)構(gòu)的變化，如字段長度、字段類型等，會自動通知數(shù)據(jù)鏈路上的相關(guān)部門或責(zé)任人；

二是在數(shù)據(jù)作業(yè)異常后，會自動的通知作業(yè)依賴鏈路上相關(guān)的部門或責(zé)任人。

另外， 流程在數(shù)據(jù)管理工作中起到串聯(lián)和推動的作用，數(shù)據(jù)管理工作是企業(yè)級的一個大的基礎(chǔ)工程，涉及的部門、系統(tǒng)、人員較多，因此常態(tài)化的數(shù)據(jù)管理離不開流程驅(qū)動，引入流程化機制，能規(guī)范跨系統(tǒng)，垮部門的數(shù)據(jù)工作協(xié)作。

5.自動執(zhí)行關(guān)鍵數(shù)據(jù)檢核

數(shù)據(jù)治理的核心目標(biāo)是通過優(yōu)化數(shù)據(jù)結(jié)構(gòu)，規(guī)范數(shù)據(jù)定義，完善數(shù)據(jù)使用流程等手段來提升企業(yè)數(shù)據(jù)質(zhì)量，我們所制定的組織、角色、工作方法都是圍繞這個目標(biāo)來設(shè)計的。企業(yè)要通過自動化的手段重點監(jiān)控核心數(shù)據(jù)，如監(jiān)管類的數(shù)據(jù)，核心決策類指標(biāo)數(shù)據(jù)等。

數(shù)據(jù)標(biāo)準(zhǔn)是衡量企業(yè)數(shù)據(jù)質(zhì)量好壞的準(zhǔn)則，對企業(yè)關(guān)鍵的數(shù)據(jù)檢核應(yīng)該來源于數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范要求。在上面的分享中，我們知道數(shù)據(jù)是多維的，包括技術(shù)維、業(yè)務(wù)維、管理維、質(zhì)量維、安全維，針對數(shù)據(jù)標(biāo)準(zhǔn)的技術(shù)維度要求，結(jié)合元數(shù)據(jù)管理自動化構(gòu)建針對關(guān)鍵數(shù)據(jù)的檢核規(guī)則，就能發(fā)現(xiàn)數(shù)據(jù)在技術(shù)維度上的不足或問題。

三、企業(yè)數(shù)據(jù)治理執(zhí)行建議

以上我們從數(shù)據(jù)生命周期的不同階級講解了開展大數(shù)據(jù)治理的五個自動化手段，下面我們根據(jù)普元多年數(shù)據(jù)治理項目實施的經(jīng)驗，給出企業(yè)在執(zhí)行數(shù)據(jù)治理的一些建議，供大家參考。

企業(yè)數(shù)據(jù)治理的目的是讓數(shù)據(jù)在業(yè)務(wù)和技術(shù)上保持統(tǒng)一的口徑和準(zhǔn)確的含義，能在企業(yè)數(shù)據(jù)架構(gòu)的規(guī)劃下指導(dǎo)信息化的建設(shè)，并能在需要的時候?qū)?shù)據(jù)進行連接、整合，進而挖掘出數(shù)據(jù)價值驅(qū)動企業(yè)運營。

在數(shù)據(jù)治理執(zhí)行建議中，我們將數(shù)據(jù)的生命周期切分成事前、事中和事后三個階段。

在事前階段，要定數(shù)據(jù)標(biāo)準(zhǔn)，信息系統(tǒng)的數(shù)據(jù)模型在線上參考標(biāo)準(zhǔn)進行設(shè)計，設(shè)計好的模型可以直接創(chuàng)建信息系統(tǒng)的數(shù)據(jù)庫，所有的模型變更調(diào)整都在平臺上進行。

模型設(shè)計過程中能看到其他系統(tǒng)的數(shù)據(jù)模型，也能看到其他系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)化的情況。

過程要符合企業(yè)系統(tǒng)開發(fā)的管理流程，在流程驅(qū)動下完成設(shè)計和變更工作。

這樣做的好處有以下幾個：

企業(yè)元數(shù)據(jù)在事前的到有效管理和控制。

系統(tǒng)間數(shù)據(jù)不是割裂的，從數(shù)據(jù)架構(gòu)角度看他是一個整體，我在用哪個系統(tǒng)的、那個業(yè)務(wù)的數(shù)據(jù)，誰又在用我的數(shù)據(jù)，一目了然，清晰可見。

數(shù)據(jù)標(biāo)準(zhǔn)（企業(yè)信息模型）落地有了載體，有了方法，有了能力支撐，標(biāo)準(zhǔn)執(zhí)行的程度可查、可控。

全局?jǐn)?shù)據(jù)分析有了數(shù)據(jù)門戶，數(shù)據(jù)質(zhì)量在模型層面得到有效提高。

如果企業(yè)沒有制定數(shù)據(jù)標(biāo)準(zhǔn)，這種事前管理思路也是值得嘗試的。

在事后階段，通過檢核的抓手促進企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)落實。

這里提供兩個抓手

針對生產(chǎn)運行態(tài)的元數(shù)據(jù)進行定期的、自動化抽取，抽取結(jié)果和事前設(shè)計態(tài)元數(shù)據(jù)進行比對，發(fā)現(xiàn)差異，提出整改意見；

根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范對關(guān)鍵數(shù)據(jù)進行質(zhì)量檢核，發(fā)現(xiàn)數(shù)據(jù)問題，提出整改意見。

在事后階段，為了促進數(shù)據(jù)質(zhì)量的持續(xù)提升，企業(yè)可以引進考核機制，進而為數(shù)據(jù)治理的有效開展提供保障。

關(guān)于作者：

王鵬

現(xiàn)任普元大數(shù)據(jù)產(chǎn)品線數(shù)據(jù)治理項目實施經(jīng)理，2009年進入國內(nèi)數(shù)據(jù)治理領(lǐng)域，先后主導(dǎo)或參與金融業(yè)、運營商、制造業(yè)、政府、航空，物流等行業(yè)的數(shù)據(jù)治理解決方案的編寫，以及相關(guān)落地項目的實施。

[[212525]]