數(shù)據(jù)如今已成為推動(dòng)公司成功的鮮活有機(jī)體。為了蓬勃發(fā)展，企業(yè)必須擁抱基于AI的自動(dòng)化數(shù)據(jù)管理。

在當(dāng)今經(jīng)濟(jì)中，正如俗話所說(shuō)，數(shù)據(jù)是新黃金——從財(cái)務(wù)角度來(lái)看是一種寶貴資產(chǎn)。然而，從公司的生存角度來(lái)看，還有一個(gè)更貼切的比喻，我們都熟悉進(jìn)化論，地球從巖石行星開始，最終孕育了生命，數(shù)據(jù)也經(jīng)歷了類似的轉(zhuǎn)變，20多年前，企業(yè)內(nèi)的數(shù)據(jù)就像早期地球上的散落巖石，它并未“鮮活”起來(lái)，因?yàn)閷?shù)據(jù)轉(zhuǎn)化為價(jià)值所需的業(yè)務(wù)知識(shí)局限于個(gè)人頭腦、Excel表格或丟失在模擬信號(hào)中。

數(shù)字化轉(zhuǎn)型開始為我們生活中的一切創(chuàng)造數(shù)字形態(tài)，而過(guò)去十年中AI和機(jī)器學(xué)習(xí)(ML)的進(jìn)步極大地改變了數(shù)據(jù)格局。我們現(xiàn)在正從數(shù)據(jù)中解讀規(guī)則、將業(yè)務(wù)知識(shí)嵌入ML模型，并且很快，AI代理將利用這些數(shù)據(jù)代表公司做出決策。數(shù)據(jù)如今像鮮活有機(jī)體一樣“活著”，以收集、管理和產(chǎn)品輸出的形式在公司的血脈中流動(dòng)，這個(gè)有機(jī)體是公司競(jìng)爭(zhēng)優(yōu)勢(shì)的基石，需要細(xì)心且負(fù)責(zé)任地培育和管理。

要在當(dāng)今的環(huán)境中取得成功，無(wú)論是小型、中型還是大型企業(yè)，都必須擁抱以數(shù)據(jù)為中心的思維模式。本文提出了一種方法，供企業(yè)實(shí)施現(xiàn)代數(shù)據(jù)管理功能，以滿足其獨(dú)特需求。這里的“現(xiàn)代”指的是一種以工程為驅(qū)動(dòng)的方法，充分利用自動(dòng)化和軟件工程最佳實(shí)踐。這種方法可重復(fù)，最大限度地減少對(duì)人工控制的依賴，利用技術(shù)和AI進(jìn)行數(shù)據(jù)管理，并無(wú)縫集成到數(shù)字產(chǎn)品開發(fā)流程中。所提出的模型通過(guò)五大支柱來(lái)說(shuō)明數(shù)據(jù)管理實(shí)踐：數(shù)據(jù)平臺(tái)，數(shù)據(jù)工程，分析與報(bào)告，數(shù)據(jù)科學(xué)與AI，以及數(shù)據(jù)治理。

支柱#1：數(shù)據(jù)平臺(tái)

數(shù)據(jù)平臺(tái)支柱包括工具、框架以及處理和托管技術(shù)，使企業(yè)能夠批量和流式處理大量數(shù)據(jù)。企業(yè)必須決定其托管提供商，無(wú)論是在本地設(shè)置、像AWS、GCP、Azure這樣的云解決方案，還是像Snowflake和Databricks這樣的專業(yè)數(shù)據(jù)平臺(tái)提供商。他們還必須選擇數(shù)據(jù)處理框架(如Spark、Beam或基于SQL的處理)以及用于ML的工具。

基于業(yè)務(wù)需求和數(shù)據(jù)的性質(zhì)(原始數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù))，企業(yè)應(yīng)確定是否建立數(shù)據(jù)倉(cāng)庫(kù)、湖倉(cāng)一體或考慮使用數(shù)據(jù)網(wǎng)格技術(shù)。供應(yīng)商的選擇應(yīng)與更廣泛的云或本地策略相一致。例如，如果一家公司選擇AWS作為其首選云提供商，并致力于主要在AWS內(nèi)運(yùn)營(yíng)，那么利用AWS數(shù)據(jù)平臺(tái)就有意義。同樣，根據(jù)公司的總體技術(shù)策略，也可以選擇Snowflake、Cloudera或其他平臺(tái)。

然而，我不贊成組裝眾多工具以追求難以捉摸的“最佳品種”夢(mèng)想，因?yàn)檎线@些工具非常耗時(shí)，且技術(shù)發(fā)展迅速，DIY集成難以跟上。此外，一般而言，不應(yīng)將數(shù)據(jù)分散在不同云提供商的多個(gè)數(shù)據(jù)庫(kù)中以實(shí)現(xiàn)云中立。這不是我的原創(chuàng)說(shuō)法，但云原生數(shù)據(jù)架構(gòu)的一個(gè)大忌就是將數(shù)據(jù)從一個(gè)位置復(fù)制到另一個(gè)位置。這等于把錢白白送給云提供商，并在端到端價(jià)值創(chuàng)造中造成重大問(wèn)題。

雖然技術(shù)決策至關(guān)重要，但數(shù)據(jù)平臺(tái)支柱的真正目的是為創(chuàng)造商業(yè)價(jià)值奠定基礎(chǔ)。缺乏對(duì)資金時(shí)間價(jià)值和商業(yè)價(jià)值的關(guān)注，可能會(huì)使數(shù)據(jù)平臺(tái)的選擇變成高中科學(xué)項(xiàng)目，因此要注意這一點(diǎn)。這一支柱本質(zhì)上是以工程為中心的，盡管它可能最初是從手動(dòng)設(shè)置開始的，但公司必須過(guò)渡到完全自動(dòng)化的思維模式。長(zhǎng)期來(lái)看，由于手動(dòng)管理數(shù)據(jù)平臺(tái)而導(dǎo)致的操作錯(cuò)誤可能代價(jià)極高。

支柱#2：數(shù)據(jù)工程

此功能負(fù)責(zé)將原始數(shù)據(jù)轉(zhuǎn)換為策劃的數(shù)據(jù)產(chǎn)品。使用數(shù)據(jù)平臺(tái)提供的工具和框架，原始數(shù)據(jù)被攝入、轉(zhuǎn)換和策劃以供特定用途。與以技術(shù)為中心的數(shù)據(jù)平臺(tái)支柱不同，數(shù)據(jù)工程專注于構(gòu)建具有嵌入業(yè)務(wù)規(guī)則的分布式并行數(shù)據(jù)管道。至關(guān)重要的是要記住，業(yè)務(wù)需求應(yīng)驅(qū)動(dòng)管道配置，而非反之。例如，如果保持事件順序?qū)I(yè)務(wù)需求至關(guān)重要，則必須實(shí)施適當(dāng)?shù)呐幚?、微批處理或流式配置以滿足這些要求。

另一個(gè)關(guān)鍵領(lǐng)域涉及管理數(shù)據(jù)管道的運(yùn)行狀況，更加強(qiáng)調(diào)監(jiān)控流經(jīng)管道的數(shù)據(jù)質(zhì)量。低質(zhì)量的數(shù)據(jù)與管道中斷一樣有害，甚至更甚，因?yàn)樗赡軐?dǎo)致錯(cuò)誤決策并向客戶提供有害信息。數(shù)據(jù)可觀察性領(lǐng)域最近經(jīng)歷了大幅增長(zhǎng)，市場(chǎng)上提供了眾多商業(yè)工具，或者可以選擇使用開源組件構(gòu)建DIY解決方案。最具挑戰(zhàn)性的方面是設(shè)置數(shù)據(jù)質(zhì)量問(wèn)題警報(bào)的閾值，因?yàn)楝F(xiàn)實(shí)世界中的數(shù)據(jù)過(guò)于動(dòng)態(tài)，以至于靜態(tài)閾值無(wú)法有效發(fā)揮作用。實(shí)施ML功能有助于找到合適的閾值。雖然開始時(shí)可以手動(dòng)設(shè)置閾值，但最終目標(biāo)應(yīng)是通過(guò)自我學(xué)習(xí)機(jī)制實(shí)現(xiàn)自動(dòng)化。

最后，重要的是要強(qiáng)調(diào)這一支柱中的“工程”方面。僅僅因?yàn)楣ぷ魇且詳?shù)據(jù)為中心或大量使用SQL，并不能成為例外。每個(gè)SQL查詢、腳本和數(shù)據(jù)移動(dòng)配置都必須視為代碼，遵循現(xiàn)代軟件開發(fā)方法，并遵循DevOps和SRE最佳實(shí)踐。

支柱#3：分析與報(bào)告

這一支柱代表了數(shù)據(jù)管理最傳統(tǒng)的方面，包括描述性和診斷性分析能力。它們通常分為兩大類：

1. 固定、預(yù)制或標(biāo)準(zhǔn)報(bào)告

2. 臨時(shí)或個(gè)人使用報(bào)告

數(shù)據(jù)有限的小型公司可以在沒有廣泛自動(dòng)化工程規(guī)范的情況下管理這一支柱。然而，中型和大型企業(yè)需要在其數(shù)據(jù)倉(cāng)庫(kù)或湖倉(cāng)一體的策劃數(shù)據(jù)集之上構(gòu)建復(fù)雜的自助報(bào)告平臺(tái)。

數(shù)據(jù)平臺(tái)功能將設(shè)置報(bào)告和可視化工具，而數(shù)據(jù)工程功能將集中策劃數(shù)據(jù)。但是，分析/報(bào)告功能需要推動(dòng)報(bào)告和自助分析的企業(yè)工作，它還需要通過(guò)確保數(shù)據(jù)目錄包含有意義、可靠的信息，并結(jié)合適當(dāng)?shù)脑L問(wèn)控制，來(lái)推動(dòng)數(shù)據(jù)的民主化。

業(yè)務(wù)分析中最具挑戰(zhàn)性的方面之一是創(chuàng)建一組一致的數(shù)據(jù)定義，以確保報(bào)告不會(huì)產(chǎn)生沖突或不可靠的信息。GenAI的引入和自然語(yǔ)言數(shù)據(jù)分析的興起將加劇這一問(wèn)題。因此，語(yǔ)義層的概念獲得了相當(dāng)大的關(guān)注，并需要在成熟的設(shè)置中加以考慮。

這一支柱所需的工程規(guī)范程度與報(bào)告的關(guān)鍵性相關(guān)。數(shù)據(jù)的關(guān)鍵性和對(duì)停機(jī)時(shí)間的敏感性越高，所需的工程和自動(dòng)化就越多。

支柱#4：數(shù)據(jù)科學(xué)與AI

這一支柱主要涵蓋分析的預(yù)測(cè)性和規(guī)范性方面。歷史上，這一支柱是分析與報(bào)告的一部分，并且在許多情況下仍然如此。然而，我故意將其分開，因?yàn)檫@一支柱的輸出(即AI/ML模型)現(xiàn)在集成到面向客戶的產(chǎn)品和服務(wù)中，這些產(chǎn)品和服務(wù)必須像其他技術(shù)產(chǎn)品一樣運(yùn)營(yíng)。這標(biāo)志著行業(yè)的重大變化，需要對(duì)ML和AI采取深入的以工程為中心的方法。

建立這一支柱需要數(shù)據(jù)科學(xué)、ML和AI技能。同樣重要的是MLOps技能，以建立工程規(guī)范，以及能夠端到端連接業(yè)務(wù)需求、模型開發(fā)、模型部署和模型監(jiān)控的架構(gòu)師。如果沒有這種設(shè)置，就有可能構(gòu)建出響應(yīng)客戶太慢、隨時(shí)間推移出現(xiàn)訓(xùn)練-服務(wù)偏差的模型，并且由于缺乏生產(chǎn)模型監(jiān)控而可能對(duì)客戶造成傷害。如果模型在生產(chǎn)中遇到問(wèn)題，最好向客戶返回錯(cuò)誤，而不是提供錯(cuò)誤數(shù)據(jù)。這種嚴(yán)謹(jǐn)性要求強(qiáng)大的工程規(guī)范和運(yùn)營(yíng)成熟度。

然而，對(duì)小型公司來(lái)說(shuō)有個(gè)好消息。由于從頭開始構(gòu)建模型所需的技術(shù)專業(yè)知識(shí)，數(shù)據(jù)科學(xué)以前曾是技術(shù)嫻熟企業(yè)的領(lǐng)域。數(shù)據(jù)中心AI、GenAI等概念的進(jìn)步以及開源和商業(yè)AI模型的可用性，正在將AI方程式從“內(nèi)部構(gòu)建”轉(zhuǎn)變?yōu)椤百?gòu)買/重用”。這一發(fā)展將使小型企業(yè)更容易開始融入AI/ML能力。

支柱#5：數(shù)據(jù)治理

我們需要一個(gè)新的術(shù)語(yǔ)來(lái)描述數(shù)據(jù)治理，因?yàn)樗?jīng)常與公司治理或IT治理相混淆，后者通常意味著一個(gè)管理機(jī)構(gòu)監(jiān)督他人的工作，以確保遵守公司政策。歷史上，數(shù)據(jù)治理的運(yùn)作方式類似，由于運(yùn)營(yíng)數(shù)據(jù)和分析數(shù)據(jù)的分離，數(shù)據(jù)治理領(lǐng)導(dǎo)者監(jiān)督并批準(zhǔn)其他團(tuán)隊(duì)的活動(dòng)。當(dāng)數(shù)據(jù)治理的范圍僅限于分析系統(tǒng)，且運(yùn)營(yíng)/事務(wù)系統(tǒng)獨(dú)立運(yùn)行時(shí)，這是有意義的。

然而，這一格局正在快速演變。傳統(tǒng)的數(shù)據(jù)治理結(jié)構(gòu)仍然必要，但在有價(jià)值的數(shù)據(jù)幾乎滲透到公司包括事務(wù)系統(tǒng)在內(nèi)的各個(gè)方面的環(huán)境中，這些結(jié)構(gòu)已不再足夠?，F(xiàn)代數(shù)據(jù)治理必須創(chuàng)建一個(gè)生態(tài)系統(tǒng)，確保數(shù)據(jù)在任何地方都處于良好狀態(tài)，始終準(zhǔn)確、安全、可被適當(dāng)人員訪問(wèn)，并滿足運(yùn)營(yíng)和分析系統(tǒng)的合規(guī)義務(wù)。如此廣泛的數(shù)據(jù)治理需要明確定義的自動(dòng)化控制和指導(dǎo)，完全集成到產(chǎn)品開發(fā)生命周期中。

例如，如果數(shù)據(jù)治理政策要求在目錄中用約束和最小/最大值等控制來(lái)描述數(shù)據(jù)模式，那么這一步必須成為自動(dòng)化軟件開發(fā)生命周期的一部分——確保系統(tǒng)在部署期間檢查有效的模式。網(wǎng)絡(luò)安全在過(guò)去20年里經(jīng)歷了類似的演變。還記得當(dāng)初保障系統(tǒng)安全僅僅是少數(shù)網(wǎng)絡(luò)安全專業(yè)人員的責(zé)任，與軟件開發(fā)生命周期脫節(jié)的時(shí)候嗎?現(xiàn)在，成熟的企業(yè)使用DevSecOps實(shí)踐廣泛實(shí)施網(wǎng)絡(luò)安全。數(shù)據(jù)治理需要遵循類似的路徑，從政策文件和匯流頁(yè)面過(guò)渡到數(shù)據(jù)政策即代碼。確保數(shù)據(jù)處于良好狀態(tài)是每個(gè)人的責(zé)任，數(shù)據(jù)治理生態(tài)系統(tǒng)必須通過(guò)自動(dòng)化來(lái)實(shí)現(xiàn)這一點(diǎn)。

建立聯(lián)合數(shù)據(jù)治理還需要協(xié)調(diào)運(yùn)營(yíng)團(tuán)隊(duì)和分析團(tuán)隊(duì)之間的激勵(lì)措施，一旦每個(gè)人都意識(shí)到錯(cuò)誤數(shù)據(jù)可能會(huì)傷害客戶并給公司帶來(lái)聲譽(yù)風(fēng)險(xiǎn)，這一點(diǎn)就會(huì)實(shí)現(xiàn)。未來(lái)AI代理將基于數(shù)據(jù)代表公司做出決策，這一問(wèn)題將更加嚴(yán)重。因此，我的首要建議是通過(guò)強(qiáng)大的工程規(guī)范來(lái)加強(qiáng)數(shù)據(jù)治理。

一種新型的以工程為中心的數(shù)據(jù)企業(yè)

過(guò)去十年，AI和ML的進(jìn)步將數(shù)據(jù)管理從后臺(tái)報(bào)告和治理功能轉(zhuǎn)變?yōu)橹匾母?jìng)爭(zhēng)優(yōu)勢(shì)。AI/ML模型現(xiàn)在為面向客戶的產(chǎn)品提供亞秒級(jí)響應(yīng)時(shí)間。這種轉(zhuǎn)變需要一種新的融入工程的數(shù)據(jù)企業(yè)，如本文所述的五個(gè)支柱所描述。

大多數(shù)數(shù)據(jù)管理新手企業(yè)最初將專注于簡(jiǎn)化業(yè)務(wù)運(yùn)營(yíng)以提高運(yùn)營(yíng)效率。然而，隨著他們的成熟，重點(diǎn)將轉(zhuǎn)向新的業(yè)務(wù)倡議和收入增長(zhǎng)機(jī)會(huì)。雖然引言部分的圖表將所有支柱描繪為大小相等的圓圈，但實(shí)際上，投資和努力將類似于蜘蛛圖，并非所有領(lǐng)域都需要始終獲得同等關(guān)注。

從企業(yè)報(bào)告的角度來(lái)看，小型公司可以將所有五個(gè)功能整合在一個(gè)領(lǐng)導(dǎo)者之下。中型公司可能會(huì)將數(shù)據(jù)平臺(tái)和工程功能整合在一個(gè)領(lǐng)導(dǎo)者之下，而其他三個(gè)功能則歸另一個(gè)領(lǐng)導(dǎo)者管理。大型、高度監(jiān)管的公司可能會(huì)將五個(gè)支柱分配給多位領(lǐng)導(dǎo)者。

盡管各公司數(shù)據(jù)職能的規(guī)模、范圍和大小各不相同，但有一點(diǎn)是確定的：在數(shù)字世界中，數(shù)據(jù)無(wú)處不在?？头藛T接聽的客戶服務(wù)電話不再是模擬信號(hào)，它是數(shù)字?jǐn)?shù)據(jù)，能夠提供關(guān)于客戶痛點(diǎn)和服務(wù)質(zhì)量的關(guān)鍵見解。因此，每家公司都必須像數(shù)據(jù)公司一樣思考，建立適當(dāng)?shù)臄?shù)據(jù)管理能力，并利用數(shù)據(jù)作為競(jìng)爭(zhēng)優(yōu)勢(shì)。