為什么數(shù)據(jù)分析舉措仍然會失敗
強(qiáng)大的數(shù)據(jù)分析是數(shù)字化業(yè)務(wù)的當(dāng)務(wù)之急——這一切都始于智能數(shù)據(jù)治理實(shí)踐,以及對質(zhì)量和情境的強(qiáng)調(diào)。
高管們都泛泛地談?wù)摂?shù)據(jù)的價值,但Navient Solutions的企業(yè)數(shù)據(jù)情報總監(jiān)Michele Koch卻可以計(jì)算出公司數(shù)據(jù)的實(shí)際價值。
事實(shí)上,Koch能用以真金白銀計(jì)算公司各種數(shù)據(jù)元素產(chǎn)生的收入增長和成本下降。因此,她十分清楚,Navient的數(shù)據(jù)中存在的問題可能會損害其盈虧。例如,客戶檔案中的關(guān)鍵數(shù)據(jù)字段中的錯誤可能意味著公司無法以***的成本處理貸款。
她說:“這涉及到錢,所以我們有一個數(shù)據(jù)質(zhì)量儀表板,我們可以在這里跟蹤一切。我們跟蹤實(shí)際的和潛在的價值。”
Navient的***數(shù)據(jù)管理員兼財(cái)務(wù)副總裁Barbara Deemer表示,Navient(位于特拉華州威爾明頓市的資產(chǎn)管理和業(yè)務(wù)處理服務(wù)公司)早期有一項(xiàng)與數(shù)據(jù)相關(guān)的舉措說明了風(fēng)險所在。2006年的舉措側(cè)重于提高營銷數(shù)據(jù)質(zhì)量,并產(chǎn)生了720萬美元的投資回報——從貸款量的增加和運(yùn)營支出的減少中獲得回報。
Koch說,從那時起,Navier的高管們致力于支持強(qiáng)大的數(shù)據(jù)治理計(jì)劃,以此作為成功分析工作的關(guān)鍵組成部分。Navient的治理計(jì)劃包括公認(rèn)的***實(shí)踐——如數(shù)據(jù)字段的標(biāo)準(zhǔn)化定義并確保有干凈的數(shù)據(jù)。
它為每個約2,600個企業(yè)數(shù)據(jù)元素分配所有權(quán);所有權(quán)要么屬于數(shù)據(jù)字段首先發(fā)源的業(yè)務(wù)領(lǐng)域;要么屬于特定的數(shù)據(jù)字段是其流程不可或缺的業(yè)務(wù)領(lǐng)域。
該公司還有一個積極監(jiān)測字段質(zhì)量的數(shù)據(jù)質(zhì)量計(jì)劃,以確保高標(biāo)準(zhǔn)可以得到滿足。該公司還發(fā)起了數(shù)據(jù)治理委員會(2006年)和分析數(shù)據(jù)治理委員會(2017年),以解決持續(xù)存在的問題或疑慮,在整個企業(yè)中做出決策,不斷改進(jìn)數(shù)據(jù)操作以及數(shù)據(jù)饋入公司的分析工作的方式。
Koch說:“數(shù)據(jù)對于我們的業(yè)務(wù)舉措以及商機(jī)十分重要,重要到我們希望著重對支持分析計(jì)劃的數(shù)據(jù)進(jìn)行一如既往的改進(jìn)。”
根據(jù)數(shù)據(jù)治理解決方案公司Erwin和UBM發(fā)布的2018年數(shù)據(jù)治理狀況,大多數(shù)高管都認(rèn)為數(shù)據(jù)治理至關(guān)重要,他們例舉了合規(guī)定、客戶滿意度和更好的決策作為關(guān)鍵驅(qū)動因素。但是,報告發(fā)現(xiàn),近40%的應(yīng)答組織沒有單獨(dú)的數(shù)據(jù)治理預(yù)算,約46%的應(yīng)答組織沒有正式的戰(zhàn)略。
該調(diào)查結(jié)果基于118名受訪者的答復(fù),其中包括***信息官、***技術(shù)官、數(shù)據(jù)中心管理者、IT員工和顧問。
專家表示,有鑒于這些數(shù)字,很多企業(yè)數(shù)據(jù)程序中存在薄弱環(huán)節(jié)就不足為奇了。以下是七種有問題的數(shù)據(jù)實(shí)踐。
將數(shù)據(jù)匯總在一起,但不能真正地集合數(shù)據(jù)
數(shù)據(jù)治理專家組織(Data Governance Professionals Organization)的通訊副總裁Anne Buff表示,在如今的數(shù)據(jù)和分析領(lǐng)域,集成是***難題。
Buff解釋說,誠然,很多組織將所有數(shù)據(jù)收集到一個地方。但實(shí)際上,他們沒有集成多個數(shù)據(jù)源的各個部分。因此,某一個系統(tǒng)里的Bill Smith與其它系統(tǒng)生成的Bill Smith的數(shù)據(jù)(以及他的名字的變體)沒有關(guān)聯(lián)。業(yè)務(wù)無法清楚地了解他的身份。
Buff說:“共存數(shù)據(jù)與集成數(shù)據(jù)不同。你必須有一種方法來匹配來自不同來源的記錄。你需要做到這一點(diǎn),當(dāng)這一切都結(jié)合在一起時,有關(guān)Bill Smith的身份的更宏觀的觀點(diǎn)就形成了。你必須融會貫通。”
Buff說,各種數(shù)據(jù)集成技術(shù)使這一點(diǎn)成為可能。選擇,實(shí)施和執(zhí)行正確的工具對于避免過多的人工工作或重復(fù)勞動至關(guān)重要。
此外,集成變得越來越重要,因?yàn)閿?shù)據(jù)科學(xué)家正在搜尋數(shù)據(jù)中的模式,以獲得可以產(chǎn)生突破、競爭優(yōu)勢的洞察。
Buff(他同時也是北卡羅來納州卡瑞市的SAS咨詢業(yè)務(wù)解決方案經(jīng)理)說:“但是,如果你不能把以前從未匯集過的數(shù)據(jù)匯集在一起,你就無法找到這些模式。”
沒有意識到業(yè)務(wù)部門有獨(dú)特的需求
沒錯,統(tǒng)一的、集成的數(shù)據(jù)對于成功的分析計(jì)劃至關(guān)重要。但有些業(yè)務(wù)用戶可能需要不同版本的數(shù)據(jù),Buff這樣說道。
她補(bǔ)充道:“一種形式的數(shù)據(jù)并不能滿足組織中每個人的需求。”
相反,IT要考慮數(shù)據(jù)供應(yīng),即提供業(yè)務(wù)用戶或業(yè)務(wù)部門確定的業(yè)務(wù)案例所需的數(shù)據(jù)。
她以金融機(jī)構(gòu)不同的需求為例。盡管有些部門可能需要集成的數(shù)據(jù),但欺詐檢測部門可能希望其數(shù)據(jù)科學(xué)家使用不干凈的數(shù)據(jù),以便搜索危險信號。他們可能想搜尋同一地址的人,他們用個人識別信息的輕微變化來申請多筆貸款。
Buff解釋道:“你會看到類似但有細(xì)微變化的數(shù)據(jù)元素,所以你不想剔除和清理太多的差異。”
她說,另一方面,該金融機(jī)構(gòu)的市場部希望擁有正確的客戶姓名、地址等內(nèi)容,以便以正確的通信錄為目標(biāo)。
只招數(shù)據(jù)科學(xué)家而不招數(shù)據(jù)工程師
隨著企業(yè)漸漸超越基礎(chǔ)的商業(yè)智能,轉(zhuǎn)向預(yù)測性和規(guī)范性分析以及機(jī)器學(xué)習(xí)和人工智能,他們要不斷提高數(shù)據(jù)團(tuán)隊(duì)的專業(yè)水平。
反過來,數(shù)據(jù)科學(xué)家一職也因此受到了關(guān)注。但數(shù)據(jù)工程師同樣重要,他們整理了所有需要集成的數(shù)據(jù)集,以供數(shù)據(jù)科學(xué)家完成工作,但他們迄今為止鮮有組織問津。
貝恩公司(Bain & Co.)舊金山辦事處的合伙人兼高級分析和數(shù)字化實(shí)踐的***Lori Sherer說,這種情況正在發(fā)生變化。
Sherer說:“我們已經(jīng)看到,對數(shù)據(jù)工程師的需求增長大約是對數(shù)據(jù)科學(xué)家需求增長的兩倍。”
聯(lián)邦勞工統(tǒng)計(jì)局預(yù)測,對數(shù)據(jù)工程師的需求在未來十年將持續(xù)快速增長,美國經(jīng)濟(jì)體在2016年至2026年期間將增加44,200個職位,平均年薪已達(dá)135,800美元。
然而,專家說,數(shù)據(jù)工程師像很多IT部門的重要職位一樣,其數(shù)量無法滿足IT部門,這使現(xiàn)在剛剛開始招聘或培訓(xùn)該職位的IT部門不得不迎頭追趕。
保留過時的數(shù)據(jù),而非管理其生命周期
在過去十年中,存儲成本大幅下降,使IT部門能夠更輕松地存儲大量數(shù)據(jù),而且存儲時間比以往任何時候都長。有鑒于如今數(shù)據(jù)創(chuàng)建的數(shù)量和速度,以及對用于分析的存儲容量的需求增長,這似乎是個好消息。
位于佛羅里達(dá)州阿波羅海灘的Soaring Eagle Consulting的聯(lián)合創(chuàng)始人、《挖掘新黃金:管理你的業(yè)務(wù)數(shù)據(jù)》一書的合著者Penny Garbus說,盡管很多人對擁有海量的數(shù)據(jù)和資料的價值表示贊賞,但過猶不及。
Garbus說,很多企業(yè)持有數(shù)據(jù)的時間太長了。
她說:“你不僅需要為此付費(fèi),而且如果它已存在10年之久,這些信息很可能遠(yuǎn)遠(yuǎn)過時了。因此我們鼓勵人們?yōu)閿?shù)據(jù)設(shè)置期限。”
Garbus說,數(shù)據(jù)的截止日期不僅因組織而異,還因部門而異。零售公司的庫存部門可能只需要相對較新的數(shù)據(jù),而市場營銷部門可能需要數(shù)年前的數(shù)據(jù)來跟蹤趨勢。
如果是這樣的話,IT要實(shí)施能夠?qū)⒄_時間范圍內(nèi)的數(shù)據(jù)傳遞到正確位置的體系結(jié)構(gòu),以確保所有人的需求都能得到滿足,并且舊數(shù)據(jù)不會破壞具有時效性的分析程序。
正如Garbus所指出的那樣:“不能因?yàn)槟惚仨毐A鬧舊數(shù)據(jù)],就認(rèn)為你必須將它保存在核心環(huán)境中。而是你必須擁有它。”
關(guān)注數(shù)量,而非針對相關(guān)性
IT咨詢公司博思艾倫(Booz Allen Hamilton)的高級副總裁Steve Escaravage表示:“我們?nèi)栽诮⒛P筒⒂每捎眯?**而非關(guān)聯(lián)度***的數(shù)據(jù)運(yùn)行分析。”
他說,組織往往會認(rèn)為它們應(yīng)該采集并不斷添加數(shù)據(jù)集。他說,它們認(rèn)為“或許我們沒有找到要找的東西,而不是問:我們是否有合適的數(shù)據(jù)?”
他說,鑒于有很多機(jī)構(gòu)通過分析海量數(shù)據(jù)來尋找異常情況,以此來尋找欺詐行為。這雖然是一項(xiàng)重要的活動,但領(lǐng)先的機(jī)構(gòu)也會分析能獲得更好成果的更具針對性的數(shù)據(jù)集。在這種情況下,他們可能會考察產(chǎn)生某些類型交易的個人或機(jī)構(gòu),這些交易可能存在問題。又或者是,醫(yī)療機(jī)構(gòu)在分析患者預(yù)后(patient outcome)時可能會考慮這樣的數(shù)據(jù)——醫(yī)生在提供患者護(hù)理時的輪班時間。
Escaravage表示,組織可以從創(chuàng)建數(shù)據(jù)愿望清單開始。雖然這個練習(xí)始于業(yè)務(wù)端,“始于理解這個清單并實(shí)現(xiàn)它,這是***信息官、***技術(shù)官或***數(shù)據(jù)官的分內(nèi)事。”
提供數(shù)據(jù),但忽略了數(shù)據(jù)的出處
如今的熱點(diǎn)話題是分析的偏差,這種情況可能會扭曲結(jié)果,甚至?xí)a(chǎn)生錯誤的結(jié)論,以糟糕的業(yè)務(wù)決策或結(jié)果告終。產(chǎn)生偏差的問題存在于企業(yè)分析計(jì)劃的多個不同領(lǐng)域——包括IT如何處理數(shù)據(jù)本身,Escaravage這樣說道。
他說,IT在追蹤它所擁有的數(shù)據(jù)的來源時往往做得不夠出色。
Escaravage認(rèn)為,對數(shù)據(jù)產(chǎn)生的方式和位置缺乏可見性使偏差更難控制,他說:“如果你不知道這一點(diǎn),這會影響你的模型的性能。”
他說:“了解數(shù)據(jù)來自哪里以及數(shù)據(jù)遭遇了什么,這是IT的責(zé)任。人們在數(shù)據(jù)管理方面投入頗多,但他們也應(yīng)該有一個元數(shù)據(jù)管理解決方案。”
提供數(shù)據(jù),但未能幫用戶理解情境
IT不僅要有強(qiáng)大的元數(shù)據(jù)管理計(jì)劃,而且還要跟蹤數(shù)據(jù)的來源以及它如何在系統(tǒng)中移動,應(yīng)該讓用戶了解一些歷史數(shù)據(jù),并為通過分析產(chǎn)生的一些結(jié)果提供情境,Escaravage這樣說道。
他說:“我們對自己能夠創(chuàng)造的東西感到非常興奮。我們認(rèn)為自己有非常好的數(shù)據(jù),尤其是未經(jīng)分析的數(shù)據(jù),我們可以根據(jù)這些數(shù)據(jù)的效用建立一個心理模型。盡管過去五年的分析方法令人驚嘆不已,但這些方法所產(chǎn)生的結(jié)果遠(yuǎn)不如過去那么容易解釋——過去,你在數(shù)據(jù)挖掘之后應(yīng)用業(yè)務(wù)規(guī)則,數(shù)據(jù)很容易得到解釋。”
Escaravage解釋說,更新的深度學(xué)習(xí)模型提供了洞察和可執(zhí)行的建議。但是這些系統(tǒng)往往不會提供對***決策有幫助甚至至關(guān)重要的情境。例如,它沒有提供關(guān)于可能性的信息和基于數(shù)據(jù)可能會發(fā)生某事的確定性。
Escaravage說,人們需要更好的用戶界面來提供情境。
他說:“技術(shù)問題在于人們將如何與這些模型進(jìn)行交互。這就是從透明度立場關(guān)注UI/UX的做法顯得十分重要的場合。因此,如果有人看到來自人工智能平臺的推薦,他們可以在多大程度上深入查看潛在的數(shù)據(jù)源?***信息官將不得不問這樣一個問題——如何在他們的系統(tǒng)中建立這種透明度。”
【編輯推薦】