當(dāng)你讀完這篇文章時(shí)，人類通過網(wǎng)絡(luò)和設(shè)備產(chǎn)生的數(shù)據(jù)將增加2730萬TB。這只是定義不可控的數(shù)據(jù)量的眾多方法之一，以及如果企業(yè)不堅(jiān)持先進(jìn)的集成技術(shù)，它將給企業(yè)帶來的挑戰(zhàn)。為什么豎井中的數(shù)據(jù)是一種威脅，需要單獨(dú)討論。這篇文章精選了現(xiàn)有集成解決方案面臨的各種挑戰(zhàn)。

不斷增長(zhǎng)的數(shù)據(jù)量是一個(gè)令人擔(dān)憂的問題，因?yàn)榻邮躀DG調(diào)查的20%的企業(yè)正在從1000個(gè)或更多來源中提取數(shù)據(jù)，為他們的分析系統(tǒng)提供數(shù)據(jù)。因此，對(duì)邁出第一步猶豫不決的實(shí)體最有可能與以下挑戰(zhàn)發(fā)生爭(zhēng)執(zhí)。數(shù)據(jù)集成需要徹底改革，只有考慮到以下差距才能實(shí)現(xiàn)。下面是一個(gè)簡(jiǎn)要概述。

完全不同的數(shù)據(jù)源

來自不同來源的數(shù)據(jù)有多種格式，如Excel、JSON、CSV等，或數(shù)據(jù)庫(kù)如Oracle、MongoDB、MySQL等。例如，兩個(gè)數(shù)據(jù)源可能有相同字段的不同數(shù)據(jù)類型或同一伙伴數(shù)據(jù)的不同定義。

異類數(shù)據(jù)源產(chǎn)生不同格式和結(jié)構(gòu)的數(shù)據(jù)集。現(xiàn)在，不同的模式使數(shù)據(jù)集成的范圍變得復(fù)雜，并且需要大量的映射來組合數(shù)據(jù)集。

數(shù)據(jù)專業(yè)人員可以手動(dòng)將一個(gè)源的數(shù)據(jù)映射到另一個(gè)源，將所有數(shù)據(jù)集轉(zhuǎn)換為一種格式，或者提取和轉(zhuǎn)換它以使組合與其他格式兼容。所有這些都使實(shí)現(xiàn)有意義的無縫集成變得具有挑戰(zhàn)性。

處理流數(shù)據(jù)

流數(shù)據(jù)是連續(xù)的、無休止的，并由記錄的事件的不間斷序列組成。傳統(tǒng)的批處理技術(shù)是為具有明確定義的開始和結(jié)束的靜態(tài)數(shù)據(jù)集設(shè)計(jì)的，這使得處理不間斷流動(dòng)的流數(shù)據(jù)變得困難。這使同步、可伸縮性、檢測(cè)異常、提取有價(jià)值的見解和增強(qiáng)決策變得復(fù)雜。

為了解決這個(gè)問題，企業(yè)需要能夠?qū)魅霐?shù)據(jù)流進(jìn)行實(shí)時(shí)分析、聚合和轉(zhuǎn)換的系統(tǒng)。企業(yè)可以通過縮小傳統(tǒng)架構(gòu)和動(dòng)態(tài)數(shù)據(jù)流之間的差距來利用持續(xù)信息流的力量。

非結(jié)構(gòu)化數(shù)據(jù)格式問題

不斷增加的數(shù)據(jù)量變得更加具有挑戰(zhàn)性，因?yàn)樗鼡碛写罅康姆墙Y(jié)構(gòu)化數(shù)據(jù)。在Web2.0中，跨社交平臺(tái)的用戶生成的數(shù)據(jù)以音頻、視頻、圖像和其他形式爆炸式增長(zhǎng)。

非結(jié)構(gòu)化數(shù)據(jù)具有挑戰(zhàn)性，因?yàn)樗狈︻A(yù)定義的格式，并且沒有一致的模式或可搜索的屬性。就像存儲(chǔ)在數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)集一樣，這些數(shù)據(jù)集沒有可搜索的屬性。這使得對(duì)相關(guān)信息進(jìn)行分類、索引和提取變得復(fù)雜。

不可預(yù)測(cè)的變化數(shù)據(jù)類型通常帶有不相關(guān)的內(nèi)容和噪聲。這些都需要合成數(shù)據(jù)生成、自然語言處理、圖像識(shí)別和ML技術(shù)來進(jìn)行有意義的分析。復(fù)雜性并不僅限于此。很難擴(kuò)展存儲(chǔ)和處理基礎(chǔ)設(shè)施來管理業(yè)務(wù)量的急劇增加。

然而，各種先進(jìn)的工具在從混亂中提取有價(jià)值的見解方面令人印象深刻。例如，MonkeyLearn實(shí)現(xiàn)了用于查找模式的ML算法。K2view使用其專利的基于實(shí)體的合成數(shù)據(jù)生成方法。同樣，Cogito使用自然語言處理來提供有價(jià)值的見解。

數(shù)據(jù)集成的未來

數(shù)據(jù)集成迅速脫離了傳統(tǒng)的ETL(提取-轉(zhuǎn)換-加載)，轉(zhuǎn)向自動(dòng)化的ELT、基于云的集成以及其他實(shí)現(xiàn)ML的方法。

ELT將轉(zhuǎn)換階段轉(zhuǎn)移到管道的末尾，將原始數(shù)據(jù)集直接加載到倉(cāng)庫(kù)、湖泊或湖邊。這使系統(tǒng)能夠在轉(zhuǎn)換和更改數(shù)據(jù)之前對(duì)其進(jìn)行檢查。該方法在處理用于分析和商業(yè)智能的海量數(shù)據(jù)方面是有效的。

一款名為Skyvia的基于云的數(shù)據(jù)集成解決方案正在開創(chuàng)這一領(lǐng)域，使更多的企業(yè)能夠合并來自多個(gè)來源的數(shù)據(jù)，并將其進(jìn)一步整合到基于云的數(shù)據(jù)倉(cāng)庫(kù)。它不僅支持實(shí)時(shí)數(shù)據(jù)處理，而且大大提高了運(yùn)行效率。

該批處理集成解決方案涵蓋舊的和新的更新，并且可以輕松擴(kuò)展以適應(yīng)大數(shù)據(jù)量。它非常適合整合倉(cāng)庫(kù)中的數(shù)據(jù)、CSV導(dǎo)出/導(dǎo)入、云到云遷移等。

由于90%的數(shù)據(jù)驅(qū)動(dòng)型企業(yè)可能傾向于基于云的整合，許多流行的數(shù)據(jù)產(chǎn)品已經(jīng)在這場(chǎng)游戲中領(lǐng)先。

此外，在未來的時(shí)間里，企業(yè)可以預(yù)期其數(shù)據(jù)集成解決方案幾乎可以處理任何類型的數(shù)據(jù)，而不會(huì)影響運(yùn)營(yíng)效率。這意味著數(shù)據(jù)解決方案應(yīng)該很快就會(huì)支持先進(jìn)的彈性處理，可以并行處理數(shù)TB的數(shù)據(jù)。

接下來，無服務(wù)器數(shù)據(jù)集成也將變得流行起來，因?yàn)閿?shù)據(jù)科學(xué)家期待著使維護(hù)云實(shí)例所需的努力化為烏有。

邁向數(shù)據(jù)驅(qū)動(dòng)的未來的墊腳石

在這篇文章中，我們討論了來自不同數(shù)據(jù)源、分割驅(qū)動(dòng)的流數(shù)據(jù)、非結(jié)構(gòu)化格式等方面的挑戰(zhàn)。企業(yè)應(yīng)該立即行動(dòng)起來，實(shí)施周密的規(guī)劃、先進(jìn)的工具和最佳實(shí)踐，以實(shí)現(xiàn)無縫集成。

與此同時(shí)，值得注意的是，如果及時(shí)解決這些挑戰(zhàn)，這些挑戰(zhàn)就是潛在的增長(zhǎng)和創(chuàng)新機(jī)會(huì)。通過正面應(yīng)對(duì)這些挑戰(zhàn)，企業(yè)不僅可以優(yōu)化利用數(shù)據(jù)饋送，還可以為其決策提供信息。