當你讀完這篇文章時，人類通過網(wǎng)絡(luò)和設(shè)備產(chǎn)生的數(shù)據(jù)將增加2730萬TB。這只是定義不可控的數(shù)據(jù)量的眾多方法之一，以及如果企業(yè)不堅持先進的集成技術(shù)，它將給企業(yè)帶來的挑戰(zhàn)。為什么豎井中的數(shù)據(jù)是一種威脅，需要單獨討論。這篇文章精選了現(xiàn)有集成解決方案面臨的各種挑戰(zhàn)。

不斷增長的數(shù)據(jù)量是一個令人擔(dān)憂的問題，因為接受IDG調(diào)查的20%的企業(yè)正在從1000個或更多來源中提取數(shù)據(jù)，為他們的分析系統(tǒng)提供數(shù)據(jù)。因此，對邁出第一步猶豫不決的實體最有可能與以下挑戰(zhàn)發(fā)生爭執(zhí)。數(shù)據(jù)集成需要徹底改革，只有考慮到以下差距才能實現(xiàn)。下面是一個簡要概述。

完全不同的數(shù)據(jù)源

來自不同來源的數(shù)據(jù)有多種格式，如Excel、JSON、CSV等，或數(shù)據(jù)庫如Oracle、MongoDB、MySQL等。例如，兩個數(shù)據(jù)源可能有相同字段的不同數(shù)據(jù)類型或同一伙伴數(shù)據(jù)的不同定義。

異類數(shù)據(jù)源產(chǎn)生不同格式和結(jié)構(gòu)的數(shù)據(jù)集?，F(xiàn)在，不同的模式使數(shù)據(jù)集成的范圍變得復(fù)雜，并且需要大量的映射來組合數(shù)據(jù)集。

數(shù)據(jù)專業(yè)人員可以手動將一個源的數(shù)據(jù)映射到另一個源，將所有數(shù)據(jù)集轉(zhuǎn)換為一種格式，或者提取和轉(zhuǎn)換它以使組合與其他格式兼容。所有這些都使實現(xiàn)有意義的無縫集成變得具有挑戰(zhàn)性。

處理流數(shù)據(jù)

流數(shù)據(jù)是連續(xù)的、無休止的，并由記錄的事件的不間斷序列組成。傳統(tǒng)的批處理技術(shù)是為具有明確定義的開始和結(jié)束的靜態(tài)數(shù)據(jù)集設(shè)計的，這使得處理不間斷流動的流數(shù)據(jù)變得困難。這使同步、可伸縮性、檢測異常、提取有價值的見解和增強決策變得復(fù)雜。

為了解決這個問題，企業(yè)需要能夠?qū)魅霐?shù)據(jù)流進行實時分析、聚合和轉(zhuǎn)換的系統(tǒng)。企業(yè)可以通過縮小傳統(tǒng)架構(gòu)和動態(tài)數(shù)據(jù)流之間的差距來利用持續(xù)信息流的力量。

非結(jié)構(gòu)化數(shù)據(jù)格式問題

不斷增加的數(shù)據(jù)量變得更加具有挑戰(zhàn)性，因為它擁有大量的非結(jié)構(gòu)化數(shù)據(jù)。在Web2.0中，跨社交平臺的用戶生成的數(shù)據(jù)以音頻、視頻、圖像和其他形式爆炸式增長。

非結(jié)構(gòu)化數(shù)據(jù)具有挑戰(zhàn)性，因為它缺乏預(yù)定義的格式，并且沒有一致的模式或可搜索的屬性。就像存儲在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)集一樣，這些數(shù)據(jù)集沒有可搜索的屬性。這使得對相關(guān)信息進行分類、索引和提取變得復(fù)雜。

不可預(yù)測的變化數(shù)據(jù)類型通常帶有不相關(guān)的內(nèi)容和噪聲。這些都需要合成數(shù)據(jù)生成、自然語言處理、圖像識別和ML技術(shù)來進行有意義的分析。復(fù)雜性并不僅限于此。很難擴展存儲和處理基礎(chǔ)設(shè)施來管理業(yè)務(wù)量的急劇增加。

然而，各種先進的工具在從混亂中提取有價值的見解方面令人印象深刻。例如，MonkeyLearn實現(xiàn)了用于查找模式的ML算法。K2view使用其專利的基于實體的合成數(shù)據(jù)生成方法。同樣，Cogito使用自然語言處理來提供有價值的見解。

數(shù)據(jù)集成的未來

數(shù)據(jù)集成迅速脫離了傳統(tǒng)的ETL(提取-轉(zhuǎn)換-加載)，轉(zhuǎn)向自動化的ELT、基于云的集成以及其他實現(xiàn)ML的方法。

ELT將轉(zhuǎn)換階段轉(zhuǎn)移到管道的末尾，將原始數(shù)據(jù)集直接加載到倉庫、湖泊或湖邊。這使系統(tǒng)能夠在轉(zhuǎn)換和更改數(shù)據(jù)之前對其進行檢查。該方法在處理用于分析和商業(yè)智能的海量數(shù)據(jù)方面是有效的。

一款名為Skyvia的基于云的數(shù)據(jù)集成解決方案正在開創(chuàng)這一領(lǐng)域，使更多的企業(yè)能夠合并來自多個來源的數(shù)據(jù)，并將其進一步整合到基于云的數(shù)據(jù)倉庫。它不僅支持實時數(shù)據(jù)處理，而且大大提高了運行效率。

該批處理集成解決方案涵蓋舊的和新的更新，并且可以輕松擴展以適應(yīng)大數(shù)據(jù)量。它非常適合整合倉庫中的數(shù)據(jù)、CSV導(dǎo)出/導(dǎo)入、云到云遷移等。

由于90%的數(shù)據(jù)驅(qū)動型企業(yè)可能傾向于基于云的整合，許多流行的數(shù)據(jù)產(chǎn)品已經(jīng)在這場游戲中領(lǐng)先。

此外，在未來的時間里，企業(yè)可以預(yù)期其數(shù)據(jù)集成解決方案幾乎可以處理任何類型的數(shù)據(jù)，而不會影響運營效率。這意味著數(shù)據(jù)解決方案應(yīng)該很快就會支持先進的彈性處理，可以并行處理數(shù)TB的數(shù)據(jù)。

接下來，無服務(wù)器數(shù)據(jù)集成也將變得流行起來，因為數(shù)據(jù)科學(xué)家期待著使維護云實例所需的努力化為烏有。

邁向數(shù)據(jù)驅(qū)動的未來的墊腳石

在這篇文章中，我們討論了來自不同數(shù)據(jù)源、分割驅(qū)動的流數(shù)據(jù)、非結(jié)構(gòu)化格式等方面的挑戰(zhàn)。企業(yè)應(yīng)該立即行動起來，實施周密的規(guī)劃、先進的工具和最佳實踐，以實現(xiàn)無縫集成。

與此同時，值得注意的是，如果及時解決這些挑戰(zhàn)，這些挑戰(zhàn)就是潛在的增長和創(chuàng)新機會。通過正面應(yīng)對這些挑戰(zhàn)，企業(yè)不僅可以優(yōu)化利用數(shù)據(jù)饋送，還可以為其決策提供信息。