近幾十年來，科學(xué)技術(shù)的迅猛發(fā)展和信息化的推進(jìn)，使得人類社會所積累的數(shù)據(jù)量已經(jīng)超過了以往過去幾千年的所有總和，數(shù)據(jù)采集、存儲、處理和傳播的數(shù)量也與日俱增。如何對數(shù)據(jù)進(jìn)行有效的集成管理已成為行業(yè)關(guān)注的焦點(diǎn)。

數(shù)據(jù)集成2.0的現(xiàn)在時

隨著大數(shù)據(jù)、云計(jì)算、人工智能的快速落地，未來信息技術(shù)變化風(fēng)云莫測，大數(shù)據(jù)、云計(jì)算、人工智能、區(qū)塊鏈等技術(shù)的快速落地，也在加速數(shù)據(jù)集成形態(tài)發(fā)生改變。首先我們來舉一個例子：某客戶擁有上萬個數(shù)據(jù)源，主要類型分為業(yè)務(wù)系統(tǒng)和物聯(lián)網(wǎng)監(jiān)控?cái)?shù)據(jù)，根據(jù)發(fā)展需要把這些基礎(chǔ)設(shè)施的數(shù)據(jù)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)匯集到數(shù)據(jù)中心，數(shù)據(jù)中心的目標(biāo)源主要有Mpp、Hive、HDFS、HBase等分布式存儲源；如果每天需要把這些數(shù)據(jù)完成采集，需要每小時具備1TB數(shù)據(jù)處理能力；基于此客戶拋出幾個需求：

需求一

需要針對數(shù)據(jù)量進(jìn)行實(shí)時增量同步，每小時需要具備處理增量數(shù)據(jù)5TB能力。

需求二

針對每類數(shù)據(jù)同步流量可實(shí)現(xiàn)流控，在必要時可犧牲一些無關(guān)緊要數(shù)據(jù)來保證整個數(shù)據(jù)集成平臺的穩(wěn)定運(yùn)行。

需求三

客戶希望面對復(fù)雜數(shù)據(jù)處理工作能夠提供面向業(yè)務(wù)人員可操作的界面；減少實(shí)施人員環(huán)節(jié)，加快數(shù)據(jù)處理工作效率。

需求四

客戶希望在使用過程中由于網(wǎng)絡(luò)、斷電、服務(wù)器崩潰等因素導(dǎo)致數(shù)據(jù)同步中斷的時候，實(shí)現(xiàn)數(shù)據(jù)斷點(diǎn)續(xù)傳能力。

這幾個需求是典型大數(shù)據(jù)時代數(shù)據(jù)集成面臨的挑戰(zhàn)，客戶就是希望統(tǒng)通過技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)實(shí)時治理，提升決策效率和數(shù)據(jù)價值。目前我們也正在處于這個時代，這個時期的數(shù)據(jù)集成產(chǎn)品如果要有競爭力，應(yīng)該為數(shù)據(jù)集成賦予人工智能、分布式計(jì)算技術(shù)等能力；基于上述需求進(jìn)行提煉，歸結(jié)為以下幾個特點(diǎn)：

基于人工智能技術(shù)實(shí)現(xiàn)數(shù)據(jù)開發(fā)設(shè)計(jì)，基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)實(shí)時采集、實(shí)時計(jì)算、實(shí)時同步；目前市面上有些廠商也逐步推出了新一代的數(shù)據(jù)集成平臺產(chǎn)品，基本設(shè)計(jì)思路都是基于Kafka+分布式計(jì)算引擎（SparkStreaming+Storm+Filnk）+調(diào)度平臺，實(shí)現(xiàn)新一代的數(shù)據(jù)集成平臺全新技術(shù)架構(gòu)，從目前這些廠商推出的產(chǎn)品，筆者也進(jìn)行相關(guān)試用，無論是國外的還是國內(nèi)的，平臺還需要待完善；主要存在以下幾個方面：

問題：目前數(shù)據(jù)接入都是標(biāo)準(zhǔn)接入能力，基于物聯(lián)網(wǎng)的協(xié)議和數(shù)據(jù)庫的實(shí)時增量，新一代的設(shè)備廠商大部分都解析成了文本數(shù)據(jù)，但是基于數(shù)據(jù)庫的實(shí)時數(shù)據(jù)還是得需要平臺自身提供能力，否則站在整個業(yè)務(wù)閉環(huán)的角度，實(shí)時集成的第一公里，這個平臺是沒有解決的。

解決方法：逐步增強(qiáng)輸入源組件的能力，解決第一公里。

問題：新一代的數(shù)據(jù)集成平臺大部分的組件使用較為復(fù)雜，大部分組件需要具備大數(shù)據(jù)技術(shù)能力和開發(fā)經(jīng)驗(yàn)的人上手會比較快，其他運(yùn)維和實(shí)施工程師學(xué)習(xí)成本較大。

解決方法：引入人工智能技術(shù)，傻瓜式的組件使用。

問題：數(shù)據(jù)集成平臺采集大部分是未遵循相關(guān)標(biāo)準(zhǔn)，采集過程沒有遵循相關(guān)配置規(guī)范，導(dǎo)致后續(xù)運(yùn)維困難。

解決方法：引入數(shù)據(jù)標(biāo)準(zhǔn)體系，針對數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)同步定義相關(guān)標(biāo)準(zhǔn)和規(guī)范，給數(shù)據(jù)開發(fā)定義軟件工程設(shè)計(jì)思路，實(shí)現(xiàn)數(shù)據(jù)開發(fā)工程管理。

問題：針對數(shù)據(jù)采集過程中，數(shù)據(jù)時代，數(shù)據(jù)的價值和安全越發(fā)重要，數(shù)據(jù)集成平臺依據(jù)互聯(lián)網(wǎng)思維延伸過來，安全體系缺失，會出現(xiàn)嚴(yán)重泄露情況。

解決方法：做到“三權(quán)分立”的原則，即數(shù)據(jù)操作權(quán)、數(shù)據(jù)使用權(quán)、資源管理權(quán)；數(shù)據(jù)操作員依據(jù)資源管理員分配相關(guān)數(shù)據(jù)操作權(quán)限，數(shù)據(jù)使用員依據(jù)資源管理員的權(quán)限使用和查看相關(guān)數(shù)據(jù)，資源管理員只能知道平臺具備什么資源，具體數(shù)據(jù)無法查看。

綜上所述，新一代的數(shù)據(jù)集成平臺用“海量、實(shí)時、智能、標(biāo)準(zhǔn)、安全”這五個關(guān)鍵詞針對數(shù)據(jù)集成平臺進(jìn)行立體化的評估。

通過圖中可以得出，在發(fā)展初期平臺廠商目前更多主要基于海量數(shù)據(jù)處理和實(shí)時計(jì)算兩部分進(jìn)行了重點(diǎn)打造，另外三個板塊還處于研究和探索階段，預(yù)估在未來兩年左右會趨向成熟。

數(shù)據(jù)集成3.0的未來史

全球智能手機(jī)的快速發(fā)展，推動了移動終端和“邊緣計(jì)算”的發(fā)展。而萬物互聯(lián)、萬物感知的智能社會，則是跟物聯(lián)網(wǎng)發(fā)展相伴而生，邊緣計(jì)算系統(tǒng)也因此應(yīng)聲而出。事實(shí)上，物聯(lián)網(wǎng)的概念已經(jīng)提出有超過15年的歷史，然而，物聯(lián)網(wǎng)卻并未成為一個火熱的應(yīng)用。一個概念到真正的應(yīng)用有一個較長的過程，與之匹配的技術(shù)、產(chǎn)品設(shè)備的成本、接受程度、試錯過程都是漫長的，因此往往不能很快形成大量使用的市場。5G時代已經(jīng)吹響號角，多家廠商密集發(fā)布5G手機(jī) ，外加折疊屏等新技術(shù)帶來潛在換機(jī)需求，出貨持續(xù)下滑的智能機(jī)市場能否迎來一線生機(jī)，這個還需要市場檢驗(yàn)。

前面加了一些偏離主題的內(nèi)容，看似偏離，其實(shí)也是在引入一個問題，未來的數(shù)據(jù)集成平臺還存在嗎？如果存在，他將會是什么形態(tài)呢？我們可以結(jié)合行業(yè)發(fā)展趨勢和信息技術(shù)發(fā)展情況進(jìn)行大膽猜想。

根據(jù)Gartner的技術(shù)成熟曲線理論來說，在2015年IoT從概念上而言，已經(jīng)到達(dá)頂峰位置。因此，物聯(lián)網(wǎng)的大規(guī)模應(yīng)用也開始加速。因此未來5-10年內(nèi)IoT會進(jìn)入一個應(yīng)用爆發(fā)期，邊緣計(jì)算也隨之被預(yù)期將得到更多的應(yīng)用。估計(jì)還是有人對這個詞語比較陌生，按照百度百科的解釋：“邊緣計(jì)算是指在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)、計(jì)算、存儲、應(yīng)用核心能力為一體的開放平臺，就近提供最近端服務(wù)”。

隨著5G+邊緣計(jì)算+區(qū)塊鏈+云計(jì)算+人工智能等新技術(shù)快速商用，我們針對這個世界更加感知為一個由數(shù)據(jù)產(chǎn)生的信息時代；邊緣計(jì)算解決就近應(yīng)用問題，提升用戶感知，區(qū)塊鏈解決邊緣計(jì)算與云計(jì)算中心的信息安全問題，5G解決雙方之間的傳輸效率問題，人工智能技術(shù)應(yīng)用到每一個邊緣計(jì)算應(yīng)用中，提升智能化商業(yè)應(yīng)用落地。

數(shù)據(jù)集成平臺主要解決異構(gòu)數(shù)據(jù)源數(shù)據(jù)整合的問題，假如我們未來的相關(guān)應(yīng)用基本按照標(biāo)準(zhǔn)的思路進(jìn)行建設(shè)，還會存在異構(gòu)源數(shù)據(jù)整合問題嗎？答案是肯定存在的，我們大膽猜想，所有的應(yīng)用已經(jīng)完全標(biāo)準(zhǔn)化，所有行業(yè)的標(biāo)準(zhǔn)也規(guī)范化了，但是每個行業(yè)的標(biāo)準(zhǔn)必然是不一致的，未來可能存在某些行業(yè)的顛覆和消失，但一個國家的綱領(lǐng)必然存在，一個國家各個機(jī)構(gòu)需要獨(dú)立運(yùn)轉(zhuǎn)，那么運(yùn)轉(zhuǎn)的數(shù)據(jù)規(guī)范必然存在差異，有差異就需要數(shù)據(jù)治理，那么就需要針對數(shù)據(jù)進(jìn)行融合。故未來數(shù)據(jù)集成平臺必然還會存在，那么它將是以什么形態(tài)存在呢？

未來數(shù)據(jù)集成能力主要還是解決異構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)的整合問題，平臺部分能力需要前移，交由前端應(yīng)用完成，數(shù)據(jù)集成平臺會考慮把維護(hù)的相關(guān)標(biāo)準(zhǔn)下發(fā)到各個應(yīng)用中，而它盡可能的去實(shí)現(xiàn)標(biāo)準(zhǔn)管控的能力，盡量減少邊緣計(jì)算應(yīng)用與云計(jì)算之間的交互響應(yīng)時間。