巨龍信息大數(shù)據(jù)集成系統(tǒng)是一款基于分布式并行計算架構(gòu)開發(fā)的ETL數(shù)據(jù)集成系統(tǒng)。具備高吞吐、高可用、高擴(kuò)展特性，可以為海量數(shù)據(jù)的超大規(guī)模數(shù)據(jù)倉庫建設(shè)提供抽取、整合、清洗、入庫等集成業(yè)務(wù)。

產(chǎn)品特征

■高吞吐處理能力：采用多線程處理算法，高效的內(nèi)存利用率；任務(wù)運行過程無需本地磁盤IO操作，提升整體單位時間的大批量處理能力；支持TB/h級的大數(shù)據(jù)集成業(yè)務(wù)性能。

■高擴(kuò)展、高可靠：并行架構(gòu)提升單機處理能力的線性擴(kuò)展；新增執(zhí)行引擎的快速部署和自動識別，分布式架構(gòu)提升多機處理能力的線性擴(kuò)展；執(zhí)行引擎宕機的自動識別和任務(wù)轉(zhuǎn)移，保證任務(wù)的順利執(zhí)行。

■可視化流程配置：通過簡單的圖形拖拽配置數(shù)據(jù)集成流程，簡單易用的專業(yè)化配置。

■集成業(yè)務(wù)全流程監(jiān)控：可對處理過程的每個步驟，每個子流程處理進(jìn)行實時監(jiān)控，簡單快速發(fā)現(xiàn)處理過程遇到的漏數(shù)據(jù)，錯處理等問題。

■統(tǒng)一的元數(shù)據(jù)模型：基于統(tǒng)一公共倉庫元模型，可與公司產(chǎn)品線其他產(chǎn)品無縫對接，簡化整體解決方案的實施運維。

■大數(shù)據(jù)技術(shù)支持：支持主流的關(guān)系型數(shù)據(jù)庫，NOSQL數(shù)據(jù)庫,全文庫處理等主流大數(shù)據(jù)產(chǎn)品的抽取入庫，以及異構(gòu)庫之間的抽取入庫。

■低廉的硬件成本：使用x86架構(gòu)的PCServer，無需昂貴的unix服務(wù)器。

技術(shù)亮點

高性能

■任務(wù)的水平切分

一個分布式ETL任務(wù)會根據(jù)分區(qū)自動被分片到多臺ETL-執(zhí)行引擎中，每個執(zhí)行引擎的執(zhí)行容器使用多線程并發(fā)的對數(shù)據(jù)進(jìn)行加工處理后加載到數(shù)據(jù)倉庫中。當(dāng)源頭庫單表數(shù)據(jù)量巨大時，可極大提升整體的數(shù)據(jù)集成效率和性能

■任務(wù)拓?fù)淝蟹?/strong>