大數據數據處理平臺 Big data Data Processing platform(ETL)

ETL 大數據數據處理平臺,是利用開源大數據生態系統,包括Hadoop、Oracle、MongoDB、Hive、MapReduce、Kafka、Hbase、Storm等,將數據從各種業務系統的多種數據庫來源中抽?。╡xtract)、轉換(transform)、加載(load)后,最終按照預先定義好的數據模型,將數據加載到數據倉庫的企業級大數據數據處理平臺。

ETL 大數據數據處理平臺,將數據抽取、轉換和維護過程進行簡化和自動化,能夠快速便捷的完成涵蓋各種數據結構的轉換、過濾、清洗工作,同時支持Windows和Linux等運行環境,全程可視化操作及完善的監控體系,為業務人員、運維人員、開發人員從數據集成設計、調度運維、功能擴展及支持提供了完善的支撐。


特點與優勢

1)面向企業級服務架構的SOA數據處理平臺

2)豐富的數據源支撐與元數據管理,支持多種主流異構數據源的輸入與輸出,支撐對任意數據源以及各種應用軟件包的完全連接

3)高性能數據處理能力, 提供彈性的線程級和分布式并行處理力能

4)方便的DI開發設計和測試,提供可視化的開發和測試環境,易于用戶操作和理解

5)先進的大數據批處理能力,提供了與現今各類典型的大數據處理平臺和NoSQL數據庫的交互處理功能

6)記錄級數據容錯機制,分級日志顯示功能,實現對每條實時流數據的正確性保障,保障了數據的一致性和正確性

7)無限可升級性和擴展能力,先進的插件技術,實現了對新數據源和新處理步驟無限的擴展能力

核心功能

可視化任務設計器:平臺提供任務流程的可視化設計

預置豐富的組件為整個流程設計工作提供全方位的支撐

  • 1)支持結構化/半結構化/非結構化多種數據源接入
  • 2)支持結構化數據和半結構化數據的多種數據格式輸出

任務調度:平臺內置工作流建模工具和調度引擎,用戶可自由定義任務的觸發條件及執行路徑,控制多任務的協同運行,支持多任務的并發運行和定時運行,并支持可視化WEB監控和通過HTTP、FTP協議文件傳輸功能。

并行處理與云計算動態集群支撐功能

  • 1)彈性的并行處理功能
  • 2)云計算的動態集群技術

插件擴展功能:平臺提供強大的開放式環境,它不僅支持Data Vault、Palo等整合產品,還支持SAS等合作廠商的產品?;诓寮軜?,平臺支撐大量的第三方和用戶自定義插件。此外,還支持用戶自定義Java 類,允許企業重復使用自行開發的Java程序代碼,并同步處理所有數據,而不受到數據量的限制。

大數據處理功能
平臺提供了與各類典型的大數據批處理和NoSQL數據庫的交互處理能力。如支持與Hadoop平臺、HBase、Hive、MongoDB等的交互處理功能。通過平臺,可以很方便的完成大數據處理中結構化、半結構化和非結構化數據的抽取,轉換功能。

統一用戶權限管理與認證服務功能
獨立的認證與用戶權限的分配管理體系實現用戶權限,數據使用權限的綜合管理與分配,同時可與其他外部系統進行權限管理的對接,包括但不限于以下系統:創意大數據業務模型平臺(M+)、創意企業級大數據平臺(D+)。

真钱棋牌