大數據能力共享平臺 Big data Ability sharing platform(CSP)

大數據能力共享平臺(CSP)是站在現有市場大數據底層平臺(CDH、HDP、D+ 、FunionInsight等)之上的、集大數據數據采集、數據處理、數據建模、數據共享、數據展現、數據安全、數據資產管理、多租戶等于一體的能力共享平臺。CSP是一個開放性平臺,CSP的所有能力可以通過多租戶管理的形式開放給平臺的合作伙伴或者開發者,平臺將大數據采集存儲、數據處理加工和數據建模分析等基礎能力以及數據本身開放給個性化應用的開發者,這些開發者可利用開放的能力,開發個性化應用(或數據),以支撐客戶、第三方合作公司大數據的個性化應用需求。同時CSP對所有使用此平臺的組織或者個人進行多租戶的分級分權獨立管控,以此保證平臺所管理數據和其它資產的安全。


特點與優勢

底層平臺無關性:大數據能力共享平臺支持目前主流的所有底層大數據平臺,包括開源的Apache Hadoop、CDH、HDP、MAPR、創意D+、Ammzon、星環、華為FusionInsight等,CSP平臺與底層平臺的無關性保證了CSP可以在已建的所有大數據平臺上做各種業務應用。

多租戶:是一個開放性平臺,CSP的所有能力可以通過多租戶管理的形式開放給平臺的合作伙伴或者開發者,平臺將大數據采集存儲、數據處理加工和數據建模分析等基礎能力以及數據本身開放給個性化應用的開發者,這些開發者可利用開放的能力,開發個性化應用(或數據),以支撐客戶、第三方合作公司大數據的個性化應用需求。

微服務:能力平臺上層以微服務作為統一架構,提供對外的統一訪問網關。微服務架構(Microservice Architect)是一種架構模式,它提倡將單塊架構的應用劃分成一組小的服務,服務之間互相協調、互相配合,為用戶提供最終價值。每個服務運行在其獨立的進程中,服務與服務間采用輕量級的通信機制互相溝通。每個服務都圍繞著具體業務進行構建,并且能夠被獨立的部署到生產環境、類生產環境等。

統一集成平臺:CSP是一個統一的集成平臺,整合了應用管理,數據管理,安全管理和自助服務管理,加快了建立和運行數據湖的流程。CSP為數據存儲、任務調度運行提供了廣泛的生態系統集成,包括MapReduce、Spark、Spark Streaming、Kafka和HBase等。

可擴展和可靠性:CSP提供可擴展的、可靠的運行時環境以及易于部署和管理Hadoop解決方案所需的工具。

安全:CSP底層實現數據的多租戶管理,提供企業級安全和數據治理,確保敏感用戶各種數據保持安全、獨立。

核心功能

能力集:CSP支持數據采集存儲、加工處理、建模分析等數據全業務處理

圖1 數據采集存儲

圖2 數據加工處理

圖3 數據建模分析

可視化開發套件:CSP提供了一整套圖形拖放界面,用于從EDW、各種關系數據庫建立管道到Hadoop,簡化了構建端到端的數據流水線,包括從不同的源代碼中獲取,混合和聚合數據,利用易于使用的程序化抽象和可視化界面。CSP提供了一整套預構建的構建塊,以支持數據操作,數據存儲和數據分析,從而在不編寫手動代碼的情況下快速構建更智能的端對端解決方案。

元數據管理:CSP提供元數據管理、審計,簡化了跟蹤數據流程,并且更容易檢索,使用和管理數據集。

實時、批處理統一平臺:CSP為實時和批量分析提供了一個的統一的平臺。它可以輕松地與最新技術(如Spark Streaming)結合使用拖拽式界面進行流式傳輸。這簡化了來自各種數據源的數據的加載以及開發實時分析和IoT解決方案所需的轉換。

真钱棋牌