UCloud Smart Data Platform(簡稱 USDP),是 UCloud 推出的智能化、輕量級、適用于私有化部署至客戶本地的大數據基礎服務平臺,通過自研的 USDP Manager 管理工具,支持用戶創建大數據集群,在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等眾多開源大數據組件,并對這些組件進行配置管理、監控告警、故障診斷等智能化的運維管理,從而幫助您快速構建起大數據的分析處理能力。
基于開放式的管理架構,USDP 集成了 30 余款開源的大數據組件,涵蓋數據集成、數據存儲、計算引擎、任務調度、權限管理等大數據處理的各個環節。用戶可以根據自身業務特點和需求,從中選擇相應的組件來搭建自己的大數據處理平臺。
USDP 中所包含的大數據服務、組件,均遵守 Apache 2.0 開源協議,由于本身緊跟開源社區的步伐,用戶可以隨時進行自主替換、自主建設、自主數據遷移、集群遷移等,因此無需擔心大數據業務與閉源服務綁定。
為了能讓用戶體驗到極簡的大數據部署運維、管理方案,USDP提供了豐富詳細的部署、操作文檔,并且用戶無需擔心安裝時準備眾多內容,初始化環境只需要簡單幾步,即可自動完成配置。
USDP 預置了豐富的監控指標,主要包括:JMX 全量指標、HTTP 常用指標、自定義指標,通過預置的監控模板,用戶可以查看各類服務組件詳細的監控指標,也可以自定義添加所需的監控指標。
USDP提供預置的告警模板,只需進行簡單配置,即可實現向不同目標(微信、釘釘、郵件、接口調用等)發送集群異常告警。用戶還可以對默認告警模板進行修改,或根據需要添加新的告警規則。
全面信創適配,完成與國產主流硬件廠商的芯片適配,完成從國產主流服務器操作系統到大數據生態組件的兼容適配。
支持USDP純軟件部署交付模式;支持USDP超融合一體機的軟硬一體化交付模式。
UCloud大數據團隊積淀了多年公有云大數據運維和業務調優經驗,通過持續更新的知識庫,可以為用戶提供專家級的技術支持,解決大數據平臺使用和維護的后顧之憂。
目前國內常用的數倉模型為維度數倉,即按照事實表、維度表來構建數據倉庫、數據集市。通過 USDP 管理平臺,用戶可以部署構建維度數倉所需的各項服務,幫助企業快速構建數據中臺。
目前國內常用的數倉模型為維度數倉,即按照事實表、維度表來構建數據倉庫、數據集市。通過 USDP 管理平臺,用戶可以部署構建維度數倉所需的各項服務,幫助企業快速構建數據中臺。
機器學習通過算法對大量數據進行分析,挖掘出其中蘊含的規律,并用于事物預測或者分類,有大量的計算需求。通過 USDP 支持的Spark、Flink 等分布式運算框架,可以高效的進行機器學習應用開發。
機器學習通過算法對大量數據進行分析,挖掘出其中蘊含的規律,并用于事物預測或者分類,有大量的計算需求。通過 USDP 支持的Spark、Flink 等分布式運算框架,可以高效的進行機器學習應用開發。
從海量數據中快速檢索到所需信息,一直是數據應用的重要領域,USDP 平臺集成了分布式搜索和分析引擎 Elasticsearch,能夠提供高效的全文檢索能力,可用于構建企業級搜索引擎、日志管理系統等。
從海量數據中快速檢索到所需信息,一直是數據應用的重要領域,USDP 平臺集成了分布式搜索和分析引擎 Elasticsearch,能夠提供高效的全文檢索能力,可用于構建企業級搜索引擎、日志管理系統等。
服務組件 | 私有化社區版 | 私有化專業版 | 組件說明 |
---|---|---|---|
FLINK |
|
|
分布式計算引擎 |
FLUME |
|
|
數據采集與轉儲服務 |
HIVE |
|
|
常用的 HQL 數倉工具 |
LIVY |
|
|
Spark 的 REST 服務 |
PHOENIX |
|
|
HBase SQL 化查詢分析工具 |
SPARK |
|
|
分布式計算引擎 |
SQOOP |
|
|
數據采集與轉儲服務 |
TEZ |
|
|
優化 MapReduce 任務的 DAG |
YARN |
|
|
分布式資源調度服務 |
ELASTICSEARCH |
|
|
分布式全文檢索數據庫 |
HBASE |
|
|
分布式非關系型數據庫 |
HDFS |
|
|
分布式存儲服務 |
KAFKA |
|
|
超高吞吐的分布式消息隊列 |
ZOOKEEPER |
|
|
分布式注冊中心服務 |
HUE |
|
|
可視化管理服務 |
KAFKAEAGLE |
|
|
Kafka 可視化管理服務 |
KIBANA |
|
|
為 ElasticSearch 提供 Web 頁面分析入口 |
ZEPPELIN |
|
|
可視化管理服務 |
ZKUI |
|
|
Zookeeper 可視化管理服務 |
DOLPHINSCHEDULER |
|
|
任務調度服務 |
AIRFLOW |
|
|
任務調度服務 |
OOZIE |
|
|
任務調度服務 |
RANGER |
|
|
授權服務 |
DATAX |
|
數據采集與轉儲服務 | |
IMPALA |
|
分布式計算服務 | |
KYLIN |
|
數倉維度建模服務 | |
PRESTO |
|
分布式計算服務 | |
TRINO |
|
分布式計算服務 | |
HUDI |
|
數據湖服務 | |
NEO4J |
|
高性能的NOSQL圖形數據庫 | |
ATLAS |
|
元數據管理服務 | |
KERBEROS |
|
嚴格身份驗證服務 | |
LDAP |
|
統一用戶認證 | |
ALERTMANAGER |
|
|
發送監控告警信息 |
GRAFANA |
|
|
展示監控數據 |
INFLUXDB |
|
|
存儲監控數據 |
NODEEXPORTER |
|
|
讀取節點資源監控指標 |
PROMETHEUS |
|
|
拉取監控數據 |