客戶案例

中國移動通信集團公司，注冊資本512億元人民幣，資產規模超過萬億元人民幣，擁有全球的網絡和客戶規模，2015年列《財富》雜志世界500強55位，品牌價值位列全球電信品牌前列。
"移動云"（http://ecloud.10086.cn/）隸屬于中國移動通信集團公司，是中國移動面向政企、事業單位、開發者等客戶推出的基于云計算技術、采用互聯網模式、提供基礎資源、平臺能力、軟件應用等服務的業務。移動云是建立在中國移動“大云”的基礎上，自主技術研發而成的公有云平臺，通過服務器虛擬化、對象存儲、網絡安全能力自動化、資源動態調度等技術，將計算、存儲、網絡、安全、大數據、開放云市場等作為服務提供，客戶根據其應用的需要可以按需使用、按使用付費。

隨著中國移動“大云”公有云平臺不斷發展，后端存儲平臺需求非常旺盛。中移（蘇州）軟件技術有限計劃搭建分布式對象存儲解決如下問題：

1. 國移動公眾服務云四期、五期需要基于Ceph搭建對象存儲業務，主要用于移動公眾服務云后端對象存儲，規模30PB。
2. 需要設計和交付存儲系統的交付流程，保證存儲項目按時高質量落地，保證存儲系統穩定運行運營。
3. 流程包括：架構設計服務、部署服務、驗證服務、培訓服務、系統交付、診斷工具、運維工具、升級服務、支持服務、擴展服務、產品文檔。

基于UMCloud 現有分布式存儲解決方案，設計使用Ceph搭建移動大云后端分布式對象存儲。
對象存儲由智能分布式存儲(RADOS)集群、管理平臺和駐留在應用服務系統中的程序或代碼庫組成，如下圖所示： 其中智能分布式對象存儲集群包含 OSD ，MON 和RGW組件：

1. OSD：OSD 負責處理客戶端讀寫請求。不管是通過哪種方式（對象、文件或者其他通過調用librados接口的API）訪問分布式存儲集群，數據都轉換成對象存儲到集群中。一個OSD對應一個存儲磁盤。一個集群可根據容量、性能、故障域需要，部署多個OSD 節點。
2. MON：MON負責處理集群管理元數據表?？蛻舳讼騉SD發送讀寫請求之前，需要從MON中拿到新的集群表，利用CRUSH算法計算出來數據存儲位置后，直接將讀寫請求發送至對應的OSD。一個存儲集群可以只包含1個MON 節點，但是考慮到MON節點失效后集群不可用的情況，實際生產環境中一個存儲集群至少部署3個MON節點。
3. RGW：對象存儲網關，給用戶提供REST API，并且兼容S3和Swift。

北京、廣州邏輯拓撲如下： 服務器有管理網、存儲網和業務網三套網絡，所有網絡都做雙網卡bond，其中存儲萬網和業務網共用一對萬兆口。管理網用于系統的監控和管理；存儲網用于OSD集群節點間的數據傳輸和心跳；業務網用于客戶端對后端存儲的訪問，以及Monitor組件間以及Monitor對OSD的心跳。

1. 通過UMCloud 分布式對象存儲架構實現數據中心級容災，Ceph可以實現異地數據復制，基于容器對象異步遠程復制技術，主節點在對外提供服務時，用戶數據在主節點落盤后即向用戶回應“寫成功”應答，然后實時記錄數據變化的相關日志信息。備節點則實時比較主備數據差異，并及時將差異化數據拉回備節點。異步復制技術適用于遠距離的容災方案，對系統性能影響較小。
2. 通過UMCloud 分布式對象存儲架構自動化部署和彈性擴容，Ceph分布式存儲架構可以實現對象存儲自動化部署，通過UMCloud提供的部署工具實現了大規模集群的自動化部署和配置、運維和運營等功能。
3. 通過UMCloud 分布式對象存儲架構實現數據可靠性設計故障域/復制域機制，優化存儲集群內部復制流量；限定POD的規模，通過組合POD的方式提升存儲規模；優化CRUSH MAP，優化數據持久性和可用性；
4. 根據網絡拓撲設計故障域和復制域，提高可用性和數據持久性，可以達到15個9的數據可靠性。