日前，重慶移動大數(shù)據(jù)平臺圓滿完成升級任務，升級后系統(tǒng)安全性、穩(wěn)定性顯著增強，每年可節(jié)約50萬元的運營維護費用。

據(jù)悉，重慶移動大數(shù)據(jù)平臺目前有超過300個節(jié)點，數(shù)據(jù)規(guī)模達到12PB。本次升級任務重、難度大，該公司成立了由專家組成的大數(shù)據(jù)平臺升級項目組，對原大數(shù)據(jù)平臺從前期選型到升級割接制定了詳細計劃和方案，進行了周密準備。

重慶移動對目前業(yè)界主流的大數(shù)據(jù)平臺產品，從技術成熟度、使用便捷性、應用廣泛性、后期服務支撐能力幾個方面進行了深入研究和討論，最終選定方案。新部署平臺全部經過基準性能測試，進行了DACP適配改造及部署。歷時1個月，在線將B域歷史數(shù)據(jù)遷移到新平臺，共計遷移數(shù)據(jù)1.4PB。隨后對執(zhí)行不通過、執(zhí)行慢的原有程序進行改造，累計改造程序315個，并對3500多個應用程序進行數(shù)據(jù)質量比對，對存在數(shù)據(jù)質量問題的程序進行改造。新搭建ETL平臺，將接口數(shù)據(jù)同時向老集群和新集群分發(fā)，為割接創(chuàng)造數(shù)據(jù)接入條件。割接之前，準備平臺并行割接方案：在新平臺并行生產任務，通過3個月的觀察和測試，新平臺性能、穩(wěn)定性、數(shù)據(jù)質量均符合要求，具備割接條件。

在本次升級方案討論中，重慶移動創(chuàng)新使用雙平臺遷移割接方案，避免了傳統(tǒng)割接面臨的數(shù)據(jù)丟失的巨大風險。新版本的大數(shù)據(jù)平臺具備cloudera manager管理工具，能方便地對平臺進行監(jiān)控和管理，實現(xiàn)快速擴容和滾動不間斷業(yè)務重啟計算節(jié)點，每年可節(jié)約50萬元。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。