高達35PB巨量資料倉儲系統的IT挑戰,Amazon從甲骨文資料庫遷移上雲經驗學到的10堂課

高達35PB巨量資料倉儲系統的IT挑戰,Amazon從甲骨文資料庫遷移上雲經驗學到的10堂課 在今年美國拉斯維加斯舉行的AWS年度大會re:Invent中,AWS特別開設了一系列專談DBFreedom議程,其中一場是專談「Amazon從Oracle資料庫搬上AWS」經驗的chalk talk。 文/余至浩 | 2018-11-28發表 */【美國拉斯維加斯AWS re:Invent 大會現場報導】「這是一個高達35 PB的倉儲巨量資料庫遷移的挑戰」Amazon.com大數據技術資深經理Thomas Park在今年AWS re:Invent一場專談DBFreedom的技術議程中,對著臺下聽眾分享Amazon 資料庫上雲經驗時首度公開揭露這項數據。今年在美國拉斯維加斯舉行的AWS年度大會re:Invent中,AWS也特別開設了一系列專談DBFreedom議程,其中一場就是專談「Amazon.com從Oracle資料庫搬上AWS」經驗的chalk talk,議程還沒開始,場外就已經排滿人潮,等著搶聽Amazon的自身經驗。Amazon在11月1日正式關閉電商平臺使用多年的Oracle資料倉儲系統,改搬到自家AWS雲端資料倉儲 Redshift上,當時這個消息一出,科技圈譁然,成了熱議話題。也讓全球雲端龍頭AWS與傳統資料庫巨人甲骨文(Oracle)的資料庫之爭正式浮上檯面。而今年在美國拉斯維加斯舉行的AWS年度大會re:Invent中,AWS也特別開設了一系列專談DBFreedom議程,其中一場就是專談「Amazon從Oracle資料庫搬上AWS」經驗的chalk talk上,Thomas Park也以這次Amazon成功換掉Oracle資料倉儲系統當例子。Thomas Park表示,Amazon很早就開始採用Oracle資料倉儲,在換成AWS以前,系統存放的資料總共有多達35PB(壓縮後),1個PB(Petabytes)等同於1000個TB,若以一個1TB硬碟厚度平均0.7公分來計算的話,35PB的硬碟,堆成的高度超過200公尺高,這還不包括還有一個同樣壓縮過的5PB的核心資料集,也都要一併改上AWS,這正是Amazon資料倉儲上雲面對的最大挑戰。Amazon的甲骨文資料倉儲與資料庫運作架構圖大公開(自11月起已由AWS雲端資料庫服務架構取代) Thomas Park也首度公開在換成AWS以前,Amazon原本使用甲骨文資料倉儲與資料庫運作的架構圖。就像一般企業,Amazon一開始,也使用OLTP database 與資料倉儲,用來處理不同類型的工作負載,像是Oracle資料庫可以用在交易型與非交易的workload。包括catalog、inventory、transactions 、Clickstream、Marketing等資料,而資料倉儲是可用來蒐集大量交易數據與分析所用。並透過Amazon自行開發一個可以用來管理不同資料庫處理流程的ETLM管理平臺,除了用協助交易資料萃取和轉置外,也能用來處理特殊應用,如跑報表,將取得結果傳送給不同使用單位。他也解釋為何AWS資料庫上雲的原因,就是要讓資料庫具備橫向擴展(Scale Out)的能力,他表示,Amazon成立20多年來,在業務發展上,從開始用來查詢交易資料與儲存使用的資料庫,用的就是Oracle資料庫與技術,並用這些資料庫來建立Amazon網站底層的架構。但是當是業務逐漸成長,擴建更多的region、與跨入不同領域市場,對於IT團隊來說,必需要很快擴展原有基礎設施來迎合這樣的需求。但是舊有的資料庫設計方式,已無法跟上他們事業快速成長的腳步,所以,Amazon 決定將自己的資料庫重新打掉重練,改用新的資料庫設計方式來取代,以便能夠scale out來因應業務成長需求。「這也是我們會決定從使用已久的Oracle資料庫搬上AWS的最重要原因。」當然成本也是另一大考量,他也補充說到。最後,Thomas Park總結從這次推動Amazon資料庫與資料倉儲遷移學到的10堂課:1.當企業開始要思考遷移資料庫,必須先提高能見度(visibility),對資料庫使用狀況有全盤了解,以利於掌控時間進度。2.由於資料庫搬遷會影響到許多單位正常運作,因此事前必須盡可能尋求高層的支持3.資料庫移轉想要順利進行,事前必須獲得Oracle 與SQL資料庫管理負責人的支持與協助4.在資料庫移轉時,應單獨設立開發團隊,負責協助解決不同資料庫團隊移轉遇到的共通問題,有助於縮短遷移時間5.執行上須與AWS團隊保持密切合作6.團隊心態上必須克服對技術的恐懼,並且找出造成技術阻礙的問題癥結7.遷移付出成本和價值的比較,應以能夠創造更高價值的目標8. 以資料庫上雲帶來整體效率的改善當作案例,來說服其他未使用單位加入採用9.在雲端資料庫維運上,也必須要有一套雲端資料庫管理工具,能對所有雲端資料庫進行統一管理10.隨時保有擴充彈性,然後慶祝勝利到來*/

更多訊息更多資料都在這裡喔!~葉黃素~GOOGLE排名~芙婷寶~神經滋養物質~SEO~保健食品~關鍵字排名~維力康~超視王~PPLS~蜂王漿~台灣綠蜂膠~南極冰洋磷蝦油~蜂王乳~健康食品~智勝王~磷蝦油~網站排名

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *