摘要： 放到更長的時間線里，一切也才剛剛開始。

01

“我們還是回滾到Oracle吧?！瘪R來西亞最大電商公司之一PrestoMall的數(shù)據(jù)工程師敲下這句話后，阿里云架構(gòu)師鄭旦和在吉隆坡、北京、杭州三地的同事們，面臨著3個月工作一夜歸零的險境。

2019年12月6日的凌晨4點，本該在0點啟動的數(shù)據(jù)庫遷移行動，推遲了4個小時。他們要將公司成立5年來的所有線上交易、線下分析報表數(shù)據(jù)從Oracle數(shù)據(jù)庫切換到阿里云的數(shù)據(jù)庫PolarDB上。數(shù)據(jù)總量超過5T，類似5年時間不間斷，每秒300多筆記錄，所累積的數(shù)據(jù)量。

三個月前，PrestoMall分布在印度、韓國、大馬的研發(fā)團(tuán)隊，以及唯一一位數(shù)據(jù)庫工程師，都覺得這個想法太瘋狂了。5T數(shù)據(jù)的遷移絕不是小事，更何況數(shù)據(jù)庫涉及所有線上核心業(yè)務(wù)，而任何的數(shù)據(jù)差錯，都會帶來業(yè)務(wù)問題。而且他們新選的數(shù)據(jù)庫供應(yīng)商來自阿里巴巴，后者旗下的Lazada 可是他們的競爭對手。

但PrestoMall還是做出了決定——上云！

之前PrestoMall使用的32核Oracle數(shù)據(jù)庫，屢屢遇到問題，高峰時間段在線交易的瞬間激增、大量數(shù)據(jù)的持續(xù)存儲，讓業(yè)務(wù)隨時處于崩潰的邊緣。2019年12月，PrestoMall的Oracle許可證將到期，是否繼續(xù)沿用的問題，提前被提上議程。

如果切換上云成功，PrestoMall預(yù)期可以節(jié)省90%的數(shù)據(jù)庫費用，相關(guān)的IT成本也有望下降40%。因此，在9月初，公司開始與東南亞市場上的數(shù)據(jù)庫供應(yīng)商接觸。

權(quán)威機(jī)構(gòu)Gartner報告顯示，微軟Azure、亞馬遜AWS、阿里云Alibaba Cloud是云數(shù)據(jù)庫份額前三廠商，因為都是A開頭，簡稱3A。作為亞洲增速最快的經(jīng)濟(jì)體之一，東南亞市場是必爭之地。

從當(dāng)?shù)毓こ處煹恼J(rèn)知上講，微軟Azure總體品牌認(rèn)知度最高，本身有SQLServer的長期積淀，亞馬遜AWS的Aurora是最早商用的云數(shù)據(jù)庫，具有性能上的口碑，并且也脫胎于電商業(yè)務(wù)。

無論找誰，用云數(shù)據(jù)庫替代Oracle等傳統(tǒng)數(shù)據(jù)庫都是勢在必行。

阿里巴巴副總裁、達(dá)摩院數(shù)據(jù)庫首席科學(xué)家李飛飛是攻下市場的關(guān)鍵角色。

李飛飛曾經(jīng)是猶他大學(xué)終身教授任、ACM杰出科學(xué)家，在數(shù)據(jù)庫領(lǐng)域擁有非常大的影響力，2018年李飛飛加入阿里巴巴，現(xiàn)任阿里云數(shù)據(jù)庫負(fù)責(zé)人，花名：飛刀。

“今年要幫助1000家企業(yè)去O，10000套傳統(tǒng)數(shù)據(jù)倉庫上云?！崩铒w飛在2020年6月9日對外公布了一組數(shù)字。這個目標(biāo)不是單方面的商業(yè)計劃，而是基于客戶表達(dá)的強(qiáng)烈需求。李飛飛這一發(fā)言具有全球指標(biāo)性意義。

“他的英語交流出色，在數(shù)據(jù)庫領(lǐng)域又有科學(xué)家和大公司團(tuán)隊負(fù)責(zé)人雙重身份，客戶很容易認(rèn)可?！奔軜?gòu)師西壁說，李飛飛花了大量時間，幫助東南亞銷售團(tuán)隊與客戶接觸。

阿里巴巴數(shù)據(jù)庫團(tuán)隊很少坐下來向客戶做長篇演說推廣。西壁認(rèn)為他們的競爭優(yōu)勢在于：“第一是場景，PolarDB已經(jīng)支持雙11多年，秒殺、直播等場景也都是客戶感興趣的；第二是直接讓客戶到自己系統(tǒng)中試用，接受檢驗?！?/p>

根據(jù)PrestoMall的需求，9月末，阿里和其他廠商一起提交了“去O”的遷移方案以及兼容性評測報告。然而，評測結(jié)果是PolarDB產(chǎn)品由于采用分布式架構(gòu)，當(dāng)時版本對Oracle數(shù)據(jù)兼容性相對低，以及價格還更高。

堅持采用分布式架構(gòu)，而不是只照顧兼容性，是李飛飛加入數(shù)據(jù)庫團(tuán)隊后，與各個骨干達(dá)成的共識。因為這種架構(gòu)能支持不同類型的數(shù)據(jù)庫，共同高效調(diào)用資源。當(dāng)時，團(tuán)隊剛剛快速從過去兼容MySQL的PolarDB數(shù)據(jù)庫產(chǎn)品中，抽出了一款針對Oracle客戶快速切換的產(chǎn)品PolarDB-O。

當(dāng)時，PolarDB-O尚在公測期，李飛飛竟然就要面向國際客戶服務(wù)。鄭旦在阿里巴巴有7年數(shù)據(jù)庫架構(gòu)師經(jīng)驗，完成了多個事業(yè)部的“去O”；這個目標(biāo)仍然讓她感到“太快了”——“當(dāng)時，團(tuán)隊剛剛改變建制，我突然就被拉到一個群，說你去負(fù)責(zé)這個馬來西亞客戶。”

東南亞項目容易“費力不討好”。語言、編程習(xí)慣、3A的瘋狂競爭、遠(yuǎn)程成本……各種因素隨時都可能讓項目夭折。

為了最終遷移順利，鄭旦團(tuán)隊和多個研發(fā)小組，甚至要計劃在上海完全模擬了一套復(fù)刻客戶同體量的數(shù)據(jù)，模擬從Oracle遷移的每一個細(xì)微環(huán)節(jié)。

但由于評測報告并不占優(yōu)，接下來的工作只能提速。數(shù)據(jù)庫相關(guān)團(tuán)隊整個國慶加班迭代，并派出多名成員前往馬來西亞。阿里云智能總裁行癲曾經(jīng)對內(nèi)多次談到，核心技術(shù)大件放到國際上競爭，絕不能只靠“價格低”、“阿里出品”來吸引客戶。

經(jīng)過現(xiàn)場對未來場景的幾輪商談，阿里豐富的電商實踐檢驗，最終更有說服力。但無論鄭旦們，還是Prestomall的工程師們，仍然感覺到巨大的不確定性。

02

阿里云數(shù)據(jù)庫團(tuán)隊對東南亞市場并不陌生，心動網(wǎng)絡(luò)就是阿里云服務(wù)的客戶之一。在熱門的游戲出海領(lǐng)域，心動網(wǎng)絡(luò)打造了游戲社區(qū)TapTap，近幾年在海外的擴(kuò)張勢頭也格外兇猛，《碧藍(lán)航線》《第五人格》等國內(nèi)爆款游戲均通過心動網(wǎng)絡(luò)與國外玩家見面。

一直以來，游戲出海行業(yè)里關(guān)注更多的是如何獲取海外流量、如何內(nèi)容本地化，鮮少有人關(guān)注討論在線娛樂型流量的底層支撐與命門——數(shù)據(jù)庫和數(shù)據(jù)倉庫。前者支撐和記錄玩家的所有交互行為；后者則要將大數(shù)據(jù)實時提供給運營團(tuán)隊數(shù)據(jù)洞察，便于做出及時的玩法和策略調(diào)整。

TapTap的全球化運營與交付模式，意味著他們需要有支撐各區(qū)域部署的“數(shù)字大腦”，而相互之間，又最好使用統(tǒng)一的大件模塊。

然而伴隨著業(yè)務(wù)的擴(kuò)張，互聯(lián)網(wǎng)公司原有的大量MySQL數(shù)據(jù)庫面臨挑戰(zhàn)，數(shù)據(jù)備份慢、業(yè)務(wù)延遲大，游戲發(fā)版前對數(shù)據(jù)備份動輒需要幾小時，非常影響發(fā)布效率。心動網(wǎng)絡(luò)最早在東南亞市場使用了亞馬遜AWS Aurora。

隨著阿里云自研的云原生數(shù)據(jù)庫PolarDB在當(dāng)?shù)亻_設(shè)服務(wù)，心動網(wǎng)絡(luò)選擇了這一成本更低、性能更優(yōu)、曾經(jīng)扛住了雙11大規(guī)模高并發(fā)的伙伴。

從MySQL到AWS Aurora再到PolarDB，必須平衡數(shù)據(jù)庫遷移諸多細(xì)節(jié)、稍有差池后果不堪設(shè)想。為此，阿里云有兩個重要的遷移工具保障這個過程，DTS用于數(shù)據(jù)的遷移、ADAM用于業(yè)務(wù)層相關(guān)的遷移。兩個產(chǎn)品對主流數(shù)據(jù)庫種類的支持規(guī)模，都是業(yè)內(nèi)最高。

而另一家游戲出海領(lǐng)頭羊莉莉絲，代表作包括《萬國覺醒》《劍與遠(yuǎn)征》，則在兩年前就開始利用阿里云的云原生數(shù)據(jù)倉庫AnalyticDB，幫助數(shù)據(jù)架構(gòu)師和運營人員及時分析游戲運行情況，及時調(diào)整策略。這個數(shù)據(jù)倉庫產(chǎn)品，也在2020年拿下TPC-DS性能榜全球第一的桂冠，代表著性能和性價比的巔峰水平。

互聯(lián)網(wǎng)數(shù)據(jù)處理和存儲場景越來越要求彈性、智能化。PrestoMall、心動網(wǎng)絡(luò)、莉莉絲冒著風(fēng)險更換數(shù)據(jù)庫的選擇也并非個例。

相比之下，“去O”的趨勢雖然已經(jīng)明朗，但趨勢歸趨勢，要從Oracle遷移數(shù)據(jù)的難度，其實大大復(fù)雜于其他開源數(shù)據(jù)庫。

鄭旦表示，因為Oracle數(shù)據(jù)庫版本繁多，不同客戶創(chuàng)建報表的邏輯差異很大，基于DTS和ADAM產(chǎn)品，PrestoMall項目需要改動的代碼不到5%，但仍然帶來不少升級優(yōu)化需求。

03

數(shù)據(jù)庫的市場并不大，卻聚集了全球高科技巨頭核心的研發(fā)力量。

據(jù)不同的統(tǒng)計口徑，全球數(shù)據(jù)庫市場規(guī)模在300億美金到600億美金之間。相比于全球云計算數(shù)千億美元級別的規(guī)模，這不算是最大的一塊肥肉。

但數(shù)據(jù)庫的戰(zhàn)略位置十分特殊，其承載了一個企業(yè)客戶最核心的數(shù)據(jù)資產(chǎn)，而每一次遷移，都意味著相當(dāng)?shù)娘L(fēng)險。數(shù)據(jù)庫的選擇，往往也也會影響企業(yè)對存儲、服務(wù)器等其他大件的消費，粘性高、撬動后續(xù)服務(wù)的能力強(qiáng)。

微軟、Oracle、SAP、亞馬遜AWS、Google、IBM、阿里巴巴、騰訊、華為……全球頂級科技巨頭在數(shù)據(jù)庫領(lǐng)域已經(jīng)鏖戰(zhàn)了數(shù)十載，亞馬遜AWS的CTO Werner Vogels更是多次強(qiáng)調(diào)：“數(shù)據(jù)庫是云計算的終極之戰(zhàn)(Real Battle)?！?/p>

如果要用云數(shù)據(jù)庫取代傳統(tǒng)數(shù)據(jù)庫，這相當(dāng)于將現(xiàn)有每年數(shù)據(jù)庫500億美元市場中，約70%的份額分流。按照行業(yè)預(yù)測增速，未來三年數(shù)據(jù)庫市場總銷售額約在1800億元。

從商業(yè)數(shù)據(jù)庫到開源數(shù)據(jù)庫、云原生數(shù)據(jù)庫，從海外巨頭占絕對主導(dǎo)地位到如今國內(nèi)外頭部玩家在新賽道上同步起跑，當(dāng)下的數(shù)據(jù)庫和十年前的數(shù)據(jù)庫已然不是同一個概念。

歷史上，最早的數(shù)據(jù)庫要追溯到20世紀(jì)70年代，1968年IBM推出了第一代數(shù)據(jù)庫DB1，1970年IBM工程師EdgarCodd寫下了最早的關(guān)系型數(shù)據(jù)模型構(gòu)想的論文。隨后的30年間出現(xiàn)了Oracle、Informix、Sybase、Sybase與微軟合作的SQLServer等著名的數(shù)據(jù)庫公司。

全球數(shù)據(jù)庫產(chǎn)業(yè)在2000年前后進(jìn)行了第一次大戰(zhàn)并主要形成IBM、微軟、Oracle三巨頭格局，那也是商業(yè)數(shù)據(jù)庫的時代。

2000年以后，互聯(lián)網(wǎng)和云計算技術(shù)變革為數(shù)據(jù)庫技術(shù)帶來了“釜底抽薪”的底層計算系統(tǒng)變化，帶來了以開源、分布式和云計算為主導(dǎo)的新數(shù)據(jù)庫時代。

2018年10月，阿里云第一次出現(xiàn)在Gartner全球數(shù)據(jù)庫魔力象限（包括傳統(tǒng)和云數(shù)據(jù)庫市場份額）。第二年，阿里云就成為最接近“領(lǐng)導(dǎo)者”象限的“挑戰(zhàn)者”，整個市場呈現(xiàn)7強(qiáng)格局：微軟、Oracle、SAP、AWS、Google、IBM和阿里云。

在數(shù)據(jù)量很少的時候（百GB），傳統(tǒng)的數(shù)據(jù)庫如SQLServer、Oracel、DB2等可以完成大多數(shù)場景對數(shù)據(jù)管理的要求。但隨著數(shù)據(jù)越來越多、負(fù)載越來越高、對數(shù)據(jù)分析的需求開始出現(xiàn)，企業(yè)意識到了商業(yè)數(shù)據(jù)庫的局限性。

這時候云原生數(shù)據(jù)庫廠商開始把商業(yè)數(shù)據(jù)庫以及開源的數(shù)據(jù)庫搬到云上，給客戶以租用的方式提供服務(wù)。云原生數(shù)據(jù)庫更是有目共睹——低成本、免部署運維、高性能、更安全，Gartner預(yù)測，到了2021年，云數(shù)據(jù)庫在整個數(shù)據(jù)庫市場中的占比將首次達(dá)到50%，而到了2023年，75%的數(shù)據(jù)庫都要跑在云平臺之上。

全球頂級科技公司的新一輪數(shù)據(jù)庫“世界大戰(zhàn)”圍繞于此。

Oracle和Microsoft原本以數(shù)據(jù)庫見長，在云時代，兩家公司都在努力從私有環(huán)境部署向云上轉(zhuǎn)型；AWS、Google和阿里云則是在云上取得了成功。逐漸地，抓住了“云機(jī)會”的3A（AWS、Azure、阿里云）和Oracle形成了新的頭部數(shù)據(jù)庫格局。

其中，阿里云PolarDB系列數(shù)據(jù)庫，從2015年項目啟動，經(jīng)過幾年天貓雙11的試煉，已經(jīng)進(jìn)入快速商業(yè)化軌道。也就在昨天，李飛飛向外宣布，PolarDB系列已經(jīng)成為增速最快的云產(chǎn)品之一。

據(jù)了解，最近幾個月這個系列數(shù)據(jù)庫產(chǎn)品同比增速都超過300% 。

04

而云數(shù)據(jù)庫的崛起，其實是整個互聯(lián)網(wǎng)場景變化與趨勢發(fā)展的縮影。

在2004年左右，阿里巴巴尚未涉足云計算，這家“電商公司”當(dāng)時還是數(shù)據(jù)庫的大買主。

“技術(shù)人員們花錢如流水，買得「IOE」（IBM的小型機(jī)、Oracle數(shù)據(jù)庫、EMC存儲設(shè)備）這三家的對口銷售年年升職?！睋?jù)《淘寶技術(shù)這十年》中阿里巴巴技術(shù)人員的回憶，互聯(lián)網(wǎng)實在發(fā)展得太快，很快就超過了IOE的極限，哪怕花錢也無法解決問題。傳統(tǒng)數(shù)據(jù)庫本質(zhì)上是單機(jī)系統(tǒng)，即便做了分庫分表，也無法改變單機(jī)系統(tǒng)的本質(zhì)。

2007年左右，阿里B2B業(yè)務(wù)勢頭正盛，淘寶、支付寶也出現(xiàn)井噴式增長。反應(yīng)遲鈍的傳統(tǒng)軟、硬件供應(yīng)商拿不出解決方案，阿里巴巴需要“自救”。

2008年9月，王堅加盟阿里巴巴集團(tuán)擔(dān)任首席架構(gòu)師，也首次提出去IOE。但這一想法在當(dāng)時被很多人認(rèn)為是天方夜譚。據(jù)了解，在數(shù)據(jù)團(tuán)隊整合的過程中，走了三個主管，剛提起來，一周不到就辭職了。

當(dāng)電商業(yè)務(wù)邏輯變復(fù)雜以后，需要理解Oracle數(shù)據(jù)庫的技術(shù)實現(xiàn)，但無論是請Oracle專家到現(xiàn)場的時間還是成本都無法滿足業(yè)務(wù)要求，于是阿里巴巴從2012、2013年后就開始大規(guī)模使用、定制開源數(shù)據(jù)庫。

這是一個很有意思的現(xiàn)象。當(dāng)今格局中頭部的AWS與阿里云背后，都是電商基因的支撐。雙十一等超大規(guī)模場景，在世界范圍內(nèi)來看都絕無僅有，這也給了中國電商企業(yè)登頂全球基礎(chǔ)軟件技術(shù)領(lǐng)導(dǎo)地位的機(jī)會。

在2019年雙11的交易中，PolarDB數(shù)據(jù)庫處理交易事件的峰值更是達(dá)到了8700萬次/秒。

2011年加入阿里的離哲，現(xiàn)任AnalyticDB等智能分析類數(shù)據(jù)庫業(yè)務(wù)負(fù)責(zé)人，幾乎見證了阿里數(shù)據(jù)庫各種業(yè)務(wù)應(yīng)用和自研階段。

離哲表示：“2012年的時候商家進(jìn)貨很有挑戰(zhàn)。該進(jìn)什么樣的貨，黑色好賣還是白色好賣，商品起什么標(biāo)題……問題很多。我們怎么幫商家解決這些問題？最終這些問題指向了一個數(shù)據(jù)分析和面向未來的趨勢，所以我們開始嘗試用開源技術(shù)做這個功能。”

2013年，離哲團(tuán)隊多次爭取，獲得了一個大數(shù)據(jù)項目，完全把數(shù)據(jù)的分析能力透傳給商家、廣告主，能讓他們?nèi)プ鼍珳?zhǔn)營銷。

從2014年開始，其數(shù)據(jù)分析能力走出了阿里巴巴。

第一個客戶中信21世紀(jì)（也就是后來的阿里健康）面臨的問題上藥物條碼。藥的流通是個很大的問題，藥物真假溯源尤為重要。但如果整體“上云”，這個數(shù)據(jù)量是極大的。

第二個客戶線上打車的業(yè)務(wù)是實時的，除了處理業(yè)務(wù)數(shù)據(jù)，同時由于有紅包功能，整個數(shù)據(jù)分析還需要對抗薅羊毛的黑產(chǎn)和灰產(chǎn)。

日積月累，客戶的數(shù)量越來越多。

“服務(wù)外部的時候我們發(fā)現(xiàn)很多行業(yè)，比如游戲、稅務(wù)，他們都面臨同樣的問題——當(dāng)傳統(tǒng)數(shù)據(jù)量變大的時候怎么用數(shù)據(jù)去賦能業(yè)務(wù)、用數(shù)據(jù)解決業(yè)務(wù)問題。例如游戲行業(yè)里大多數(shù)游戲生命周期都很短，一般6-8個月，怎么在短時間內(nèi)做精準(zhǔn)投放、快速引流并留存用戶讓投入價值最大化?！彪x哲說。

AnalyticDB這類提供智能分析的數(shù)據(jù)倉庫，成為銜接客戶數(shù)據(jù)和大數(shù)據(jù)分析能力的關(guān)鍵組件。而Gartner報告也指出，對于未來的數(shù)據(jù)工程師，數(shù)據(jù)運維工作量會下降30%，智能化的分析能力則會大幅提升。AnalyticDB在復(fù)雜查詢場景比傳統(tǒng)關(guān)系型數(shù)據(jù)庫快10倍以上。

不過，擁抱新的云原生數(shù)據(jù)庫，并不是一件困難的事。國內(nèi)第一位Oracle ACE及Oracle ACE總監(jiān)，云和恩墨創(chuàng)始人蓋國強(qiáng)在三年前就在積極推行云原生框架。

蓋國強(qiáng)團(tuán)隊是國內(nèi)數(shù)據(jù)庫社區(qū)最頂尖的貢獻(xiàn)者之一，他歸納了數(shù)據(jù)庫行業(yè)的幾個重要趨勢：

分布式。彈性伸縮，故障自愈。

智能。智能優(yōu)化，智能運維。

平臺化。用戶可以自己去建所有東西，進(jìn)行統(tǒng)一管理。

軟硬一體。將所有東西集成在一起，讓用戶能夠獲得極致的性能和便利。

云化融合。云上和云下越來越趨于統(tǒng)一。

05

這是一個好時代。

作為云技術(shù)的基礎(chǔ)設(shè)施，數(shù)據(jù)庫成為了新一輪全球科技競賽的必爭之地，也毫無疑問地是企業(yè)進(jìn)一步數(shù)字化、走向更高效率的橋頭堡。

而云的彈性和云的本質(zhì)又讓我們有機(jī)會通過存儲計算分離重新定義數(shù)據(jù)庫。在這條賽道上，全球玩家都是同步起跑。中國巨大的人口基數(shù)帶來了足夠豐富的場景讓數(shù)據(jù)庫的性能能夠得到校驗，新基建所對應(yīng)的數(shù)字化浪潮也正澎湃洶涌。

回到半年之前的那個凌晨，鄭旦團(tuán)隊幾次進(jìn)入艱難讀秒。

深層的原因，是傳統(tǒng)數(shù)據(jù)庫的架構(gòu)限制，這顯示出變化的緊迫性。由于PrestoMall使用傳統(tǒng)數(shù)據(jù)庫架構(gòu)非常簡單，并沒有分離處理實時交易和離線數(shù)據(jù)匯總的業(yè)務(wù)，晚間交易業(yè)務(wù)減少，但數(shù)據(jù)報表仍然在匯總。而一旦進(jìn)入白天，線上交易量增加，遷移的難度提升可想而知。

好在一切順利。凌晨6:10，陪著當(dāng)?shù)乜蛻糌?fù)責(zé)人身邊的項目銷售人員帶來好消息，新的數(shù)據(jù)流可以完全接入PolarDB，除了最后的一些第三方海外郵件服務(wù)外，Oracle數(shù)據(jù)庫上其他服務(wù)全部接入到了PolarDB。

遷移結(jié)束后的12月，PrestoMall順利扛過了雙十二和圣誕兩場大促。幾個月間，PolarDB系列，又順利完成十幾個版本迭代，正在金融、電信、政務(wù)等數(shù)十個不同行業(yè)類型的客戶中部署使用。

數(shù)據(jù)庫的硝煙從未消弭。放到更長的時間線里，一切才剛剛開始。