目前華中科技大學(xué)進(jìn)行的腦科學(xué)研究,第一期數(shù)據(jù)量規(guī)劃就是25個(gè)PB,未來要擴(kuò)大到100PB;一輛達(dá)到L4級別的自動駕駛車輛,一天產(chǎn)生的數(shù)據(jù)就是0.5個(gè)PB,如果有1萬輛這種L4級別的汽車上路,一天就會有超過5000PB的數(shù)據(jù)量產(chǎn)生;而智慧城市場景中的1000路視頻設(shè)備,平均15天就會產(chǎn)生近1個(gè)PB的數(shù)據(jù)。按照一個(gè)城市需要幾萬個(gè)到幾十萬個(gè)視頻設(shè)備來計(jì)算,隨便一個(gè)智慧城市的數(shù)據(jù)存儲就超過蘋果這些手機(jī)巨頭了……
這些只是今天我們能看到的數(shù)據(jù)量,“數(shù)據(jù)采集器的精度,每幾年就會提高一個(gè)數(shù)量級。所以每過兩三年時(shí)間,整個(gè)數(shù)據(jù)就會上一個(gè)數(shù)量級?!崩顺贝鎯Ξa(chǎn)品線總經(jīng)理李輝表示。
不僅如此,5G網(wǎng)絡(luò)高速率、廣連接的特點(diǎn),促使IoT以更快的速度爆發(fā),未來會有更多的終端、采集器聯(lián)入網(wǎng)絡(luò)。IDC數(shù)據(jù)顯示,2025年全球新創(chuàng)建的數(shù)據(jù)將達(dá)到175ZB,如果把這些數(shù)據(jù)全部存在DVD中,那么DVD的高度會是地球至月球距離的23倍,或者環(huán)繞地球整整222圈。
從PB到ZB,傳統(tǒng)數(shù)據(jù)存儲方法顯然已經(jīng)無法應(yīng)對數(shù)據(jù)量的裂變——2019年,新數(shù)據(jù)時(shí)代元年已經(jīng)到來。
需求倒逼存儲迭代,新數(shù)據(jù)時(shí)代降臨
在清華大學(xué)的一個(gè)實(shí)驗(yàn)室里,28臺3500萬像素的高速相機(jī)正對著一只實(shí)驗(yàn)臺上的小鼠,這是一個(gè)極具挑戰(zhàn)的實(shí)驗(yàn)。
當(dāng)給小鼠注入螢光劑后,血液開始循環(huán),實(shí)驗(yàn)隨即開始。此時(shí),28個(gè)鏡頭組成一個(gè)矩陣,以每秒鐘30幀記錄著小鼠血液流動的軌跡,每一幀的記錄都要形成一張大圖,追蹤每一幀里藥物的流動曲線,這樣的連續(xù)拍攝必須72小時(shí)不能間斷。
實(shí)驗(yàn)最大的挑戰(zhàn),要求數(shù)據(jù)必須實(shí)時(shí)在線,絕對不能有任何一點(diǎn)點(diǎn)的阻塞,更不能有宕機(jī)。
一只實(shí)驗(yàn)用小鼠的價(jià)格不菲,而且通常這樣一個(gè)實(shí)驗(yàn)項(xiàng)目要準(zhǔn)備很長時(shí)間。所以說,這是一個(gè)不容有絲毫閃失的項(xiàng)目。這項(xiàng)實(shí)驗(yàn)對數(shù)據(jù)存儲提出了三大挑戰(zhàn):第一是精細(xì)化,每一張照片的顆粒度都非常高;第二是數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性;第三是數(shù)據(jù)的可靠性,絕不能丟失其中任何一幀。在精密甄選后,浪潮分布式存儲AS13000扛住了這項(xiàng)挑戰(zhàn)。
在清華大學(xué)實(shí)驗(yàn)室里的這項(xiàng)應(yīng)用,是新數(shù)據(jù)時(shí)代最典型的應(yīng)用項(xiàng)目。類似的數(shù)據(jù)挑戰(zhàn),在未來將成為常態(tài)。
?
我們無論是步行還是開車,都會在城市的角落發(fā)現(xiàn)越來越多的道路視頻設(shè)備。智慧城市對于道路視頻設(shè)備的分辨率提出了更高要求,這也意味著數(shù)據(jù)量將呈幾何倍數(shù)增長。
在成都市的三環(huán)路,為了高效管理這條主干道的交通狀況,路面各處一共安裝了6000多個(gè)道路視頻設(shè)備,帶來的存儲需求高達(dá)數(shù)百個(gè)PB。存儲系統(tǒng)需要支撐三環(huán)路共計(jì)6000路+的高清視頻設(shè)備,以及每天1億張300~800KB視頻卡口數(shù)據(jù)的存儲量。而浪潮AS13000面向海量非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)混合存儲又一次勝出,通過橫向擴(kuò)展,這臺系統(tǒng)提供了EB級別存儲空間。
如此龐大的數(shù)據(jù)不僅要存儲好,更要管理好。浪潮為分布式存儲平臺AS13000開發(fā)了智能運(yùn)維功能,面對智慧交通海量硬盤管理需求,提供了統(tǒng)一資源存儲管理平臺,其兩周時(shí)間預(yù)測準(zhǔn)確率已經(jīng)達(dá)到85%以上。
這些助力,為成都交管部門帶來了智能化運(yùn)維體驗(yàn)——從以前被動地硬盤發(fā)生故障再進(jìn)行搶救,變成了主動提前預(yù)測,提供足夠時(shí)間窗口對壞盤進(jìn)行數(shù)據(jù)重構(gòu),進(jìn)而讓20PB的存儲“巨無霸”實(shí)現(xiàn)了自動化、智能化運(yùn)維。
在完成存儲、管理的基礎(chǔ)上,運(yùn)營管理者最迫切需要的是從這些數(shù)據(jù)中挖掘價(jià)值。
以智慧交通應(yīng)用為例:從數(shù)據(jù)收集到數(shù)據(jù)挖掘分析的演變過程中,對存儲資源帶來最直接的改變就是讀寫比例發(fā)生巨大變化,從原來的重寫入輕讀取,變?yōu)樽x寫比例5:5,并且對讀取的即時(shí)性提出很高要求。對此,浪潮分布式存儲AS13000提供了三大創(chuàng)新:一是單目錄可以有效支持千萬級的文件,整體支持十億級的文件數(shù)量,;二是擁有元數(shù)據(jù)服務(wù)集群技術(shù),滿足了海量小文件的快速檢索需求;三是基于分級存儲,使用SSD建立一級存儲,熱數(shù)據(jù)的IO速率提升了10倍。
可以說,也只有這樣的極速性能,才能滿足智慧交通每天上億圖片的違章識別AI新應(yīng)用的爆發(fā)式需求。
浪潮分布式存儲平臺在成都三環(huán)路的指揮交通項(xiàng)目中起到了關(guān)鍵作用,目前車輛管控效率提升了500%,違章行為糾察中減少了80%的人力,三環(huán)路智能交通管控系統(tǒng)延時(shí)降低了3倍,交通流量效率提升了15%。這些改變有效疏導(dǎo)了交通狀況,緩解了城市交通壓力。
從小鼠到成都三環(huán)路的眾多案例中,我們可以看到數(shù)據(jù)的“存——管——用”三大核心步驟都對存儲設(shè)備提出了新的要求。這樣的需求正在越來越多的應(yīng)用場景中呈爆發(fā)式增長。
根據(jù)IDC全球數(shù)據(jù)圈報(bào)告顯示,目前能夠存儲下來的數(shù)據(jù)只有1%左右,其中真正挖掘出價(jià)值的數(shù)據(jù)量不足存儲數(shù)據(jù)的10%。這也就意味著還有巨大的市場空間需要填補(bǔ)。傳統(tǒng)的存儲解決方案,已經(jīng)無法適應(yīng)今天數(shù)據(jù)快速的增長,以及數(shù)據(jù)價(jià)值挖掘的巨大需求。
顯然,需求倒逼著存儲市場的迭代,新數(shù)據(jù)時(shí)代已經(jīng)來臨。
每一個(gè)人都被數(shù)據(jù)包圍,數(shù)據(jù)淘金時(shí)代開啟
新技術(shù)、新應(yīng)用驅(qū)動了新數(shù)據(jù)時(shí)代的到來,這并非偶然。
在IDC與浪潮聯(lián)合發(fā)布的《2019年數(shù)據(jù)及存儲發(fā)展研究報(bào)告》(以下簡稱《報(bào)告》)中可以發(fā)現(xiàn),2019年企業(yè)數(shù)字化轉(zhuǎn)型IT支出首次超過非數(shù)字化IT支出。IDC稱之為企業(yè)數(shù)字化轉(zhuǎn)型拐點(diǎn)——開啟新數(shù)據(jù)時(shí)代元年。
“51%是一個(gè)突破,標(biāo)志著IT領(lǐng)域進(jìn)入了一個(gè)數(shù)字化為主的一個(gè)時(shí)代。” IDC企業(yè)研究部助理副總裁周震剛告訴懂懂筆記,這個(gè)數(shù)字在全球的平均值為37%,而中國、美國因?yàn)榛ヂ?lián)網(wǎng)化的應(yīng)用發(fā)展迅猛,明顯高于全球平均水平,已經(jīng)提前進(jìn)入新數(shù)據(jù)時(shí)代。
?
浪潮李輝對“新數(shù)據(jù)時(shí)代”也有自己的理解。他認(rèn)為傳統(tǒng)的IT解決了連接,以及簡單記錄數(shù)據(jù)的需求。而現(xiàn)在的IT核心都是圍繞數(shù)據(jù)去做更多智能化的應(yīng)用。
例如,手機(jī)、家電、智能工廠、自動駕駛汽車……都安裝了大量的傳感器來采集數(shù)據(jù)。采集這些數(shù)據(jù)之后需要存儲、清洗,數(shù)據(jù)處理需要的IT支出,以及后續(xù)圍繞這些數(shù)據(jù)展開的經(jīng)營活動、管理活動,所有投資都是數(shù)字化轉(zhuǎn)型的IT支出。
凝練為一句話就是:“這些投資都是為了數(shù)字化轉(zhuǎn)型,為了在數(shù)據(jù)里淘金。”李輝強(qiáng)調(diào),新數(shù)據(jù)時(shí)代也是數(shù)據(jù)淘金時(shí)代的開始。
“這個(gè)轉(zhuǎn)折點(diǎn)的意義在于,每一個(gè)人都會感受到數(shù)字化對他們生活的影響,無論是購物、出行、吃飯、工作……”李輝解釋道。今天的用戶會有一個(gè)明顯的感覺:無論在哪個(gè)場景里都會發(fā)現(xiàn)數(shù)字化的東西:一位70歲的老奶奶去醫(yī)院看病,現(xiàn)在也要拿著一張卡片在自助機(jī)前掛號、繳費(fèi)、打印化驗(yàn)結(jié)果;一位山村小鎮(zhèn)的年輕人可以整天抱著手機(jī)打游戲、看快手、購物;一個(gè)小學(xué)生無論是學(xué)校的作業(yè),還是課外輔導(dǎo)課,也都離不開PC和Pad……
在數(shù)據(jù)里淘金,首先依賴于數(shù)據(jù)。每一個(gè)人、每一件物或者每一件事情都會被數(shù)據(jù)記錄,然后再被數(shù)據(jù)所影響。未來的企業(yè)將更加重視如何挖掘數(shù)據(jù)價(jià)值,并以此提供優(yōu)質(zhì)的產(chǎn)品和服務(wù),以數(shù)據(jù)作為最重要的資源的新數(shù)據(jù)時(shí)代已經(jīng)來臨。
在《報(bào)告》中,可以看到很多新數(shù)據(jù)時(shí)代的變化趨勢,總結(jié)一下可以歸納出四大特征:新數(shù)據(jù)形態(tài)(海量、多元和非結(jié)構(gòu)化成數(shù)據(jù)常態(tài))、新部署環(huán)境(基礎(chǔ)架構(gòu)向云-邊-端演進(jìn),多云、數(shù)據(jù)管理成為企業(yè)關(guān)注重點(diǎn))、新應(yīng)用模式(應(yīng)用場景逐漸細(xì)分,個(gè)性化存儲解決方案需求上升)以及新價(jià)值需求(創(chuàng)新存儲技術(shù)和架構(gòu)將助力數(shù)據(jù)價(jià)值釋放)。
那么,存儲作為新數(shù)據(jù)的載體,也變得更加重要。新數(shù)據(jù)時(shí)代對新存儲提出了新的要求,比如閃存陣列成為關(guān)鍵業(yè)務(wù)首選,分布式平臺是新趨勢,多云環(huán)境下提升存儲可用性,存儲同樣進(jìn)入了智慧運(yùn)維時(shí)代。
穿越技術(shù)周期,新數(shù)據(jù)時(shí)代的中國力量
“在過去傳統(tǒng)的存儲架構(gòu)上,國外廠商的優(yōu)勢還是比較明顯的。但是今天,國內(nèi)廠商與他們已經(jīng)站在同一個(gè)起跑線上。因?yàn)檎麄€(gè)應(yīng)用模式跟過去完全不一樣,大家都是從頭開始。”IDC周震剛認(rèn)為,浪潮等中國IT企業(yè)在新數(shù)據(jù)時(shí)代已經(jīng)跑在全球前列?!捌鋵?shí)相對新數(shù)據(jù)時(shí)代,中國因?yàn)榛ヂ?lián)網(wǎng)行業(yè)發(fā)展迅猛,同時(shí)浪潮這樣的科技企業(yè)與互聯(lián)網(wǎng)公司合作也非常緊密,因此在這方面的積累反而跑在了別人前面。我覺得未來中國企業(yè)還是會有很多相對來說更好的機(jī)會?!?/p>
浪潮大約在2000年開始投入企業(yè)存儲的相關(guān)研發(fā),彼時(shí)國外企業(yè)已經(jīng)擁有相當(dāng)成熟的技術(shù)。“那時(shí)候我們沒有太多核心技術(shù),存儲又是技術(shù)門檻比較高的領(lǐng)域。但我們清楚,這是一個(gè)長期戰(zhàn)略,我們必須堅(jiān)定不移地去投資,去掌握存儲領(lǐng)域里面的全套技術(shù)。”李輝說道。
這個(gè)“長期”真的非常不容易。首先浪潮、華為這樣的中國企業(yè)幾乎是零基礎(chǔ)開始,沒技術(shù)沒客戶,必須要忍耐很長時(shí)間沒有任何回報(bào)的投資過程。而前面的巨頭有技術(shù)、有資金、有客戶,技術(shù)也在不斷更新,一直處于領(lǐng)跑的位置,追趕絕非一蹴而就。
同時(shí),IT技術(shù)變化非???,這導(dǎo)致存儲技術(shù)也在不斷迭代,“我們這個(gè)長期投入的戰(zhàn)略穿越了很多個(gè)技術(shù)周期?!憋@然,這對浪潮的研發(fā)也是巨大的挑戰(zhàn)。
多年來,浪潮積累了一流的存儲研發(fā)團(tuán)隊(duì),在浪潮集團(tuán)的五個(gè)研發(fā)中心構(gòu)建了千人級研發(fā)團(tuán)隊(duì),并且有六個(gè)國家級研究機(jī)構(gòu)一起支撐存儲研發(fā)工作。
另外,浪潮也一直在積極參與核心存儲產(chǎn)業(yè)技術(shù)組織,是存儲產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟理事長單位,也是海量存儲標(biāo)準(zhǔn)委員會成員。近年來,浪潮積極參與國家存儲領(lǐng)域的標(biāo)準(zhǔn)制定,主導(dǎo)了國內(nèi)存儲領(lǐng)域三個(gè)最基本的、最核心的存儲國家標(biāo)準(zhǔn),包括磁盤陣列標(biāo)準(zhǔn)、網(wǎng)絡(luò)存儲和備份存儲標(biāo)準(zhǔn)。在這些過程中,浪潮同時(shí)積累了相當(dāng)多的發(fā)明專利。
數(shù)據(jù)應(yīng)用最重要的幾個(gè)領(lǐng)域,例如管命的地方(醫(yī)院)、管錢的地方(銀行)、管數(shù)的地方(運(yùn)營商),這些行業(yè)對存儲的要求極高,浪潮的存儲設(shè)備已經(jīng)在上述領(lǐng)域被大量使用。
除了技術(shù)上的長期積累、厚積薄發(fā),中國廠商還擁有一個(gè)絕好的機(jī)遇:中國互聯(lián)網(wǎng)的快速發(fā)展,給了他們一個(gè)彎道超車的機(jī)會。中國互聯(lián)網(wǎng)發(fā)展在全球都處于領(lǐng)先地位,很多創(chuàng)新的應(yīng)用都來自于中國,特別是在移動互聯(lián)網(wǎng)、AI這些新的方向,中國也跑在了前面。與此同時(shí),浪潮也跟著客戶一起跑在了技術(shù)的潮頭。
比如中國移動正在推進(jìn)的“大云戰(zhàn)略”,演進(jìn)目標(biāo)就是把所有的通訊基礎(chǔ)設(shè)施當(dāng)中的存儲設(shè)備,從原來的架構(gòu)換成分布式架構(gòu),這在新數(shù)據(jù)時(shí)代就是浪潮這些中國廠商的機(jī)遇。
可以說,經(jīng)過近二十年的投入與追趕,新數(shù)據(jù)時(shí)代的到來,給浪潮這樣的中國IT企業(yè)一個(gè)領(lǐng)跑下一階段的絕佳機(jī)會。
當(dāng)下的存儲市場是一個(gè)轉(zhuǎn)折點(diǎn),在數(shù)據(jù)淘金時(shí)代,中國廠商將成為真正的主角。
——————————————————————————————————
微信關(guān)注公眾號“懂懂筆記”每天第一時(shí)間為您奉上最新最熱的科技圈資訊~
多年財(cái)經(jīng)媒體經(jīng)歷,業(yè)內(nèi)資深分析人士,圈中好友眾多,信息豐富,觀點(diǎn)獨(dú)到。
發(fā)布各大自媒體平臺,覆蓋百萬讀者。
《小米生態(tài)鏈戰(zhàn)地筆記》、《微信思維》、《微信力量》三本暢銷書的作者。
請登錄以參與評論
現(xiàn)在登錄