數據普惠，是數據基礎設施的使命。

2023年，在馬云提出“人類正從IT時代走向DT時代”的9年之后，以ChatGPT為代表的人工智能應用涌現，讓數據這個沒有新鮮事的低調賽道再度卷起浪花。

【資料圖】

業內公認，數據是AI大模型的基礎。與之相呼應的，為杜絕“垃圾進、垃圾出”，承擔數據存儲、處理、服務、安全等重要職責的數據基礎設施正式走到臺前——融合數據資產與AI模型的差異化競爭尚未開戰，誰都不想在數據基建環節就敗下陣來。

然而，數據基礎設施究竟怎么建，誰又能提供更適合“中國企業體質”的數據基建？這是諸多企業數字化轉型多年，依舊在探索而難解的問題。

觀望與探索，在“小馬過河”之前

回到2014，在定調“DT時代”的同一場活動上，馬云直言“阿里巴巴是大數據的紅利獲利者”。

所謂大數據的“紅利”，本質是通過數據看清無數事務與復雜關聯背后的“真相”，依托數據支持科學的管理決策，引領高質量發展。進一步，轉化為智能算法，指導機器自動做出千萬種精細化的行動，例如，提供千人千面的個性體驗。

幾乎同期，推薦算法一躍成為阿里存算資源的頭號消耗大戶；阿里有50%的服務器不再處理任何事務，而僅僅用于處理數據，也恰恰從系統層面印證了這一點。

從“看數據”、“用數據”到“數據智能”，哪怕放眼全球，阿里都做出了絕佳表率，生動詮釋著數據給互聯網商業帶來的飛躍和無限可能性。

然而，面對大廠們美好的標桿實踐，更多非“數據原生”的企業依舊選擇冷靜觀望。

“我們小小的港灣，停不下那樣龐大的航空母艦。”業內幾起數據底層建設“翻車”案例發生后，一家快消品牌商的CIO在接受媒體采訪時表示，照搬大廠做法容易“水土不服”，其根本原因或出在數據基礎設施建設成本高，而未能想清究竟要拿數據做什么，經不起無限試錯，也等不起“十月懷胎、一朝分娩”。

盤點從數據生產到消費的全鏈路，可以簡單粗暴地切分為兩個部分：

上層，即數據應用，包括BI、數據可視化以及數據挖掘等等，能面向數據分析師甚至毫無技術儲備的業務人員和經營管理者，讓他們高效地調取和使用所需數據。

在各顯神通的數據應用之下，是數據基礎設施，通常由存儲層（涉及云存儲、分布式文件系統等）、數據處理層（包括流批圖計算引擎等）、數據查詢與分析層、人工智能層（提供算法訓練、機器學習的技術基礎）構成。上述架構無法孤立存在，而由一套數據云平臺進行統一調度管理，確保數據從生產到消費全流程可用、可控、安全。

理想狀態下，一套完善的數據基礎設施中，應由數據云平臺承擔起“數據的操作系統”的重任——向下封裝底層多技術、多依賴的復雜性，向上以API的方式供給數據能力，幫助業務快速搭建所需的數據應用，類似于基于iOS開發APP。

“現實根本沒有像Windows、Mac OS那樣好用的‘數據的操作系統’，企業必須直面混亂、復雜、深奧的底層。”一位信息化咨詢出身、有十余年IT經驗的資深從業者表示，這往往也是企業從IT走向DT、進行數據基礎設施建設的難度所在。

在2015-2018年左右的探索期，相較于投入基礎建設、苦苦摸索艱深的底層數據技術，模仿互聯網大廠在消費者域的做法顯然更聰明：依托APP、小程序、官網等在線手段，構建單個場景的數據閉環，實現小場景的“業務數據化”，從“拍腦袋”到有數據支持，增長肉眼可見。

談及數字化小場景閉環帶來的增長，一家自2017年起就采用UBA（用戶行為分析）提升私域渠道流量轉化的地產集團運營總監談道：“這些數據創新實踐就像望遠鏡，打開了DT時代的窗口。你不需要造宇宙飛船登月，也能看到、感知到數據的價值。”

同期，數據賽道創業潮涌現，從BI、用戶行為分析、推薦引擎，到CDP、數據中臺，百花齊放，為企業提供數據技術產品和解決方案的支持。這其中，越貼近業務、越能找到明星場景的廠商越受歡迎。

至于數據基礎設施建設，待遇則與十幾年前的ERP頗有幾分相似，“上ERP找死，不上ERP等死”。

既然有不少BI和數據應用已經包攬了數據存算的部分基礎能力，既然定期從業務系統里手動抽數、手工做Excel報表還能堅持一段時間，這個動輒數十數百萬預算的“龐然大物”也還有等的空間，何不再等一等呢？

水面之下，數據基建進行時

等待對手造出更多標桿實踐再模仿，約等于把領先的機會拱手讓人。事實上，在尚且可控的成本范圍內，已有少數企業躬身入局數據基建。

2016年起，一家以飲料為主營業務的中國本土零售集團開始著手搭建數據基礎設施。從傳統數倉、自建大數據平臺到數據云平臺，摸爬滾打歷經3個階段，他們走出了一條與阿里們不完全相同、之于傳統行業卻極具代表性的道路。

最初，集團選擇與國際頭部基礎軟件公司SAP合作，引入SAP HANA（一款以“高性能數據查詢分析”為賣點的內存計算平臺），來滿足對業務數據的查詢與分析需求。

然而，伴隨數據量的增長，用于匹配SAP HANA的專有硬件開銷也在飆升。當數據量超過1T，甚至會出現“燒錢都解決不了”的問題——受技術架構所限，查詢分析已無法靠增加節點來提速，報表產出極為困難。看數據雖好，卻變成一件無比奢侈的事。集團開始尋求新的解法。

2019年前后，Hadoop風靡國內大數據技術圈。采用分布式基礎架構的Hadoop擁有優秀的并行處理和擴展能力。不同于HANA，Hadoop如果要“加量”，只需增加普通的服務器成本，而無需為高昂的專有硬件“加價”，直接打破了以SAP HANA、Teradata為代表的傳統數倉在海量數據場景所面臨的困境。

和彼時自有IT團隊的大型企業做法類似，這家零售集團選擇轉向利用開源Hadoop技術，自建大數據平臺。

從直接外采到自建平臺，在數據基礎設施建設上堅持投入了3年，集團數科公司的數據總監直言，“當時并沒有想太多。一個是不希望被彎道超車，另一個，我們真的需要看數據。所以從沒想過什么‘爛尾’放棄。”

在自建平臺約1年后，“復雜性”接連襲來，挑戰層出不窮。

“我們嘗試了很多方式來應對各種需求，解決了一個問題，又冒出一個問題。最終也導致數據平臺里有很多煙囪式的建設，運維無以為繼。”該總監說，譬如離線計算、實時計算、即席查詢各立一條“航道”，存算資源明顯有浪費，但不知如何優化；開源組件迭代快，學習成本高；缺少穩定的調度能力，導致數據作業不穩定，報表產出延時。

評估團隊長期投入及成果預期后，2021年初，這家集團再度選擇外采，與數據云廠商奇點云合作，依托數據云平臺產品DataSimba，逐步完成了自身數據基礎設施的升級，借助商業化產品解決種種“疑難雜癥”。基于數據云平臺，集團數科公司還自主將數據能力從銷售域復制到了生產域、業財域。

“在DataSimba的背后，有一支成熟的外部團隊在幫我們迭代，把最新的大數據技術和成熟的業內實踐裝進我們的基礎設施。”集團數據總監補充道，“可見的提效是原本30分鐘都產不出的TB級數據復雜分析，現在只需要秒級，真正響應科學經營管理的需要。而更多不可見的（價值）是，減少重復造輪子，平臺設計能應對靈活多變的業務和數據分析需求。”

據奇點云CTO地雷介紹，許多企業都在經歷這家零售集團過去發生的故事，需要從傳統數倉轉向數據云，或曾自建過數據平臺，尋求數據技術棧的升級。而企業客戶之所以從自建轉向采購商業化的數據基礎軟件，除了對產品功能、性能及自主可控程度的評估，往往還有可持續性、可服務性及安全性的考量。

數據云科技廠商奇點云成立于2016年，堅持“平臺+應用”模式，為企業提供自主可控的數據基礎設施（數據云）與多樣化的數據應用（分析云）。其中，數據基礎設施更為通用，主要發力在平臺性能、功能、安全等維度，封裝底層技術復雜性；上層則針對品牌零售、智能制造等行業研發了豐富的數據應用和模型。

奇點云創始人、CEO行在是在大數據領域摸爬滾打二十多年的老兵，曾完整親歷阿里大數據之路。他坦言，在奇點云創業初期，確實只有極少數客戶愿意投入數據基礎設施建設，往往必須采取“基建+場景”的方式，以明星場景為切口，“無感植入”數據基建，到二期、三期再做能力擴展。而自2020、2021年以來，行在明顯感受到“做數據基建找死”的風聲發生了變化，企業數據基礎設施建設的需求在持續上漲。

需求的一面，是基礎設施能提供的全局數據能力實在誘人，數字化轉型程度越深的企業，越希望盡快掌握；另一面，是生產業務的需要和種種數據問題倒逼：

? 數據分散在數百個IT系統和業務流程中，缺乏統一的管理和治理，各說各話；

? 煙囪式的數據應用建設加劇了數據孤島，需要打通構建企業視角的數據資產，同時保障各個單元的數據安全；

? 基于單個小閉環構建的數據管理和應用能力，無法適應快速變化、日益復雜的業務場景，反而陷入重復建設中，需要可復用的數據能力；

? 數據量激增，復雜異構的數據、實時的分析需求、高昂的存算消耗不斷提出技術難題，亟需構建性能強大的數據底座，但成本越低越好。

做不好數據基建，可能真得“等死”。

深入海底，“普惠”是數據基礎設施的使命

2020年，數據被國家列為五大生產要素之一。站在生產要素的視角看，企業搭建數據基礎設施，消解底層的復雜性、統一向外提供數據能力和服務，對于數據要素的長遠管理、利用、配置和流通而言，無疑是更為經濟和聰明的方式。

與交通、能源等國家級基礎設施類似，企業級的數據基礎設施建設同樣能產生明顯的“乘數效應”：倍增的不僅是企業所擁有的數據，更是能被企業所使用的數據，能產生價值的數據。

而與國家級基礎設施不同的是，企業級數據基礎設施無法“集中（公共）力量辦大事”，往往更依賴企業自身的投入與服務商的能力。

一方面，邁向DT時代的企業必須更舍得在數據基建的投入，像投入設計研發、產線改造、供應鏈升級那樣，數據應得到核心資產同等程度的重視；

另一方面，降低“門檻”亦值得關注——通過專業技術持續提升數據基礎軟件的易用性和開放性，同時優化存算成本，讓數據基建不再是少數派的“航空母艦”。

“推動數據普惠，是數據基礎設施的使命。”

地雷介紹，除了智能安全算法、可觀測元倉模型、指標工廠等亮眼的能力，數據云更多的技術攻關發生在“水面之下”，甚至已潛入“海底的無人之境”，比如優化引擎內核，或深入到java虛擬機層面，就是為了竭盡所能，降低客戶使用數據的門檻。

奇點云的數據云產品體系

以多引擎混合調度的場景為例，為應對不同的數據查詢和分析場景，企業往往需要用到流、批、圖、時序等不同引擎。這些引擎如果各自分立，在維護困難的同時，也導致了資源浪費。

基于全容器化、多模態統一計算框架等技術，奇點云提出“大規模多引擎混合調度技術”，在數據云平臺DataSimba中支持混合引擎調度，能根據業務負載自動調整容器資源的使用情況。

“就像‘潮汐車道’一樣，可以分時段按需跑不同引擎，幾乎不需要人工干預，提高任務執行效率，降低系統負載。”地雷介紹，相較傳統的煙囪式建設，潮汐調度的方式通常能幫助企業節約30%以上的資源。

得益于大規模多引擎混合調度技術，海量數據、多端來源的OneID融合分析也成為可能。

一家旗下有近5000個營銷服務網點的金融集團數據平臺負責人透露：“我們數據體量大、ID類型多、ID關系復雜，加上對存量和增量數據的考量，采用傳統方案不光成本極高，也是不現實且不可靠的。”

在多引擎混合調度技術框架下，奇點云采用“流批圖一體”架構，確保在計算性能、復雜場景計算及可解釋性上均具備優勢，從而支撐中國企業特有的、海量數據多端來源的OneID融合分析場景。

“我們打通了100多個端的億級用戶數據，并落地OneID，相比傳統方案，壓縮比達30%以上，計算時間節省了至少50%，測試用例通過率達到100%。”平臺負責人介紹。

又如“多租戶”，這個場景天然為了資源利用最大化而生。企業的數據團隊作為“平臺”，理應通過多租戶的方式服務更多部門、BU，合理優化資源利用，也免去他們自行運管基礎設施的煩惱。然而囿于數據安全隱患的考量，很多企業寧愿多付出資源，也不敢冒險。

為此，奇點云推出“數據平臺的多租戶安全和資源隔離技術”，通過雙層身份認證、雙層權限校驗、雙層存儲加密，來保證租戶資源的強邏輯隔離與數據安全。在多個數據團隊互不搶占資源的同時，相較傳統方案，更節約了50%的大數據集群計算節點。同時，通過動態的權限管控，支持租戶間數據安全共享，而無需數據遷移成本。

數據云作為基礎設施，已深入到越來越多企業生產甚至整個產業的運轉環節。為保證它的可靠、可用、可服務，廠商往往會采用“堆機器”的方式，這背后有一個簡單的邏輯：備份越多，冗余越多，系統故障后的補救空間就越大——可以拿副本頂上。

對此，地雷的觀點卻有幾分“反常識”：“作為獨立第三方，我們有義務幫助客戶盡可能優化資源成本。”

奇點云基于微服務體系、全容器化等技術，在保障“RAS”（即可靠性、可用性、可服務性）的前提下，不斷壓縮數據云部署的最小節點數。部署包括數據云平臺DataSimba、數據存算引擎DataKun、數據安全引擎DataBlack在內的全套數據云產品，最小節點數從11臺降至6臺，并仍在持續優化。這意味著有更多企業能花更低的軟硬件成本，完成數據基礎設施建設。

2023年5月，奇點云正式發布了“云數倉”版本的DataSimba Cloud，進一步提供更高性價比的“輕量級”云上數據基礎設施體驗。

“這些水面之下踏踏實實的技術攻關，用行動證明了我們和客戶站在一起。”行在說。

據悉，2023年剛剛過半，奇點云的數據云產品銷售成績就已遠優于往年，其中，除了持續復購的老客戶，也多了不少來自制造、金融行業的新面孔。這種“雙向奔赴”或許正是行在、地雷和他的團隊潛心投入基礎設施技術研發的底氣。

面向數據時代的“軍備競賽”，究竟在比什么？

過去“能不能直接把你服務的頭部企業數據給我”的誤解，已經成為坊間笑談。“數字化轉型沒有標桿案例”的論斷，也一次又一次被低調的先行者們用實踐證偽。從滿足于單點數據應用的閉環，到縱身躍入底層數據基礎設施建設，企業的耐心來自于亟待解決的數據痛點和對規模化發揮海量數據價值的希冀，也與國內數據基礎軟件廠商們為“數據普惠”的不懈努力密不可分。

有數據顯示，在美國一次機構調查中，受訪企業里設CDO職位的比例，從2012年的12%已經提升至2021年的65%。而在中國，這個比例目前還不到5%。

當AI的風裹挾著數據技術的浪潮一同襲來，毫無疑問，擁有數據基礎設施和獨有數據資產的企業，能搶先結合AI模型能力，建立起自己的競爭優勢。

好在奇點只是臨近，對于那些習慣等待的企業來說，還有足夠的時間補齊短板。

關鍵詞：