數(shù)據(jù)運(yùn)行時(shí)如何保證快穩(wěn)準(zhǔn)？規(guī)范在前、開(kāi)發(fā)在后、實(shí)時(shí)運(yùn)維、有的治理。

采訪嘉賓｜梅容，明源云天際·PaaS 平臺(tái)數(shù)據(jù)云事業(yè)部產(chǎn)品負(fù)責(zé)人

“數(shù)據(jù)”是新的生產(chǎn)要素已成為共識(shí)，而要挖掘數(shù)據(jù)價(jià)值，就繞不過(guò)數(shù)據(jù)管理。在數(shù)據(jù)管理層面，近幾年業(yè)界有一個(gè)相關(guān)概念受到廣泛關(guān)注——DataOps。

DataOps 的概念自首次被提出至今已有 8 年，并在 2018 年被 Gartner 納入數(shù)據(jù)管理技術(shù)成熟度曲線。從實(shí)施上看，當(dāng)下 DataOps 仍處在發(fā)展初期，鮮少企業(yè)或團(tuán)隊(duì)能據(jù)此真正沉淀一套方法論或技術(shù)產(chǎn)品的體系。不過(guò)，隨著越來(lái)越多的企業(yè)開(kāi)啟 DataOps 實(shí)踐，相信令人“霧里看花”的 DataOps 方法體系也會(huì)逐漸明朗起來(lái)。

明源云是其中一個(gè)探索者，過(guò)去 25 年，明源云的數(shù)字化服務(wù)主要聚焦在住宅開(kāi)發(fā)領(lǐng)域。隨著房地產(chǎn)行業(yè)從過(guò)去的紅利時(shí)代急轉(zhuǎn)進(jìn)入混沌時(shí)代，不少企業(yè)開(kāi)始紛紛布局存量市場(chǎng)，并注重精細(xì)化管理，明源云的下一步業(yè)務(wù)戰(zhàn)略正是沿著不動(dòng)產(chǎn)的產(chǎn)業(yè)數(shù)字化方向擴(kuò)展。不動(dòng)產(chǎn)企業(yè)的發(fā)展戰(zhàn)略趨向多元化，對(duì)于經(jīng)營(yíng)決策、運(yùn)營(yíng)服務(wù)等的需求越來(lái)越迫切，同時(shí)，明源云意識(shí)到，在企業(yè)經(jīng)營(yíng)管理戰(zhàn)略上，如果數(shù)據(jù)不能保證及時(shí)和準(zhǔn)確，數(shù)字化價(jià)值則會(huì)大打折扣。為此，過(guò)去幾年在業(yè)務(wù)發(fā)展路徑和客戶數(shù)字化訴求的驅(qū)動(dòng)下，明源云持續(xù)結(jié)合 DataOps 實(shí)踐、探索數(shù)據(jù)治理體系的落地。近期我們與明源云天際·PaaS 平臺(tái)數(shù)據(jù)云事業(yè)部產(chǎn)品負(fù)責(zé)人梅容進(jìn)行了一次交流，以進(jìn)一步了解明源云 DataOps 的實(shí)踐過(guò)程、從中收獲的經(jīng)驗(yàn)和認(rèn)知。

什么是 DataOps？

關(guān)于 DataOps，一個(gè)常見(jiàn)的基本問(wèn)題是，DataOps 和 DevOps 有什么關(guān)系和區(qū)別？

2021 年，Gartner 發(fā)布的“十大數(shù)據(jù)和分析技術(shù)趨勢(shì)”中有一項(xiàng)是“XOps”，Gartner 研究總監(jiān)孫鑫對(duì)此解讀道：

現(xiàn)在的分析和 AI 解決方案沒(méi)有跟上日益增長(zhǎng)的實(shí)踐的多樣性，其原因在于應(yīng)用當(dāng)中的 DevOps 的最佳實(shí)踐的多個(gè) Ops 學(xué)科，大家可以看到的有 DataOps、ModelOps 以及 DevOps，造成了市場(chǎng)的混亂，所以 Gartner 把它叫做 XOps。

無(wú)論是什么 Ops，它的目標(biāo)都是利用 DevOps 的最佳實(shí)踐去實(shí)現(xiàn)效率和規(guī)模經(jīng)濟(jì)，并確保可靠性、可重用性和可重復(fù)性，同時(shí)減少技術(shù)和流程的重復(fù)，從而實(shí)現(xiàn)自動(dòng)化。

同樣地，明源云的 DataOps 實(shí)踐也是基于 Devops 衍生而來(lái)?！皩?DevOps 中使用的 CI/CD 理念應(yīng)用于 DataOps，實(shí)現(xiàn)數(shù)據(jù)橫縱鏈路上的自動(dòng)化和自主管理?！泵啡荼硎荆珼ataOps 是數(shù)據(jù)管理的工具化和自動(dòng)化的方法體系，將數(shù)據(jù)的需求設(shè)計(jì)、研發(fā)實(shí)現(xiàn)、發(fā)布運(yùn)行、交付運(yùn)維等關(guān)鍵流程自動(dòng)化，從而提高對(duì)業(yè)務(wù)場(chǎng)景的價(jià)值，其同樣需要將標(biāo)準(zhǔn)、流程、機(jī)制、組織和技術(shù)融合落地。

今天，企業(yè)在構(gòu)建數(shù)據(jù)資產(chǎn)的過(guò)程中離不開(kāi)數(shù)據(jù)治理，但在梅容團(tuán)隊(duì)看來(lái)，數(shù)據(jù)治理是方法論，它能指導(dǎo)大家怎么去把數(shù)據(jù)治理得準(zhǔn)確和穩(wěn)定，但它沒(méi)有辦法負(fù)責(zé)數(shù)據(jù)運(yùn)行時(shí)的及時(shí)、穩(wěn)定和準(zhǔn)確。因此其引入的 DataOps 會(huì)更偏向“運(yùn)行態(tài)”，并在數(shù)據(jù)應(yīng)用的整個(gè)流程體系進(jìn)行探索和實(shí)踐。

DataOps 的探索與實(shí)踐

2017 年，某個(gè)頭部地產(chǎn)客戶的數(shù)據(jù)治理和 BI 項(xiàng)目讓明源云意識(shí)到一個(gè)迫切待解的問(wèn)題：如何保證持續(xù)穩(wěn)定的數(shù)據(jù)質(zhì)量？

當(dāng)時(shí)，團(tuán)隊(duì)在快速兌現(xiàn)了該客戶預(yù)期的數(shù)據(jù)指標(biāo)體系和管理看板后，在交付過(guò)程中卻經(jīng)常收到來(lái)自用戶的反饋——數(shù)據(jù)錯(cuò)誤影響業(yè)務(wù)使用。

團(tuán)隊(duì)在排查問(wèn)題后發(fā)現(xiàn)是數(shù)據(jù)在定期清洗過(guò)程中，經(jīng)常出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，其中既有來(lái)自業(yè)務(wù)的影響，如：數(shù)據(jù)來(lái)源的業(yè)務(wù)系統(tǒng)不規(guī)范的更新表結(jié)構(gòu)；數(shù)據(jù)口徑不一致，同一個(gè)指標(biāo)數(shù)據(jù)在不同的業(yè)務(wù)系統(tǒng)有不同的表述；數(shù)據(jù)填報(bào)不規(guī)范等。

也有技術(shù)問(wèn)題帶來(lái)的影響，如 ETL 過(guò)程中某字段變更導(dǎo)致數(shù)據(jù)加工出錯(cuò)，數(shù)據(jù)處理引擎突發(fā)數(shù)據(jù)變更峰值造成鏈路阻塞，系統(tǒng)服務(wù)出現(xiàn)異常導(dǎo)致調(diào)度任務(wù)執(zhí)行失敗等。

當(dāng)時(shí)的 BI 產(chǎn)品只能檢測(cè)到系統(tǒng)里面的數(shù)據(jù)有沒(méi)有出問(wèn)題，其清洗和運(yùn)行服務(wù)是不是正常，但是沒(méi)有辦法覆蓋到數(shù)據(jù)產(chǎn)生端的異常問(wèn)題。在這樣的背景下，團(tuán)隊(duì)提出了“全鏈路的數(shù)據(jù)巡檢監(jiān)控和預(yù)警”機(jī)制。它可以回溯到數(shù)據(jù)產(chǎn)生的業(yè)務(wù)源、在工具里面對(duì)數(shù)據(jù)進(jìn)行加工的清洗過(guò)程，再回溯到 BI 里面，把每一端的巡檢來(lái)串聯(lián)起來(lái)，通過(guò) OLTP 邏輯去判斷最后呈現(xiàn)的數(shù)據(jù)是否準(zhǔn)確。

但巡檢事后預(yù)警機(jī)制，并不能根本性地解決事前發(fā)生的問(wèn)題。于是團(tuán)隊(duì)又開(kāi)始進(jìn)一步探索，怎么能夠保障它不出問(wèn)題？這相當(dāng)于要在“事前”的數(shù)據(jù)研發(fā)側(cè)做探索。

數(shù)據(jù)建模

前面提到，數(shù)據(jù)質(zhì)量問(wèn)題頻出與業(yè)務(wù)端的影響有關(guān)，這里涉及一個(gè)常發(fā)生的情況是：開(kāi)發(fā)人員經(jīng)常改“口徑”。究其原因，和管理層經(jīng)常需要從不同維度去看數(shù)據(jù)有關(guān)，一旦管理層提出了基于某個(gè)指標(biāo)的新的看數(shù)據(jù)的維度，開(kāi)發(fā)人員可能又得重新去開(kāi)發(fā)一次。

“從數(shù)據(jù)模型的角度來(lái)講，這種需求場(chǎng)景往往只要在數(shù)據(jù)多維模型上增加維度或者調(diào)整已有指標(biāo)的計(jì)算邏輯就可以解決。數(shù)據(jù)是衡量業(yè)務(wù)過(guò)程和管理結(jié)果的，和業(yè)務(wù)模型是一一映射關(guān)系。我們?cè)谘邪l(fā)過(guò)程中會(huì)做 DDD 領(lǐng)域建模，但卻忽略了數(shù)據(jù)建模過(guò)程。等到要使用數(shù)據(jù)時(shí)，例如輸出業(yè)務(wù)報(bào)表或者跨業(yè)務(wù)間數(shù)據(jù)指標(biāo)查詢時(shí)，才會(huì)考慮給數(shù)據(jù)團(tuán)隊(duì)提需求，此時(shí)再介入設(shè)計(jì)，識(shí)別到業(yè)務(wù)開(kāi)發(fā)問(wèn)題的變更成本較高，往往就埋下了技術(shù)債務(wù)，在數(shù)據(jù)治理過(guò)程中進(jìn)行糾偏，處理成本和效果都不太好?！泵啡葜赋觯@一點(diǎn)反映出團(tuán)隊(duì)原先在開(kāi)發(fā)前置環(huán)節(jié)的數(shù)據(jù)建模有所欠缺。

所有業(yè)務(wù)模型是相對(duì)穩(wěn)定的，映射到數(shù)據(jù)模型也是一樣。為了考慮功能和服務(wù)的可復(fù)用性，會(huì)進(jìn)行應(yīng)用業(yè)務(wù)建模，相對(duì)應(yīng)的數(shù)據(jù)模型也要同步設(shè)計(jì)。業(yè)務(wù)應(yīng)用研發(fā)和數(shù)據(jù)資產(chǎn)構(gòu)建不應(yīng)該是上下游關(guān)系，而應(yīng)該是并行關(guān)系，通過(guò)業(yè)務(wù)建模和數(shù)據(jù)建模可以相互咬合來(lái)驗(yàn)證設(shè)計(jì)的合理性。

因此，為了在事前避免引入數(shù)據(jù)質(zhì)量隱患，梅容團(tuán)隊(duì)認(rèn)為第一要點(diǎn)是要保障數(shù)據(jù)開(kāi)發(fā)人員可以基于業(yè)務(wù)建模的思路去映射完成數(shù)據(jù)模型設(shè)計(jì)，定義數(shù)據(jù)邏輯規(guī)范，然后再去切入開(kāi)發(fā)過(guò)程。

這個(gè)思路類似于現(xiàn)在常見(jiàn)的應(yīng)用開(kāi)發(fā)流程，產(chǎn)品經(jīng)理會(huì)去基于領(lǐng)域建模、基于領(lǐng)域的實(shí)體、對(duì)象、事件去做通用模型的設(shè)計(jì)，設(shè)計(jì)完之后，由研發(fā)人員基于這個(gè)設(shè)計(jì)去完成代碼實(shí)現(xiàn)，去滿足事件、對(duì)象以及事件對(duì)象的交互過(guò)程。

參照上述思路，團(tuán)隊(duì)把數(shù)據(jù)研發(fā)的過(guò)程分成了兩段——先數(shù)據(jù)建模后開(kāi)發(fā)?！巴ㄟ^(guò)我們對(duì)業(yè)務(wù)過(guò)程的分析，去定義這個(gè)業(yè)務(wù)過(guò)程中它涉及到的維度、事實(shí)，建立多維模型?！钡冉ê昧酥?，開(kāi)發(fā)的同學(xué)才接著做。規(guī)范在前，開(kāi)發(fā)在后，它能按照業(yè)務(wù)語(yǔ)言和需求保持一致性，也能約束開(kāi)發(fā)實(shí)現(xiàn)的嚴(yán)謹(jǐn)性，從而預(yù)防業(yè)務(wù)源頭端引入的質(zhì)量問(wèn)題。

統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)體系

“先建模，再開(kāi)發(fā)”是在事前解決問(wèn)題的第一類舉措，團(tuán)隊(duì)提出的第二類舉措則是在明源的體系里統(tǒng)一數(shù)據(jù)體系，實(shí)現(xiàn)“實(shí)時(shí)運(yùn)維、有的治理”的數(shù)據(jù)工具。

明源云的業(yè)務(wù)系統(tǒng)和很多企業(yè)一樣是“煙囪式建設(shè)”，每個(gè)業(yè)務(wù)系統(tǒng)各有各的數(shù)據(jù)服務(wù)中心。各數(shù)據(jù)服務(wù)中心的數(shù)倉(cāng)構(gòu)建過(guò)程、規(guī)范、標(biāo)準(zhǔn)、清洗的腳本和清洗的語(yǔ)句都不一樣，導(dǎo)致嚴(yán)重的“數(shù)據(jù)孤島”問(wèn)題。

團(tuán)隊(duì)認(rèn)為，要解決這個(gè)問(wèn)題，要以統(tǒng)一數(shù)據(jù)體系為基礎(chǔ)。為此，明源云建立了 5 個(gè)“1”的數(shù)據(jù)工具標(biāo)準(zhǔn)：

1. 統(tǒng)一數(shù)據(jù)架構(gòu)標(biāo)準(zhǔn)。所引用的大數(shù)據(jù)引擎、數(shù)據(jù)開(kāi)發(fā)工具必須統(tǒng)一，這樣才能保證開(kāi)發(fā)腳本 SQL 語(yǔ)句是一樣的，從而約束每個(gè)業(yè)務(wù)員出來(lái)的數(shù)據(jù)的一致性。
2. 統(tǒng)一基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)。將各業(yè)務(wù)系統(tǒng)的組織、項(xiàng)目、人員、客戶、供應(yīng)商等高度共享的數(shù)據(jù)進(jìn)行統(tǒng)一采集管理與分發(fā)，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)實(shí)體 ID 統(tǒng)一，為支撐企業(yè)數(shù)據(jù)資產(chǎn)沉淀做好鋪墊。
3. 統(tǒng)一數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)，即上文提到的先建模再開(kāi)發(fā)，要求每一個(gè)業(yè)務(wù)板塊都按照這種模式去把其數(shù)據(jù)進(jìn)行規(guī)范化的治理，形成多維模型、指標(biāo)模型和標(biāo)簽?zāi)Ｐ偷葦?shù)據(jù)資產(chǎn)，并基于模型的應(yīng)用場(chǎng)景封裝，提供標(biāo)準(zhǔn)的查詢服務(wù) API。
4. 統(tǒng)一數(shù)據(jù)分析標(biāo)準(zhǔn)。數(shù)據(jù)分析師可以直接應(yīng)用數(shù)據(jù)資產(chǎn)模型的查詢服務(wù)，不用進(jìn)行繁瑣的數(shù)據(jù)準(zhǔn)備，大大減少了 SQL 開(kāi)發(fā)，從而保證數(shù)據(jù)口徑的一致性。
5. 統(tǒng)一數(shù)據(jù)開(kāi)放標(biāo)準(zhǔn)。面向業(yè)務(wù)數(shù)據(jù)消費(fèi)場(chǎng)景提供統(tǒng)一數(shù)據(jù)共享工具，打造除 BI 外的智能流程引擎、自動(dòng)化營(yíng)銷引擎、預(yù)警簡(jiǎn)訊等一系列智能數(shù)據(jù)產(chǎn)品。通過(guò) 5 個(gè)“1”，把數(shù)據(jù)的產(chǎn)生端、數(shù)據(jù)的生產(chǎn)端、數(shù)據(jù)的消費(fèi)端和數(shù)據(jù)的開(kāi)放端都統(tǒng)一，明源的業(yè)務(wù)體系里的數(shù)據(jù)才能完成標(biāo)準(zhǔn)化。

部署和運(yùn)維

在數(shù)字化轉(zhuǎn)型中，企業(yè)對(duì)于數(shù)據(jù)安全和數(shù)據(jù)資產(chǎn)的價(jià)值要求越來(lái)越高，不論是業(yè)務(wù)系統(tǒng)內(nèi)置的數(shù)據(jù)中心，還是明源為企業(yè)提供數(shù)據(jù)治理服務(wù)和構(gòu)建數(shù)據(jù)資產(chǎn)中心，都要求能夠私有化，部署在國(guó)資云或者自建機(jī)房環(huán)境。團(tuán)隊(duì)利用 Kubernetes 容器應(yīng)用集群化管理，能夠?qū)σ嬷虚g件、平臺(tái)服務(wù)等以應(yīng)用組合包方式，進(jìn)行一鍵部署和統(tǒng)一運(yùn)維。整套系統(tǒng)云端和私有化的部署交付在 30 分鐘內(nèi)完成，并具備自動(dòng)化資源調(diào)度，動(dòng)態(tài)擴(kuò)容等能力。

數(shù)據(jù)工具的統(tǒng)一應(yīng)用，解決了數(shù)據(jù)管理流程化的落地性。在數(shù)據(jù)生產(chǎn)和消費(fèi)鏈路中，仍然會(huì)有技術(shù)側(cè)或者人為引入的異常。還需要在數(shù)據(jù)流程中通過(guò)巡檢、運(yùn)維機(jī)制的在線化保證，以規(guī)則的確定性應(yīng)對(duì)結(jié)果的不確定。

明源云數(shù)據(jù)運(yùn)維的基本原則如下：

• 業(yè)務(wù)規(guī)則穿插在設(shè)計(jì)中完成，設(shè)計(jì)即標(biāo)準(zhǔn)。不增加用戶的工作量，自動(dòng)形成數(shù)據(jù)質(zhì)量知識(shí)庫(kù)沉淀。
• 監(jiān)控先建立全局視角，分主次、優(yōu)先級(jí)和處理時(shí)效。對(duì)重要場(chǎng)景的數(shù)據(jù)終端和基線做高優(yōu)先級(jí)兌現(xiàn)，避免無(wú)效信息爆炸。
• 建立業(yè)務(wù)和技術(shù)雙視角的責(zé)任模式，自動(dòng)定位根因指向確定的排錯(cuò)解決方。尊重人性，誰(shuí)利害相關(guān)，誰(shuí)主責(zé)解決，避免靠人線下推進(jìn)導(dǎo)致的多方拉扯情況。通過(guò)以上原則，在工具產(chǎn)品中落地了全鏈路巡檢機(jī)制，拉通業(yè)務(wù)數(shù)據(jù)庫(kù)和業(yè)務(wù)應(yīng)用場(chǎng)景，形成從數(shù)據(jù)發(fā)生、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、數(shù)據(jù)查詢和數(shù)據(jù)呈現(xiàn)等關(guān)鍵環(huán)節(jié)的規(guī)則巡檢，并基于分級(jí)規(guī)則預(yù)警和推送優(yōu)化建議。對(duì)運(yùn)行態(tài)的風(fēng)險(xiǎn)、異常實(shí)時(shí)可知，保障數(shù)據(jù)穩(wěn)定、準(zhǔn)確和及時(shí)性。

難題與挑戰(zhàn)

技術(shù)架構(gòu)選型和內(nèi)部推行的阻力

明源云在 DataOps 上的探索與實(shí)踐之路并非一帆風(fēng)順。技術(shù)層面，在大數(shù)據(jù)技術(shù)方案選型上一直在“踩坑”和“填坑”。

據(jù)了解，一開(kāi)始數(shù)據(jù)團(tuán)隊(duì)是基于公有云商業(yè)化的數(shù)據(jù)平臺(tái)架構(gòu)去做業(yè)務(wù)實(shí)踐，后來(lái)發(fā)現(xiàn)在服務(wù)器上花了大量成本之余，也依然有很多解決不了的場(chǎng)景。因此，團(tuán)隊(duì)就堅(jiān)定地選擇了自建大數(shù)據(jù)底層架構(gòu)的道路。

據(jù)梅容介紹，一開(kāi)始先做離線架構(gòu)的搭建，選用 Lambda 架構(gòu)，由于明源云的 SaaS 服務(wù)報(bào)表的查詢并發(fā)很高，查詢場(chǎng)景多樣化，因此前后有過(guò)不少技術(shù)選型嘗試，例如在離線部分，嘗試過(guò) StarRocks、Presto、TiDB......

做實(shí)時(shí)計(jì)算框架也是，“當(dāng)時(shí)行業(yè)流行數(shù)據(jù)湖，包括 SnowFlake、Databricks 等國(guó)際一流廠商都用數(shù)據(jù)湖的架構(gòu)，當(dāng)時(shí)我們還跟 AWS 的工程師去聊，想搭數(shù)據(jù)湖的架構(gòu)，但像 Hudi 和 Iceberg 在前兩年的時(shí)候都不太成熟，過(guò)去也是嘗試過(guò)一段時(shí)間。最終從生產(chǎn)穩(wěn)定性角度考慮沒(méi)有選擇數(shù)據(jù)湖，而是結(jié)合 B 端管理實(shí)際場(chǎng)景，采用 CDC+自研 SQL 計(jì)算框架的實(shí)時(shí)監(jiān)聽(tīng)來(lái)滿足業(yè)務(wù)人員查看實(shí)時(shí)明細(xì)報(bào)表的場(chǎng)景；采用 Flink 流計(jì)算模式來(lái)滿足營(yíng)銷等業(yè)務(wù)，基于實(shí)時(shí)指標(biāo)運(yùn)營(yíng)的場(chǎng)景?；谏鐓^(qū)版 Flink 的自研，把各團(tuán)隊(duì)使用的商業(yè)版，以及 Kafka、Pulsar 等消息隊(duì)列進(jìn)行適配改造。最終統(tǒng)一了技術(shù)架構(gòu)，同步演進(jìn)?！?/p>

梅容表示，大數(shù)據(jù)的組件不像原來(lái)的關(guān)系型數(shù)據(jù)庫(kù)那么成熟，行業(yè)也一直在發(fā)展，不斷有廠商去做各種各樣的嘗試，明源云需要結(jié)合自己的業(yè)務(wù)場(chǎng)景去選擇最適合自己的架構(gòu)。

除了技術(shù)挑戰(zhàn)，DataOps 實(shí)踐面臨的另一大挑戰(zhàn)是在內(nèi)部推行統(tǒng)一數(shù)據(jù)體系?！皩?duì)于業(yè)務(wù)團(tuán)隊(duì)而言，雖然一些已有的數(shù)據(jù)基礎(chǔ)設(shè)施存在一些問(wèn)題，但也能基本滿足業(yè)務(wù)快速迭代、快速創(chuàng)新的需求。但在這個(gè)人人都忙于兌現(xiàn)客戶需求的過(guò)程中，怎么樣‘對(duì)運(yùn)行的飛機(jī)換引擎’，如何在契合業(yè)務(wù)快速發(fā)展對(duì)數(shù)據(jù)技術(shù)升級(jí)要求的機(jī)會(huì)下，既保留現(xiàn)有數(shù)據(jù)成果，又能夠讓大家快速應(yīng)用我們的數(shù)據(jù)體系產(chǎn)品，以實(shí)現(xiàn)組織效率成本的最優(yōu)化？”

“整個(gè)過(guò)程并非要大拆大建，把所有數(shù)據(jù)拉取過(guò)來(lái)進(jìn)行集中式治理，而是以“分區(qū)治理、分區(qū)入湖”的模式展開(kāi)?！泵啡菡f(shuō)到，“對(duì)于數(shù)據(jù)質(zhì)量相對(duì)較好的業(yè)務(wù)團(tuán)隊(duì)，采用逆向建模方式，以結(jié)果映射的方式，對(duì)客戶數(shù)據(jù)消費(fèi)場(chǎng)景進(jìn)行規(guī)范化和一致性的數(shù)據(jù)管理，以保證交付客戶應(yīng)用的準(zhǔn)確性和穩(wěn)定性；而對(duì)于要為客戶提供數(shù)據(jù)資產(chǎn)價(jià)值創(chuàng)造的業(yè)務(wù)團(tuán)隊(duì)，和數(shù)據(jù)團(tuán)隊(duì)合作，按數(shù)據(jù)標(biāo)準(zhǔn)體系共建的方式，形成數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)價(jià)值的場(chǎng)景化數(shù)據(jù)中臺(tái)解決方案，例如行業(yè)客戶數(shù)據(jù)中臺(tái)（CDP）、供應(yīng)鏈協(xié)同平臺(tái)（SDP）、企業(yè)一體化經(jīng)營(yíng)決策平臺(tái)等。”

數(shù)據(jù)治理的效果如何顯現(xiàn)

探索 DataOps 也讓明源云更堅(jiān)定了一個(gè)目標(biāo)：需要從用戶視角，建立一套持續(xù)、穩(wěn)定、可快速?gòu)?fù)制的面向交付的數(shù)據(jù)體系，也就是讓數(shù)據(jù)資產(chǎn)對(duì)所有的利益相關(guān)者來(lái)說(shuō)都是現(xiàn)成的、可訪問(wèn)的和價(jià)值最大化的。

DataOps 在明源云的數(shù)據(jù)資產(chǎn)體系中也會(huì)應(yīng)用在交付實(shí)施的方案中，用于支撐數(shù)據(jù)業(yè)務(wù)化產(chǎn)品的靈活交付，以及持續(xù)穩(wěn)定、準(zhǔn)確的運(yùn)維保障。

但數(shù)據(jù)治理的效果很難顯性化體現(xiàn)，難以讓客戶感知到成果。這也是明源云在落地 DataOps 的過(guò)程中，遇到的主要挑戰(zhàn)之一。為解決該問(wèn)題，面向客戶三類角色，團(tuán)隊(duì)把 DataOps 實(shí)施的成果可視化和價(jià)值化呈現(xiàn)：

1. 業(yè)務(wù)視角的數(shù)據(jù)資產(chǎn)全景圖：實(shí)時(shí)看到按業(yè)務(wù)主題域構(gòu)建的四類資產(chǎn)多維模型、指標(biāo)、標(biāo)簽、API 服務(wù)資產(chǎn)等，穿透查看資產(chǎn)模型的生產(chǎn)鏈路，便于識(shí)別業(yè)務(wù)系統(tǒng)數(shù)據(jù)風(fēng)險(xiǎn)。
2. 價(jià)值視角的數(shù)據(jù)資產(chǎn)信息架構(gòu)：包含面向高層決策的指標(biāo)價(jià)值樹(shù)和業(yè)務(wù)人員的指標(biāo)目錄，能夠洞察業(yè)務(wù)發(fā)展趨勢(shì)、異常變化、晴雨表現(xiàn)，分類管理高層和業(yè)務(wù)人員使用的指標(biāo)體系。
3. 技術(shù)視角的數(shù)據(jù)地圖：數(shù)倉(cāng)分層的各類表清單，數(shù)據(jù)生產(chǎn)流程和血緣關(guān)系，體現(xiàn)拉通了哪些系統(tǒng)的數(shù)據(jù)，支撐了哪些業(yè)務(wù)場(chǎng)景的應(yīng)用。
4. 運(yùn)維視角的數(shù)據(jù)全鏈路巡檢監(jiān)控告警：基于終端用戶（重點(diǎn)高層報(bào)表）數(shù)據(jù)消費(fèi)場(chǎng)景，對(duì)數(shù)據(jù)采、建、用數(shù)據(jù)全鏈路進(jìn)行自動(dòng)化的巡檢，主動(dòng)及時(shí)地推送對(duì)數(shù)據(jù)應(yīng)用的異常。

從 DataOps 到 AIOps

“DataOps 的設(shè)計(jì)理念是以用戶為中心，用確定性的工具來(lái)解決不確定性的業(yè)務(wù)變化?！蹦敲?，一般行業(yè)上怎么解決這類不確定性的問(wèn)題？

梅容進(jìn)一步總結(jié)道：“第一點(diǎn)是有規(guī)范，怎么樣都在框架內(nèi)，這樣就不至于說(shuō)各自發(fā)散收不回來(lái)。第二點(diǎn)是工具化，一定要有在線化的工具，可以按照其規(guī)范一步步執(zhí)行?！?/p>

需要注意的是，現(xiàn)階段也有 DataOps 解決不了的問(wèn)題，比如 DataOps 更多是方法論和一系列有效的工具集合，并沒(méi)有業(yè)務(wù)知識(shí)的沉淀，即行業(yè) Know-how 的開(kāi)箱即用內(nèi)容；缺乏發(fā)現(xiàn)和排除問(wèn)題、自動(dòng)修復(fù)能力；另外，DataOps 目前是基于項(xiàng)目實(shí)踐經(jīng)驗(yàn)的規(guī)則治理，應(yīng)該加入更多自學(xué)習(xí)的能力，向 AIOps 演進(jìn)。

談及接下來(lái)明源云在 DataOps 的探索，梅容告訴我們，首先是數(shù)據(jù)體系落地，即明源云產(chǎn)研體系里的五層數(shù)據(jù)體系，先把它做實(shí)；其次是 AIops 數(shù)據(jù)準(zhǔn)確性盤(pán)點(diǎn)，目前 DataOps 更多還是要靠人去維護(hù)規(guī)則標(biāo)準(zhǔn)，后續(xù)需要能根據(jù)數(shù)據(jù)趨勢(shì)去預(yù)判數(shù)據(jù)的增減對(duì)于業(yè)務(wù)是否合理等等；第三是智能化的問(wèn)題排查恢復(fù)，以及最佳實(shí)踐的優(yōu)化建議，即基于終端業(yè)務(wù)用戶的數(shù)據(jù)消費(fèi)場(chǎng)景，事前提供數(shù)據(jù)變更時(shí)的關(guān)聯(lián)影響體系，事中提供告警并針對(duì)異常提供數(shù)據(jù)血緣、生產(chǎn)鏈路關(guān)系分析，事后提供數(shù)據(jù)質(zhì)量巡檢規(guī)則配置加強(qiáng)。

電子書(shū)推薦

本文選自《中國(guó)卓越技術(shù)團(tuán)隊(duì)訪談錄》（2022 年第二季），本期精選了微軟 Edge、螞蟻可信原生、明源云、文因互聯(lián)、Babylon.js 等技術(shù)團(tuán)隊(duì)在技術(shù)落地、團(tuán)隊(duì)建設(shè)方面的實(shí)踐經(jīng)驗(yàn)及心得體會(huì)。本期電子書(shū)已經(jīng)在 InfoQ 網(wǎng)站上線，大家可以掃描下圖二維碼下載，查看更多精彩內(nèi)容。

《中國(guó)卓越技術(shù)團(tuán)隊(duì)訪談錄》是 InfoQ 打造的重磅內(nèi)容產(chǎn)品，以各個(gè)國(guó)內(nèi)優(yōu)秀企業(yè)的 IT 技術(shù)團(tuán)隊(duì)為線索策劃系列采訪，希望向外界傳遞杰出技術(shù)團(tuán)隊(duì)的做事方法 / 技術(shù)實(shí)踐，讓開(kāi)發(fā)者了解他們的知識(shí)積累、技術(shù)演進(jìn)、產(chǎn)品錘煉與團(tuán)隊(duì)文化等，并從中獲得有價(jià)值的見(jiàn)解。

訪談錄現(xiàn)開(kāi)放長(zhǎng)期報(bào)名通道，如果你身處傳統(tǒng)企業(yè)經(jīng)歷了數(shù)字化轉(zhuǎn)型變革，或者正在互聯(lián)網(wǎng)公司進(jìn)行創(chuàng)新技術(shù)的研發(fā)，并希望 InfoQ 可以關(guān)注和采訪你所在的技術(shù)團(tuán)隊(duì)，可以添加微信：caifangfang842852，請(qǐng)注明來(lái)意及公司名稱。

好了，這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里，如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣，可以添加微信：80709525  備注：發(fā)貨聯(lián)盟引流學(xué)習(xí)； 我拉你進(jìn)直播課程學(xué)習(xí)群，每周135晚上都是有實(shí)戰(zhàn)干貨的推廣引流技術(shù)課程免費(fèi)分享！