在數(shù)據(jù)中臺和數(shù)據(jù)治理體系中元數(shù)據(jù)采集是一項比較基礎的能力。很多人在第一次使用元數(shù)據(jù)管理功能時會有一個比較直接的疑問數(shù)據(jù)源已經(jīng)通過數(shù)據(jù)連接接入平臺為什么還需要再執(zhí)行元數(shù)據(jù)采集這兩個步驟解決的問題并不相同。數(shù)據(jù)連接主要解決的是平臺是否具備訪問數(shù)據(jù)源的能力。而元數(shù)據(jù)采集關注的是數(shù)據(jù)源內(nèi)部有哪些數(shù)據(jù)對象、這些對象是什么結構以及這些結構后續(xù)是否發(fā)生變化。因此元數(shù)據(jù)采集的作用并不是重新復制一遍業(yè)務數(shù)據(jù)而是從數(shù)據(jù)庫、文件系統(tǒng)或對象存儲中獲取數(shù)據(jù)對象的結構信息和基礎描述信息并統(tǒng)一沉淀到元數(shù)據(jù)平臺中。本文結合 qData 數(shù)據(jù)中臺專業(yè)版的元數(shù)據(jù)管理流程主要說明幾個問題元數(shù)據(jù)采集具體會采集哪些信息結構化數(shù)據(jù)和文件類數(shù)據(jù)如何進行采集采集任務、采集實例和最新元數(shù)據(jù)之間是什么關系數(shù)據(jù)結構發(fā)生變化后如何進行版本記錄和對比已采集的元數(shù)據(jù)如何進一步用于數(shù)據(jù)資產(chǎn)注冊。數(shù)據(jù)連接已經(jīng)做了為什么還需要元數(shù)據(jù)采集假設企業(yè)已經(jīng)通過 qData 建立了一個 MySQL 數(shù)據(jù)連接。完成連接后平臺解決的是能否訪問這個數(shù)據(jù)庫。但對于后續(xù)數(shù)據(jù)治理而言僅僅“能夠連接”還不夠。平臺還需要進一步知道數(shù)據(jù)庫里面有哪些表每張表有哪些字段字段是什么類型哪些字段是主鍵、外鍵結構最近有沒有發(fā)生變化哪些元數(shù)據(jù)已經(jīng)經(jīng)過確認哪些表后續(xù)需要納入數(shù)據(jù)資產(chǎn)管理所以從數(shù)據(jù)治理視角來看數(shù)據(jù)連接更像是建立了一條訪問通道而元數(shù)據(jù)采集才開始進一步識別和管理通道背后的數(shù)據(jù)對象。一、元數(shù)據(jù)采集到底是在“采”什么元數(shù)據(jù)經(jīng)常被定義為“描述數(shù)據(jù)的數(shù)據(jù)”。放到企業(yè)數(shù)據(jù)平臺里可以把它理解得更具體一些元數(shù)據(jù)描述的是一份數(shù)據(jù)本身的技術結構和基本屬性而不是再次復制其中的業(yè)務數(shù)據(jù)。例如一張訂單表里可能保存著幾百萬條訂單記錄。元數(shù)據(jù)采集不會再把這幾百萬條訂單復制到元數(shù)據(jù)平臺而是識別表叫什么屬于哪個數(shù)據(jù)庫包含哪些字段字段叫什么字段是什么數(shù)據(jù)類型長度、精度、小數(shù)位是多少是否必填是否屬于主鍵、外鍵當前表和字段是什么結構。對于數(shù)據(jù)庫類結構化數(shù)據(jù)可以把采集層級理解為數(shù)據(jù)源 → 數(shù)據(jù)庫 → 數(shù)據(jù)表 → 字段只有把這些技術信息采集出來平臺才真正知道一個數(shù)據(jù)源中存在什么數(shù)據(jù)對象以及這些數(shù)據(jù)對象當前是什么狀態(tài)。不只是數(shù)據(jù)庫文件類數(shù)據(jù)也可以進入元數(shù)據(jù)管理企業(yè)數(shù)據(jù)并不全部存儲在數(shù)據(jù)庫中。實際業(yè)務環(huán)境中還存在大量CSV、JSON、SQL、文檔等文件。這些文件可能分布在不同的文件系統(tǒng)或對象存儲中。因此qData 同樣支持針對文件類數(shù)據(jù)進行元數(shù)據(jù)采集。與數(shù)據(jù)庫不同文件類元數(shù)據(jù)更加關注文件名稱文件類型文件大小存儲位置來源系統(tǒng)更新時間等。也就是說無論是數(shù)據(jù)庫中的表和字段還是文件系統(tǒng)中的文件對象元數(shù)據(jù)采集首先解決的都是同一個問題先把企業(yè)中分散存在的數(shù)據(jù)識別出來。二、這些元數(shù)據(jù)是怎么進入 qData 的元數(shù)據(jù)并不會自動出現(xiàn)在平臺中而是通過元數(shù)據(jù)采集任務從指定數(shù)據(jù)源中獲取。qData 可以根據(jù)數(shù)據(jù)類型創(chuàng)建結構化采集任務非結構化采集任務。對于**結構化數(shù)據(jù)**創(chuàng)建采集任務時第一步仍然是確定數(shù)據(jù)從哪里來。平臺會關聯(lián)相應的來源系統(tǒng)和數(shù)據(jù)連接并獲取數(shù)據(jù)庫類型、IP、端口、賬號等連接信息。之后再進一步確定這次需要采集哪些內(nèi)容。采集范圍既可以覆蓋整個數(shù)據(jù)源也可以根據(jù)數(shù)據(jù)治理范圍自定義選擇其中部分數(shù)據(jù)庫。因此元數(shù)據(jù)采集并不意味著每次都必須“全量掃描”企業(yè)可以根據(jù)實際數(shù)據(jù)管理邊界決定哪些數(shù)據(jù)庫需要進入平臺。同時業(yè)務系統(tǒng)中的數(shù)據(jù)庫結構并不是長期不變的所以元數(shù)據(jù)采集任務還可以配置調度周期。例如每天固定時間執(zhí)行一次元數(shù)據(jù)采集。這樣平臺獲取的就不只是數(shù)據(jù)源第一次接入時的結構而能夠持續(xù)同步源端最新的元數(shù)據(jù)狀態(tài)。對于非結構化數(shù)據(jù)文件系統(tǒng)和對象存儲中的文件也可以通過對應的數(shù)據(jù)連接將相關文件信息采集至元數(shù)據(jù)平臺。整個采集過程可以概括為確定數(shù)據(jù)來源 → 確定采集范圍 → 設置采集周期 → 執(zhí)行采集任務其中采集任務定義的是“去哪里采、采什么、什么時候采”而每一次真實執(zhí)行則會產(chǎn)生對應的采集實例。這個區(qū)別對于后續(xù)運行管理非常重要。三、采集任務執(zhí)行完以后先看“這次有沒有采成功”創(chuàng)建采集任務并不代表元數(shù)據(jù)已經(jīng)成功進入平臺。每次任務真正執(zhí)行后都可以通過采集實例查看這一次具體的運行結果。采集實例會記錄本次采集是否成功數(shù)據(jù)來自哪里采集耗時采集數(shù)量開始時間結束時間對應采集日志。它首先解決的是一個運行層問題“這一次到底有沒有采成功實際采到了多少”對于周期性運行的元數(shù)據(jù)采集任務而言這一步也為后續(xù)異常排查提供了基本依據(jù)。四、采集成功以后元數(shù)據(jù)進入“最新元數(shù)據(jù)”當一次采集成功后真正獲取到的數(shù)據(jù)結構信息會進入 qData數(shù)據(jù)中臺 的最新元數(shù)據(jù)中。對于數(shù)據(jù)庫類型的數(shù)據(jù)可以按照來源系統(tǒng)、數(shù)據(jù)庫等層級查看當前已經(jīng)采集的數(shù)據(jù)表。列表中能夠進一步看到表名稱、表注釋、所屬庫、采集來源、當前狀態(tài)等。進入具體表詳情后還可以繼續(xù)查看字段級信息包括字段名稱字段注釋數(shù)據(jù)類型字段長度字段精度小數(shù)位是否必填是否主鍵是否外鍵等。到這里數(shù)據(jù)連接與元數(shù)據(jù)采集之間的區(qū)別就更加直觀。連接之前平臺不知道這個數(shù)據(jù)源建立數(shù)據(jù)連接后平臺知道“這里有一個數(shù)據(jù)庫我能夠訪問它?！痹獢?shù)據(jù)采集完成以后平臺則進一步知道數(shù)據(jù)庫里面有哪些表、每張表有哪些字段、字段是什么類型以及當前結構是什么。文件元數(shù)據(jù)同樣進入統(tǒng)一管理文件類數(shù)據(jù)采用類似邏輯。完成采集后可以在**最新元數(shù)據(jù)文件**中查看已經(jīng)識別到的文件名稱、文件類型、物理存儲信息、來源信息以及修改時間等。進入文件詳情后還能夠進一步查看對應數(shù)據(jù)連接、文件路徑、文件大小、來源系統(tǒng)以及相關責任信息。這樣原本分散在不同數(shù)據(jù)庫、文件系統(tǒng)和對象存儲中的表、字段和文件信息就能夠統(tǒng)一沉淀到元數(shù)據(jù)平臺中。五、源系統(tǒng)一直在變化元數(shù)據(jù)如何保持同步如果元數(shù)據(jù)只采集一次它能夠反映的只是某一個時間點的數(shù)據(jù)結構。但企業(yè)業(yè)務系統(tǒng)實際上一直在變化。例如一次系統(tǒng)升級之后可能出現(xiàn)新增字段刪除字段修改原有字段。這意味著元數(shù)據(jù)管理不能只回答“現(xiàn)在是什么結構”還需要進一步回答“它和以前相比發(fā)生了什么變化”qData 通過周期性元數(shù)據(jù)采集持續(xù)獲取源端最新結構同時保留相應的元數(shù)據(jù)版本。從最新結構繼續(xù)看到“版本與變更”在表的版本與變更中可以查看不同元數(shù)據(jù)版本以及每一次版本對應的變化情況。例如某個版本新增了一個字段另一個版本刪除了一個字段。這些變化都會通過版本記錄保留下來。如果需要進一步判斷兩個版本之間究竟有哪些具體差異還可以通過元數(shù)據(jù)對比。選擇基準版本 對比版本進行比較。這樣元數(shù)據(jù)管理回答的問題就從“現(xiàn)在有什么”擴展為“以前是什么樣現(xiàn)在又變成了什么樣”對于數(shù)據(jù)平臺長期治理而言這比單純展示當前表結構更有價值因為很多數(shù)據(jù)問題本身就來自上游結構變化。六、確認后的元數(shù)據(jù)可以進一步“定版”對于經(jīng)過確認、希望相對穩(wěn)定保留的元數(shù)據(jù)版本qData 還可以進一步形成定版元數(shù)據(jù)。定版之后仍然可以查看對應的表結構和字段信息。這里需要特別區(qū)分一個概念定版元數(shù)據(jù)并不等于把元數(shù)據(jù)自動轉換成數(shù)據(jù)標準。它更接近于將某個已經(jīng)采集、確認過的元數(shù)據(jù)版本固定下來作為后續(xù)統(tǒng)一查看、管理和使用的相對穩(wěn)定基礎。因此從一次元數(shù)據(jù)采集到長期管理實際上形成了一條持續(xù)演進鏈路采集 → 更新 → 版本記錄 → 變化對比 → 定版確認這也說明企業(yè)元數(shù)據(jù)管理并不應該只是“一次摸底”而需要隨著源系統(tǒng)變化持續(xù)更新。七、采完元數(shù)據(jù)以后還能繼續(xù)做什么如果元數(shù)據(jù)采集最后只是停留在“查看表和字段”它的價值仍然比較有限。當平臺已經(jīng)知道企業(yè)有哪些數(shù)據(jù)以及這些數(shù)據(jù)是什么結構之后下一步就可以繼續(xù)進入數(shù)據(jù)資產(chǎn)建設。在 qData 數(shù)據(jù)資產(chǎn)模塊中可以從已經(jīng)采集的元數(shù)據(jù)里選擇數(shù)據(jù)庫表將相應的數(shù)據(jù)表進一步注冊為數(shù)據(jù)資產(chǎn)。注冊過程中可以直接選擇現(xiàn)有元數(shù)據(jù)同時繼續(xù)補充資產(chǎn)名稱表類型數(shù)倉分層業(yè)務分類數(shù)據(jù)分域所屬主題表命名規(guī)范資產(chǎn)描述等信息。這里實際上體現(xiàn)了元數(shù)據(jù)與數(shù)據(jù)資產(chǎn)之間的區(qū)別和聯(lián)系。元數(shù)據(jù)回答“技術上有什么”數(shù)據(jù)資產(chǎn)回答“業(yè)務上是什么”元數(shù)據(jù)首先回答的是“技術上有什么數(shù)據(jù)”例如這張表叫什么來自哪個數(shù)據(jù)庫有哪些字段結構是什么但進入數(shù)據(jù)資產(chǎn)管理之后還需要進一步回答“這份數(shù)據(jù)在企業(yè)里面到底是什么”例如屬于哪個業(yè)務屬于哪個數(shù)據(jù)域位于什么數(shù)倉層級應該如何分類由誰進行管理因此可以把整個過程理解為數(shù)據(jù)連接 → 元數(shù)據(jù)采集 → 元數(shù)據(jù)管理 → 元數(shù)據(jù)確認 → 數(shù)據(jù)資產(chǎn)注冊元數(shù)據(jù)采集先把數(shù)據(jù)的技術結構識別出來之后再繼續(xù)補充業(yè)務屬性和管理屬性逐步將原本散落在各業(yè)務系統(tǒng)中的數(shù)據(jù)納入統(tǒng)一的數(shù)據(jù)資產(chǎn)管理體系。這也是為什么企業(yè)數(shù)據(jù)資產(chǎn)建設通常不能繞開元數(shù)據(jù)。因為在討論“哪些數(shù)據(jù)值得作為資產(chǎn)管理”之前首先要知道企業(yè)到底有哪些數(shù)據(jù)?；仡^看一條元數(shù)據(jù)管理鏈路到底經(jīng)歷了什么把前面的過程重新串起來可以得到一條比較完整的 qData 元數(shù)據(jù)管理鏈路① 建立數(shù)據(jù)連接讓平臺能夠訪問數(shù)據(jù)庫、文件系統(tǒng)或對象存儲。② 創(chuàng)建元數(shù)據(jù)采集任務確定來源系統(tǒng)、數(shù)據(jù)連接、采集范圍以及調度周期。③ 執(zhí)行采集通過采集實例確認執(zhí)行結果、采集數(shù)量、耗時以及日志。④ 進入最新元數(shù)據(jù)查看當前數(shù)據(jù)表、字段或文件的最新結構信息。⑤ 周期持續(xù)采集隨著源系統(tǒng)變化持續(xù)獲取最新結構。⑥ 版本與變更記錄新增字段、刪除字段以及不同版本的結構變化。⑦ 元數(shù)據(jù)對比比較兩個版本之間的具體差異。⑧ 定版元數(shù)據(jù)將經(jīng)過確認的元數(shù)據(jù)版本進一步固定和沉淀。⑨ 數(shù)據(jù)資產(chǎn)注冊從已有元數(shù)據(jù)中選擇數(shù)據(jù)表并補充業(yè)務分類、數(shù)據(jù)分域、數(shù)倉分層等資產(chǎn)屬性。這樣一來元數(shù)據(jù)采集就不再是一個孤立的技術動作而成為從數(shù)據(jù)發(fā)現(xiàn)到資產(chǎn)建設之間的一項基礎能力?？偨Y從完整流程來看元數(shù)據(jù)采集并不是簡單獲取數(shù)據(jù)庫中的表數(shù)量和字段數(shù)量而是數(shù)據(jù)治理過程中用于識別數(shù)據(jù)結構、維護當前狀態(tài)和跟蹤結構變化的一項基礎工作。在 qData 中這條流程可以概括為數(shù)據(jù)連接 → 元數(shù)據(jù)采集 → 最新元數(shù)據(jù) → 周期更新 → 版本與變更 → 元數(shù)據(jù)對比 → 定版元數(shù)據(jù) → 數(shù)據(jù)資產(chǎn)注冊其中數(shù)據(jù)連接負責建立訪問通道元數(shù)據(jù)采集負責獲取表、字段、文件等數(shù)據(jù)對象的技術信息周期采集和版本管理則用于持續(xù)記錄源端結構變化。當這些技術元數(shù)據(jù)經(jīng)過確認后還可以繼續(xù)補充業(yè)務分類、數(shù)據(jù)分域、數(shù)倉分層等屬性并注冊為數(shù)據(jù)資產(chǎn)。因此從技術實現(xiàn)和數(shù)據(jù)治理流程來看元數(shù)據(jù)采集主要解決三個問題第一當前有哪些數(shù)據(jù)第二這些數(shù)據(jù)是什么結構第三這些結構后來發(fā)生了什么變化。只有先建立相對完整、可持續(xù)更新的元數(shù)據(jù)基礎后續(xù)的數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)標準、數(shù)據(jù)血緣以及其他治理工作才有比較明確的數(shù)據(jù)對象作為管理基礎。