以“元”為(wèi)始--淺談元數(shù)據管理φΩ(lǐ)實踐

高(gāo)等教育信息化(huà)過程中所選型系統和(hé)設備的(de)↑✔生(shēng)産廠(chǎng)商不(bù)盡相(xiàng)同，不(bù)‌♣→同系統之間(jiān)沒有(yǒu)相(xiàng)互♠✔>♠關聯和(hé)互通(tōng) 。随著(zhe)系統逐步建設，其基礎數(shù​∑↔)據分(fēn)布雜(zá)亂分(fēn)散、×≤ ₽數(shù)據邏輯無序割裂。不(bù)同設備不(bù)同∞←>系統間(jiān)相(xiàng)互堆疊，彼此形¶λ成相(xiàng)對(duì)封閉和(hé÷✔®)繁雜(zá)的(de)管理(lǐ)方式，ε↓¥逐漸形成了(le)衆多(duō)的(de)“信息孤島”。數(shù↓€×)據資源散落在多(duō)個(gè)業(yè)務系統中，數(shù)據從‍ ∑☆(cóng)生(shēng)産到(dào)使用(yòng)中間↓∑(jiān)流程不(bù)清晰，學校(xiào)₽<$∑管理(lǐ)人(rén)員(yuán)無法及時(shí)感知(zhī)數(s Ω≠<hù)據分(fēn)布與更新情況，無法進行(xíng)→≥ 數(shù)據可(kě)視(shì)化(huà)及全局數(shù)據查看∞'(kàn)。

一(yī).現(xiàn)狀和(hé)難點

數(shù)據維護困難，難以形成标準化(hu ♠σ∏à)管理(lǐ)思路(lù)

現(xiàn)有(yǒu)的(de)數(shù)據處理(lǐπ‌✘)過程是(shì)這(zhè)樣的(de)：當業(δ€yè)務場(chǎng)景中的(de)應用(yòng)數(shù)據出→₩≠♥現(xiàn)問(wèn)題時(shí)，往往需要(yào)由故障現(σ∏<xiàn)象定位故障數(shù)據，進而通(tōng)過技(jì)術♠®≠÷(shù)分(fēn)析找到(dào)底層邏輯，經過一(yī) ™系列“順藤摸瓜”之後才能(néng)鎖定故障源。如(rú)此往複™₹，工(gōng)作(zuò)量巨大(dà)繁瑣，且難以 '形成标準化(huà)解決思路(lù)和(hé)方法，如(rú)‍±遇到(dào)底層數(shù)據和(hé)邏輯發生(shēλ×£ng)變動，其故障判斷口徑會(huì)失效，需要(yào)進行(xí♦βng)新的(de)“順藤摸瓜”式摸索和(hé∑™)判斷。

全局掌控不(bù)足，盲人(rén)摸象

現(xiàn)有(yǒu)情況下(xià)，彙報(bào)管理(l₽γ♣≤ǐ)和(hé)規劃管理(lǐ)工(gōng)作↔≈(zuò)往往受數(shù)據信息時(s✘∑hí)效性限制(zhì)，無法精确管理(lǐ)業(yè​δ)務發展和(hé)建設狀态，無法分(fēn)辨和(h∞€é)标識已有(yǒu)系統的(de)建設φ•狀态、待建設狀态和(hé)中止狀态，造成資源利用≤φ∑(yòng)的(de)浪費(fèi)。更為(wè↓≥​i)嚴重的(de)是(shì)，模糊的(de€☆‍)數(shù)據基礎無法為(wèi)整體(tǐ)業♣€(yè)務規劃和(hé)業(yè)務建設提供真實有(yǒu)效±€的(de)信息支持，進而影(yǐng)響工(gōng)作(zuò)進度，甚πφ×✘至帶來(lái)一(yī)定的(de)工(gōng)作$★λ​(zuò)風(fēng)險，造成業(yè)務主體(tǐ)信息化(huàσ♠λ)整體(tǐ)建設進度的(de)落後。

數(shù)據屬性模糊，難以産生(shēng)價®®值

信息中心歸集彙總的(de)系統數(shù)據缺乏全面的(♦‍ de)屬性說(shuō)明(míng)，且 ☆π'數(shù)據命名标準不(bù)一(yī)，難以理(lǐ)解其業(δ₽¶δyè)務含義，帶來(lái)使用(yòng)上φ↔∞(shàng)的(de)不(bù)便，不(bù)具備有(yǒu)效↑‌&的(de)數(shù)據價值。

數(shù)據類型多(duō)樣，零散分(₽ fēn)布，難以有(yǒu)機(jī)結合

高(gāo)校(xiào)的(de)業(yè)務數×÷→(shù)據類型繁多(duō)，包括傳統數(≥↔Ω×shù)據庫信息、線下(xià)數(shù)據、半結構化(huà)數♥•£¥(shù)據等，各種數(shù)據散落到(dào)各業(y→​<✔è)務系統，難以産生(shēng)有(yǒu)效的(de)關聯。基于↓☆'教育工(gōng)作(zuò)的(de)發展曆史☆₩悠久，部分(fēn)數(shù)據關系和(hé)接口信息維護已經缺失，無法∑£♣α建立有(yǒu)效的(de)對(duì)應關π$系和(hé)關聯組合。

二.産品介紹

元數(shù)據模塊功能(néng)架構圖

針對(duì)以上(shàng)數(shù)據管理(lǐ)難題，時(s$σ•hí)彙高(gāo)校(xiào)數(shù)據治理(lǐ)“元數(∑∏≠shù)據”模塊可(kě)以很(hěn)好(hǎoγ♥♣)地(dì)對(duì)多(duō)元異構數(s$≈♠hù)據源進行(xíng)統一(yī)管理'₽σ₽(lǐ)，“元數(shù)據”模塊具有(yǒu)以下(xià)功能λσ♣(néng)：

◆元數(shù)據采集：具備不(bù)同類型元數(shù)據自(zì)動化(huà)♦← >采集的(de)功能(néng)，可(kě)以通(tōngφ​₽)過業(yè)務規則進行(xíng)數(shù)據過 γ•σ濾和(hé)數(shù)據采集，可(kě)以覆≈γ§♠蓋傳統數(shù)據庫、ETL工(gōng)具、excel、非&ε'•結構化(huà)數(shù)據等類型。

◆元數(shù)據總覽：基于元數(shù)據統計(jì)各業(yè)務部門(mén)$ 的(de)元數(shù)據情況，包括變更情況、分(→£‍'fēn)布統計(jì)等內(nèi)容。

◆元模型管理(lǐ)：用(yòng)戶可(kě)以進行(xíng)元模型的(de)設®♣ ☆計(jì)、管理(lǐ)、導入導出等操作(zu↑♥≤×ò)，從(cóng)業(yè)務層面對(duì)元模型₽α ​進行(xíng)核查維護、功能(néng)升級或者自("≈zì)定義擴展。

◆元數(shù)據變更分(fēn)析：提供各類元數(shù)據的(de)修改、變更等基礎維護功能(÷ néng)，并形成版本管理(lǐ)，進而對(duβ₽ ☆ì)不(bù)同版本之間(jiān)的(de)差異進行λ>∑§(xíng)分(fēn)析。

◆數(shù)據血緣分(fēn)析：可(kě)基于ETL集成工(gōng)具和(β✔φhé)數(shù)據模型的(de)關聯自(zì)動生(shē★™&ng)成血緣分(fēn)析，進而追溯到(dào)相(xiàng)關聯¶'的(de)表格和(hé)字段。通(tōng)過對(duì)數(shù)± 據間(jiān)血緣關系的(de)可(kě)視(shì)化εσ ®(huà)應用(yòng)分(fēn)析，可(k₹≈★ě)以查看(kàn)數(shù)據的(de)上  ​₹(shàng)下(xià)遊邏輯關系，以便進行(xí↔•♠ng)分(fēn)析判斷和(hé)問(wèn)題定位。

◆數(shù)據地(dì)圖：對(duì)數(shù)據進行(xíng)全生(shēng)命周期↕✔δ‍展示，展示從(cóng)源、數(shù)倉到→₹↕>(dào)應用(yòng)的(de)全鏈$→路(lù)關系數(shù)據字典管理(lǐ)：能(néng)夠基§'&于系統、部門(mén)和(hé)數(shù)據庫維度展示其數(shù)據字典≤™，能(néng)夠基于平台維護其業(yè)務信息，增強業(yè)務理(lǐ)÷αε&解。

三.方案解析

在實際工(gōng)作(zuò)中，我們以全域采集為(wè∞₽i)工(gōng)作(zuò)中心，基于數(shù)據©₹¶∏中心對(duì)數(shù)據進行(xíng)分(f• 'ēn)類管理(lǐ)，按全生(shēng>πλ∞)命周期進行(xíng)拆分(fēn)，分(fēn₩¶γΩ)為(wèi)：調研、采集、整合和(hé)運維。在此過程中，元>Ω£數(shù)據是(shì)業(yè)務系統和≥¶δ (hé)數(shù)據資産的(de)核心點，連通>αφ¥(tōng)業(yè)務部門(mén)和(hé)信息中心的(de)紐帶。元數(♣↔↑×shù)據的(de)管理(lǐ)包括：技(jì)術(shù)元數(shù)據、 γλ 業(yè)務元數(shù)據和(hé)管理(lǐ)元數​↑(shù)據。其中，技(jì)術(shù)元數(shù)據即為(wèi)常β®γ見(jiàn)的(de)實體(tǐ)表，數(shù)據字典等信息；業(yè)務÷α★元數(shù)據即為(wèi)一(yī)些(xiēλ™δ)涉及報(bào)表的(de)業(yè)務指标，業(yè)務标準等內(nè₩₽¶i)容；管理(lǐ)元數(shù)據即為(wèi)高(gāo)校(xi♠ ào)內(nèi)部人(rén)員(yuá¶₩n)、組織架構信息等。

調研階段

在這(zhè)個(gè)階段中，需要(yào)對(duì)現(xiàn♠←σ)有(yǒu)高(gāo)校(xiào)的(de)數(shùβ→<→)據資産情況進行(xíng)統籌，了(le)解具體(tǐ)γ•÷♠業(yè)務系統的(de)運行(xíng)☆δ♦β情況，梳理(lǐ)不(bù)同系統在高(g↕∏≈"āo)校(xiào)整體(tǐ)業(yè)務中的(de)結構和(♦∑¥™hé)功能(néng)，通(tōng)過梳理(lǐ)以明(míng•‌ )确各系統的(de)業(yè)務優先級，往往可(kě)以以某一(yī)兩個ε₩∞$(gè)系統為(wèi)切入點進行(xíng)>∏定點梳理(lǐ)。在梳理(lǐ)工(gōng)₩♦作(zuò)的(de)同時(shí)，還(hái)需要(yào✘Ωδ§)實現(xiàn)一(yī)系列準備工(gōng)作(zuò)：梳理(lǐ)↓& 系統信息的(de)調研收集、新增數(shù)據庫訪問(wèn)用→←≥✘(yòng)戶權限、網絡權限的(de)開(kāi)通(tōng)等。調ε>> 研收集是(shì)此階段的(de)工(gōng)作(≥≠£zuò)重點，需要(yào)重點獲取以下(xià)內(nè±α∏i)容：

➊ 系統運行(xíng)在什(shén)麽數(shù)據庫環境下(xiεγà)？系統對(duì)應的(de)數(shù)據表有(y‌₹ǒu)多(duō)少(shǎo)個(gè)¶☆₩∑？（範圍确認）

➋ 系統目前能(néng)通(tōng)過什(shén)麽途₽$↑♠徑/方法可(kě)以篩選出核心的(de)表？（業(yè)務确∞‌ 認）

➌ 是(shì)否擁有(yǒu)一(yī)個(gè)獨立的(d•∑e)數(shù)據管控組織，負責對(duì)數(shù)據資¥Ω産進行(xíng)維護？（組織架構）

➍ 系統內(nèi)部之間(jiān)的(de)數(shù)據流關系是€→(shì)怎樣的(de)？是(shì)否都(dōu)具備文♦±¶↑(wén)檔或者數(shù)據模型說(shuε♣λ&ō)明(míng)？（數(shù)據交換）

➎ 數(shù)據流關系展示下(xià)鑽到(dào)什(shén)麽程度？ γ 是(shì)否需要(yào)到(dào)字段級别？（數(≠γshù)據地(dì)圖展示）

采集階段

采集階段可(kě)以将高(gāo)校(xiào✔>α)資産數(shù)據進行(xíng)統一(yī)采集≥©↕•，并形成相(xiàng)應的(de)核心表記錄。核¶₩↔心表包括主數(shù)據和(hé)參考數(λ'₩∞shù)據兩部分(fēn)，主數(shù)據β↓是(shì)高(gāo)校(xiào)“黃(huáng)金(㮧jīn)數(shù)據”，參考數(shù)據能(néng)夠為(wè® i)業(yè)務部門(mén)提供數(shù)據分(fēn)© × 析基礎。通(tōng)過核心表的(de)梳理(lαε¥↓ǐ)和(hé)建立，可(kě)以進一(yī)步梳理(lǐ)和(δ§γ♠hé)細化(huà)數(shù)據的(de)核心字↑≠ε段，這(zhè)部分(fēn)工(gōng)作(zuλ ò)可(kě)以加強業(yè)務部門(mén)的(de)數(shù)據溝∞±♣÷通(tōng)和(hé)交流，共同完成治理(lǐ)工(gōng)作(zuò)★♥≥¥，在整個(gè)過程中，通(tōng)過關聯業(yè)務之前的(de)條件↑×(jiàn)過濾和(hé)條件(jiàn)組合，可(♦♣γkě)以從(cóng)數(shù)據源頭進行(xíng)數(shù)據質量提升₩λ>→，加強業(yè)務預防工(gōng)作(zuò)能(néng)♦ε力。

本階段的(de)工(gōng)作(zuò)重點在于系統梳理(lǐ)±☆過程彙總涉及龐雜(zá)的(de)文(wén₩ ↓)檔梳理(lǐ)和(hé)系統對(duì)接，需要(yào)對(duì)工(• ∏₹gōng)作(zuò)內(nèi)容進行(xíng)<×♣"整理(lǐ)和(hé)梳理(lǐ)，并對(duì)相(xiàng)應的(φ<¶de)文(wén)檔進行(xíng)規範化(huà)管理(lǐ)φ€φ☆，根據經驗，可(kě)按需excel文(wén↕✔β)檔記錄、數(shù)據庫關聯分(fēn)析等方法來(lái)推動工♦♣(gōng)作(zuò)的(de)快(kuài)速開(kāi)展。

整合階段

整合階段的(de)工(gōng)作(zuò)重心在于梳理(lǐ)表與表之λ 間(jiān)、系統與系統之間(jiān)的(d‌←&e)關聯，除了(le)業(yè)務部門(mén)之間(jiā'φ∞←n)的(de)協同配合外(wài)，還(hái)需梳理(lǐ)大(dà)量的↕≈¥€(de)接口文(wén)檔，包括非規範性文(♥σ✘≤wén)檔和(hé)信息。整合工(gōng)作(zuò)可(kěβ÷)以對(duì)高(gāo)校(xiào)整體(tǐ)資産數(shù)據進行(≤↑xíng)統一(yī)管理(lǐ)，形成數(shù)據之間(jiān♣×)的(de)流向記錄，起到(dào)對(duì)βσ₹業(yè)務工(gōng)作(zuò)的(de)全面核Ω$心支撐。

本階段的(de)工(gōng)作(zuò)重點在于同步開(kāi)展數(‌÷shù)據治理(lǐ)和(hé)業(yè)務開(kāi)展α π₹工(gōng)作(zuò)，在工(gōng)作(zu↕$ò)中逐步完成數(shù)據收集和(hé)确認，同σσ時(shí)根據實際業(yè)務需求對(duì)元數✘↔< (shù)據進行(xíng)調整和(hé)修正。

運維階段

完善的(de)元數(shù)據運維機(jī)制(zhì)能(né∞←ng)更好(hǎo)地(dì)維護元數(shù)據完整性和( ≠hé)業(yè)務權威性。業(yè)務系統中發生(shēn¶≤πg)業(yè)務變更，需要(yào)修改、新增、删除數(shù≠±∏™)據庫信息時(shí)，業(yè)務系統需₽∞‌∑在元數(shù)據管理(lǐ)平台提交變更計(jì)劃申請₽ §(qǐng)，變更申請(qǐng)通(tōng)過 ↑審核後才能(néng)執行(xíng)變更計(jì)劃↔ ✔，如(rú)：增加表、修改表的(de)腳本。變更完 φ✔☆成後，應立即使用(yòng)元數(shù)據管理(ε♥lǐ)平台對(duì)應采集庫表元數(shù)據，并進行±®(xíng)數(shù)據信息的(de)更新管 γ​>理(lǐ)。

四.建設效果

元數(shù)據血緣追溯

元數(shù)據應用(yòng)1 

元數(shù)據應用(yòng)2

我們在高(gāo)校(xiào)數(shù)$¶據治理(lǐ)摸索過程中，不(bù)同的(deσ β)主體(tǐ)面臨不(bù)同的(de)情況和(hé)困難，需持續參考和(↑∑hé)借鑒已有(yǒu)的(de)成功經驗和(hé)最佳實踐，結合‍÷ε自(zì)身(shēn)的(de)實際情況，探索出符合各✘Ω☆>自(zì)校(xiào)情特色的(de)“智慧數(shù)據高(g↕₽āo)校(xiào)”發展之路(lù)。

如(rú)有(yǒu)更多(duō)建議(yì)和(hé)咨詢請(qǐn•♥≈εg)聯系我們，我們将竭誠為(wèi)您服務。