數(shù)據(jù)治理
數(shù)據(jù)治理(Data Governance)是組織中涉及數(shù)據(jù)使用的一整套管理行為,。由企業(yè)數(shù)據(jù)治理部門發(fā)起并推行,,關(guān)于如何制定和實(shí)施針對(duì)整個(gè)企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和技術(shù)管理的一系列政策和流程。
國際數(shù)據(jù)管理協(xié)會(huì)(DAMA)給出的定義:數(shù)據(jù)治理是對(duì)數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動(dòng)集合,。
國際數(shù)據(jù)治理研究所(DGI)給出的定義:數(shù)據(jù)治理是一個(gè)通過一系列信息相關(guān)的過程來實(shí)現(xiàn)決策權(quán)和職責(zé)分工的系統(tǒng),,這些過程按照達(dá)成共識(shí)的模型來執(zhí)行,,該模型描述了誰(Who)能根據(jù)什么信息,,在什么時(shí)間(When)和情況(Where)下,用什么方法(How),,采取什么行動(dòng)(What),。
數(shù)據(jù)治理的最終目標(biāo)是提升數(shù)據(jù)的價(jià)值,數(shù)據(jù)治理非常必要,,是企業(yè)實(shí)現(xiàn)數(shù)字戰(zhàn)略的基礎(chǔ),,它是一個(gè)管理體系,包括組織、制度,、流程,、工具。
數(shù)據(jù)治理內(nèi)容
以企業(yè)財(cái)務(wù)管理為例,,會(huì)計(jì)負(fù)責(zé)管理企業(yè)的金融資產(chǎn),,遵守相關(guān)制度和規(guī)定,同時(shí)接受審計(jì)員的監(jiān)督,;審計(jì)員負(fù)責(zé)監(jiān)管金融資產(chǎn)的管理活動(dòng),。數(shù)據(jù)治理扮演的角色與審計(jì)員類似,其作用就是確保企業(yè)的數(shù)據(jù)資產(chǎn)得到正確有效的管理,。
由于切入視角和側(cè)重點(diǎn)不同,,業(yè)界給出的數(shù)據(jù)治理定義已經(jīng)不下幾十種,,到目前為止還未形成一個(gè)統(tǒng)一標(biāo)準(zhǔn)的定義,。
ITSS WG1認(rèn)為數(shù)據(jù)治理包含以下幾方面內(nèi)容:
(1)確保信息利益相關(guān)者的需要評(píng)估,以達(dá)成一致的企業(yè)目標(biāo),,這些企業(yè)目標(biāo)需要通過對(duì)信息資源的獲取和管理實(shí)現(xiàn),;
(2)確保有效助力業(yè)務(wù)的決策機(jī)制和方向;
(3)確??冃Ш秃弦?guī)進(jìn)行監(jiān)督,。
數(shù)據(jù)治理過程
從范圍來講,數(shù)據(jù)治理涵蓋了從前端事務(wù)處理系統(tǒng),、后端業(yè)務(wù)數(shù)據(jù)庫到終端的數(shù)據(jù)分析,,從源頭到終端再回到源頭形成一個(gè)閉環(huán)負(fù)反饋系統(tǒng)(控制理論中趨穩(wěn)的系統(tǒng))。從目的來講,,數(shù)據(jù)治理就是要對(duì)數(shù)據(jù)的獲取,、處理、使用進(jìn)行監(jiān)管(監(jiān)管就是我們?cè)趫?zhí)行層面對(duì)信息系統(tǒng)的負(fù)反饋),,而監(jiān)管的職能主要通過以下五個(gè)方面的執(zhí)行力來保證——發(fā)現(xiàn),、監(jiān)督、控制,、溝通,、整合。
數(shù)據(jù)治理類型
應(yīng)對(duì)型治理
應(yīng)對(duì)型數(shù)據(jù)治理是指通過客戶關(guān)系管理(CRM)等“前臺(tái)”應(yīng)用程序和諸如 企業(yè)資源規(guī)劃(ERP)等“后臺(tái)”應(yīng)用程序授權(quán)主數(shù)據(jù),,例如客戶,、產(chǎn)品、供應(yīng)商,、員工等,。然后,數(shù)據(jù)移動(dòng)工具將最新的或更新的主數(shù)據(jù)移動(dòng)到多領(lǐng)域MDM系統(tǒng)中。它整理,、匹配和合并數(shù)據(jù),,以創(chuàng)建或更新“黃金記錄”,然后同步回原始系統(tǒng),、其它企業(yè)應(yīng)用程序以及數(shù)據(jù)倉庫或商業(yè)智能分析系統(tǒng),。
缺點(diǎn):
批量集成和應(yīng)對(duì)型數(shù)據(jù)治理方法引入的時(shí)間延遲可能導(dǎo)致業(yè)務(wù)部門繼續(xù)操作重復(fù)、不完整且不精確的主數(shù)據(jù),。因此,,這會(huì)降低多領(lǐng)域MDM方案實(shí)現(xiàn)在正確的時(shí)間向正確的人員提供正確數(shù)據(jù)這一預(yù)期業(yè)務(wù)目標(biāo)的能力。在期望被設(shè)定為數(shù)據(jù)將變得干凈,、精確且及時(shí)之后,,批量集成引入的時(shí)間延遲讓人感到沮喪。應(yīng)對(duì)型數(shù)據(jù)治理(下游數(shù)據(jù)管理員小組負(fù)責(zé)整理,、去重復(fù),、糾正和完成關(guān)鍵主數(shù)據(jù))可能導(dǎo)致讓人認(rèn)為“數(shù)據(jù)治理官僚化”。
應(yīng)對(duì)型數(shù)據(jù)治理還會(huì)導(dǎo)致最終用戶將數(shù)據(jù)管理團(tuán)隊(duì)看作“數(shù)據(jù)質(zhì)量警察”,,并產(chǎn)生相應(yīng)的官僚化和延遲以及主數(shù)據(jù)仍然不干凈的負(fù)面認(rèn)識(shí),。這還將使得MDM方案更難實(shí)現(xiàn)它的所有預(yù)期優(yōu)勢,并可能導(dǎo)致更高的數(shù)據(jù)管理總成本,。此方法的風(fēng)險(xiǎn)是組織可能以“兩個(gè)領(lǐng)域中的最差”而告終,,至少部分上如此–—已在MDM方案中投資,但是只能實(shí)現(xiàn)一些潛在優(yōu)勢,,即在整個(gè)企業(yè)內(nèi)獲得干凈,、精確、及時(shí)以及一致的主數(shù)據(jù),。
改進(jìn)方法:
有三個(gè)方法可超越應(yīng)對(duì)型數(shù)據(jù)治理,。
1. 用戶將數(shù)據(jù)直接輸入到多領(lǐng)域MDM系統(tǒng)中:用戶使用界面友好的前端將數(shù)據(jù)直接輸入到多領(lǐng)域MDM系統(tǒng)中,但是他們的新記錄和現(xiàn)有記錄的更新留在暫存區(qū)域或保留區(qū)域,,直到數(shù)據(jù)管理員審核和認(rèn)證為止,。這之后MDM系統(tǒng)才接受插入或更新,以便進(jìn)行完整的整理,、匹配,、合并,并將“最佳記錄”發(fā)布到企業(yè)的所有其他應(yīng)用程序,。此方法好過將一個(gè)完全不同的應(yīng)用程序(例如CRM或ERP系統(tǒng))作為“錄入系統(tǒng)”,,但是它仍然會(huì)出現(xiàn)延遲和效率低下。盡管存在這些缺點(diǎn),,使用暫存區(qū)域確實(shí)解決了大部分問題,,例如不用強(qiáng)制執(zhí)行重要屬性的錄入或在創(chuàng)建前不必進(jìn)行徹底搜索,。此外,由于我們并不受傳統(tǒng)應(yīng)用程序或現(xiàn)代CRM或ERP應(yīng)用程序如何處理數(shù)據(jù)錄入功能的影響,,通過不對(duì)應(yīng)對(duì)方法進(jìn)行批量數(shù)據(jù)移動(dòng),,我們還大大縮短了時(shí)間安排。
2. 用戶輸入直接傳送到多領(lǐng)域MDM系統(tǒng)中的數(shù)據(jù):在外面輸入新記錄或更新,,但是會(huì)立即傳送到MDM系統(tǒng),,以便自動(dòng)整理、匹配和合并,。異?;蚶鈧魉偷綌?shù)據(jù)管理員的隊(duì)列,幾個(gè)管理員便可支持更多最終用戶,。這是第一個(gè)主動(dòng)方法的改進(jìn),,因?yàn)槲覀兝?span lang="EN-US">MDM系統(tǒng)的業(yè)務(wù)規(guī)則、數(shù)據(jù)整理和匹配功能,,只要求管理員查看作為整理,、匹配和合并流程的例外而彈出的插入或更新。
3. 用戶使用特定于數(shù)據(jù)治理的前端輸入數(shù)據(jù):第三個(gè)方法是允許最終用戶直接錄入到多領(lǐng)域MDM系統(tǒng)中,,但是應(yīng)使用專為主動(dòng)數(shù)據(jù)治理方法而設(shè)計(jì)的前端,。可專門為最終用戶數(shù)據(jù)錄入設(shè)定屏幕,,您可利用功能齊全的MDM系統(tǒng)允許的自動(dòng)化、數(shù)據(jù)整理,、業(yè)務(wù)規(guī)則,、搜索和匹配等所有功能。因此,,不必首先將數(shù)據(jù)輸入到MDM系統(tǒng)的暫存區(qū)域中,,并且您不需要系統(tǒng)外的單獨(dú)工作流應(yīng)用程序。
主動(dòng)型治理
主動(dòng)數(shù)據(jù)治理的第一個(gè)優(yōu)勢是可在源頭獲得主數(shù)據(jù),。具有嚴(yán)格的“搜索后再創(chuàng)建”功能和強(qiáng)大的業(yè)務(wù)規(guī)則,,確保關(guān)鍵字段填充經(jīng)過批準(zhǔn)的值列表或依據(jù)第三方數(shù)據(jù)驗(yàn)證過,新記錄的初始質(zhì)量級(jí)別將非常高,。
主數(shù)據(jù)管理工作通常著重于數(shù)據(jù)質(zhì)量的“使它干凈”或“保持它干凈”方面,。
如果MDM系統(tǒng)中的數(shù)據(jù)質(zhì)量初始級(jí)別非常高,并且如果您不會(huì)通過從CRM或ERP源系統(tǒng)中傳入不精確,、不完整或不一致的數(shù)據(jù)來連續(xù)污染系統(tǒng),,則主數(shù)據(jù)管理的“保持它干凈”方面非常容易。
主動(dòng)數(shù)據(jù)治理還可有效消除新主記錄的初始錄入和其認(rèn)證以及通過中間件發(fā)布到企業(yè)其余領(lǐng)域之間的所有時(shí)間延遲,。由用戶友好的前端支持的主動(dòng)數(shù)據(jù)治理可將數(shù)據(jù)直接錄入到多領(lǐng)域 MDM 系統(tǒng)中,,可應(yīng)用所有典型的業(yè)務(wù)規(guī)則,,以整理、匹配和合并數(shù)據(jù),。當(dāng)初始數(shù)據(jù)錄入經(jīng)過整理,、匹配和合并流程后,此方法還允許數(shù)據(jù)管理員通過企業(yè)總線將更新發(fā)布到組織的其它領(lǐng)域,。
主動(dòng)數(shù)據(jù)治理方法消除了“數(shù)據(jù)治理官僚化”這一認(rèn)識(shí),,因?yàn)橹鲾?shù)據(jù)的授權(quán)已推給上游的業(yè)務(wù)用戶,使數(shù)據(jù)管理員處于很少被打擾的角色,,他們將不會(huì)成為諸如訂單管理或出具發(fā)票等關(guān)鍵業(yè)務(wù)流程的瓶頸,。
銷售和營銷均受益,因?yàn)榭筛杆偾医?jīng)濟(jì)有效地完成營銷活動(dòng),,在啟動(dòng)活動(dòng)之前無需前期數(shù)據(jù)糾正,。財(cái)務(wù)上也受益,因?yàn)閷⒁淮涡圆东@新客戶需要的所有數(shù)據(jù)元素,,添加新客戶的流程包括提取第三方內(nèi)容并計(jì)算信貸限額,,然后將該信息傳回ERP系統(tǒng)。
沒有直接訪問MDM系統(tǒng)權(quán)限的客戶服務(wù)代表通常必須搜索幾個(gè)系統(tǒng),,找到他們需要的信息,,從而采取措施。當(dāng)通話中的客戶沒有耐心時(shí),,很難提供高級(jí)別的服務(wù),。當(dāng)所有信息存儲(chǔ)在MDM系統(tǒng)中并可通過有效、用戶友好的前端進(jìn)行訪問時(shí),,客戶服務(wù)代表將能夠訪問每個(gè)客戶交互需要的所有數(shù)據(jù),,并能夠在需要時(shí)授權(quán)新數(shù)據(jù)。
通過使MDM成為錄入系統(tǒng)及記錄系統(tǒng),,您能從本質(zhì)上將數(shù)據(jù)維持在“零延遲”狀態(tài),,它在這種狀態(tài)下適合企業(yè)中的任何預(yù)期使用場景,同步到CRM和ERP系統(tǒng)的數(shù)據(jù)的清潔性,、精確性,、時(shí)效性以及一致性應(yīng)當(dāng)處于最高級(jí)別。
應(yīng)避免問題
關(guān)系管理
MDM應(yīng)當(dāng)成為不僅是主數(shù)據(jù)而且是主數(shù)據(jù)間的關(guān)系的記錄系統(tǒng),。它成為全方位了解不同系統(tǒng)的數(shù)據(jù)如何互相關(guān)聯(lián)的中心位置,。例如,多領(lǐng)域MDM系統(tǒng)將來自訂單管理系統(tǒng)的銷售訂單和應(yīng)收賬款中的發(fā)票關(guān)聯(lián)在一起,。這些關(guān)系或?qū)哟谓Y(jié)構(gòu)顯示在與MDM系統(tǒng)數(shù)據(jù)直接交互的用戶界面中,。用戶界面還可用于查看主數(shù)據(jù)間的關(guān)系并在MDM系統(tǒng)中直接編輯它們。因此,,MDM還成為關(guān)系的錄入系統(tǒng),。
歷史記錄
當(dāng)您從諸如CRM系統(tǒng)等外部系統(tǒng)中接受新記錄或更新后的記錄時(shí),,可能會(huì)限制您跟蹤該記錄的歷史記錄,因?yàn)橥獠繎?yīng)用程序作出了一些限制,。當(dāng)MDM為錄入系統(tǒng)和記錄系統(tǒng)時(shí),,審計(jì)歷史記錄的復(fù)雜跟蹤和數(shù)據(jù)的沿襲成為可能。隨著時(shí)間的推移,,它甚至可顯示核心主記錄的更改,,按照各種用戶和流程在動(dòng)態(tài)時(shí)間視圖中顯示插入和更新,可跟蹤和顯示每個(gè)屬性中的每個(gè)更改,。工作流使用可配置的前端可設(shè)計(jì)和執(zhí)行基本工作流功能,,因此最終用戶可輸入新主記錄。但是,,這些新記錄可能需要數(shù)據(jù)管理員的批準(zhǔn)步驟,,然后才能將它們完全接受到多領(lǐng)域MDM系統(tǒng)中并發(fā)布到企業(yè)的其它領(lǐng)域。另外一個(gè)工作流應(yīng)用程序在數(shù)據(jù)管理員的任務(wù)隊(duì)列中,。匹配或自動(dòng)合并重復(fù)記錄遇到的例外傳送到相應(yīng)的數(shù)據(jù)管理員,。高級(jí)功能允許將問題提交給相應(yīng)的人員,當(dāng)用戶在休假時(shí)可自動(dòng)重新傳送給后備人員,。通過直接查看特定工作流步驟和這些流程的經(jīng)過時(shí)間,,減少了花費(fèi)在查詢新記錄或更改后的記錄狀態(tài)的時(shí)間。
安全性
用戶界面應(yīng)當(dāng)是可配置的,,并且不同的工作角色具有不同的訪問和許可級(jí)別,。幫助數(shù)據(jù)管理員解決差異的一些數(shù)據(jù)元素可能不適合企業(yè)中的每個(gè)人查看。此外,,即使在一個(gè)工作角色內(nèi),,例如數(shù)據(jù)管理員,您可能需要不同的安全性級(jí)別,,同時(shí)更高級(jí)別的人員能夠?qū)Ω鼜V泛的記錄集執(zhí)行更多操作。而且,,您可能需要分離訪問權(quán)限,,例如德國的數(shù)據(jù)管理員不能查看法國客戶記錄。
使用MDM外部的CRM或ERP系統(tǒng)作為錄入系統(tǒng)時(shí),,該應(yīng)用程序的安全模型可能會(huì)在誰有權(quán)對(duì)哪些記錄進(jìn)行哪些操作方面強(qiáng)加一些限制,。將主記錄的錄入和維護(hù)直接移到多領(lǐng)域MDM系統(tǒng)之后,您可更加詳細(xì)地控制數(shù)據(jù)的安全性,,可具體到每個(gè)屬性或字段級(jí)別,。
最適合領(lǐng)域
什么因素阻止公司采用主動(dòng)數(shù)據(jù)治理方法?總的來說,,問題在于它們?cè)跀?shù)據(jù)治理成熟度等級(jí)中處于什么位置,。一家公司很難從成熟度模型的最左側(cè)——它們?cè)谄渲袥]有中央多領(lǐng)域MDM系統(tǒng)并且沒有數(shù)據(jù)治理組織或流程——直接跳到該等級(jí)的最右側(cè),,它們?cè)谄渲袚碛袕?qiáng)大的數(shù)據(jù)治理流程外加最新MDM系統(tǒng)和集成架構(gòu)。通常,,隨著時(shí)間的推移,,組織會(huì)改進(jìn)它們的數(shù)據(jù)治理方法。例如,,當(dāng)初始MDM系統(tǒng)開啟并運(yùn)行之后,,一些預(yù)期的優(yōu)勢需要較長時(shí)間才能實(shí)現(xiàn),或應(yīng)對(duì)方法的局限性變得顯而易見,,您可計(jì)劃以便在原始源系統(tǒng)中取消授權(quán)記錄的功能,,并將該功能直接遷移到MDM系統(tǒng)中。
升級(jí)公司的集成或中間件功能(例如,,添加一個(gè)能處理實(shí)時(shí)更新的集成工具)之后,,可切換到主動(dòng)數(shù)據(jù)治理方法,或作為現(xiàn)有CRM或ERP系統(tǒng)重大升級(jí)的一部分,,因?yàn)檫@可能是引進(jìn)需要的業(yè)務(wù)流程變更的最佳時(shí)機(jī),。
何時(shí)從“應(yīng)對(duì)型”遷移為“主動(dòng)型”?
度量標(biāo)準(zhǔn)將推動(dòng)業(yè)務(wù)案例從應(yīng)對(duì)型數(shù)據(jù)治理遷移到主動(dòng)數(shù)據(jù)治理,。
問您自己以下問題,,并嘗試量化時(shí)間、精力和費(fèi)用投資方面的答案:
· 吸納一個(gè)新客戶需要多長時(shí)間,?
· 涉及多少個(gè)不同步驟,?
· 在普通新記錄被接受到多領(lǐng)域MDM系統(tǒng)之前會(huì)接觸它多少次?
· 由于這些源系統(tǒng)的局限性,,仍在源系統(tǒng)中創(chuàng)建多少個(gè)重復(fù)記錄(然后在MDM系統(tǒng)中合并),?
· 需要多少個(gè)數(shù)據(jù)管理員支持該企業(yè)?
· 主記錄是否進(jìn)入了“更改,,改回”循環(huán),,因?yàn)閮蓚€(gè)不同的用戶組試圖強(qiáng)制執(zhí)行兩個(gè)不同的業(yè)務(wù)規(guī)則集?
· 主記錄的重要方面是否因源系統(tǒng)和MDM系統(tǒng)之間的“裂縫而失敗”,?
· 維護(hù)各個(gè)源系統(tǒng)和MDM系統(tǒng)之間的集成的流程是否成為一種負(fù)擔(dān),?
· 在CRM系統(tǒng)中輸入新記錄后,必須等待才能在ERP系統(tǒng)中變得可用,,用戶是否有所抱怨,?
· 是否存在數(shù)據(jù)治理的資金問題,因?yàn)樗豢醋鍪枪芾碣M(fèi)用或一種官僚作風(fēng),?
回答這些問題之后,,應(yīng)當(dāng)明顯看出您是否將能夠遷移到更主動(dòng)的數(shù)據(jù)治理方法。您可詳細(xì)計(jì)劃遷移流程,,將它設(shè)立為一個(gè)獨(dú)立的項(xiàng)目或?qū)⑺傻搅硪粋€(gè)相關(guān)項(xiàng)目中,。
何時(shí)開始
一些情況要求立即開始主動(dòng)數(shù)據(jù)治理,,例如當(dāng)您獲得多個(gè)CRM系統(tǒng)和ERP系統(tǒng),它們要求與多領(lǐng)域MDM系統(tǒng)集成,,以便讓它們繼續(xù)充當(dāng)錄入系統(tǒng),,或當(dāng)您的當(dāng)前源系統(tǒng)非常脆弱或很難維護(hù)或修改。
在這些情況下,,要忍受困難并從一開始便為主動(dòng)數(shù)據(jù)治理作出計(jì)劃,。一些組織擁有成千上萬個(gè)直接在MDM系統(tǒng)中授權(quán)主數(shù)據(jù)的最終用戶,并且有一個(gè)數(shù)據(jù)管理員團(tuán)隊(duì)支持他們,、發(fā)現(xiàn)異常,、解決低質(zhì)量匹配、在需要時(shí)手動(dòng)合并重復(fù)記錄等等,。另一種應(yīng)用情況是當(dāng)您發(fā)現(xiàn)自己最終會(huì)選擇主動(dòng)數(shù)據(jù)治理方法 — 何必再為建立源系統(tǒng)到多領(lǐng)域MDM系統(tǒng)的雙向集成而爭論,?您或許不妨直接授權(quán)最終用戶來編寫主數(shù)據(jù)。
元數(shù)據(jù)管理
企業(yè)級(jí)數(shù)據(jù)管理軟件提供商Informatica公司認(rèn)為:數(shù)據(jù)治理成功的關(guān)鍵在于元數(shù)據(jù)管理,,即賦予數(shù)據(jù)上下文和含義的參考框架,。經(jīng)過有效治理的元數(shù)據(jù)可提供數(shù)據(jù)流視圖、影響分析的執(zhí)行能力,、通用業(yè)務(wù)詞匯表以及其術(shù)語和定義的可問責(zé)性,,最終提供用于滿足合規(guī)性的審計(jì)跟蹤。元數(shù)據(jù)管理成為一項(xiàng)重要功能,,讓IT部門得以監(jiān)視復(fù)雜數(shù)據(jù)集成環(huán)境中的變化,,同時(shí)交付可信、安全的數(shù)據(jù),。因此,,良好的元數(shù)據(jù)管理工具在全局?jǐn)?shù)據(jù)治理中起到了核心作用。
作用及其管理
Informatica將數(shù)據(jù)治理定義為“在組織范圍內(nèi),,對(duì)流程,、政策、標(biāo)準(zhǔn),、技術(shù)和人員進(jìn)行職能協(xié)調(diào)和定義來將數(shù)據(jù)作為公司資產(chǎn)管理,,從而實(shí)現(xiàn)對(duì)準(zhǔn)確、一致,、安全且及時(shí)的數(shù)據(jù)的可用性管理和可控增長,以此制定更好的業(yè)務(wù)決策,,降低風(fēng)險(xiǎn)并改善業(yè)務(wù)流程”,。
數(shù)據(jù)治理著重于交付可信、安全的信息,,為制定明智的業(yè)務(wù)決策,、有效的業(yè)務(wù)流程并優(yōu)化利益相關(guān)方交互提供支持,。因此,數(shù)據(jù)治理本身并非是結(jié)果,,而僅僅是方法:即通過數(shù)據(jù)治理來支持最關(guān)鍵的業(yè)務(wù)目標(biāo),。
定義
元數(shù)據(jù)為數(shù)據(jù)提供了一個(gè)參考框架。Forrester Research將元數(shù)據(jù)定義為“用于描述數(shù)據(jù),、內(nèi)容,、業(yè)務(wù)流程、服務(wù),、業(yè)務(wù)規(guī)則以及組織信息系統(tǒng)的支持政策或?yàn)槠涮峁┥舷挛牡男畔?span lang="EN-US">”,。譬如,蘋果公司旗下的App Store在網(wǎng)上銷售軟件應(yīng)用程序,。在此情況下的數(shù)據(jù)是應(yīng)用程序,。元數(shù)據(jù)則是關(guān)于這些應(yīng)用程序的信息,包括應(yīng)用程序描述,、價(jià)格,、用戶評(píng)級(jí)、評(píng)論和開發(fā)公司,。
重要性
正如某家大型銀行的高管所言:“如果沒有數(shù)據(jù)治理,,任何元數(shù)據(jù)管理方案注定會(huì)失敗。”元數(shù)據(jù)管理可作為一項(xiàng)重要功能,,讓IT部門得以管理復(fù)雜數(shù)據(jù)集成環(huán)境中的變化,,同時(shí)交付可信、安全的數(shù)據(jù),。當(dāng)業(yè)務(wù)利益相關(guān)方參與這一進(jìn)程并接受對(duì)數(shù)據(jù)參考框架的責(zé)任,,其優(yōu)勢將變得更有說服力。此時(shí),,企業(yè)就能將業(yè)務(wù)元數(shù)據(jù)與基層的技術(shù)元數(shù)據(jù)進(jìn)行關(guān)聯(lián),,為全公司范圍內(nèi)的協(xié)作提供詞匯表和背景資料。
例如,,當(dāng)業(yè)務(wù)用戶要求其在IT部門的搭檔在報(bào)告或分析中顯示“凈收入”,,就無需再提問“哪種凈收入——財(cái)務(wù)、銷售還是市場營銷,?”除提供其他優(yōu)勢外,,良好的元數(shù)據(jù)管理還可通過免除此類重要問題,促進(jìn)數(shù)據(jù)治理:
· 這個(gè)業(yè)務(wù)術(shù)語的含義是什么,?
· 在(幾個(gè)相似的)業(yè)務(wù)術(shù)語中應(yīng)當(dāng)使用哪一個(gè),?
· 該術(shù)語的來源是什么?
· 該數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到目標(biāo)時(shí)是如何進(jìn)行轉(zhuǎn)換的?
· 由誰負(fù)責(zé)該術(shù)語的定義,、記錄和管理,?
· 誰修改過該術(shù)語?如何及何時(shí)進(jìn)行修改,?
· 哪些政策和規(guī)則適用于該術(shù)語,?
· 修改環(huán)境中的某一特定數(shù)據(jù)對(duì)象會(huì)對(duì)其他數(shù)據(jù)對(duì)象產(chǎn)生哪些影響?
· 在不對(duì)可能使用相同數(shù)據(jù)對(duì)象的其他報(bào)告和分析造成影響的前提下,,需要多長時(shí)間來實(shí)施環(huán)境變更,?
驅(qū)動(dòng)因素
一系列公司方案推動(dòng)了數(shù)據(jù)治理的進(jìn)展,也由此帶動(dòng)了元數(shù)據(jù)管理,。這些方案包括:
· 通用業(yè)務(wù)詞匯表(簡單的數(shù)據(jù)管理),。這種“小規(guī)模試水”方法著重于某一特定問題或業(yè)務(wù)部門的通用業(yè)務(wù)詞匯表。
· 全面數(shù)據(jù)治理(或數(shù)據(jù)管理策略),。這是一種更近似由上至下的方式,,通常用于涉及企業(yè)內(nèi)一系列業(yè)務(wù)部門的較大規(guī)模計(jì)劃,并以按多個(gè)階段(如果不是更長時(shí)間)進(jìn)行管理的計(jì)劃中的多個(gè)商機(jī)為目標(biāo),。
· 合規(guī),。此類方案的推動(dòng)因素是為遵守國際、國家,、當(dāng)?shù)鼗蛐袠I(yè)法規(guī)的需求,。合規(guī)——通常由一個(gè)治理、風(fēng)險(xiǎn)與合規(guī)性(GRC)職能部門進(jìn)行管理,,顯然與數(shù)據(jù)治理唇齒相依,。在發(fā)現(xiàn)、分析和記錄企業(yè)的多項(xiàng)內(nèi)部數(shù)據(jù)治理要求的同時(shí),,還必須與適用外部法規(guī)的相關(guān)特定要求進(jìn)行統(tǒng)籌協(xié)調(diào),。其中部分示例包括:
· 銀行業(yè):Basel II、Basel III,、多德弗蘭克法案(Dodd Frank),、洗錢法案
· 保險(xiǎn)業(yè):償付能力監(jiān)管標(biāo)準(zhǔn)II(Solvency II)
· 醫(yī)療保健:HITECH Act,、HIPAA
· 一般金融服務(wù):薩班斯—奧克斯利法案
· 元數(shù)據(jù)管理,。這是更上一層樓的做法,將元數(shù)據(jù)管理和數(shù)據(jù)治理作為“最佳實(shí)踐”與各個(gè)新的業(yè)務(wù)方案掛鉤,。該方案對(duì)業(yè)務(wù)案例和項(xiàng)目范圍進(jìn)行定義,。在多家未能成功實(shí)施較大型數(shù)據(jù)治理方案的公司中,這一方法則取得了成功,。
大數(shù)據(jù)與治理
幾乎所有企業(yè)都面臨著管理數(shù)據(jù)量,、速度和種類的挑戰(zhàn)。Hadoop/MapReduce技術(shù)在復(fù)雜數(shù)據(jù)分析能力以及按相對(duì)低廉的成本實(shí)現(xiàn)最大數(shù)據(jù)擴(kuò)展性方面提供了一些有趣的優(yōu)勢。Hadoop在不久的將來取代關(guān)系性DBMS的可能性不大,,這兩項(xiàng)技術(shù)更有可能并存,因?yàn)樗鼈兏饔歇?dú)到之處,。雖然用于管理和分析數(shù)據(jù)的技術(shù)可能不同,,元數(shù)據(jù)管理和數(shù)據(jù)治理的目標(biāo)應(yīng)始終保持不變:為支持良好的業(yè)務(wù)決策提供可信、及時(shí)且相關(guān)的信息,。不存在所謂的“大數(shù)據(jù)治理”或“大數(shù)據(jù)元數(shù)據(jù)管理”——相反,,這是一個(gè)將全局企業(yè)數(shù)據(jù)治理和元數(shù)據(jù)管理活動(dòng)加以擴(kuò)展來包容全新數(shù)據(jù)類型和數(shù)據(jù)源的問題。
Hadoop帶來的挑戰(zhàn)之一就是元數(shù)據(jù)管理,。如果沒有良好的元數(shù)據(jù)管理和數(shù)據(jù)治理,,Hadoop將會(huì)缺乏透明度、可審計(jì)性以及數(shù)據(jù)的標(biāo)準(zhǔn)化與重復(fù)利用能力,。企業(yè)仍將需要對(duì)數(shù)據(jù)相關(guān)關(guān)鍵信息的可見性,,例如其來源、質(zhì)量和所有權(quán),,否則就必須承受Hadoop變成環(huán)境內(nèi)的又一個(gè)數(shù)據(jù)孤島的風(fēng)險(xiǎn),。在該領(lǐng)域涌現(xiàn)的HCatalog和Hive/HiveQL等新技術(shù)將使得從非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中收集元數(shù)據(jù)變得更加簡易,從而實(shí)現(xiàn)Hadoop上的數(shù)據(jù)沿襲,。這些功能對(duì)于將Hadoop集成入總體數(shù)據(jù)集成框架,,以防止大數(shù)據(jù)在企業(yè)中遭到孤立隔絕,可如同任何其他數(shù)據(jù)源一樣進(jìn)行治理至關(guān)重要,。
數(shù)據(jù)治理方案
有關(guān)數(shù)據(jù)治理的問題并不能在企業(yè)的單一部門得到解決,。這需要IT與業(yè)務(wù)部門進(jìn)行協(xié)作,而且必須始終如一地進(jìn)行協(xié)作,,以改善數(shù)據(jù)的可靠性和質(zhì)量,,從而為關(guān)鍵業(yè)務(wù)方案提供支持,并確保遵守法規(guī),。Informatica能夠提供企業(yè)級(jí)數(shù)據(jù)治理解決方案,,該解決方案可以在本地或云中使用,在傳統(tǒng)數(shù)據(jù)或大數(shù)據(jù)中均有使用案例,,可以滿足業(yè)務(wù)和IT部門的需求,。
Informatica可提供功能齊全而又穩(wěn)健可靠的數(shù)據(jù)治理解決方案,具備交付可信,、安全的數(shù)據(jù)和啟動(dòng)成功的元數(shù)據(jù)管理方案所需的全部精確功能,。Informatica Axon提供端到端智能數(shù)據(jù)治理解決方案,以整體,、協(xié)作的方法將員工,、流程和系統(tǒng)流暢融合,從而實(shí)現(xiàn)戰(zhàn)略業(yè)務(wù)成果。Axon Data Governance作為協(xié)作中心,,為成功實(shí)施數(shù)據(jù)治理計(jì)劃提供支持,。
數(shù)據(jù)治理模型
ITSS WG1發(fā)布的白皮書表明
數(shù)據(jù)治理模型包括三個(gè)框架:范圍、促成因素和執(zhí)行及評(píng)估,。他們每個(gè)方面都包含許多組件來進(jìn)行展示和描述它們是如何工作的,。該框架顯示數(shù)據(jù)治理內(nèi)部的邏輯關(guān)系。范圍展示了我們應(yīng)該關(guān)注什么,,促成因素展示了數(shù)據(jù)治理的推動(dòng)因素,,執(zhí)行和評(píng)估展示了如何實(shí)現(xiàn)治理的方法。該DG模型可以通過三個(gè)框架幫助我們理解數(shù)據(jù)治理,。
數(shù)據(jù)治理的范圍包括四個(gè)層次的內(nèi)容,。首先,應(yīng)該有一個(gè)治理要素負(fù)責(zé)管理其它管理要素,,保證治理與管理的一致性,。其次,下面的三個(gè)層次分別列示了需要治理的數(shù)據(jù)管理要素:
其中價(jià)值創(chuàng)造層列示了通過數(shù)據(jù)治理所創(chuàng)造的價(jià)值服務(wù),;
價(jià)值保證層描述了一個(gè)組織治理數(shù)據(jù)時(shí)重要保證服務(wù),;
基礎(chǔ)數(shù)據(jù)服務(wù)層描述了一個(gè)數(shù)據(jù)治理的基礎(chǔ)數(shù)據(jù)服務(wù)。
數(shù)據(jù)治理工具
數(shù)據(jù)治理工作需要使用到哪些技術(shù)和工具,?
引用了國內(nèi)某一數(shù)據(jù)服務(wù)廠商的數(shù)據(jù)治理工具來簡述一下,。
元數(shù)據(jù)管理:包括元數(shù)據(jù)采集、血緣分析,、影響分析等功能
數(shù)據(jù)標(biāo)準(zhǔn)管理:包括標(biāo)準(zhǔn)定義,、標(biāo)準(zhǔn)查詢、標(biāo)準(zhǔn)發(fā)布等功能
數(shù)據(jù)質(zhì)量管理:包括質(zhì)量規(guī)則定義,、質(zhì)量檢查,、質(zhì)量報(bào)告等功能
數(shù)據(jù)集成管理:包括數(shù)據(jù)處理、數(shù)據(jù)加工,、數(shù)據(jù)匯集等功能
數(shù)據(jù)資產(chǎn)管理:包括數(shù)據(jù)資產(chǎn)編目,、數(shù)據(jù)資產(chǎn)服務(wù)、數(shù)據(jù)資產(chǎn)審批等功能
數(shù)據(jù)安全管理:包括數(shù)據(jù)權(quán)限管理,、數(shù)據(jù)脫敏,、數(shù)據(jù)加密等功能
數(shù)據(jù)生命周期管理:包括數(shù)據(jù)歸檔、數(shù)據(jù)銷毀等功能
主數(shù)據(jù)管理:包括主數(shù)據(jù)申請(qǐng),、主數(shù)據(jù)發(fā)布,、主數(shù)據(jù)分發(fā)等功能