CRM數據質量管理方案研究

2010/08/23

　　導讀:為了能夠讓CRM系統(tǒng)向企業(yè)決策，客戶管理等業(yè)務提供更準確的數據支持，詳細講述了在整個項目生命周期中，如何從數據庫層面和業(yè)務層面，雙向對數據質量進行有效的管理和控制，從而降低臟數據對企業(yè)決策造成的影響。

　　在企業(yè)部署CRM系統(tǒng)后，往往希望借助這一系統(tǒng)的商業(yè)智能優(yōu)勢，通過對數據的分析處理，來獲取隱含在數據中的更有商業(yè)價值的知識，以此來指導企業(yè)開展下一階段的工作。文章首先分析了當前大多數企業(yè)所面臨的數據質量低下的現(xiàn)狀，并對造成這一現(xiàn)象的原因加以分類，然后以筆者曾經參與設計的某企業(yè)CRM項目為例，從整個項目的生命周期開始，對各個階段所要解決的問題加以解釋，并給出解決方案。最后，從宏觀上給出一套對普遍企業(yè)適用的，能夠顯著提高數據質量的管理方案。

1.CRM系統(tǒng)中數據質量問題分析

　　CRM(Customer Relationship Management)也稱為客戶關系管理系統(tǒng)，其主要功能是通過對大量的客戶資料進行深入的分析，來實現(xiàn)縮短銷售周期，降低銷售成本，提高客戶忠誠度和保有率等商業(yè)目標。然而決定一個CRM系統(tǒng)成敗的關鍵，往往就是數據質量的優(yōu)劣。

　　劣質的數據來源不一，通過分析，其原因主要有以下幾種：

　�、偃狈︱炞C程序。很多系統(tǒng)沒有在初期就對用戶的輸入等過程提供完整的驗證程序，導致誤輸入等因素對數據質量造成一定影響。

　�、跀祿袷接行У徽_。往往有些看似有效的數據，但卻是錯誤的。

　�、巯到y(tǒng)更新。在原系統(tǒng)發(fā)生結構性變化時，如果管理員新增加了一個字段或下拉值，但是沒有及時通知相關的系統(tǒng)工程師，就會導致一線員工繼續(xù)使用舊的字段或下拉值去匹配新的信息類型。

　　④系統(tǒng)接口過多。

　�、萑狈⒄胀暾詸z查。

　　⑥不匹配的規(guī)則和定義。

　�、呔S度漸變。隨著時間的推移而可能發(fā)生改變的維度，也在某種程度上影響著數據質量。

　　由此可見，數據質量受到來自多方面的影響，并且隨著公司業(yè)務集成到網站中，并允許客戶和經銷商直接操作數據，而更加與日俱增，因此制定一套行之有效的管理方案迫在眉睫。

2.數據質量管理方案

　　DEMING W.E在其質量管理的十四要點中指出：“質量不能僅依賴于產品的檢驗，檢驗不能創(chuàng)造價值，只能將次品挑出來�！备鶕䦟嶋H工作情況來看，往往當我們檢查出臟數據時，它已經大量的存在于數據庫中了，檢查的成本高而效益低。要采用事前預防的方法，從一開始就將質量融入到數據中，以降低臟數據的發(fā)生率。

　　在實際項目中，將數據質量的控制在宏觀上劃分為了三個階段。

　　由于第三階段屬于數據挖掘范疇，是在建立了準確，完整的數據庫基礎上實現(xiàn)的，暫不屬于本文討論的范疇，所以我們重點關注第一階段和第二階段的實施。

　　2.1 數據質量規(guī)劃階段

　　完整的信息架構在數據質量管理中占據著重要的位置，這個架構一定是針對業(yè)務規(guī)則建立的，且能夠靈活應對將來可能出現(xiàn)的業(yè)務規(guī)則或數據流變更。

　　信息，簡要的說就是數據和知識。信息架構的工作在本質上就是將一些數據轉化為我們可以直觀的理解的知識，或者將我們獲得的知識轉化為數據，一邊可以傳遞，再利用。它應當是兼具兩者的設計過程。大體上應該包含三件工作：

　　①架構設計：首先我們要確定系統(tǒng)中信息的單元的大小，并決定這些單元之間的關系。

　�、诮M織方式：將這些組件組合成有意義的，具有特色的類別。也稱為邏輯分類。

　�、蹣擞洠簩⑸弦徊降玫降姆诸愑靡粋€唯一的標簽來命名。

　　設計過程的初期要通過有引導性的客戶調研工作理解用戶需求，尋找分類的趨勢，完成信息架構UML圖的初稿，這里應該進行至少兩次的分別從上到下和從下到上的梳理過程。之后就是情景模擬的測試過程，并且要讓用戶也參與進來，否則這個測試過程就失去了其本身的意義。企業(yè)的信息化過程中要引入數據質量管理平臺，以管理企業(yè)數據流，并成為企業(yè)各個子系統(tǒng)數據交互的中心，同時在各個層次上對數據質量進行監(jiān)控和管理，以建立統(tǒng)一的企業(yè)數據模型，形成企業(yè)統(tǒng)一的視圖。

　　信息的安全性管理不但包括我們熟知的密碼管理，用戶權限分配，服務器端防火墻的設置等網絡安全工作，還應特別注意外部數據的來源，是否為可信數據，數據質量是否符合系統(tǒng)的標準，此處要對導入程序做嚴格的檢查，寧肯放棄一部分數據也不能導入潛在的臟數據或無效數據。

　　2.2 數據質量控制階段

　　設計質量，即我們上面所說的質量規(guī)劃階段，其目的是要收集質量需求并將它們轉換為一套標準來執(zhí)行。接下來的執(zhí)行過程中，就存在著數據質量控制的問題。上面一節(jié)已經講過當前常用的評價數據質量的觀察點，在本項目中，宏觀上從三個方面來看：可信性、及時性、可用性。

　　檢測數據可信性的一系列規(guī)則都是要基于依賴性和現(xiàn)實世界的一致性的。他們可以用于定義數據的語義約束;區(qū)分靜態(tài)，暫時的，或是動態(tài)的約束;并且可以指定屬性、原則、關系或是整個數據庫。所有這些類型的約束都是在假設數據的某些性質不依時間的變化而變化為基礎上提出的，以便提供一個穩(wěn)定的數據集用來與其他數據作對比。

　　測量數據的質量，特別是可信性、及時性、可解釋性和有效性的潛在方法。

　　驗證生產數據的可信度要制訂即包括單變量特征也包括多變量特征的檢查規(guī)則。對于某些字段，它有可能同時存在多種約束條件，這些檢查的規(guī)則要在數據結構確立后就明確。此外，這里還應重點考慮的一項工作是重復數據的檢查。

　　結合項目中的實際情況來說，重復數據可以歸為兩類，一類是在數據庫中已經存在重復的記錄，所以要將這些冗余的數據清除，或是歸檔。另一類是根據業(yè)務規(guī)則需要清洗，但并不違反數據庫的邏輯規(guī)則。如某些呼叫中心規(guī)定一個時間段內不能跟同一客戶聯(lián)系超過2次。這就要求數據庫操作人員在獲取客戶名單時，要做2次查重，以滿足上述條件。

　　另一個重要因素就是數據流的控制。往往一些企業(yè)的CRM系統(tǒng)的數據流的來源和去向較為復雜。任何環(huán)節(jié)發(fā)現(xiàn)了臟數據先不要急于去做數據清洗，應該順著數據流去尋找源頭，在確定從根本上修復了程序后再開始數據清洗工作。

　　總的來說，數據質量是一種通過度量和改善數據綜合特征從而優(yōu)化數據價值的過程，質量標準要客觀的附加在主觀的方法和建議之上，從而保證生產數據的質量。由法國等4國研究機構聯(lián)合立項的研究項目對在元數據層中嵌入質量管理模型已經取得了一定的進展。不僅如此，關于數據倉庫的質量管理問題也在對數據抽取，裝載，存儲等關鍵步驟進行研究�？梢姡瑪祿|量問題正在受到各行各業(yè)廣泛的關注。

3.小結

　　概括的說，在項目的整個生命周期內，應該有這樣一套完整的管理方案：

　�、賳訑祿|量管理計劃。該計劃要建立并保持數據定義和業(yè)務規(guī)則的一致性，并且只有一個版本，這樣還可以節(jié)省未來開發(fā)新程序和尋找相關數據的時間。

　�、谥贫椖坑媱�。這一計劃中要清晰的定義適用范圍，制定目標，估算投資回報率，差值分析，預估以及監(jiān)控實施效果。為了實現(xiàn)上述的目標，開發(fā)團隊需要做相應的數據挖掘工作事先評估現(xiàn)狀，確立修復方案并建立方案監(jiān)測數據的一致性。

　　③再次審視業(yè)務流程和數據架構。

　　④評估數據質量。在重新審視信息流和數據結構之后，企業(yè)需要對重點業(yè)務區(qū)域的數據質量進行全面的評估。目的是找出數據普遍存在的缺陷，建立測試模型來檢測他們是如何進入數據倉庫或其他系統(tǒng)的，制定清洗規(guī)則或給出合理的修復方案。

　�、莞纳茦I(yè)務流程。如前所述，防止臟數據的出現(xiàn)涉及到轉變管理態(tài)度，優(yōu)化業(yè)務流程等諸多因素。

　�、迗猿植恍傅谋O(jiān)測數據。如果沒有持續(xù)的數據質量的監(jiān)控，那我們之前做的所有工作都有可能付之東流。

比特網

從這里開始編輯