data cleaning

定義：檢測和修正數據集合中錯誤數據項以及對數據進行平滑處理等操作的數據預處理過程。

學科：計算機科學技術_數據庫_數據庫新技術

相關名詞：文本挖掘 信息過濾 數據交換

圖片來源：視覺中國

【延伸閱讀】

在數據科學的發(fā)展進程中，數據清洗在數據采集與分析之間起著橋梁作用，是不可或缺的一環(huán)。沒有經過清洗的數據如同帶有雜質的原材料，將直接影響分析結論的準確性和可靠性。數據清洗的本質任務，是識別并修復所謂的臟數據，以提升數據的完整性、正確性和一致性。

在現(xiàn)實信息系統(tǒng)中，臟數據（如客戶地址不完整、數值錄入格式錯誤、采集設備漏讀或誤讀信號、不同數據源中的同一對象記錄不一致等）普遍存在于金融交易記錄、科研觀測數據、企業(yè)客戶信息等各類場景中。為此，數據清洗被確認為數據挖掘流程中的關鍵步驟，它不僅決定分析算法的可行性，也直接關系到結論的可靠性。

數據清洗通常分為分析樣本數據、定義臟數據類型、識別臟數據及處理臟數據四個階段。處理方法因數據問題類型不同而異。

缺失值是最常見的問題之一，處理策略包括用常量、均值、最大值、估計值或模型預測值填補空缺，或者在缺失嚴重時直接刪除該變量。在模型訓練前，采用多重插補或基于推斷的填補算法（如貝葉斯網絡、決策樹）可獲得更合理的補全結果。

對于錯誤值和異常值，常常通過格式規(guī)范檢查、實體識別與基準數據比對來發(fā)現(xiàn)問題。例如，識別出負值的身高或日期格式不符的記錄，進而加以修正。在結構化數據中，可利用偏差分析、屬性約束、聚類等方法篩查出不合邏輯或遠離集中趨勢的異常點。利用分箱技術進行數值平滑，也是一種有效的處理方式。

重復數據通常源自多數據源整合。其處理需要先識別出相同實體的不同表示，技術手段包括編輯距離、字段匹配、向量空間模型等相似度計算方式。去重后應對重復記錄進行合并，保留最可信的版本，避免分析時因重復信息放大偏差。

一致性問題則涉及邏輯矛盾和語義沖突。例如，一個人聲稱是產品重度用戶，卻給出極低的熟悉度評分。此類問題可通過定義約束規(guī)則、交叉變量驗證和參考外部數據源等方式解決。語義一致性的維護，對支持決策型分析尤為重要。

盡管當前數據清洗方法已經較為系統(tǒng)，但在大數據環(huán)境下仍然面臨著挑戰(zhàn)。一方面，大數據體量大、異質性強，難以全面制定有效規(guī)則；另一方面，數據更新頻繁使靜態(tài)規(guī)則迅速失效。此外，清洗算法的復雜性與計算資源要求也限制其在大數據場景中的應用?，F(xiàn)階段，研究者正探索更加智能的、誤差率更低的自動化清洗算法，以適應大規(guī)模、多源、多模態(tài)數據的需求。

數據清洗不僅是技術問題，也是數據治理的重要組成部分。在數據倉庫構建、機器學習建模、可視化展示等所有依賴高質量數據的環(huán)節(jié)中，清洗工作直接決定了數據價值的釋放程度。隨著人工智能和自動化技術的發(fā)展，未來的數據清洗將更加依賴智能識別與自學習機制，實現(xiàn)從“規(guī)則驅動”向“數據驅動”的轉變。

責任編輯：張鵬輝