📑 Table of Contents▼

機械学習・データマイニングにおけるデータ前処理（データまえしょり、英: data preprocessing）は学習の前段階で行われるデータ変換である[1]。

概要

編集

機械学習やデータマイニングではモデルとデータが用意され、データに基づいてモデルのパラメータが更新=学習される。しかしデータがモデルに適さない場合がある（例: モデル入力サイズとデータ次元の不一致）[2]。そのため、学習より前の段階で、人が考案した規則に従って、生データを学習データへと変換することがある。この変換をデータ前処理という。

目的

編集

データ前処理には様々な目的がある。

  • モデル制約への適合
    • 例: 入力の値域合わせ、入力次元合わせ
  • クリーニング

関連する慣用句として「ガベッジイン、ガベッジアウト」がある。

脚注

編集
[脚注の使い方]
  1. ^ "tf.keras.preprocessing ... preprocess data before training." TensorFlow docs. 2022-07-17閲覧.
  2. ^ "One issue ... is that the samples are not of the same size. Most neural networks expect the images of a fixed size. Therefore, we will need to write some preprocessing code." PyTorch docs. 2022-07-17閲覧.
  3. ^ "外れ値が残ったままデータ分析を実行すると、ほとんどのケースで全体の分析結果がゆがんでしまいます。極端に大きな値や小さな値を分析データに含めることで、分析結果が外れ値に引っ張られてしまうからです。" 橋本. (2020) データ分析は前処理が8割、「毒抜き」しないと危険. 日経クロステック.
スタブアイコンサブスタブ

この項目は、まだ閲覧者の調べものの参照としては役立たない、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（P:コンピュータ）。

📚 Artikel Terkait di Wikipedia

傾向スコア・マッチング

Nonparametric Preprocessing for Parametric Causal Inference”. R Project. 2020年12月30日閲覧。 ^ Gelman, Andrew; Hill, Jennifer (2007). Data Analysis Using

今井耕介

King, and Elizabeth A. Stuart. (2007). ``Matching as Nonparametric Preprocessing for Reducing Model Dependence in Parametric Causal Inference. Political

マッチング (統計学)

King, Gary; Stuart, Elizabeth A. (2007). “Matching as Nonparametric Preprocessing for Reducing Model Dependence in Parametric Causal Inference”. Political

衝突判定

algorithms is known as the hierarchical bounding volumes method. As a preprocessing step, for each object (in our example, S {\displaystyle S} and T {\displaystyle

公平性 (機械学習)

better for everyone  Kamiran, Faisal; Calders, Toon (2011-12-03), Data preprocessing techniques for classification without discrimination  Kamiran, Faisal;