3.データ探索（EDA）

データ探索（EDA）とは、分析初期のフェーズで「データを理解するため」に行う作業のこと

データ探索を行う目的としては、まずはデータに触れてみて、データを可視化したり、データのパターンを探したりすることで、「データを見てからモデルを修正する」必要性があるからです。

少しわかりずらいですね。
図で説明しましょう。

Aさんが売上予測モデルを作ってほしいと依頼されました。
しかし、Aさんは売上のデータは扱ったことがありません。

そこで、まずは営業部から売上のデータを集めて、簡単にグラフを作ってみることにしました！

するとどうでしょう。構想段階では分からなかった「異常値や欠損値」が発見され、またデータの「トレンド・パターン」を発見することが出来ました。

この実際のデータを集めて、図や表に表してみるという行動が「探索的データ解析」に当たります。

探索的データ解析の成果によってその後の作業効率が変わるため、非常に重要な作業になります。

4.可視化

可視化とは、データを見える形で整理すること

身近な例だと、エクセルで管理している売上データや在庫の数などを表や図に変換することなどが挙げられますね。

例えば、売り上げの数字がエクセルに羅列されているとします。
ぱっと見たときに、数字が大量に並んでいるだけでは「何がどう変わっているか」って分かりづらいと思います。特に大事な意思決定の場では、数字だけ並べられても判断までに時間がかかってしまいます。さらに、そこにデータ量が1000行とかあったらどうでしょう、、、。ぞっとしますよね。

そんなときに必要になるのが可視化です。

可視化は以下のようなメリットがあります。

・属人的なスキルへの依存解消
・クイックな意思決定

5.特徴量エンジニアリング

特徴量エンジニアリングとは、人為的にAIの予測精度を上げるために用いる技術のこと

データ分析ではあるあるにはなりますが、せっかくデータ分析のモデルを作成したのに、予測精度がいまいちだと利用価値がなくなってしまうことが多々あります。

上記の要因の一つとして、集めた生のデータには不良値や欠損値などが含まれている場合や、そのまま扱えない文字データ・画像データがある場合があり、より利用価値の高いモデルを作るために、人がデータを加工する必要があります。

そのデータを表形式にまとめてパターン認識できるように変換する技術を特徴量エンジニアリングと呼んでいます。

【代表的な特徴量エンジニアリング】

Label encoding

例えば、好きな色…青なら3、白なら1　といった感じで、好きな色を言語ではなく数値に変換する技術です。

Count Encoding

例えば、好きな色を集計したデータが1000件あるとして、その中から
好きな色…青は300件、白は200件…と、そのまま集計した好きな色のデータ件数を数値に変換する技術です。

まだまだ他にもデータ分析のモデルの予測精度を上げるための特徴量エンジニアリングはたくさんありますが、
長くなるので割愛します。

6.学習と推論

そもそも、機械学習とは、大量の学習データをコンピュータに読み込ませ、そのデータを分析することで分類や識別のルールを作ろうというプログラムのことを指しています。

機械学習をするためのプロセスは、学習　と　推論　の2つに分けられます。

学習とは、大量の学習データの統計的分布から、特徴の組み合せパターンを作り出すプロセス

例えば、学習データである「イチゴ」「レモン」「スイカ」の画像から、コンピュータがそれぞれの画像から見つけた典型的な特徴の組み合わせパターン（＝推論モデル）を作ります。

推論とは、分類や識別をしたいデータを、学習で生成しておいた推論モデルに当てはめて、その結果を導くプロセスで

例えば、未知の画像から、画像の特徴を抽出し、「イチゴ」「レモン」「スイカ」を識別する推論モデルに抽出した特徴を照合します。

そして、イチゴの特徴の組み合わせパターンから作られた推論モデルが最も抽出した特徴に近いと判断すれば、「イチゴ」という推論をコンピュータが出力してくれます。

さいごに

簡単ではありますが、データ分析に関する基礎用語について解説しました。
一つ一つをじっくり説明すると長くなってしまいますので、色々割愛させていただきましたが、調べていく中でデータ分析の奥深さと難しさを改めて感じました。

ぜひ、参考になれば幸いです。