では、今回の結果が良かったかというのを見るには、どのようにしたらいいでしょうか？
実は上記のどの数値も、それぞれの評価方法に対してどの程度かを表しており、本当に利用できるかどうかは値を見て判断する必要があります。
今回は気象庁のデータなので、気象庁の情報と比較してみます。
天候については情報が無いですが、以下に「降水の有無」「気温」についての記載があります。
http://www.data.jma.go.jp/fcd/yoho/kensho/explanation.html
http://www.data.jma.go.jp/fcd/yoho/data/kensho/HPdata1504/szc_1504.html
にあるデータを見ると、降水有無の的中率は地方によってばらつきはありますが概ね80%程度、気温については平均ではなく最高/最低ですが、RMSEは概ね2.0程度となっております。
今回AMLで検証した結果を見ると
降水有無の的中率 75％ (気象庁データ 80%)
平均気温予想のRMSE 3.9 (気象庁データ 2.0)
となっておりました。
これが良いか、悪いかという点ですが、実際の天気予報には天気図や様々な観測データから行っているのに対して、今回に用いた属性情報（アトリビュート）は「年月日 日照時間(時間)、平均湿度(％)、平均蒸気圧(hPa)、平均雲量(10分比)、天気概況(夜：18時〜翌日06時)、天気概況(昼：06時〜18時)、平均気温(℃)、最高気温(℃)、最高気温(℃) 時分 、最低気温(℃)、最低気温(℃) 時分、降水量の合計(mm)、1時間降水量の最大(mm)、1時間降水量の最大(mm) 時分、平均風速(m/s)」などだけなので、各項目を予測するには充分なデータで無いとも考えられます。
また、実際に利用する際には上記の数値だけで判断するのではなく、結果の値が求める範囲と思われるかどうかを判断する必要があります。例えば前回の気温予測では、気温が4℃や6℃も定期的に外れるんだと、そもそも使えないのでは？と言った点です。
ただし、モデルが出来て終了ではなく、チューニングなどを行うことで変化する事は充分に確認できました。
次回は最終回として、今回のまとめとなります。
ナレコムクラウドでは機械学習を含めたAIやロボットといった事に興味があるエンジニアを募集しております。未経験の方でも興味がある方はお気軽に お問い合せ 下さい。
◯Amazon Machine Learning
第１回
Amazon Machine Learningを理解するために3つの方法で天気予測をしてみた（二項分類編）
第２回
Amazon Machine Learningを理解するために3つの方法で天気予測をしてみた（多項分類編）
第３回
Amazon Machine Learningを理解するために3つの方法で天気予測をしてみた（回帰分析編）
第４回
Amazon Machine Learningを理解するために3つの方法で天気予測をしてみた（答え合わせ編）
第5回
