分類 (統計学)

この項目では、統計学における分類について説明しています。その他の用法については「分類」をご覧ください。

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN U-Net
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

分類（ぶんるい、英: classification）や統計的分類や統計的識別とは、統計学において、データを複数のクラス（グループ）に分類すること。2つのクラスに分ける事を二項分類や二値分類、多数のクラスに分ける事を多クラス分類という。Y = f(X) というモデルを適用する際に、Y が離散であれば分類、連続値であれば回帰である。

個体をクラス分けする統計的手続きの一つであり、分類対象に固有な1つ以上の特性についての数値化された情報に基づいて実施される。このとき、事前にラベル付けされた訓練例（英: training set）を用いる。

形式的に表すと、次のようになる。訓練データ ${\displaystyle \{(\mathbf {x_{1}} ,y_{1}),\dots ,(\mathbf {x_{n}} ,y_{n})\}}$ から、オブジェクト ${\displaystyle \mathbf {x} \in {\mathcal {X}}}$ から分類ラベル ${\displaystyle \mathbf {y} \in {\mathcal {Y}}}$ へマップする分類器（英: classifier、識別器とも） ${\displaystyle h:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$ を生成するのが統計分類である。例えば、スパムのフィルタリングをする場合、${\displaystyle \mathbf {x_{i}} }$ は具体的な電子メールの例であり、${\displaystyle y}$ は "Spam" か "Non-Spam" のどちらかである。

統計的分類アルゴリズムは主にパターン認識システムなどで使われる。

注: 群集生態学で言う「分類; classification」という用語は、一般に（たとえば機械学習で）データ・クラスタリングと呼ばれているものと同じものを指す。詳しくは教師なし学習などを参照されたい。

技法

分類手法は多数存在するが、それらは3つの相互に関連する数学的問題のいずれかを解決する。

第一の問題は、特徴空間（一般に多次元のベクトル空間）からラベルの集合への写像を求める問題である。これは、特徴空間を領域分割して、各領域にラベルを割り当てるのと同じである。このようなアルゴリズム（例えばk近傍法）は事後処理を行わないとクラス確率を生成できないのが一般的である。この問題を解く別のアルゴリズムとしては、特徴空間への教師なし クラスタリングの適用をし、次いで各クラスターまたは領域にラベルを付ける。

第二の問題は、統計分類を一種の予測問題とみなし、以下のような形式の関数を予測することを目標とするものとみなす。

${\displaystyle P({\rm {class}}|{\vec {x}})=f\left({\vec {x}};{\vec {\theta }}\right)}$

ここで、特徴ベクトル入力が ${\displaystyle {\vec {x}}}$ であり、関数 f は一般に ${\displaystyle {\vec {\theta }}}$ の一部によってパラメータ化される。この問題のベイズ推定的アプローチでは、唯一のパラメータベクトル ${\displaystyle {\vec {\theta }}}$ を選ぶのではなく、考えられる全てのθの積分が結果となり、各θが訓練データ D によって与えられる確率で重み付けされる。

${\displaystyle P({\rm {class}}|{\vec {x}})=\int f\left({\vec {x}};{\vec {\theta }}\right)P({\vec {\theta }}|D)d{\vec {\theta }}}$

第二の問題とも関連するが、第三の問題は条件付き確率 ${\displaystyle P({\vec {x}}|{\rm {class}})}$ を推測する問題であり、それに第二の問題のようにクラス確率を生成するためにベイズの定理を利用する。

主な統計分類アルゴリズム:

• 線形分類器
  • フィッシャーの線形判別分析
  • ロジスティック回帰
  • 単純ベイズ分類器
  • 単純パーセプトロン
  • 線形サポートベクターマシン
• 二次分類器
  • 二次判別分析
• その他、非線形など
  • k近傍法
  • ブースティング
  • 決定木
  • ニューラルネットワーク
  • ベイジアンネットワーク
  • サポートベクターマシン
  • 隠れマルコフモデル

問題の性質（分類すべきデータ）と各種分類アルゴリズム（分類器）の性能の関係は、未だ解決されていない興味深い問題である。Van der Walt と Barnard（参考文献参照）は特定の人工的なデータ群を使って、どの分類器がよい性能を示すかを研究した。

分類器の性能は分類すべきデータの特性に大きく依存する。あらゆる問題について最高の性能を示す分類器は存在しない（ノーフリーランチ定理と同様の現象である）。分類器の性能を比較し、データの特性を特定するために各種実験的検証を実施して分類器の性能を決定する。ただし、ある問題に適した分類器を特定する手法は科学というよりも技能である。

評価手法

判別式の妥当性は、誤判別率などで評価できる。適した変数選択と判別方法にもとづいて分析することが必要であり、判別式（のみならず変数選択)の妥当性を検証する手法として、元のデータから1つだけ外して判別（モデル）式を得、外したデータを新たなデータとして適用した際に妥当な結果が得られるかを検証する、1つとって置き法(英: leave-1-out)などが一般に用いられる。

例

入試を具体例に取ると、個々の受験生は、各群に属する個々の入試得点により、合格・不合格という2群に分けられる。学校側で明確な基準を設ける場合、たとえば英語で100点満点中70点を合否ラインにした場合、生徒の合否は得点が70点を境に分かれることとなるが、合否基準が非公開な場合や、その年度によって、合格者の平均点も変動することは周知である。

このような教師データが存在する場合（予備校などでは自己採点結果などから、相当に精度の高い標本を有しており、これを教師データとして扱うことは相応に妥当と考えられる）、統計分類により、過去の受験生の点数実績と合格実績から、合否の基準を計算によって求めることができる。

応用分野

• コンピュータビジョン
  • 医用画像処理
  • 光学文字認識
• 地球統計学
• 音声認識
• 手書き文字認識
• 生体認証
• 文書分類
• インターネット検索エンジン

参考文献

• C.M. van der Walt and E. Barnard,“Data characteristics that determine classifier performance”, in Proceedings of the Sixteenth Annual Symposium of the Pattern Recognition Association of South Africa, pp.160-165, 2006.

関連項目

• データマイニング
• ファジィ論理
• 情報検索

外部リンク

• Classifier showdown 分類アルゴリズムの実用的な比較

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ