pythonライブラリsklearnによる機械学習入門【プログラムあり】

このような疑問にお答えします。

sklearnは、様々な機械学習手法を簡単に使用することができるツールです。 今回は、sklearnを利用した機械学習入門としてクラスタリングに着眼したいと思います。クラスタリングは、教師なしデータ(ラベル付けがなされていないデータ)に対して、類似属性を持つデータをクラスタと呼ばれる部分集合としてグループ化する手法です。

そして、クラスタリングでは、対象をベクトルとして表現し、コサイン類似度を指標として、データ間の距離(類似度)を計測します。ベクトル表現に変換する際の重み付けの方法については、TF-IDF, BoW等がよく知られています。

例を挙げますと、文書を対象としたクラスタリングを考えたとき、文書に含まれる単語の有無であったり、文書構造の情報を参照し、BoWやTF-IDFに基づきベクトルとして表現し、コサイン類似度を指標として文書間の類似度を測定することができます。

また、クラスタリング分析の結果は、マーケティングに活用できそうなデータとなります。例えば、購買記録を使用して、顧客を分類し、各グループに応じた販売戦略を立てる等に利用できると思います。

• 類似する製品をグループ化
• 類似する店舗をグループ化
• サービス利用傾向が類似する顧客をグループ化

マーケティングに活用できそうな気がしませんか?

ここで、実際にクラスタリング手法として、k-means法を使用してみます。k-means法は、以下の3つの手順を実施することによりクラスタリングを行います。

phase.1 初期値となる重心点をサンプルデータからクラスタ数だけ求める。

phase.2 各サンプルから最も近い距離にあるデータを計算によって求め、クラスタを構成する。

phase.3 phase.2を設定した回数分実行し、類似度に基づきデータを分類する。

クラスタリング分析手順を実装するにあたり、以下のライブラリを使用します。

• pandas
• numpy
• sklearn
• matplotlib

ライブラリがない場合は、pip等を利用してインストールしましょう。

環境としては、anaconda prompt経由でjupyter notebookを使用します。データは、機械学習の分野では入門用のデータセットとして頻繁に使用されるirisデータを使用します。