機械学習エンジニア必見！ベイジアンフィルタを実装するための形態素解析ライブラリ3選 ｜ SiTest (サイテスト) ブログ

機械学習等を勉強されている方なら、
「ベイジアンフィルタ」という言葉を聞いたことあるのではないでしょうか。

ベイジアンフィルタを実装するには、もれなく形態素解析が必要になってきます。
今回はその形態素解析を手助けするライブラリを紹介していきます。

ナイーブベイズ(単純ベイズ分類器)というアルゴリズムを利用して、テキストの自動分類などに応用することのできるフィルタの総称です。

そもそもナイーブベイズやベイズ統計学について知らない方は下記の記事を参照してください。

ナイーブベイズ分類器を頑張って丁寧に解説してみる

機械学習の理解に必須！ベイズ統計学の基礎の基礎

ベイジアンフィルタは，事前に与えられたパターンにしたがって未知の文章を分類します。
事前に正しいデータを与え学習を行うので、「教師あり学習」と呼ばれる機械学習の手法の一つになります。

学習量が増えるとフィルタの分類精度が高くなる特長があり、判定を間違えた場合には、ユーザが正しい内容に判定し直して再学習を行います。

ベイジアンフィルタで必要なナイーブベイズでは、文脈の解析や単語の分解を行う必要があるため、形態素解析を使用します。

形態素というのは言語で意味を持つ最小単位のことをいいます。例えば「これはペンです」という文章があります。
これを形態素で分解すると[これ, は, ペン, です]になり、それぞれのことを形態素と呼びます。
形態素には品詞や読みが存在します。辞書と一致させて品詞のもっともらしい繋がりを計算して分割します。

それでは、形態素解析を容易にできるライブラリを見ていきましょう。

MeCab(メカブ)

MeCabはオープンソースの形態素解析ライブラリです。
言わずと知れたライブラリですね。

CRF(Conditional Random Fields)を用いたパラメータ推定を使用しており、
判別精度、実行速度ともに高いことが特長です。

難点としては、少し重いことがあげられます。

MeCabでのベイジアンフィルタの実装は下記の記事が参考になります。

ナイーブベイズフィルターの実装と考察

Janome(ジャノメ)

JanomeはPure,Pythonで書かれた、辞書内包の形態素解析器です。
依存ライブラリなしで簡単にインストールでき、シンプルなAPIを備える形態素解析ライブラリです。

Pythonのパッケージ管理システム「pip」でインストールすることが可能です。

MeCabよりインストールが安易とのことです。

Janomeでのベイジアンフィルタの実装は下記の記事が参考になります。

確率を理解してみる－ベイジアンフィルタを実装

JUMAN(ジュマン)

ヒューリスティクスによる形態素判別であり、判別精度が高く、
さらに各形態素の代表表記が表示されるため、
表記揺れの多いものを解析するのに優れていることが特長です。

MeCabとの違いとすれば、コストの決め方に関する考え方が違うだけで、
解候補や解探索のアルゴリズムはほぼ同じです。

また、JUMANを後継とする「JUMAN++」が存在しており、
こちらは、RNN言語モデルを用いて意味的自然さを考慮する、
ニューラルネットワークを利用した形態素解析器になっています。

解析能力自体はMeCab以上とのことです。

今回は、形態素解析ライブラリを紹介しました。
それぞれ特長があり、どれもベイジアンフィルタには使用できます。

お好きなライブラリで、ベイジアンフィルタを実装して、
機械学習技術を身につけていきましょう！