MeCab の辞書 mecab-ipadic-NEologd を試してみよう！ ｜ SiTest (サイテスト) ブログ

日本語の文書を解析しようと思った時に、ほとんどの人が 形態素解析のツールである MeCab を利用すると思います。MeCab でよく使われる辞書として IPADIC が挙げられます。しかし、IPADIC はとてもよく出来ていますが、更新されないまま年月が過ぎている状況です。
そこで今回は、新語に対応できる辞書の mecab-ipadic-NEologd をご紹介したいと思います。

mecab-ipadic-NEologd は、Web上から新語を登録した Mecab 用の辞書になります。
さらに、定期的に新しい言葉をアップデートするので、最新の言葉を正しく形態素解析をすることができます。

mecab-ipadic-NEologd には以下のような4つの特徴があります。

1. IPADIC では複数の形態素に分割されてしまう固有表現を採録
2. 毎週 2 回以上更新
3. Web上の言語資源を活用して更新時に新しい固有表現を随時追加
4. ライセンスが Apache License, Version 2.0

さらに、更新時に追加されるのは以下の様な内容です。

1. ニュース記事から抽出した新語や固有名詞や未知語
2. ネット上で流行した単語や慣用句やハッシュタグ
3. 一般名詞/固有名詞/サ変接続名詞の表記ゆれ
4. パターン生成した時間表現や数値表現
5. Unicode 9.0 以下の絵文字
6. 初期状態のスマホで入力できる顔文字

とても素晴らしい辞書だと思います。
インストールの手順については、 mecab-ipadic-NEologd の README に詳しく書いてあります。

比較的新しい、以下のニュース記事で試してみましょう。
【 久慈暁子アナウンサーが１０日から同局朝の看板情報番組「めざましテレビ」（月～金曜前５・２５）にレギュラー出演することが７日、分かった。(スポニチアネックス) 】

■ IPADIC の場合
久慈  名詞,固有名詞,人名,姓,*,*,久慈,クジ,クジ
暁子  名詞,固有名詞,人名,名,*,*,暁子,アキコ,アキコ
アナウンサー  名詞,一般,*,*,*,*,アナウンサー,アナウンサー,アナウンサー
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
１   名詞,数,*,*,*,*,１,イチ,イチ
０   名詞,数,*,*,*,*,０,ゼロ,ゼロ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
から  助詞,格助詞,一般,*,*,*,から,カラ,カラ
同局  名詞,一般,*,*,*,*,同局,ドウキョク,ドーキョク
朝   名詞,副詞可能,*,*,*,*,朝,アサ,アサ
の   助詞,連体化,*,*,*,*,の,ノ,ノ
看板  名詞,一般,*,*,*,*,看板,カンバン,カンバン
情報  名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
番組  名詞,一般,*,*,*,*,番組,バングミ,バングミ
「   記号,括弧開,*,*,*,*,「,「,「
めざまし    形容詞,自立,*,*,形容詞・イ段,ガル接続,めざましい,メザマシ,メザマシ
テレビ 名詞,一般,*,*,*,*,テレビ,テレビ,テレビ
」   記号,括弧閉,*,*,*,*,」,」,」
（   記号,括弧開,*,*,*,*,（,（,（
月   名詞,一般,*,*,*,*,月,ツキ,ツキ
～   名詞,サ変接続,*,*,*,*,*
金曜  名詞,副詞可能,*,*,*,*,金曜,キンヨウ,キンヨー
前   名詞,副詞可能,*,*,*,*,前,マエ,マエ
５   名詞,数,*,*,*,*,５,ゴ,ゴ
・   名詞,数,*,*,*,*,・,・,・
２   名詞,数,*,*,*,*,２,ニ,ニ
５   名詞,数,*,*,*,*,５,ゴ,ゴ
）   記号,括弧閉,*,*,*,*,）,）,）
に   助詞,格助詞,一般,*,*,*,に,ニ,ニ
レギュラー   名詞,一般,*,*,*,*,レギュラー,レギュラー,レギュラー
出演  名詞,サ変接続,*,*,*,*,出演,シュツエン,シュツエン
する  動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
こと  名詞,非自立,一般,*,*,*,こと,コト,コト
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
７   名詞,数,*,*,*,*,７,ナナ,ナナ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
、   記号,読点,*,*,*,*,、,、,、
分かっ 動詞,自立,*,*,五段・ラ行,連用タ接続,分かる,ワカッ,ワカッ
た   助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。   記号,句点,*,*,*,*,。,。,。
(   名詞,サ変接続,*,*,*,*,*
スポニチアネックス   名詞,一般,*,*,*,*,*
)   名詞,サ変接続,*,*,*,*,*

■ mecab-ipadic-neologd の場合

久慈暁子    名詞,固有名詞,人名,一般,*,*,久慈暁子,クジアキコ,クジアキコ
アナウンサー  名詞,固有名詞,一般,*,*,*,アナウンサー,アナウンサー,アナウンサー
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
１   名詞,数,*,*,*,*,１,イチ,イチ
０   名詞,数,*,*,*,*,０,ゼロ,ゼロ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
から  助詞,格助詞,一般,*,*,*,から,カラ,カラ
同局  名詞,一般,*,*,*,*,同局,ドウキョク,ドーキョク
朝   名詞,副詞可能,*,*,*,*,朝,アサ,アサ
の   助詞,連体化,*,*,*,*,の,ノ,ノ
看板  名詞,固有名詞,一般,*,*,*,看板,カンバン,カンバン
情報番組    名詞,固有名詞,一般,*,*,*,情報番組,ジョウホウバングミ,ジョーホーバングミ
「   記号,括弧開,*,*,*,*,「,「,「
めざましテレビ 名詞,固有名詞,一般,*,*,*,めざましテレビ,メザマシテレビ,メザマシテレビ
」   記号,括弧閉,*,*,*,*,」,」,」
（   記号,括弧開,*,*,*,*,（,（,（
月   名詞,一般,*,*,*,*,月,ツキ,ツキ
～   記号,一般,*,*,*,*,*
金曜  名詞,副詞可能,*,*,*,*,金曜,キンヨウ,キンヨー
前   名詞,副詞可能,*,*,*,*,前,マエ,マエ
５   名詞,数,*,*,*,*,５,ゴ,ゴ
・   名詞,数,*,*,*,*,・,・,・
２   名詞,数,*,*,*,*,２,ニ,ニ
５   名詞,数,*,*,*,*,５,ゴ,ゴ
）   記号,括弧閉,*,*,*,*,）,）,）
に   助詞,格助詞,一般,*,*,*,に,ニ,ニ
レギュラー   名詞,固有名詞,一般,*,*,*,レギュラー,レギュラー,レギュラー
出演  名詞,サ変接続,*,*,*,*,出演,シュツエン,シュツエン
する  動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
こと  名詞,非自立,一般,*,*,*,こと,コト,コト
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
７   名詞,数,*,*,*,*,７,ナナ,ナナ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
、   記号,読点,*,*,*,*,、,、,、
分かっ 動詞,自立,*,*,五段・ラ行,連用タ接続,分かる,ワカッ,ワカッ
た   助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。   記号,句点,*,*,*,*,。,。,。
(   記号,一般,*,*,*,*,*
スポニチアネックス   名詞,固有名詞,一般,*,*,*,Sponichi Annex,スポニチアネックス,スポニチアネックス
)   記号,一般,*,*,*,*,*

このように、「久慈暁子」、「めざましテレビ」などの語句が登録されていることが確認できます。また、「スポニチアネックス」の品詞情報が固有名詞として追加されているのが確認できました。

今回は、新語に対応できる辞書の mecab-ipadic-NEologd をご紹介しました。
このように、mecab-ipadic-NEologd は形態素解析にも有用そうです。
普段、形態素解析の辞書に IPADIC 等を使っている方は、辞書が古いので最新の言葉には対応しきれていないため、独自のユーザ辞書用のメンテナンス等で結構なリソースを使われていると思います。一度、形態素解析の辞書として mecab-ipadic-NEologd を利用してみては、如何でしょうか。