MeCab の辞書 mecab-ipadic-NEologd を試してみよう! | SiTest (サイテスト) ブログ

メニューボタン閉じるボタン

MeCab の辞書 mecab-ipadic-NEologd を試してみよう!

日本語の文書を解析しようと思った時に、ほとんどの人が 形態素解析のツールである MeCab を利用すると思います。MeCab でよく使われる辞書として IPADIC が挙げられます。しかし、IPADIC はとてもよく出来ていますが、更新されないまま年月が過ぎている状況です。
そこで今回は、新語に対応できる辞書の mecab-ipadic-NEologd をご紹介したいと思います。

  • ■ mecab-ipadic-NEologd って?

mecab-ipadic-NEologd は、Web上から新語を登録した Mecab 用の辞書になります。
さらに、定期的に新しい言葉をアップデートするので、最新の言葉を正しく形態素解析をすることができます。

mecab-ipadic-NEologd には以下のような4つの特徴があります。

1. IPADIC では複数の形態素に分割されてしまう固有表現を採録
2. 毎週 2 回以上更新
3. Web上の言語資源を活用して更新時に新しい固有表現を随時追加
4. ライセンスが Apache License, Version 2.0

さらに、更新時に追加されるのは以下の様な内容です。

1. ニュース記事から抽出した新語や固有名詞や未知語
2. ネット上で流行した単語や慣用句やハッシュタグ
3. 一般名詞/固有名詞/サ変接続名詞の表記ゆれ
4. パターン生成した時間表現や数値表現
5. Unicode 9.0 以下の絵文字
6. 初期状態のスマホで入力できる顔文字

とても素晴らしい辞書だと思います。
インストールの手順については、 mecab-ipadic-NEologd の README に詳しく書いてあります。

■ IPADIC と比較してみよう

比較的新しい、以下のニュース記事で試してみましょう。
【 久慈暁子アナウンサーが10日から同局朝の看板情報番組「めざましテレビ」(月~金曜前5・25)にレギュラー出演することが7日、分かった。(スポニチアネックス) 】

■ IPADIC の場合
久慈  名詞,固有名詞,人名,姓,*,*,久慈,クジ,クジ
暁子  名詞,固有名詞,人名,名,*,*,暁子,アキコ,アキコ
アナウンサー  名詞,一般,*,*,*,*,アナウンサー,アナウンサー,アナウンサー
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
1   名詞,数,*,*,*,*,1,イチ,イチ
0   名詞,数,*,*,*,*,0,ゼロ,ゼロ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
から  助詞,格助詞,一般,*,*,*,から,カラ,カラ
同局  名詞,一般,*,*,*,*,同局,ドウキョク,ドーキョク
朝   名詞,副詞可能,*,*,*,*,朝,アサ,アサ
の   助詞,連体化,*,*,*,*,の,ノ,ノ
看板  名詞,一般,*,*,*,*,看板,カンバン,カンバン
情報  名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
番組  名詞,一般,*,*,*,*,番組,バングミ,バングミ
「   記号,括弧開,*,*,*,*,「,「,「
めざまし    形容詞,自立,*,*,形容詞・イ段,ガル接続,めざましい,メザマシ,メザマシ
テレビ 名詞,一般,*,*,*,*,テレビ,テレビ,テレビ
」   記号,括弧閉,*,*,*,*,」,」,」
(   記号,括弧開,*,*,*,*,(,(,(
月   名詞,一般,*,*,*,*,月,ツキ,ツキ
~   名詞,サ変接続,*,*,*,*,*
金曜  名詞,副詞可能,*,*,*,*,金曜,キンヨウ,キンヨー
前   名詞,副詞可能,*,*,*,*,前,マエ,マエ
5   名詞,数,*,*,*,*,5,ゴ,ゴ
・   名詞,数,*,*,*,*,・,・,・
2   名詞,数,*,*,*,*,2,ニ,ニ
5   名詞,数,*,*,*,*,5,ゴ,ゴ
)   記号,括弧閉,*,*,*,*,),),)
に   助詞,格助詞,一般,*,*,*,に,ニ,ニ
レギュラー   名詞,一般,*,*,*,*,レギュラー,レギュラー,レギュラー
出演  名詞,サ変接続,*,*,*,*,出演,シュツエン,シュツエン
する  動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
こと  名詞,非自立,一般,*,*,*,こと,コト,コト
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
7   名詞,数,*,*,*,*,7,ナナ,ナナ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
、   記号,読点,*,*,*,*,、,、,、
分かっ 動詞,自立,*,*,五段・ラ行,連用タ接続,分かる,ワカッ,ワカッ
た   助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。   記号,句点,*,*,*,*,。,。,。
(   名詞,サ変接続,*,*,*,*,*
スポニチアネックス   名詞,一般,*,*,*,*,*
)   名詞,サ変接続,*,*,*,*,*

■ mecab-ipadic-neologd の場合

久慈暁子    名詞,固有名詞,人名,一般,*,*,久慈暁子,クジアキコ,クジアキコ
アナウンサー  名詞,固有名詞,一般,*,*,*,アナウンサー,アナウンサー,アナウンサー
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
1   名詞,数,*,*,*,*,1,イチ,イチ
0   名詞,数,*,*,*,*,0,ゼロ,ゼロ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
から  助詞,格助詞,一般,*,*,*,から,カラ,カラ
同局  名詞,一般,*,*,*,*,同局,ドウキョク,ドーキョク
朝   名詞,副詞可能,*,*,*,*,朝,アサ,アサ
の   助詞,連体化,*,*,*,*,の,ノ,ノ
看板  名詞,固有名詞,一般,*,*,*,看板,カンバン,カンバン
情報番組    名詞,固有名詞,一般,*,*,*,情報番組,ジョウホウバングミ,ジョーホーバングミ
「   記号,括弧開,*,*,*,*,「,「,「
めざましテレビ 名詞,固有名詞,一般,*,*,*,めざましテレビ,メザマシテレビ,メザマシテレビ
」   記号,括弧閉,*,*,*,*,」,」,」
(   記号,括弧開,*,*,*,*,(,(,(
月   名詞,一般,*,*,*,*,月,ツキ,ツキ
~   記号,一般,*,*,*,*,*
金曜  名詞,副詞可能,*,*,*,*,金曜,キンヨウ,キンヨー
前   名詞,副詞可能,*,*,*,*,前,マエ,マエ
5   名詞,数,*,*,*,*,5,ゴ,ゴ
・   名詞,数,*,*,*,*,・,・,・
2   名詞,数,*,*,*,*,2,ニ,ニ
5   名詞,数,*,*,*,*,5,ゴ,ゴ
)   記号,括弧閉,*,*,*,*,),),)
に   助詞,格助詞,一般,*,*,*,に,ニ,ニ
レギュラー   名詞,固有名詞,一般,*,*,*,レギュラー,レギュラー,レギュラー
出演  名詞,サ変接続,*,*,*,*,出演,シュツエン,シュツエン
する  動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
こと  名詞,非自立,一般,*,*,*,こと,コト,コト
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
7   名詞,数,*,*,*,*,7,ナナ,ナナ
日   名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ
、   記号,読点,*,*,*,*,、,、,、
分かっ 動詞,自立,*,*,五段・ラ行,連用タ接続,分かる,ワカッ,ワカッ
た   助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。   記号,句点,*,*,*,*,。,。,。
(   記号,一般,*,*,*,*,*
スポニチアネックス   名詞,固有名詞,一般,*,*,*,Sponichi Annex,スポニチアネックス,スポニチアネックス
)   記号,一般,*,*,*,*,*

このように、「久慈暁子」、「めざましテレビ」などの語句が登録されていることが確認できます。また、「スポニチアネックス」の品詞情報が固有名詞として追加されているのが確認できました。

■ 最後に

今回は、新語に対応できる辞書の mecab-ipadic-NEologd をご紹介しました。
このように、mecab-ipadic-NEologd は形態素解析にも有用そうです。
普段、形態素解析の辞書に IPADIC 等を使っている方は、辞書が古いので最新の言葉には対応しきれていないため、独自のユーザ辞書用のメンテナンス等で結構なリソースを使われていると思います。一度、形態素解析の辞書として mecab-ipadic-NEologd を利用してみては、如何でしょうか。

今すぐお気軽に
ご相談ください。

0120-315-465

(平日 10:00~19:00)

今すぐお気軽に
ご相談ください。

0120-315-465

(平日 10:00~19:00)

グラッドキューブは
「ISMS認証」を取得しています。

認証範囲:
インターネットマーケティング支援事業、インターネットASPサービスの提供、コンテンツメディア事業

「ISMS認証」とは、財団法人・日本情報処理開発協会が定めた企業の情報情報セキュリティマネジメントシステムの評価制度です。

いますぐ無料で
お試しください。

トライアル終了後も
無料でご利用いただけます。

お名前【必須】
メールアドレス【必須】
※携帯・フリーアドレスは不可
電話番号【必須】

利用規約』『プライバシーポリシー』に同意する