自然言語処理/形態素解析エンジンMecab
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
#topicpath
----
#contents
MeCabはオープンソースの日本語の形態素解析ソフトウェア。ち...
Ubuntu Server 16.04.2 LTS に構築していきます。
** インストール [#a0f921f6]
$ sudo apt install mecab
$ sudo apt install libmecab-dev
$ sudo apt install mecab-ipadic-utf8
...
done!
update-alternatives: /var/lib/mecab/dic/debian (mecab-di...
インストール完了です。インストール時、足りないライブラリ...
*** 稼働確認 [#w26a4441]
定番の文章で分かち書きできるか確認。
$ mecab
すもももももももものうち ← 入力してReturn
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS
分かち書きできましたねー。。
** 辞書をmecab-ipadic-NEologdを使うようにする [#y7715f3d]
Mecabなどの形態素解析ソフトウェアは分かち書きに使うための...
[[新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調...
この辞書がよいっぽいので、その辞書を使用するように変更し...
$ git clone https://github.com/neologd/mecab-ipadic-neo...
$ cd mecab-ipadic-neologd/
$ sudo ./bin/install-mecab-ipadic-neologd
...
[install-mecab-ipadic-NEologd] : Do you want to install ...
yes ← こたえる
...
[install-mecab-ipadic-NEologd] : Install completed.
[install-mecab-ipadic-NEologd] : When you use MeCab, you...
[install-mecab-ipadic-NEologd] : Usage of mecab-ipadic-N...
Usage:
$ mecab -d /usr/lib/mecab/dic/mecab-ipadic-neologd ...
$
インストールできました。
***確認 [#i9b8584d]
辞書を切り替えた効果を試してみます。先のサイトの例で「恋...
通常だと、
$ mecab
恋ダンス
恋 名詞,一般,*,*,*,*,恋,コイ,コイ
ダンス 名詞,サ変接続,*,*,*,*,ダンス,ダンス,ダンス
と別の単語扱いになってしまいますが、
$ mecab -d /usr/lib/mecab/dic/mecab-ipadic-neologd
恋ダンス
恋ダンス 名詞,固有名詞,一般,*,*,*,恋ダンス,コイダンス,コ...
EOS
固有名詞扱いしてくれました。使用する辞書を変えると結果が...
*** デフォルトの辞書を切り替え [#d7aecde7]
というわけで、辞書をオプションで指定しなくてもよいように...
$ sudo cp -pfr /etc/mecabrc /etc/mecabrc20180617
$ sudo vi /etc/mecabrc
$ diff /etc/mecabrc /etc/mecabrc20180617
6,7c6
< ;dicdir = /var/lib/mecab/dic/debian
< dicdir = /usr/lib/mecab/dic/mecab-ipadic-neologd
---
> dicdir = /var/lib/mecab/dic/debian
修正しました。では試してみます。
$ mecab
恋ダンス
恋ダンス 名詞,固有名詞,一般,*,*,*,恋ダンス,コイダンス,コ...
EOS
切り替わってそうですね。
ちなみに
$ mecab-config --dicdir
/usr/lib/mecab/dic
などで、切り替えた辞書の場所などが確認出来ます。
**Pythonから呼び出す [#i7d7ec85]
[[自然言語処理/形態素解析エンジンMecab/Pythonから呼び出す...
** Macでつかう [#m8bd0297]
HomeBrewが入っていれば、すぐ。
$ brew install mecab
$ brew install mecab-ipadic
$ brew install swig <- pythonからつかおう(mecab-pytho...
2018/11/18追記。
たまたまMacでMecabを再構築していたら、二つの障害が同時に...
1.Pyenvとなどを入れててAnacondaが入ってると mecab-ipadic-...
$ pyenv versions
system
* 3.7.1 (set by /Users/masatomix/.pyenv/version)
anaconda3-5.3.0
とかになっててもダメっぽく
The `iconv' command exists in these Python versions:
とかでてる。ググるとどうもAnacondaがpyenvで入っているから...
$ pyenv local system
などしておかないと、ダメなようです。
2.mecab-python3 が、2018/11/13にバージョンアップしていま...
https://pypi.org/project/mecab-python3/#history
このバージョンからswigというモジュールが必要になったよう...
brew install swig
しましょうってのは既に書いてますが、どうもparseToNodeの n...
$ python sample2.py
Pythonから形態素解析エンジンMecabを呼び出してみました。
Pythonから形態素解析エンジンMecabを呼び出してみました。
から形態素解析エンジンMecabを呼び出してみました。
形態素解析エンジンMecabを呼び出してみました。
エンジンMecabを呼び出してみました。
Mecabを呼び出してみました。
を呼び出してみました。
呼び出してみました。
てみました。
みました。
ました。
た。
。
とかになっちゃう。。素性の方はあってるっぽいんですけどね。
とりあえず
pip install mecab-python3==0.7
で前バージョンにもどしました :-)
**関連リンク [#d0d1c2cf]
-[[MeCab: Yet Another Part-of-Speech and Morphological An...
-[[ubuntu 18.04 に mecab をインストール - Qiita>https://q...
-[[word2vecを使って、日本語wikipediaのデータを学習する - ...
-[[Ubuntu + word2vecで日本語版wikipediaを自然言語処理して...
-[[MeCabのコマンドライン引数一覧とその実行例 | mwSoft>htt...
-[[mecab-ipadic-neologdのreadme>https://github.com/neolog...
-[[mecab-ipadic-NEologd の効果的な使い方>https://www.slid...
----
この記事は
#vote(おもしろかった,そうでもない)
#comment
#topicpath
SIZE(10){現在のアクセス:&counter;}
終了行:
#topicpath
----
#contents
MeCabはオープンソースの日本語の形態素解析ソフトウェア。ち...
Ubuntu Server 16.04.2 LTS に構築していきます。
** インストール [#a0f921f6]
$ sudo apt install mecab
$ sudo apt install libmecab-dev
$ sudo apt install mecab-ipadic-utf8
...
done!
update-alternatives: /var/lib/mecab/dic/debian (mecab-di...
インストール完了です。インストール時、足りないライブラリ...
*** 稼働確認 [#w26a4441]
定番の文章で分かち書きできるか確認。
$ mecab
すもももももももものうち ← 入力してReturn
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS
分かち書きできましたねー。。
** 辞書をmecab-ipadic-NEologdを使うようにする [#y7715f3d]
Mecabなどの形態素解析ソフトウェアは分かち書きに使うための...
[[新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調...
この辞書がよいっぽいので、その辞書を使用するように変更し...
$ git clone https://github.com/neologd/mecab-ipadic-neo...
$ cd mecab-ipadic-neologd/
$ sudo ./bin/install-mecab-ipadic-neologd
...
[install-mecab-ipadic-NEologd] : Do you want to install ...
yes ← こたえる
...
[install-mecab-ipadic-NEologd] : Install completed.
[install-mecab-ipadic-NEologd] : When you use MeCab, you...
[install-mecab-ipadic-NEologd] : Usage of mecab-ipadic-N...
Usage:
$ mecab -d /usr/lib/mecab/dic/mecab-ipadic-neologd ...
$
インストールできました。
***確認 [#i9b8584d]
辞書を切り替えた効果を試してみます。先のサイトの例で「恋...
通常だと、
$ mecab
恋ダンス
恋 名詞,一般,*,*,*,*,恋,コイ,コイ
ダンス 名詞,サ変接続,*,*,*,*,ダンス,ダンス,ダンス
と別の単語扱いになってしまいますが、
$ mecab -d /usr/lib/mecab/dic/mecab-ipadic-neologd
恋ダンス
恋ダンス 名詞,固有名詞,一般,*,*,*,恋ダンス,コイダンス,コ...
EOS
固有名詞扱いしてくれました。使用する辞書を変えると結果が...
*** デフォルトの辞書を切り替え [#d7aecde7]
というわけで、辞書をオプションで指定しなくてもよいように...
$ sudo cp -pfr /etc/mecabrc /etc/mecabrc20180617
$ sudo vi /etc/mecabrc
$ diff /etc/mecabrc /etc/mecabrc20180617
6,7c6
< ;dicdir = /var/lib/mecab/dic/debian
< dicdir = /usr/lib/mecab/dic/mecab-ipadic-neologd
---
> dicdir = /var/lib/mecab/dic/debian
修正しました。では試してみます。
$ mecab
恋ダンス
恋ダンス 名詞,固有名詞,一般,*,*,*,恋ダンス,コイダンス,コ...
EOS
切り替わってそうですね。
ちなみに
$ mecab-config --dicdir
/usr/lib/mecab/dic
などで、切り替えた辞書の場所などが確認出来ます。
**Pythonから呼び出す [#i7d7ec85]
[[自然言語処理/形態素解析エンジンMecab/Pythonから呼び出す...
** Macでつかう [#m8bd0297]
HomeBrewが入っていれば、すぐ。
$ brew install mecab
$ brew install mecab-ipadic
$ brew install swig <- pythonからつかおう(mecab-pytho...
2018/11/18追記。
たまたまMacでMecabを再構築していたら、二つの障害が同時に...
1.Pyenvとなどを入れててAnacondaが入ってると mecab-ipadic-...
$ pyenv versions
system
* 3.7.1 (set by /Users/masatomix/.pyenv/version)
anaconda3-5.3.0
とかになっててもダメっぽく
The `iconv' command exists in these Python versions:
とかでてる。ググるとどうもAnacondaがpyenvで入っているから...
$ pyenv local system
などしておかないと、ダメなようです。
2.mecab-python3 が、2018/11/13にバージョンアップしていま...
https://pypi.org/project/mecab-python3/#history
このバージョンからswigというモジュールが必要になったよう...
brew install swig
しましょうってのは既に書いてますが、どうもparseToNodeの n...
$ python sample2.py
Pythonから形態素解析エンジンMecabを呼び出してみました。
Pythonから形態素解析エンジンMecabを呼び出してみました。
から形態素解析エンジンMecabを呼び出してみました。
形態素解析エンジンMecabを呼び出してみました。
エンジンMecabを呼び出してみました。
Mecabを呼び出してみました。
を呼び出してみました。
呼び出してみました。
てみました。
みました。
ました。
た。
。
とかになっちゃう。。素性の方はあってるっぽいんですけどね。
とりあえず
pip install mecab-python3==0.7
で前バージョンにもどしました :-)
**関連リンク [#d0d1c2cf]
-[[MeCab: Yet Another Part-of-Speech and Morphological An...
-[[ubuntu 18.04 に mecab をインストール - Qiita>https://q...
-[[word2vecを使って、日本語wikipediaのデータを学習する - ...
-[[Ubuntu + word2vecで日本語版wikipediaを自然言語処理して...
-[[MeCabのコマンドライン引数一覧とその実行例 | mwSoft>htt...
-[[mecab-ipadic-neologdのreadme>https://github.com/neolog...
-[[mecab-ipadic-NEologd の効果的な使い方>https://www.slid...
----
この記事は
#vote(おもしろかった,そうでもない)
#comment
#topicpath
SIZE(10){現在のアクセス:&counter;}
ページ名: