【AWS】【機械学習】Deep Learning AMI（Ubuntu）で【形態素解析】を試した（Janomeのインストール）【Part.3】

[test@SAKURA_VPS ~]$ sudo pip3.6 install janome
Collecting janome
Installing collected packages: janome
Successfully installed janome-0.3.6
[test@SAKURA_VPS ~]$

ubuntu@AWS_TEST: ~] pwd
/home/ubuntu
ubuntu@AWS_TEST: ~] ls
Janome-0.3.6.neologd-20171218.tar.gz    _old
ubuntu@AWS_TEST: ~] sudo pip3.6 install Janome-0.3.6.neologd-20171218.tar.gz –no-compile

ubuntu@AWS_TEST: /usr] pwd
/usr

ubuntu@AWS_TEST: /usr] ls
bin 　games　 include 　lib 　local　 sbin　 share 　src
ubuntu@AWS_TEST: /usr] sudo chown -R ubuntu:ubuntu local

ubuntu@AWS_TEST: ~] python3.6
Python 3.6.3 (default, Oct  6 2017, 08:44:35)
[GCC 5.4.0 20160609] on linux
Type “help”, “copyright”, “credits” or “license” for more information.
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer(mmap=True)
>>> s = u’渋谷ヒカリエは、東京都渋谷区の渋谷駅東口に位置する東急文化会館跡地に建設された複合商業施設 。 東急百貨店や飲食店、事務所のほか、ミュージカル劇場「東急シアターオーブ」などが入居している。’
>>> for token in t.tokenize(s):
…     print(token)　←　インデントを付けます。
…
渋谷ヒカリエ    名詞,固有名詞,一般,*,*,*,渋谷ヒカリエ,シブヤヒカリエ,シブヤヒカリエ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
、      記号,読点,*,*,*,*,、,、,、
東京都渋谷区    名詞,固有名詞,地域,一般,*,*,東京都渋谷区,トウキョウトシブヤク,トーキョートシブヤク
の      助詞,連体化,*,*,*,*,の,ノ,ノ
渋谷駅  名詞,固有名詞,地域,一般,*,*,渋谷駅,シブヤエキ,シブヤエキ
東口    名詞,一般,*,*,*,*,東口,ヒガシグチ,ヒガシグチ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
位置    名詞,サ変接続,*,*,*,*,位置,イチ,イチ
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
東急文化会館    名詞,固有名詞,一般,*,*,*,東急文化会館,トウキュウブンカカイカン,トーキューブンカカイカン
跡地    名詞,一般,*,*,*,*,跡地,アトチ,アトチ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
建設    名詞,サ変接続,*,*,*,*,建設,ケンセツ,ケンセツ
さ      動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ
れ      動詞,接尾,*,*,一段,連用形,れる,レ,レ
た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
複合商業施設    名詞,固有名詞,一般,*,*,*,複合商業施設,フクゴウショウギョウシセツ,フクゴーショーギョーシ セツ
        記号,空白,*,*,*,*, ,*,*
。      記号,句点,*,*,*,*,。,。,。
東急百貨店      名詞,固有名詞,組織,*,*,*,東急百貨店,トウキュウヒャッカテン,トーキューヒャッカテン
や      助詞,並立助詞,*,*,*,*,や,ヤ,ヤ
飲食店  名詞,固有名詞,一般,*,*,*,飲食店,インショクテン,インショクテン
、      記号,読点,*,*,*,*,、,、,、
事務所  名詞,一般,*,*,*,*,事務所,ジムショ,ジムショ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
ほか    名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
、      記号,読点,*,*,*,*,、,、,、
ミュージカル    名詞,一般,*,*,*,*,ミュージカル,ミュージカル,ミュージカル
劇場    名詞,一般,*,*,*,*,劇場,ゲキジョウ,ゲキジョー
「      記号,括弧開,*,*,*,*,「,「,「
東急シアターオーブ      名詞,固有名詞,一般,*,*,*,東急シアターオーブ,トウキュウシアターオーブ,トーキュー シアターオーブ
」      記号,括弧閉,*,*,*,*,」,」,」
など    助詞,副助詞,*,*,*,*,など,ナド,ナド
が      助詞,格助詞,一般,*,*,*,が,ガ,ガ
入居    名詞,サ変接続,*,*,*,*,入居,ニュウキョ,ニューキョ
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
いる    動詞,非自立,*,*,一段,基本形,いる,イル,イル
。      記号,句点,*,*,*,*,。,。,。
>>> exit()
ubuntu@AWS_TEST: ~]

root@AWS_TEST: ~] pyhthon3.6
Python 3.6.3 (default, Oct  6 2017, 08:44:35) 
[GCC 5.4.0 20160609] on linux
Type “help”, “copyright”, “credits” or “license” for more information.
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer(mmap=True)
>>> s = u’渋谷ヒカリエは、東京都渋谷区の渋谷駅東口に位置する東急文化会館跡地に建設された複合商業施設 。 東急百貨店や飲食店、事務所のほか、ミュージカル劇場「東急シアターオーブ」などが入居している。’
>>> for token in t.tokenize(s):
…     print(token)
… 
渋谷 　　名詞,固有名詞,地域,一般,*,*,渋谷,シブヤ,シブヤ
ヒカリエ 名詞,一般,*,*,*,*,ヒカリエ,*,*
は 　　　助詞,係助詞,*,*,*,*,は,ハ,ワ
、 　　　記号,読点,*,*,*,*,、,、,、
東京 　　名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー
都 　　　名詞,接尾,地域,*,*,*,都,ト,ト
渋谷 　　名詞,固有名詞,地域,一般,*,*,渋谷,シブヤ,シブヤ
区 　　　名詞,接尾,地域,*,*,*,区,ク,ク
の 　　　助詞,連体化,*,*,*,*,の,ノ,ノ
渋谷 　　名詞,固有名詞,地域,一般,*,*,渋谷,シブヤ,シブヤ
駅 　　　名詞,接尾,地域,*,*,*,駅,エキ,エキ
東口 　　名詞,一般,*,*,*,*,東口,ヒガシグチ,ヒガシグチ
に 　　　助詞,格助詞,一般,*,*,*,に,ニ,ニ
位置 　　名詞,サ変接続,*,*,*,*,位置,イチ,イチ
する 　　動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
東急 　　名詞,固有名詞,組織,*,*,*,東急,トウキュウ,トーキュー
文化 　　名詞,一般,*,*,*,*,文化,ブンカ,ブンカ
会館 　　名詞,一般,*,*,*,*,会館,カイカン,カイカン
跡地 　　名詞,一般,*,*,*,*,跡地,アトチ,アトチ
に 　　　助詞,格助詞,一般,*,*,*,に,ニ,ニ
建設 　　名詞,サ変接続,*,*,*,*,建設,ケンセツ,ケンセツ
さ 　　　動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ
れ 　　　動詞,接尾,*,*,一段,連用形,れる,レ,レ
た 　　　助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
複合 　　名詞,サ変接続,*,*,*,*,複合,フクゴウ,フクゴー
商業 　　名詞,一般,*,*,*,*,商業,ショウギョウ,ショーギョー
施設 　　名詞,サ変接続,*,*,*,*,施設,シセツ,シセツ
  　　 　記号,空白,*,*,*,*, ,*,*
。 　 　 記号,句点,*,*,*,*,。,。,。
東急　　 名詞,固有名詞,組織,*,*,*,東急,トウキュウ,トーキュー
百貨店 　名詞,一般,*,*,*,*,百貨店,ヒャッカテン,ヒャッカテン
や 　　　助詞,並立助詞,*,*,*,*,や,ヤ,ヤ
飲食 　　名詞,サ変接続,*,*,*,*,飲食,インショク,インショク
店 　　　名詞,接尾,一般,*,*,*,店,テン,テン
、 　　　記号,読点,*,*,*,*,、,、,、
事務所 　名詞,一般,*,*,*,*,事務所,ジムショ,ジムショ
の 　　　助詞,連体化,*,*,*,*,の,ノ,ノ
ほか 　　名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
、 　　　記号,読点,*,*,*,*,、,、,、
ミュージカル 名詞,一般,*,*,*,*,ミュージカル,ミュージカル,ミュージカル
劇場 　　名詞,一般,*,*,*,*,劇場,ゲキジョウ,ゲキジョー
「 　　　記号,括弧開,*,*,*,*,「,「,「
東急 　　名詞,固有名詞,組織,*,*,*,東急,トウキュウ,トーキュー
シアターオーブ 名詞,一般,*,*,*,*,シアターオーブ,*,*
」 　　　記号,括弧閉,*,*,*,*,」,」,」
など 　　助詞,副助詞,*,*,*,*,など,ナド,ナド
が 　　　助詞,格助詞,一般,*,*,*,が,ガ,ガ
入居 　　名詞,サ変接続,*,*,*,*,入居,ニュウキョ,ニューキョ
し 　　　動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て 　　　助詞,接続助詞,*,*,*,*,て,テ,テ
いる 　　動詞,非自立,*,*,一段,基本形,いる,イル,イル
。 　　　記号,句点,*,*,*,*,。,。,。
>>> exit()
root@AWS_TEST: ~]