【AWS】【機械学習】Deep Learning AMI（Ubuntu）で【形態素解析】を試した（Janome＆mecab-ipadic-neologd で解析）【Part.4】

ubuntu@AWS_TEST: ~/dl] python3.6 ma-janome.py

killed　←　プログラムが異常終了してしまいます。

ubuntu@AWS_TEST: ~/dl] cat ma-janome.py
# -*- coding: utf-8 -*-

from janome.tokenizer import Tokenizer
t = Tokenizer(mmap=True)
malist = t.tokenize(“渋谷ヒカリエは、東京都渋谷区の渋谷駅東口に位置する東急文化会館跡地に建設された複合 商業施設 。 東急百貨店や飲食店、事務所のほか、ミュージカル劇場「東急シアターオーブ」などが入居している。”)
for n in malist:
    print(n)

ubuntu@AWS_TEST: ~/dl]

ubuntu@AWS_TEST: ~/dl] python3.6 ma-janome.py
渋谷ヒカリエ    名詞,固有名詞,一般,*,*,*,渋谷ヒカリエ,シブヤヒカリエ,シブヤヒカリエ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
、      記号,読点,*,*,*,*,、,、,、
東京都渋谷区    名詞,固有名詞,地域,一般,*,*,東京都渋谷区,トウキョウトシブヤク,トーキョートシブヤク
の      助詞,連体化,*,*,*,*,の,ノ,ノ
渋谷駅  名詞,固有名詞,地域,一般,*,*,渋谷駅,シブヤエキ,シブヤエキ
東口    名詞,一般,*,*,*,*,東口,ヒガシグチ,ヒガシグチ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
位置    名詞,サ変接続,*,*,*,*,位置,イチ,イチ
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
東急文化会館    名詞,固有名詞,一般,*,*,*,東急文化会館,トウキュウブンカカイカン,トーキューブンカカイカン
跡地    名詞,一般,*,*,*,*,跡地,アトチ,アトチ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
建設    名詞,サ変接続,*,*,*,*,建設,ケンセツ,ケンセツ
さ      動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ
れ      動詞,接尾,*,*,一段,連用形,れる,レ,レ
た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
複合商業施設    名詞,固有名詞,一般,*,*,*,複合商業施設,フクゴウショウギョウシセツ,フクゴーショーギョーシ セツ
        記号,空白,*,*,*,*, ,*,*
。      記号,句点,*,*,*,*,。,。,。
        記号,空白,*,*,*,*, ,*,*
東急百貨店      名詞,固有名詞,組織,*,*,*,東急百貨店,トウキュウヒャッカテン,トーキューヒャッカテン
や      助詞,並立助詞,*,*,*,*,や,ヤ,ヤ
飲食店  名詞,固有名詞,一般,*,*,*,飲食店,インショクテン,インショクテン
、      記号,読点,*,*,*,*,、,、,、
事務所  名詞,一般,*,*,*,*,事務所,ジムショ,ジムショ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
ほか    名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
、      記号,読点,*,*,*,*,、,、,、
ミュージカル    名詞,一般,*,*,*,*,ミュージカル,ミュージカル,ミュージカル
劇場    名詞,一般,*,*,*,*,劇場,ゲキジョウ,ゲキジョー
「      記号,括弧開,*,*,*,*,「,「,「
東急シアターオーブ      名詞,固有名詞,一般,*,*,*,東急シアターオーブ,トウキュウシアターオーブ,トーキュー シアターオーブ
」      記号,括弧閉,*,*,*,*,」,」,」
など    助詞,副助詞,*,*,*,*,など,ナド,ナド
が      助詞,格助詞,一般,*,*,*,が,ガ,ガ
入居    名詞,サ変接続,*,*,*,*,入居,ニュウキョ,ニューキョ
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
いる    動詞,非自立,*,*,一段,基本形,いる,イル,イル
。      記号,句点,*,*,*,*,。,。,。
ubuntu@AWS_TEST: ~/dl]

ubuntu@AWS_TEST: ~/dl] python3.6 ma-janome.py
庭      名詞,一般,*,*,*,*,庭,ニワ,ニワ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
二羽    名詞,固有名詞,人名,姓,*,*,二羽,ニワ,ニワ
鶏      名詞,一般,*,*,*,*,鶏,ニワトリ,ニワトリ
が      助詞,格助詞,一般,*,*,*,が,ガ,ガ
いる    動詞,自立,*,*,一段,基本形,いる,イル,イル
ubuntu@AWS_TEST: ~/dl]

ubuntu@AWS_TEST: ~/dl] cat ginga-count.py
# -*- coding: utf-8 -*-

from janome.tokenizer import Tokenizer
import zipfile
import os.path, urllib.request as req

# 銀河鉄道のZIPファイルをダウンロード
url = “http://www.aozora.gr.jp/cards/000081/files/456_ruby_145.zip”
local = “456_ruby_145.zip”
if not os.path.exists(local):
    print(“ZIPファイルをダウンロード”)
    req.urlretrieve(url, local)

# ZIPファイル内のテキストファイルを読む
zf = zipfile.ZipFile(local, ‘r’)
fp = zf.open(‘gingatetsudono_yoru.txt’, ‘r’)
bindata = fp.read()
txt = bindata.decode(‘shift_jis’)

# 形態素解析オブジェクトの生成
t = Tokenizer(mmap=True)

# テキストを一行ずつ処理
word_dic = {}
lines = txt.split(“\r\n”)
for line in lines:
    malist = t.tokenize(line)
    for w in malist:
        word = w.surface
        ps = w.part_of_speech
        if ps.find(‘名詞’) < 0: continue
        if not word in word_dic:
            word_dic[word] = 0
        word_dic[word] += 1

# よく使われる単語を表示
keys = sorted(word_dic.items(), key=lambda x:x[1], reverse=True)
for word,cnt in keys[:50]:
    print(“{0}({1})”.format(word, cnt), end=””)

ubuntu@AWS_TEST: ~/dl]

ubuntu@AWS_TEST: ~/dl] python3.6 ginga-count.py
よう(206)の(202)ジョバンニ(190)カムパネルラ(101)ん(99)中(63)それ(58)方(58)ぼく(55)みんな(54)人(49)何(47)鳥(45)こと(39)窓(39)汽車(39)前(38)眼(37)いま(37)とき(35)川(32)そう(32)一(31)ほんとうに(31)たくさん(30)水(30)どこ(29)二人(29)青年(28)向う(27)さっき(27)僕(26)そこ(26)こっち(26)お(26)もの(25)上(25)ら(25)たち(25)女の子(25)銀河(24)風(24)お父さん(23)天の川(23)野原(23)い(22)声(22)あかり(21)手(20)星(20)ubuntu@AWS_TEST: ~/dl]

        #if ps.find(‘名詞’) < 0: continue　←　コメントアウトする

        if ps.find(‘固有名詞’) < 0: continue　←　「固有名詞」に変えてみる

ubuntu@AWS_TEST: ~/dl] python3.6 ginga-count.py
ジョバンニ(190)カムパネルラ(101)ほんとうに(31)あかり(21)うしろ(19)電燈(13)きれいな(12)蝎(10)そらの(10)叫(8)吹(7)りんご(7)河原(7)燈(6)すすきの(6)巨(5)りま(5)ケンタウル(5)天気輪(5)りんどう(5)押(5)わたしたち(5) 浮(4)幾本(4)湧(4)はな(4)たまえ(4)べる(4)見附(3)涙(3)なみ(3)えだ(3)卓子(3)渡(3)むらさき(3)らっこ(3)けもの(3)ぐり(3)露(3)遁(3)疋(3)ほたる(3)灼(3)プリオシン(3)二本(3)改札口(3)なぎさ(3)のようなもの(3)べて(3)黒服(3)ubuntu@AWS_TEST: ~/dl]

ubuntu@AWS_TEST: ~/dl] cat gingatetsudono_yoru.txt

・      ﾍSｹﾌ・
{?｡

——————————————————-
yeLXg?ｻ・
??｢ﾄz    L

stF
   r
i疔     ]s｢t渼ｽ・
bF

ubuntu@AWS_TEST: ~/dl] iconv -f SJIS ‘gingatetsudono_yoru.txt’
銀河鉄道の夜
宮沢賢治

——————————————————-
【テキスト中に現れる記号について】

《》：ルビ
（例）云《い》われたり

｜：ルビの付く文字列の始まりを特定する記号
（例）光る粒｜即《すなわ》ち

［＃］：入力者注　主に外字の説明や、傍点の位置の指定
　　　（数字は、JIS X 0213の面区点番号、または底本のページと行数）
（例）※［＃小書き平仮名ん、168-12］
——————————————————-

［＃３字下げ］一、午后《ごご》の授業［＃「一、午后の授業」は中見出し］

「ではみなさんは、そういうふうに川だと云《い》われたり、乳の流れたあとだと云われたりしていたこのぼんやりと白いものがほんとうは何かご承知ですか。」先生は、黒板に吊《つる》した大きな黒い星座の図の、上から下へ白くけぶった銀河帯のようなところを指《さ》しながら、みんなに問《とい》をかけました。
　カムパネルラが手をあげました。それから四五人手をあげました。ジョバンニも手をあげようとして、急いでそのままやめました。たしかにあれがみんな星だと、いつか雑誌で読んだのでしたが、このごろはジョバンニはまるで毎日教室でもねむく、本を読むひまも読む本もないので、なんだかどんなこともよくわからないという気持ちがするのでした。
　ところが先生は早くもそれを見附《みつ》けたのでした。
「ジョバンニさん。あなたはわかっているのでしょう。」
　ジョバンニは勢《いきおい》よく立ちあがりましたが、立って見るともうはっきりとそれを答えることができないのでした。ザネリが前の席からふりかえって、ジョバンニを見てくすっとわらいました。ジョバンニはもうどぎまぎしてまっ赤になってしまいました。先生がまた云いました。
「大きな望遠鏡で銀河をよっく調べると銀河は大体何でしょう。」
　やっぱり星だとジョバンニは思いましたがこんどもすぐに答えることができませんでした。
　先生はしばらく困ったようすでしたが、眼《め》をカムパネルラの方へ向けて、
「ではカムパネルラさん。」と名指しました。するとあんなに元気に手をあげたカムパネルラが、やはりもじもじ立ち上ったままやはり答えができませんでした。

ubuntu@AWS_TEST: ~/dl] iconv -f SJIS ‘gingatetsudono_yoru.txt’
銀河鉄道の夜
宮沢賢治

——————————————————-
【テキスト中に現れる記号について】

ubuntu@AWS_TEST: ~/dl] iconv -f SJIS -t utf8 ‘gingatetsudono_yoru.txt’
銀河鉄道の夜
宮沢賢治

——————————————————-
【テキスト中に現れる記号について】