1pip install janome

1# janomeのライブラリからTokenizerオブジェクトオブジェクトを取得します
2# Tokenizerを使うことことで形態素分解を行っていきます。
3from janome.tokenizer import Tokenizer
4
5# オブジェクト生成
6t = Tokenizer()
7
8# tokenizeメソッドを使て文書を読み込みます。
9tokens = t.tokenize("初めまして、私がこの記事の作者です。")
10
11# printで実行結果の確認
12for value in tokens:
13print(value)

1>>> 初め 名詞,副詞可能,*,*,*,*,初め,ハジメ,ハジメ
2>>> まして 副詞,一般,*,*,*,*,まして,マシテ,マシテ
3>>> 、 記号,読点,*,*,*,*,、,、,、
4>>> 私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
5>>> が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
6>>> この 連体詞,*,*,*,*,*,この,コノ,コノ
7>>> 記事 名詞,一般,*,*,*,*,記事,キジ,キジ
8>>> の 助詞,連体化,*,*,*,*,の,ノ,ノ
9>>> 作者 名詞,一般,*,*,*,*,作者,サクシャ,サクシャ
10>>> です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
11>>> 。 記号,句点,*,*,*,*,。,。,。

1# janmeのTokenizerをimportする
2from janome.tokenizer import Tokenizer
3# random関数を使うためにrandomのライブラリをimport
4import random
5# reモジュールを使用するためにreライブラリをimport
6import re
7
8# マルコフ連鎖を使った関数を作成
9def make_Sentences(text):
10    # Tokenizerを使えるように設定します。
11    t = Tokenizer()
12
13　　# janomeを使って文書を単語ごとに分解します。
14    tokens = t.tokenize(text)
15    result = []
16
17　　# token.surfaceで単語だけを取得します。
18    # 取得した単語をlist内に保存していきます。
19    for token in tokens:
20        result.append(token.surface)  
21
22　　# 上記で分解した文書から得た単語からマルコフ連鎖ができるようにデータを格納するための
23　　# 辞書データを作成します。
24    dict_data = {}
25
26　　# 単語を格納するためのPrefixを設定
27    Prefix1 = ""
28    Prefix2 = ""
29
30    for value in result:
31        # Prefixの中に単語が設定されているかをチェックしています。
32        if Prefix1 and Prefix2:
33　　　　　　# 辞書データに単語を格納していきます。
34          dict_data[(Prefix1,Prefix2)] = []
35          dict_data[(Prefix1,Prefix2)].append(value)
36　
37　　　　# Prefix1, Prefix2にPrefix2 ,valueをセットしてスライドします。
38　　　　# イメージ）Prefix1 ← Prefix2, Prefix2 ← value
39        Prefix1, Prefix2 = Prefix2 ,value
40   
41    # 辞書データから文書を作成するために辞書データのkeyから単語取得します。
42    Prefix1, Prefix2 = random.choice(list(dict_data.keys()))
43
44　　# whileを使ってループさせるので無限ループを防ぐためにカウントをセットします。
45    count = 0
46
47    # Sentencesに作成した文書を格納していきます。
48    Sentences = ""
49
50　　# もとになるlistの中身の数文だけ繰り返すように設定します。
51    while count < len(result):
52        # Prefix1, Prefix2の要素が辞書データのkeyの要素にあるかを確認します。
53        if ((Prefix1, Prefix2) in dict_data) == True:
54            # 辞書データから単語を取得して文書を作成していきます。
55            word = random.choice(dict_data[(Prefix1, Prefix2)])
56            Sentences += word
57　　　　# Prefix1, Prefix2にPrefix2 ,wordをセットしてスライドします。
58        # # イメージ）Prefix1 ← Prefix2, Prefix2 ← word
59        Prefix1, Prefix2 = Prefix2, word
60        # 繰り返しの回数をカウントしていきます。
61　　　　　# ※もし追加しておかないと無限ループします。
62        count += 1
63
64　　# 最初の句点（。）までを取り除きます。
65    Sentences = re.sub("^.+?。", "", Sentences)
66　　# 句点（。）までの文書を取得します。
67    search = re.search(".+。",Sentences)
68    if search:
69        Sentences = search.group()
70    print(Sentences)

1text = [
2　　"""
3    この本と私が出会ったきっかけは本屋さんでこのティファニーでという言葉を見てからです。
4    それは高校生の憧れという感じで、大人になり切れていない自分がこの本を読むことで大人になることができるのかななんて思いながら選んで手に自然ととっていました。
5    そこから嬉しく思い自宅にいそいそ持って帰り、学校帰りに買ったので楽しみに夜に読もうと思い、夕ご飯を済ませて、お風呂も済ませて楽しみにこの新しいブックカバーのついたものを部屋のベットの横に
6    置いて読まれる時を待っているように本が綺麗に輝いていました。自分のこれからの人生に変わることが起こるのかと思えるくらいにわくわくしてお風呂もいつもと同じ場所なのに新鮮に感じて幸せな感じ
7    に包まれていて、身体の汚れを落として綺麗になってからこの素敵な本の世界に入っていくのかなと想像を巡らせていました。このティファニーで朝食をの簡潔な紹介ですが、これは自分の中では恋愛の物語です。
8    夢見る男女の人生を共にしていく相手を選んでいるとも言えますが、ホリー・ゴライトリーは天真爛漫で田舎からこのニューヨークに来てもう一年くらいにもなるが今だ定職にもついていなくて、その時に飲み屋
9    で知り合った男性などに援助してもらっている生活で、でも男性たちはホリーの不思議な魅力に惹きつけられる。何人もホリーに付きまとい、ドレスを破かれるということもあったり、生活は貯金も中々出来て
10    いい状態で、朝帰りでティファニーの宝石店の前で悲しい気分を楽しくして家に帰るのがホリーの生活です。
11    """
12]
13
14make_Sentences(text[0])