gpt2-japanese

Japanese GPT2 Generation Model

GPT2日本語モデル

GPT2に日本語Wikipedia全文コーパスを学習させたものです

日本語文章の生成モデルです

• パラメーター数117Mの一番小さなモデルのみです

• より大きなパラメーター数のモデルは、気が向いたら作るかもしれません

• 作らないかもしれません

• 日本語Wikipediaが元なので、Wiki記事っぽい文章が生成されます

• 英語版のGPT2のような、フェイクニュースっぽい記事は作れません

• ニュース記事を元にしたコーパスは学習させていないからです

• パラメーター数が小さなモデルだからか、けっこう雑な結果です

• 文章のベクトル化とかには使えるかもしれません

使い方

$ cat ja-117M/model-1339900.data-00000-of-00001.00 ja-117M/model-1339900.data-00000-of-00001.01 ja-117M/model-1339900.data-00000-of-00001.02 ja-117M/model-1339900.data-00000-of-00001.03 ja-117M/model-1339900.data-00000-of-00001.04 >  ja-117M/model-1339900.data-00000-of-00001
$ python3 gpt2-generate.py --num_generate 1

サンプル

$ python3 gpt2-generate.py
第 9 航空 軍
第 9 航空 軍  は 、 全国 航空 軍 管区 のうち 、 それぞれ 航空 軍 第 6 航空 軍を 編成 する 一組 である 。 第 1 航空 軍 は第 1 師 第 1 師 管 に属する 。 第 2 師 第 1 旅団  と 第 2 航空 軍 第 3 旅団  の 3 旅団 が 編成 されており 、 空軍 は第 9 九 型 航空 軍と 航空機 軍 との間で 編成 されている 。
第 9 航空 軍は 第 1 師 第 1 旅団 の 師団 管区 としての 中核 師団 を構成する ため 第 29 航空 軍の 100 式 連隊 、 500 式 司令部 、 その他の 小 航空 師団 等の 2 つの 航空会社 を 共有 している 。 このうち 第 1 師 第 1 師 管 目的 部隊は 第 9 航空 軍 に含まれる が 、 通常は 第 7 師 管区 に 比 �
 1 は 空軍 第 2 部隊 、 第 9 航空 師団 第 2 部隊 に限り 、 第 1 師 第 1 連隊 は 部隊 である 。 航空機 大隊 は第 34 機械 工 兵 連隊 の管轄 区域 だが 、 第 34 機械 工 兵 連隊 第 1 大隊 は 空軍 管区 から 第 10 空軍 航空機 連隊 の管轄 に転 属 している 。

（・・・略）

===============
 バンク ・ オブ ・ アー レン
『 バンク ・ オブ ・ アー レン 』 は 、1980 年に 結成された ラジオ番組 。 毎週 月曜日 ・ 火曜日 の 枠 で放送されていた 。 毎週 土曜日 の 朝 に メンバーの 4 名 のメンバー 等が ひ き 逃げ て 、 4 人 以上  が 2 人で 出会い 始めた ラジオ番組 である 。
 この番組 は バンク ・ オブ ・ アー レン と 再 戦 し 、1978 年 3 月 21 日の 改編 で 当時 結成 していた メンバー による 4 人 押し ローカル 枠 で の番組 製作 を実現 する 。1980 年 2 月より トルコ で ニューヨーク でも 、1975 年 5 月に マスメディア ・ ゲーム 、 福祉 ・ 農 薬 基地 で 番組 が 放送 され 、1977 年 11 月より ラジオ 福岡 第巣 で 日曜 23 : 00 -  翌日  の 3 分の 初 枠 『 L -20 5 -9 -20 』 が 放送開始 、1980 年 4 月 ～ 8 月 の最�
 -  21:00 -  枠 『 J : COM 』 が 放送開始 される 。
 
 （・・・略）

• 何となくWiki記事っぽい文章は生成されている

• パラメーター数117Mの一番小さなモデルなので、この程度でしょう

$ python3 gpt2-generate.py --context="インターネットのサービス"
 サービス は サン グレ キュー で活躍 している という 目標 を掲げ ている  。 カタログ を 掲載 するのは NTT ドコモ 社内 の バス ドライバー 企業 だけ であり 、 コーポレーション の 所在 数 に 関係 なく 、 事業 量 当初の 条件 は 買い 物 ネット コイン だった 。 しかしながら この サービス は ポー タ ブル バス ドライバー を通じて 観光 において 早 急 かつ 貸し された 。
2012 年に ス チュ ワード など 事業を 譲 り 受け ているが 、2013 年に ポ ケ マン ダー に迎え られている 。
 店舗 は ミニ イ ブ ニング 場 が スタ ッド 北 広場  の サウ 体制 に向けた 様に 、 それを シャ ワー 回避 する と共に 、 開店 に伴って ブランド に オ カルト 感 を 捉え 、 マーケティング から 離れた ものが多い 。 サービス は 事業 量が 半分 以上 だった り 、 自身の 負債
 を セク シャ リティ から 取り 壊 し 、 グループ 内での 商品 券 が 借 用 できる 場  は 、 当初は ニューヨーク市 としては 唯一の 店舗 だったが 、 ようやく 廃止された 。 ストック の バン ケット 入り を コンセプト に 、 スタ ッド も 西 友 の テレビ サークル を通じて 一定の 経営 を目指した 「 スマート DE 」 を 創業 する 、 という ものである 。

 （・・・略）

 ===============

 などで ポイント を 購入 しながら 、 カス タマ イズ プログラム で アクセス する必要がある 。 また 、 ポイント ・ カード には 他人 に対しても 不足 するために ポイント が 無 資 、 つまり ポイント を 無 資 の プログラム で お いている 。
 カル デン の ビジネス プロモーション 裁判所 は ポイント ・ カード コレ ク ター である ID R  この カスタム プログラム の活動 では 、 正しく 実行 すると ポイント が 、 アクセス 目的 から 競走 の場 における 日に 、 実行 しなければならない ように 、 とし 、 ポイント を 削除 する 必要がある 。
2006 年 5 月 1 日 ポイント ・ カード シ ビック 方式 のため ポイント ・ カード を 単体 購入 時の 除 雪 割引 サービス を利用した と 発表 。 シ トロ エン の サービス には 、 ドット を利用した 利用者 サービス と ポイント が 法 的な 変動 を受けること �
 と よく 使われる ようになった 。 この 発明 は日本 製紙 の 自 販 機 材 で パナソニック に 土地 の 館 を開いた 先 取 先 往来 の一環として 行われ 、 輸入 品 タ レ が 毎日 7 疾 に 出入り しようと しても 、 輸入 品 と 降 雪 案内 板 による 総額 分 も 15 種類 を超える ため  、 パナソニック が 材料 の一部 を利用して 輸入 する サービス の場 が 見直し て 採用された の では 、 スーダン 側に は 、 上記の 事業者 にも 、 サービス 終了後 、 パナソニック 側 への ドット を利用し て サービス 価格 を巡って も 放置 し ない場合 も多い 。 と よく 似た 行為 と である 。
 
 （・・・略）

• contextを指定すると、それに続く文章が出てくる

$ python3 gpt2-generate.py --context="江戸時代のインターネット回線"

 など 、 数多くの 図書館 が 、 伝統的な 国家 歴史 を 網 羅 した 画家 ・ 版画 家 と呼ばれる 屋 内容 情報 が掲載され ていた 。
 配布 広報 は 、 IC T 3 2002 / 3 1904 番組 『 電波 年 行  イン ・ ク ォ ー ザ ・ オフ  イン ・ ダ ボ  イン ・ ク ォ ー ザ ・ バー チャ レンズ  』 に 、 刺 身 や 最後 尾 が 調べ られた に代わる ときに 担当 していた 。 放送される 落 第 線  ベビー 日から ヒ ストリー テーブル など は 、 図書館 によって 情報 量  が 記載 されており 、 インターネット で 示す せ は なかったため 、 放送 が 繰り返され ようと している 。 『 ペット たちの 時間  イン ・ ク ォ ー ザ 』 監修 として 早期 連載 を スタート イン させ ながら 紹介 したのは 、2009 年の 東京 クーデター 後の ハウス 区 検 �
 
 （・・・略）

 ===============

の 計画は 正確 で 、 軍事 地区  近くの かさ の 七 〇 、 エル サル バ ドル 、 パ ト ロール から 分離 している 。 それらは 2014 年 12 月 16 日まで ハ ベル バ に戻って インターネット 会議 に 賛成 する事 を 訴え � 受 している 。 
各 年の グループ 各社 が 上場 している 。
本 回 線 については 後者 の インターネット 回 線は 普通の インターネット 経由で 、 戸 建 トンネル や が っている 高級地 などで 、2016 年より インターネット マンション が 位置 している 区間 を 複数 組み 込んでいる 。 予想 平等 高 は マスメディア の 注目 に 値 すると 指摘 されている 。
2017 年 、 16 歳以上 の グループ 各 グループ 会員 が 本 回 線 について 合意 すること を 条件 に 2017 年 年度 上 年 4 60 万円 を 特別 顧問 団 に 認定 した 。
 
 （・・・略）

• 関連のなさそうなワードをcontextに入れると、概念が混ざったような文章になる

使い方はこちらも参考に

https://www.kaggle.com/tanreinama/japanese-text-generator-with-gpt2