あざい るぅか🔁AIVtuberをアジャイル開発で育成 ：Fine tuning 済みの 日本語 rinna GPT-2 を 無料の CentOS 7 で実行する方法

rinna GPT-2さんのFine tuningには、GPU 無料のGoogle Colabさんが便利です。
でも、Fine tuningした言語モデルをアプリケーションとして使うときは、Linux で動かせると嬉しいです。
yum update 済みのCent OS 7 仮想マシンを使ってCUDA不要、最低限のパッケージ構成で実行する手順をご紹介します。

【チャプター】
0:00 アバン
0:25 挨拶
0:39 仮想マシンの構成
1:16 デフォルト環境でのPython3
1:52 Python3の導入
2:40 Python3のパッケージをpip3で導入
3:16 Google Driveからの言語モデルをダウンロードして展開
4:08 言語モデルの動作確認
5:00 クロージング

【コピペ用の手順】
$ python
$ which python3
$ su –
# yum install python3
# which python3
# python3
# pip3 install transformers torch sentencepiece==0.1.91
# exit
$ python3
以下、Python3 インタプリタ手順になります。
from transformers import T5Tokenizer, AutoModelForCausalLM
tokenizer = T5Tokenizer.from_pretrained(“rinna/japanese-gpt2-small”)
model = AutoModelForCausalLM.from_pretrained(“output/”)
input = tokenizer.encode(“魂もAIのVtuber？”, return_tensors=”pt”)
output = model.generate(input, do_sample=True, max_length=100, num_return_sequences=3)
print(tokenizer.batch_decode(output))

【関連リンク】
前回はGoogle Colabさんでrinna GPT-2さんをFine tuningする方法をご紹介しました。
https://youtu.be/TOaKJbWpTUk

#VirtualBeings
#GPT2

【編集後記】
インタプリタモードのPython3で実行しているのは、正しくはSentenceです。