#contents
** 概要 [#k8230954]
GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデル
RWKV(RuwaKuvと発音。ルワクフ)
VRAM3GBで動くオープンソースらしいので革命が起きかもしれない。ゲーム内のキャラクターにしゃべらせることができたり、いろいろカスタマイズがはかどるかも。どこまでできるのか調査する必要あり。
使ってみたけれども、日本語の会話はできない。学習データになさそう。
英語での学習データだけな感じ。
似たようなコンセプトのAIにFlexGenというのがあるみたい
*** FlexGen [#k5a31af1]
https://github.com/FMInference/FlexGen#roadmap
*** colossal-ai [#i5ac279d]
https://gigazine.net/news/20230224-colossal-ai-chatgpt/
https://colossalai.org/
** インストールの仕方の解説 [#l97afa4d]
shi3zさんによる解説の記事
https://note.com/shi3zblog/n/na991171b8fdd
*** twitterに書かれていたチューニングについてのコメント [#r9d4a0c5]
ChatRWKVが動く14B-Pile-8192の諸元はこれだから注意
RWKV-4 14B is a L40-D5120 causal language model trargs.n_layer = 40 args.n_embd = 5120 ctx_len 8192.
** GitHub [#f831f319]
https://github.com/BlinkDL/RWKV-LM
** 紹介してる動画とかサイトとか [#bc33760a]
*** Youtubeで紹介 [#w69182b1]
https://www.youtube.com/watch?v=hnkiLlTiG6Y
shi3zさん(清水さんの当て字？)の、この動画でRWKVの存在をしりました。
*** 派生ツール等が紹介されている [#fa871b40]
https://scrapbox.io/work4ai/RWKV
*** Google Colab で RWKV を試す [#u909f22a]
https://note.com/npaka/n/nc0592a884903
** 学習モデルについて [#uffb4b2a]
*** 一覧 [#k4fa4364]
https://huggingface.co/models?other=rwkv
*** RWKV-4 14B [#vabe1afd]
RWKV-4 14B は、Pile でトレーニングされた L40-D5120 因果言語モデルです。詳細については、 https://github.com/BlinkDL/RWKV-LMを参照してください。
https://huggingface.co/BlinkDL/rwkv-4-pile-14b
