概要 †
GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデル
RWKV(RuwaKuv?と発音。ルワクフ)
VRAM3GBで動くオープンソースらしいので革命が起きかもしれない。ゲーム内のキャラクターにしゃべらせることができたり、いろいろカスタマイズがはかどるかも。どこまでできるのか調査する必要あり。
使ってみたけれども、日本語の会話はできない。学習データになさそう。
英語での学習データだけな感じ。
似たようなコンセプトのAIにFlexGen?というのがあるみたい
FlexGen? †
https://github.com/FMInference/FlexGen#roadmap
colossal-ai †
https://gigazine.net/news/20230224-colossal-ai-chatgpt/
インストールの仕方の解説 †
shi3zさんによる解説の記事
https://note.com/shi3zblog/n/na991171b8fdd
twitterに書かれていたチューニングについてのコメント †
ChatRWKVが動く14B-Pile-8192の諸元はこれだから注意
RWKV-4 14B is a L40-D5120 causal language model trargs.n_layer = 40 args.n_embd = 5120 ctx_len 8192.
GitHub? †
https://github.com/BlinkDL/RWKV-LM
紹介してる動画とかサイトとか †
Youtubeで紹介 †
https://www.youtube.com/watch?v=hnkiLlTiG6Y
shi3zさん(清水さんの当て字？)の、この動画でRWKVの存在をしりました。
派生ツール等が紹介されている †
https://scrapbox.io/work4ai/RWKV
Google Colab で RWKV を試す †
https://note.com/npaka/n/nc0592a884903
学習モデルについて †
一覧 †
https://huggingface.co/models?other=rwkv
RWKV-4 14B †
RWKV-4 14B は、Pile でトレーニングされた L40-D5120 因果言語モデルです。詳細については、 https://github.com/BlinkDL/RWKV-LMを参照してください。
