概要

GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデル

RWKV(RuwaKuv?と発音。ルワクフ)

VRAM3GBで動くオープンソースらしいので革命が起きかもしれない。ゲーム内のキャラクターにしゃべらせることができたり、いろいろカスタマイズがはかどるかも。どこまでできるのか調査する必要あり。

使ってみたけれども、日本語の会話はできない。学習データになさそう。

英語での学習データだけな感じ。

似たようなコンセプトのAIにFlexGen?というのがあるみたい

FlexGen?

https://github.com/FMInference/FlexGen#roadmap

colossal-ai

https://gigazine.net/news/20230224-colossal-ai-chatgpt/

https://colossalai.org/

インストールの仕方の解説

shi3zさんによる解説の記事

https://note.com/shi3zblog/n/na991171b8fdd

twitterに書かれていたチューニングについてのコメント

ChatRWKVが動く14B-Pile-8192の諸元はこれだから注意

RWKV-4 14B is a L40-D5120 causal language model trargs.n_layer = 40 args.n_embd = 5120 ctx_len 8192.

GitHub?

https://github.com/BlinkDL/RWKV-LM

紹介してる動画とかサイトとか

Youtubeで紹介

https://www.youtube.com/watch?v=hnkiLlTiG6Y

shi3zさん(清水さんの当て字?)の、この動画でRWKVの存在をしりました。

派生ツール等が紹介されている

https://scrapbox.io/work4ai/RWKV

Google Colab で RWKV を試す

https://note.com/npaka/n/nc0592a884903

学習モデルについて

一覧

https://huggingface.co/models?other=rwkv

RWKV-4 14B

RWKV-4 14B は、Pile でトレーニングされた L40-D5120 因果言語モデルです。詳細については、 https://github.com/BlinkDL/RWKV-LMを参照してください。

https://huggingface.co/BlinkDL/rwkv-4-pile-14b

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2023-04-01 (土) 00:44:50 (451d)