RWKV
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
#contents
** 概要 [#k8230954]
GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデル
RWKV(RuwaKuvと発音。ルワクフ)
VRAM3GBで動くオープンソースらしいので革命が起きかもしれな...
使ってみたけれども、日本語の会話はできない。学習データに...
英語での学習データだけな感じ。
似たようなコンセプトのAIにFlexGenというのがあるみたい
*** FlexGen [#k5a31af1]
https://github.com/FMInference/FlexGen#roadmap
*** colossal-ai [#i5ac279d]
https://gigazine.net/news/20230224-colossal-ai-chatgpt/
https://colossalai.org/
** インストールの仕方の解説 [#l97afa4d]
shi3zさんによる解説の記事
https://note.com/shi3zblog/n/na991171b8fdd
*** twitterに書かれていたチューニングについてのコメント [...
ChatRWKVが動く14B-Pile-8192の諸元はこれだから注意
RWKV-4 14B is a L40-D5120 causal language model trargs.n...
** GitHub [#f831f319]
https://github.com/BlinkDL/RWKV-LM
** 紹介してる動画とかサイトとか [#bc33760a]
*** Youtubeで紹介 [#w69182b1]
https://www.youtube.com/watch?v=hnkiLlTiG6Y
shi3zさん(清水さんの当て字?)の、この動画でRWKVの存在をし...
*** 派生ツール等が紹介されている [#fa871b40]
https://scrapbox.io/work4ai/RWKV
*** Google Colab で RWKV を試す [#u909f22a]
https://note.com/npaka/n/nc0592a884903
** 学習モデルについて [#uffb4b2a]
*** 一覧 [#k4fa4364]
https://huggingface.co/models?other=rwkv
*** RWKV-4 14B [#vabe1afd]
RWKV-4 14B は、Pile でトレーニングされた L40-D5120 因果言...
https://huggingface.co/BlinkDL/rwkv-4-pile-14b
終了行:
#contents
** 概要 [#k8230954]
GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデル
RWKV(RuwaKuvと発音。ルワクフ)
VRAM3GBで動くオープンソースらしいので革命が起きかもしれな...
使ってみたけれども、日本語の会話はできない。学習データに...
英語での学習データだけな感じ。
似たようなコンセプトのAIにFlexGenというのがあるみたい
*** FlexGen [#k5a31af1]
https://github.com/FMInference/FlexGen#roadmap
*** colossal-ai [#i5ac279d]
https://gigazine.net/news/20230224-colossal-ai-chatgpt/
https://colossalai.org/
** インストールの仕方の解説 [#l97afa4d]
shi3zさんによる解説の記事
https://note.com/shi3zblog/n/na991171b8fdd
*** twitterに書かれていたチューニングについてのコメント [...
ChatRWKVが動く14B-Pile-8192の諸元はこれだから注意
RWKV-4 14B is a L40-D5120 causal language model trargs.n...
** GitHub [#f831f319]
https://github.com/BlinkDL/RWKV-LM
** 紹介してる動画とかサイトとか [#bc33760a]
*** Youtubeで紹介 [#w69182b1]
https://www.youtube.com/watch?v=hnkiLlTiG6Y
shi3zさん(清水さんの当て字?)の、この動画でRWKVの存在をし...
*** 派生ツール等が紹介されている [#fa871b40]
https://scrapbox.io/work4ai/RWKV
*** Google Colab で RWKV を試す [#u909f22a]
https://note.com/npaka/n/nc0592a884903
** 学習モデルについて [#uffb4b2a]
*** 一覧 [#k4fa4364]
https://huggingface.co/models?other=rwkv
*** RWKV-4 14B [#vabe1afd]
RWKV-4 14B は、Pile でトレーニングされた L40-D5120 因果言...
https://huggingface.co/BlinkDL/rwkv-4-pile-14b
ページ名: