世界モデルにMambaを使っている先行研究

Drama

アライナーにMAMBAを入れる

元のRNNのものでデータセット収集を自分でt4で5時間回したログがあるので、とりあえずこれと比較した

現在の進捗としてはそのままMAMBAに変えるのは環境整備が複雑すぎて難しそうなのでGRUにmulti head attentionの特徴を入れるなどして試しています

↓

今後の方針

GRUのままのものと改造したものをデータセットにMinecraft(かsticman？)を使い、予算内で可能な短時間学習させて性能比較と出力動画の綺麗さの比較を行う

or

改造verのみで確認する

次タスク