チーム名: hatakeyama
日時 6/4
開発テーマ・概要
phase2の準備
チーム全体の開発状況
phase1の開発が完了した｡
phase2に向けた準備を進めた
開発のマイルストーン
phase1の開発が完了した
直近1週間でやったこと
事前学習の準備
18nodeで35 b modelを学習するコードを立ち上げ済み(440 TFLOPS程度)
TODOの整理､チーム編成
ディスカッション
phase1での実績をもとに､計算量を試算した｡
18 nodesを使った場合､50 bでは1000 b token弱の学習が可能なことが分かった｡
