てきとーなクラウドサービスでdgx spark借りて、LLMぶん回してエッチなこと考えさせたい
lkjsxc / スク
lkjsxc@lkjsxc.com
npub1puu2...28r2
Computer enthusiast
35b-a3b
35bに頑張ってもらっているけど、これ9bとかでもいけるんやろか(速度あんまり変わんなさそうだから試してない)
1時間立たないで
サーバーPCがLLMをぶん回し始めて1時間が立ちました
よさげなエージェントが出来上がって、よさげ~になてり
DGX Sparkで4bit量子化済のqwen3.5-35b-a3bを32並列で動かしたら、スループットどうなるんだろう
GPT-5.4がめちゃくちゃ強くて、LLMオーケストレーションの夢を自分で叶えられそう
Ryzen 7 7840HSだとさすがに厳しい
そう、演算装置が弱いのである(DGX Spark買え)
16並列ぐらいでリクエストを処理させてるんだけど、いかんせん私の自宅サーバーのPCが弱くて厳しい
メモリ帯域幅に依存しないAIエージェントを作っており
なんか様子がおかしいなーと思ったら、copilotくんが盛大な勘違いをしていたみたい
GPT-5.4がやたら強いので、LLMオーケストレーションみたいなのできないかなーと試しており
AIエージェント作り中
んあー
タイポのやつ、なんかうまく行かなくて沼
snapshotがsnaphotになってた
なんか、移行のスクリプトにtypoが混ざってたらしい。おいおいまじかよ