OpenWebUIでもできるかも・・・？
しゅうすい🐡
_@syusui.net
npub1jcsr...scyc
Rabbit🐰というnostrクライアントを作っています🥕
https://rabbit.syusui.net/
開発👨💻、アニメ🎥、イラスト🎨、サイクリング🚲が好きです。
アイコンは艦これの卯月です⚓🌙🐰🌸。
LLMのinference APIを直で叩いたら実現できそうかも
Windowsでllama-serverを動かすときにhipBLASってどれくらいサポートされてるんでしょう
めちゃくちゃねむい・・・
内臓のiGPUでGemma 3 4Bの推論で40tok/s出るようになった
カニ
風邪めっちゃ長引いてる
QATと推測デコーディングでTPSを上げることに成功した
うどんとサラダチキン買うか…
ドラクエ7をやっています
WhisperにVAD入れたらいい感じな気がする
ご飯買いに行かなきゃ
およよよ
また咳が出てきてorz
風邪が治ってきた
カニを食べに行きたい
舞鶴はいいぞ
シャナ