たーごいる's avatar
たーごいる
_@targoyle.jp
npub1targ...hjvn
Hi. I'm Targoyle. 🍙 fan art: #ごいるあーと
たーごいる's avatar
Targoyle 15 hours ago
それは犬飼いたいって言われて写真でいいじゃんっていうくらいナンセンスでは
たーごいる's avatar
Targoyle 15 hours ago
かけるとポケモンが飼えるだったら普及するよ
たーごいる's avatar
Targoyle 15 hours ago
xR は普通の眼鏡並みのサイズにならないと無理だって
たーごいる's avatar
Targoyle 15 hours ago
まあ多分うまくいくだろう(楽観)
たーごいる's avatar
Targoyle 15 hours ago
一応の簡易テストも動いてる ``` $ python test.py --- ベクトル化と類似度判定 --- ステータスコード: 200 ステータスコード: 200 ステータスコード: 200 文A: スマホのバッテリーがすぐに切れる 文B: 携帯電話の電池の持ちが悪い 文C: 美味しいカレーライスの作り方 ------------------------------ AとBの類似度(高いはず): 0.9536 AとCの類似度(低いはず): 0.7287 ✅ 成功!意味の近さが正しく判定できています。 ```
たーごいる's avatar
Targoyle 15 hours ago
いくらどん動いたら教えて
たーごいる's avatar
Targoyle 15 hours ago
1. ruri-v3-310m ディレクトリ内の念のための何か ```bash mv tokenizer.json tokenizer.json.bak ``` 2. convert_hf_to_gguf.py の修正 (10750行付近) ```python @ModelBase.register("ModernBertModel", "ModernBertForMaskedLM", "ModernBertForSequenceClassification") class ModernBertModel(BertModel): model_arch = gguf.MODEL_ARCH.MODERN_BERT def set_vocab(self): self.gguf_writer.add_add_bos_token(True) self.gguf_writer.add_add_eos_token(True) self.gguf_writer.add_add_sep_token(True) # self._set_vocab_gpt2() <- こいつをコメントアウト self._set_vocab_sentencepiece() # これを追加 ``` 3. f16 にする ```bash python convert_hf_to_gguf.py models/ruri-v3-310m --outfile models/ruri-v3-310m-f16.gguf ``` 4. 量子化する ```bash ./build/bin/llama-quantize models/ruri-v3-310m-f16.gguf models/ruri-v3-310m-q8_0.gguf Q8_0 ``` 5. 動作確認 ```bash ./build/bin/llama-embedding -m models/ruri-v3-310m-q8_0.gguf -p "これはテストです" ```
たーごいる's avatar
Targoyle 16 hours ago
`$ llama-embedding -m models/ruri-v3-310m-q8_0.gguf -p "これはテストです"` でダバダバベクトルが出るから動くと思う
たーごいる's avatar
Targoyle 16 hours ago
なんか convert_hf_to_gguf.py を修正したら普通に変換できたよ
たーごいる's avatar
Targoyle 16 hours ago
え~じゃあなんか他の渡し方
たーごいる's avatar
Targoyle 16 hours ago
ハギングフェイスってログインしなくてもうpれるの
たーごいる's avatar
Targoyle 16 hours ago
指示をもらってるのは Gemini 3 Pro いくらどんが量子化したいのは ruri-v3-310m
たーごいる's avatar
Targoyle 16 hours ago
動かない感じだから修正中
たーごいる's avatar
Targoyle 16 hours ago
EV 車の後ろのステッカーで貼ってほしい