Eu estou pensando em criar um programa que vai fazer a IA do ollama conseguir ler os arquivos que estiverem em uma pasta específica, vai facilitar na hora de pedir pra IA traduzir textos ou explicar coisas sem precisar usar um comando de direcionamento, a IA já vai ter uma pasta para consultar livremente. Como as IAs do ollama não tem memória, um programa assim pode ser muito útil para a IA ajudar o usuário sem que ele precise explicar o contexto da tarefa sempre que ele desliga e liga a IA de novo. O usuário pode criar um arquivo com o contexto e pedir para a IA ler. Provavelmente eu vou ter que fazer um mecanismo que interpreta qualquer tipo de arquivo para o TXT, isso evita problemas caso a IA do usuário não saiba ler outros tipos de arquivos. Depois eu teria que criar uma conversão de texto para vetores numéricos, que faria a IA ler trechos do texto sem processar tudo que está na pasta, ou o arquivo em específico, coisa que seria impossível pela falta de tokens. O Rust tem uma lib chamada ollama-rs, ela foi feita pra implementar projetos sobre a API do ollama. Provavelmente ela vai me ajudar.

Replies (3)

interessante, eu queria ter algo parecido tipo ter uma ia offline que leia toda minha documentacao atual (mais de 120 arquivos) do meu homelab por exemplo, dai ela ja saberia todo o contexto o ruim é q requer uma boa gpu (com bastantw vram), e eu n tenho no meu n funcionou, demorou 5 minutos pra escrever 5 palavras ent nem continuei se quiser ver a documentacao fiz desse experimento: vai em 2026-01-27
Eu alcansei um pouco disso nesses ultimos dias, mas como meu pc não é potente, acaba que a IA demora pra responder. É mais rápido com IAs leves mas a resposta sai menos refinada, obviamente. Tem tipo um "pareamento" entre os arquivos e a IA, onde ela mesma lê as informações dos arquivos de forma seletiva pro contexto, evitando gastar tokens demais pra dar uma resposta. O meu programa serve como um cliente para a API do ollama, praticamente eu não preciso mexer no código original da API pra fazer funcionar o cliente. Tudo é bem fácil de personalizar o uso da IA por arquivos, tem como dar regras a ela sem criar um model file, mas isso gasta alguns tokens. Mas, por enquanto, o meu projeto não está estruturado o suficiênte para eu subir pro Radicle.