Ollama

Ollama permet d’exécuter des modèles localement avec un setup simple, utile pour prototyper, tester et déployer des scénarios offline. Il facilite la mise en route de modèles open source sans dépendre d’un service externe. Les points clés sont la performance (CPU/GPU), la gestion des versions de modèles et l’exploitation (supervision, quotas).

Chez Josh, nous l’utilisons pour des POC rapides, des environnements de développement, ou des contraintes de souveraineté/offline. Nous cadrons l’architecture : RAG précis, formats de sortie stricts, et monitoring de la latence. Si la charge augmente, on dimensionne l’infrastructure et on met en place une gouvernance de déploiement. L’objectif est de bénéficier du local sans perdre en fiabilité.