Ollama

Ollama est un outil open source pour exécuter des modèles de langage localement. Il fournit une interface en ligne de commande simple et une API pour télécharger, gérer et exécuter des LLM sur votre propre matériel.

Vue d’ensemble

Ollama regroupe les modèles dans un exécutable unique avec toutes les dépendances incluses. Il supporte macOS, Linux et Windows, et utilise llama.cpp pour une inférence efficace sur CPU et GPU. L’outil est conçu pour rendre l’accès local aux LLM aussi simple que possible.

Fonctionnalités principales

  • CLI simple : Téléchargez et exécutez des modèles avec une seule commande (ollama run <modèle>)
  • API REST locale : API HTTP intégrée compatible avec le format OpenAI Chat Completions
  • Bibliothèque de modèles : Liste de modèles disponibles via ollama pull (Llama, Mistral, Gemma, Phi, etc.)
  • Accélération matérielle : Détection automatique du GPU et accélération via CUDA, ROCm et Metal
  • Modelfiles : Définitions de modèles personnalisées avec paramètres, invites système et infos de licence
  • Multi-plateforme : Support natif pour macOS (y compris Apple Silicon), Linux et Windows

Licence

Ollama est open source (Licence MIT). L’application Ollama est libre d’utilisation, de modification et de distribution. Les modèles individuels ont leurs propres licences définies par leurs créateurs.

Ressources officielles

Voir aussi