oMLX

oMLX est une application macOS pour exécuter des modèles de langage localement sur du matériel Apple Silicon. Elle utilise le framework MLX d’Apple pour un calcul efficace des réseaux de neurones, offrant une expérience Mac native pour l’inférence LLM locale.

Vue d’ensemble

oMLX est conçu spécifiquement pour Apple Silicon (puces M1/M2/M3/M4) et exploite le framework MLX d’Apple — un framework de tableaux conçu pour la recherche en apprentissage automatique sur matériel Apple. Il fournit une interface native Swift/Objective-C pour charger et exécuter des modèles.

Fonctionnalités principales

  • Natif Apple Silicon : Optimisé pour les puces M1/M2/M3/M4 utilisant le framework MLX d’Apple
  • Inférence locale : Exécutez des modèles entièrement hors ligne sur votre Mac
  • Backend MLX : Utilise l’architecture mémoire unifiée d’Apple pour un calcul CPU/GPU efficace
  • Support de modèles : Compatible avec les modèles convertis au format MLX
  • Orienté recherche : Cible les chercheurs en ML et les développeurs souhaitant expérimenter avec les LLM sur matériel Apple
  • Open Source : Le framework MLX sous-jacent est open source (Licence MIT)

Licence

oMLX utilise la Licence MIT. L’application oMLX et le framework MLX d’Apple sous-jacent sont open source et libres d’utilisation.

Ressources officielles

Voir aussi