AWS Neuron ajoute la prise en charge de l'inférence de modèle PyTorch 2.1 et Llama-2-70b

AWS Neuron est le SDK pour les instances basées sur Amazon EC2 Inferentia et Trainium, spécialement conçu pour l'IA générative. Aujourd'hui, avec Version Neurone 2.16nous annonçons la prise en charge de l'inférence du modèle Llama-2 70b sur les instances Inf2.

Neuron s'intègre aux frameworks ML populaires tels que PyTorch et TensorFlow, afin que vous puissiez démarrer avec un minimum de modifications de code et sans solutions spécifiques au fournisseur. Neuron comprend un compilateur, un environnement d'exécution, des outils et des bibliothèques pour prendre en charge la formation et l'inférence hautes performances de modèles d'IA génératifs sur les instances Trn1 et Inf2.

Neuron 2.16 ajoute la prise en charge de l'inférence pour Lama-2 70b et Mistral-7b modèles avec Transformers NeuronX. Cette version inclut la prise en charge de PyTorch 2.1 (bêta) et d'Amazon Linux 2023. Neuron 2.16 améliore l'expérience utilisateur de formation de modèles LLM avec la prise en charge de PyTorch Lightning Trainer (bêta). L'inférence PyTorch permet désormais d'échanger dynamiquement différents poids affinés pour les modèles chargés. Cette version introduit l'outil Neuron Distributed Event Tracing (NDET) pour améliorer la débogage et le profilage des opérateurs de communication collective dans l'outil Neuron Profiler.

Vous pouvez utiliser le SDK AWS Neuron pour entraîner et déployer des modèles sur les instances Trn1 et Inf2, disponibles dans les régions AWS suivantes en tant qu'instances à la demande, instances réservées, instances Spot ou dans le cadre d'un plan d'économies : USA Est (Virginie du Nord), États-Unis. Ouest (Oregon) et Est des États-Unis (Ohio).

Pour une liste complète des nouvelles fonctionnalités et améliorations de Neuron 2.16, visitez Notes de version de Neuron. Pour démarrer avec Neuron, consultez :