À partir d’aujourd’hui, l’AWS Command Line Interface (AWS CLI) et le SDK Python utilisent automatiquement AWS Common Runtime (CRT) pour accélérer le transfert de données entre les instances Amazon S3 et Amazon EC2 Trn1, P4d et P5. AWS CRT implémente les meilleures pratiques en matière de performances d’Amazon S3 pour la parallélisation des demandes, les nouvelles tentatives automatiques, l’équilibrage de charge DNS, etc., pour offrir des taux de transfert de données élevés entre Amazon EC2 et Amazon S3. En conséquence, les tâches de formation en machine learning téléchargent désormais les données de formation depuis Amazon S3 jusqu’à 3 fois plus rapidement et téléchargent les points de contrôle de modèle vers Amazon S3 jusqu’à 5 fois plus rapidement, ce qui accélère les temps de formation totaux.
Ce changement est automatiquement inclus dans les dernières AMI AWS Deep Learning (DLAMI) lors du lancement des instances Amazon EC2 Trn1, P4d et P5, qui sont idéales pour les modèles d’IA génératifs, y compris les grands modèles de langage et de diffusion. Désormais, les applications qui utilisent l’AWS CLI et le SDK Python pour accéder à Amazon S3 bénéficient automatiquement des avantages en termes de performances d’AWS CRT. AWS CRT optimise la bande passante réseau élevée disponible sur ces instances, afin que vous puissiez tirer le meilleur parti de vos ressources de calcul sans régler manuellement les performances de stockage. Pour en savoir plus, visitez le Documentation du SDK Python et le Documentation CLI.
Vous pouvez lire l’article original (en Angais) sur le blogaws.amazon.com