Présentation du connecteur Amazon S3 pour PyTorch

Le connecteur Amazon S3 pour PyTorch offre un débit élevé pour les tâches de formation PyTorch qui accèdent aux données et les stockent dans Amazon S3. PyTorch est un framework d’apprentissage automatique open source largement utilisé par les clients AWS pour créer et former des modèles d’apprentissage automatique. Le connecteur Amazon S3 pour PyTorch optimise automatiquement les requêtes de lecture et de liste S3 pour améliorer les performances de chargement des données et des points de contrôle pour vos charges de travail de formation. L’enregistrement des points de contrôle du modèle de formation d’apprentissage automatique est jusqu’à 40 % plus rapide avec le connecteur Amazon S3 pour PyTorch que l’enregistrement sur le stockage d’instance Amazon EC2.

Le connecteur Amazon S3 pour PyTorch offre une nouvelle implémentation de la primitive d’ensemble de données de PyTorch que vous pouvez utiliser pour charger des données de formation à partir d’Amazon S3. Il prend en charge à la fois les ensembles de données de style carte pour les modèles d’accès aux données aléatoires et également les ensembles de données de style itérable pour les modèles d’accès aux données séquentiels. Le connecteur Amazon S3 pour PyTorch comprend également une interface de point de contrôle pour enregistrer et charger les points de contrôle directement sur Amazon S3, sans enregistrer au préalable sur le stockage local ni écrire de code personnalisé à télécharger sur Amazon S3.

Le connecteur Amazon S3 pour PyTorch est un projet open source. Pour commencer, visitez le Page GitHub.