Amazon SageMaker Clarify prend désormais en charge les évaluations du modèle de base (FM) en version préliminaire

Aujourd'hui, Amazon SageMaker Clarify annonce une nouvelle fonctionnalité pour prendre en charge les évaluations de modèles de base (FM). Les clients AWS peuvent comparer et sélectionner les FM en fonction de mesures telles que la précision, la robustesse, la partialité et la toxicité, en quelques minutes.

Aujourd'hui, les clients disposent d'un large éventail d'options lorsqu'ils choisissent un FM pour alimenter leurs applications d'IA générative, et ils souhaitent comparer rapidement ces modèles pour trouver la meilleure option pour leur cas d'utilisation. Pour commencer à comparer des modèles, les clients passent d'abord des journées à identifier les références pertinentes, à configurer des outils d'évaluation et à exécuter des évaluations sur chaque modèle. Et ils obtiennent souvent des résultats difficiles à déchiffrer.

SageMaker Clarify prend désormais en charge les évaluations FM lors de la sélection du modèle et tout au long du flux de travail de personnalisation du modèle. Les clients se lancent dans les évaluations FM en exploitant des ensembles de données d'invite spécialement conçus pour les tâches courantes, notamment la génération de texte ouvert, le résumé, la réponse aux questions et la classification. Les clients peuvent étendre l'évaluation FM avec leurs propres ensembles de données d'invite personnalisés. Les évaluations humaines peuvent être utilisées pour des dimensions plus subjectives, telles que la créativité et le style. Après chaque évaluation, les clients reçoivent un rapport d'évaluation qui résume les résultats en langage naturel et comprend des visualisations et des exemples. Les clients peuvent télécharger toutes les métriques et rapports et les intégrer dans leurs flux de travail SageMaker ML.

Cette fonctionnalité est disponible en version préliminaire dans certaines régions : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Asie-Pacifique (Tokyo), Asie-Pacifique (Singapour), Europe (Francfort), Europe (Irlande). ). Pour plus de détails, consultez notre page de documentation et de tarification.