AWS Glue Data Catalog prend désormais en charge la génération de statistiques au niveau des colonnes pour les tables AWS Glue. Ces statistiques sont désormais intégrées à l’optimiseur basé sur les coûts (CBO) d’Amazon Athena et d’Amazon Redshift Spectrum, ce qui entraîne des performances de requête améliorées et des économies potentielles.
Avec ce lancement, les clients bénéficient désormais d’une expérience intégrée de bout en bout où les statistiques sur les tables Glue sont collectées et stockées dans Glue Catalog, et mises à la disposition des services d’analyse pour une planification et une exécution améliorées des requêtes. Ces statistiques sont des statistiques au niveau des colonnes telles que le nombre de distincts, le nombre de valeurs nulles, le maximum et le minimum sur des fichiers tels que Parquet, ORC, JSON, ION, CSV, XML. Grâce aux statistiques, les services d’analyse tels qu’Amazon Athena et Amazon Redshift peuvent optimiser les requêtes en appliquant les filtres les plus restrictifs le plus tôt possible dans le traitement des requêtes, limitant ainsi l’utilisation de la mémoire et le nombre d’enregistrements lus pour fournir les résultats de la requête.
Pour commencer, les utilisateurs peuvent générer des statistiques et afficher les statistiques pour la table AWS Glue Catalog à l’aide de la console AWS Glue ou des API AWS Glue. Lorsque les clients exécutent des requêtes depuis Amazon Athena et Amazon Redshift Spectrum, ils bénéficieront automatiquement d’améliorations des performances des requêtes grâce à l’intégration intégrée avec AWS Glue Catalog.
La prise en charge de la génération de statistiques AWS Glue Catalog est généralement disponible dans les régions AWS suivantes : régions USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Europe (Irlande), Asie-Pacifique (Tokyo, Osaka). . Lisez l’article du blog Athena et visitez la documentation du catalogue AWS Glue pour en savoir plus.
Vous pouvez lire l’article original (en Angais) sur le siteaws.amazon.com