Supervisez les performances de vos instances Amazon RDS avec réplication en cascade
Vous deployez des instances RDS répliquées en cascade et souhaitez avoir une vision d’ensemble de celles-ci ?
Amazon RDS supporte à partir de la version 14 de PostgreSQL la réplication en cascade, réplication pouvant aller jusqu'à 155 réplicas en lecture seule. Cf Annonce Amazon
Cette solution peut s’avérer très intéressante pour des applications à lectures intensives.
Dès lors, sur ce type d’architecture, une vision de l’activité par cluster est insuffisante. Il devient indispensable d’avoir une vision globale avec possibilité de descendre dans le détail par instance.
C’est ce que permet nativement Datasentinel, facilitant ainsi l’analyse des performances de traitements particuliers, l’identification de sessions et/ou queries problématiques sur l’ensemble de vos instances (primaire + réplicas) ou sur une instance particulière.
Ne stockant aucune donnée sur les clusters monitorés, Datasentinel peut ainsi se connecter à tout type de cluster, y compris ceux en mode standby/lecture seule
Datasentinel permet également de superviser les instances Amazon Aurora PostgreSQL
Cet article vous montre comment mettre en place une supervision Datasentinel sur une architecture complexe.
L’exemple se base sur une réplication composée de 2 réplicas intermédaires et de 4 réplicas de second niveau soit une architecture à 7 instances (1 primaire et 6 réplicas).
La console AWS RDS indique donc 7 instances:
L’équilibrage des lectures sur plusieurs instances Amazon RDS est réalisé à l’aide de Amazon Route 53.
Pgbench est utilisé pour le benchmark avec 2 jeux de tests : 1 en Lecture/écriture + 1 en lecture seule
L’extension pg_stat_statements est installée dans la database postgres et le paramètre pg_stat_statements.track positionné à all sur l’ensemble des clusters
Configuration de Datasentinel
Dans un premier temps il convient d’avoir une plate-forme Datasentinel à disposition.
Plusieurs solutions:
1 - Déploiement depuis la marketplace AWS
2 - Mise à disposition d’une plate-forme en mode SaaS par notre équipe support.
3 - Installation on-premises.
Ensuite, configurer chaque cluster en connexion directe
2 possibilités:
- Configurer un agent local sur un serveur intermédiaire ayant accès à l’ensemble des clusters.
Un seul agent peut superviser plusieurs instances. (cf Agent Installation )
ou
- Paramétrer une connexion pour chaque cluster en mode AgentLess depuis la console de la plate-forme ou via l’API
Il est important de spécifier une propriété commune (un TAG) aux instances (cf Comment utiliser efficacement les TAGs) permettant de les identifier de manière unique
Dans ce tutoriel, le Tag ha_cluster est choisi pour identifier l’ensemble. Chaque instance se verra donc attribuer le tag ha_cluster=sales-rds-app
Exemple de configuration en mode AgentLess
Visualisation de l’architecture
Retrouvez dès la page d’accueil l’architecture à 7 instances ainsi que l’activité courante en appliquant le filtre ha_cluster=sales-rds-app
Vous retrouvez les 7 instances :P -> Primary, S -> Source,Réplica, R -> réplica.
Exploration de l’activité consolidée de vos instances
Les modules Session History,
Top Queries
et
Top Tables & Indexes permettent une vision consolidée ou détaillée par instance.
Le module Session History permet de visualiser en un clin d’oeil l’activité globale de notre architecture ainsi que les queries et/ou sessions ayant le plus fort impact
Le module offre de nombreuses possibilités de visualisation de l’activité, filtrée par instance ou consolidée, avec différents critères de regroupement et possibilité de choisir sa plage de temps. Datasentinel peut historiser plusieurs mois d’activité.
Le module Top Queries permet en quelques clics d’identifier les requêtes les plus consommatrices sur un critère particulier. (métriques issues de l’extension pg_stat_statements)
Par exemple, lister les queries nécessitant le plus de lectures disque ou celles ayant un temps d’exécution élevé. etc… avec la possibilité de se focaliser sur une query particulière.
Sur le même principe, il est possible de lister les Top Tables & indexes sur un critère d’accès particulier (lectures disque, accès cache, etc…) toujours de façon consolidée ou filtrée sur une instance particulière.
Mais également
Datasentinel collecte les métriques globales de chaque cluster et database, disponibles sur divers dashboards et permet aussi de se connecter en Temps Réel sur chaque instance.
Le module Reporting permet quant à lui, de générer plusieurs types de rapports d’activité pour l’ensemble des instances ou un cluster particulier.
Exemple de rapport
Datasentinel est compatible avec l’ensemble des fournisseurs de cloud plublic proposant des solutions de clusters managés PostgreSQL,
permettant un monitoring centralisé en environnement multi-cloud ou hybride et d’avoir ainsi une seule et même solution
Conclusion
Datasentinel permet la supervision des performances de vos instances PostgreSQL RDS Amazon les plus critiques.
Les fonctionnalités uniques de Datasentinel et la simplexité de son interface graphique permettent une prise en main rapide afin d’analyser facilement et précisément l’ensemble de l’activité de vos instances PostgreSQL en architecture HA ou non
N’hésitez pas à nous contacter à contact@datasentinel.io pour en savoir plus sur les nombreuses possibilités de la solution
Stay connected!