Aller au contenu principal

Tests

Tests vérifie que ce qu'une application appelle répond toujours de la même façon : après une modification de configuration, une mise à jour du système placé derrière une API, une nouvelle version. Un test s'écrit sans code — un cas est un enchaînement d'appels aux points d'accès d'un connecteur d'API, chacun avec ce qui est attendu de sa réponse — et se compare d'une exécution à l'autre à une référence.

Accès : Liberty Next → Logique → Tests. Les résultats dans le temps se trouvent dans Exploiter → Résultats des tests.


Vue d'ensemble​

TestsEnregistrerJouer ce casJouer la suiteEnregistrer la référenceaussi les cas qui écrivent+ Nouvelle suiteorderslist-has-columnscreate-then-cancelunknown-id-refusedprice-is-computed+ Nouveau cascreate-then-cancelORDER_CREATEcreatefonctionne · 1 ligne(s)+ORDER_CANCELcleanupfonctionneFinréussimodifié : diffèrede la référenceL'ÉTAPEPOINT D'ACCÈS APPELÉorder_create ▾PARAMÈTRESCUSTOMER 1001CE QUI EST ATTENDURemplir depuis la réponseL'appeldoit fonctionnerLignes, au moins1La première ligne contientSTATUS = OPENSuites et casavec leur dernier résultatUn cas est un fluxune carte par appelLe + ajoute une étapeà cet endroitEnregistrer la référenceavant le changementRemplir depuis la réponsepropose ce qu'il faut attendre

Suites, cas, étapes​

SuiteDésigne un connecteur d'API et contient des cas. Nouvelle suite demande son nom.
CasUne vérification — La liste des clients a toujours ses colonnes. Nouveau cas, sous la suite.
ÉtapeUn appel à un point d'accès du connecteur de la suite, avec ce qui est attendu.

La colonne de gauche liste les suites et leurs cas, chacun avec l'icône de son dernier résultat. Le centre dessine le cas choisi : un début, une carte par étape — son point d'accès, son nom, un résumé de ce qu'elle attend, colorée selon son dernier résultat — et une fin. Le panneau de droite modifie l'élément choisi.

Le cas​

ChampSignification
IdentifiantL'identifiant du cas dans sa suite.
Ce qu'il vérifieLa phrase affichée dans les listes et les résultats.
Ce cas modifie des données : joué seulement quand l'exécution l'autoriseÀ cocher si une étape écrit.
Dernières exécutionsLes huit dernières exécutions du cas ; une exécution enregistrée porte la mention référence.

Une étape​

Le + d'un lien ajoute une étape à cet endroit ; un clic sur une carte l'ouvre.

ChampSignification
NomUnique dans le cas : les résultats et la référence sont conservés par étape.
Point d'accès appeléChoisi dans la liste du connecteur.
ParamètresLe formulaire du point d'accès : un champ libellé par paramètre, son aide en dessous, une liste déroulante quand il a une liste de valeurs.
L'appeldoit fonctionner ou doit être refusé — avec Le refus dit pour contrôler le message.
Lignes, au moins / exactement / au plusLe nombre de lignes, comptées là où le point d'accès indique ses lignes.
La première ligne contientDes valeurs de la première ligne, par nom de colonne du point d'accès.
Jouée même après un échec (un nettoyage)L'étape s'exécute même si une précédente a échoué : c'est ainsi qu'un cas qui écrit retire ce qu'il a créé.

Remplir depuis la réponse joue l'appel immédiatement et propose ce qu'il faut attendre — le nombre de lignes et les valeurs de la première : garder les lignes qui doivent rester vraies, supprimer les autres. Un point d'accès qui modifie des données n'est pas joué depuis ce bouton : enregistrer l'étape et jouer le cas.

Avancé — valeurs gardées, chemins dans la réponse brute contient ce que les champs précédents ne couvrent pas : une valeur gardée pour les étapes suivantes (reprise par {{nom}} dans un paramètre), une valeur de la réponse brute égale à un texte ou qui le contient, des chemins qui doivent contenir quelque chose ou rien, un avertissement, et les chemins comparés à l'exécution de référence. Cette section est nécessaire pour un point d'accès qui n'indique pas où se trouvent ses lignes.


Jouer et comparer​

BoutonAction
Jouer ce casJoue le cas choisi.
Jouer la suiteJoue tous les cas, l'un après l'autre.
Enregistrer la référenceJoue la suite et garde, pour les cas réussis, ce que leurs étapes gardent : la référence à laquelle les prochaines exécutions sont comparées.
aussi les cas qui écriventAutorise, pour cette exécution, les cas marqués comme modifiant des données.

Une exécution enregistre d'abord les modifications en cours, puis donne son bilan : N réussi(s) · N en échec · N modifié(s) · N ignoré(s).

RésultatCouleurSignification
RéussiVertTous les contrôles sont vérifiés, et rien ne diffère de la référence.
En échecRougeUn contrôle n'est pas vérifié, l'appel a échoué, ou une valeur attendue d'une étape précédente n'a jamais été gardée.
ModifiéOrangeLes contrôles sont vérifiés, mais un élément gardé diffère de la référence — disparu, nouveau, autre nombre, autre valeur.
IgnoréGrisLe cas écrit et l'exécution ne l'a pas autorisé, une étape précédente a échoué, ou le cas n'a aucune étape.

Un cas prend le plus mauvais résultat de ses étapes. Les vingt dernières exécutions de chaque cas sont conservées.


Où sont conservés les tests​

Une suite est un fichier de la configuration (tests/<suite>.toml) : elle est empaquetée, versionnée et livrée avec l'application, et chaque enregistrement garde la version précédente dans Déployer → Historique. Les exécutions et la référence sont conservées à côté et restent sur l'instance : une référence enregistrée sur l'environnement de test n'est pas celle de la production.


Depuis une tâche, depuis un menu​

  • Le formulaire de lancement d'une tâche peut proposer la liste des suites : une application livre ainsi une tâche qui joue une suite selon une planification et échoue dès qu'un cas échoue.
  • Le menu d'une application peut porter les deux pages — Tests et Résultats des tests — pour ses propres utilisateurs : voir Types d'éléments.

Accès​

Les tests ont leurs propres permissions, dans les règles Au-delà des menus d'un rôle, type Tests — chacune inclut la précédente, et un superutilisateur les détient toutes :

PermissionLibellé dans l'éditeur de rôleAutorise
tests:viewVoir les suites de tests et leurs résultatsLire les suites, les cas et les résultats.
tests:runJouer les tests (et les voir)Jouer un cas ou une suite, enregistrer la référence, remplir depuis la réponse.
tests:editÉcrire les tests : suites, cas, étapes (et les jouer)Créer, modifier et supprimer des suites, des cas et des étapes.

Une équipe fonctionnelle peut donc être propriétaire de ses tests sans être administratrice.


Conseils & bonnes pratiques​

  • Un cas, une vérification : un échec désigne alors ce qui est cassé.
  • Attendre un refus là où il est dû — identifiant inconnu, valeur obligatoire absente : un système qui se met à tout accepter est aussi une régression.
  • Enregistrer la référence juste avant un changement, jouer la suite juste après.
  • Tenir à part les cas qui écrivent, chacun terminé par son étape de nettoyage.

Voir aussi​