Archives mensuelles : février 2014

Chronique d’optimisation : Réduction de 2/3 du temps de déploiement sur JBoss AS 6

En ajoutant un nouveau composant à une application J2EE, j’ai vu le temps de déploiement se multiplier par plus que 3. Bien que cela n’aie pas beaucoups d’importance sur un environnement de production, cela est critique dans un environnement de développement :

  1. Perte de temps : si on déploie 5 fois par heure et avec 2 minutes par déploiement, c’est plus d’une heure de travail perdue par jour.
  2. Perte de perfomance : La Rupture du Flux mental due au déploiement lent réduit d’autant l’efficacité du développeur.
  3. Perte de qualité : La tendance qu’on aura alors à déployer moins va faire qu’on réalisera moins de test, qu’on auras moins tendance à améliorer ou optimiser le code …

Mais que se passe-t-il donc ? Le threaddump nous dira

En regardant les logs, je voyais bien qu’au déploiement l’ancienne version d’application était « dé-déployée » en quelques secondes puis le JBoss marquait une pause de plusieurs secondes avant de commencer le déploiement de la nouvelle version, sans aucune ligne de log. Que faisait-il donc pendant cette période ?

Pour diagnostiquer cela, la JVM nous permet de faire des ThreadDump, il s’agit d’une photo instantanée de ce qu’est en train de faire la VM.

Il existe pour cela plusieurs outils, j’ai utilisé VisualVM mais il existe d’autres moyens (kill -3 <PID> sous unix, jstack, Outil IBM …)

Thread Dump dans VisualVM

Dans les différents ThreadDump réalisés pendant cette pause de JBoss, j’ai remarqué qu’il y avait un point commun : l’AnnotationScanningPlugin. En effet, depuis J2EE 5 la configuration en XML a été allégée voir rendue optionnelle en faveur d’annotation dans le code. Plutôt propre et pratique comme approche. Seulement voila : cela oblige le serveur d’application à parcourir l’ensemble des classes pour rechercher d’éventuelles annotations.

Optimiser le scan d’annotation sur JBoss

Je vous passe le gros défaut de JBoss : la documentation, toujours difficile de trouver de la documentation de référence à jour. Après quelques recherches, j’ai en effet trouvé que depuis le AS5, un fichier jboss-scanning.xml permet d’optimiser cette étape voir Wiki JBoss ici. Dans mon cas c’était un war, j’ai donc crée jboss-scanning.xml dans le WEB-INF.

Avec le contenu suivant par exemple, JBoss limite le scan au package com.acme.foo mais sans parcourir les classes de com.acme.foo.bar:

<scanning xmlns="urn:jboss:scanning:1.0">
  <path name="WEB-INF/classes">
    <include name="com.acme.foo"/>
    <exclude name="com.acme.foo.bar"/>
  </path>
</scanning>

Et pour empêcher totalement le scan on peut utiliser :

<scanning xmlns="urn:jboss:scanning:1.0">
  <path name="WEB-INF" excluded="true"/>
</scanning>

Pour comprendre le format de ce fichier, la seule documentation que j’ai trouvée est le code source annoté en JAX-B

Résultat : 2/3 de gain de temps au déploiement

Le temps de déploiement a été réduit de 2/3 et un gain en ergonomie et en temps considérable pour l’équipe de développement.

… le Toyota Way a deux piliers : le Respect des Hommes (employés, partenaires ou autres), et l’Amélioration continue… Certes, on peut toujours utiliser quelques outils de lean (ex : kanban) pour réduire des coûts (réduction des les stocks dans le cas du kanban) et présenter les résultats des gains ici et là pour impressionner les collègues, visiteurs, les concurrents, les investisseurs ou la bourse mais cela ne s’appelle pas déployer du lean…

Les deux piliers du Toyota Way : l’Amélioration continue et le Respect des Hommes

APIs REST ouvertes : Considérations de sécurité et implémentation

Le site Programmable Web recense plus de 10000 APIs qui se trouvent au centre du web moderne. Ces APIs permettent d’intégrer différents services allant des réseaux sociaux à la cartographie en passant par des flux d’information, de l’analyse de données, de flux le multimédia …

Fort heureusement, le simple respect des bonnes pratiques de l’architecture du Web permettent d’en lever certains. Mais créer des API ouvertes (utilisables depuis n’import quel site web) comporte tout de même certains risques de sécurité qu’il faut prendre en compte.

Considérations de sécurité

L’attaque la plus typique que peuvent subir les API REST ouvertes et applé le « Cross Site Request Forgery ». Il s’agit du fait qu’un site utilise les données d’authentification stockées dans le navigateur pour appeler des APIs sécurisées à l’insu de l’utilisateur lui même. Voir exemple sur la page wikipedia dédie au Cross Site Request Forgery

De fait, les navigateurs web limitent fortement les possibilités qu’a une page HTML a faire appel à une URL ou une API qui n’est pas sur le même serveur source que la page HTML elle même. De fait, par défaut, si je suis sur la page www.toto.com/unepage.html, je ne pourrait lire www.mesinfosprivees.com/mes_secrets/list.html ni executer www.mesinfosprivees.com/mes_secrets/api/publier. Ce qui est une bonne chose.

CORS un vrai enabler pour les API ouvertes

L’approche se sécurité citée plus haut permet de protéger les informations et services privés de la CSRF, cependant, cela limite la possibilité de mettre en place des services ouverts qui peuvent être appelés par des domaines tiers. Ainsi, je ne pourrais pas dans www.toto.com/unepage.html afficher www.mesinfospubliques.com/mesannonces.html or c’est exactement ce que je souhaite pour les API ouverte.

Le CORS (Cross Origin Resource Sharing) est une norme, implémentée par la quasi totalité des navigateurs modernes et qui permet aux site qui héberge l’API d’autoriser l’accès aux APIs depuis d’autres domaines tout en gardant un certain niveau de contrôle.

Avant d’activer CORS : regarder la sécurité

Mettre en oeuvre CORS coté serveur est en soit relativement simple, le plus complexe est de s’assurer de la maîtrise de la sécurité contre le CSRF. Pour cela :

  1. Ignorer coté serveur d’API toute authentification implicite basée sur les Cookies.
  2. De forcer chaque appel d’API à comporter les informations d’authentification s’il n’est pas public.

Pour ce second point, le pattern le plus pratique est le Synchronizer Token Pattern, il s’agit de :

  1. Générer à l’issue de l’authentification une chaine aléatoire dite (token)
  2. Transmettre à chaque appel d’API se token. (Dans un header http, dans l’URL, dans le corps)

Par contre il est extrêmement important de protéger ce token correctement :

  1. Il ne faut pas qu’il apparaisse dans le DOM (c’est à dire dans le HTML de la page statique ou dynamique)
  2. Qu’il ne soit pas accessible depuis une variable globale.

L’idéal est de le stocker dans un module javascript.

Quelques liens utiles

Prise de décision dans les projets agiles

Dans tout projet il est question de faire des choix et des arbitrages. Par rapport à cela, les projets agiles ont certaines spécificités.

Les variables QCD revisitées

Classiquement, les choix dans un projet sont perçus au bout du compte comme un arbitrage entre les trois composante du tryptique QCD :

  • Qualité : La qualité ou le contenu du livrable (exemple nombre ou complexité des fonctions livrées).
  • Cout : Qui revient souvent à la quantité de ressource qu’il va falloir mobiliser sur un projet (nombre de développeurs, moyens financiers …).
  • Délais : Qui est la date de de livraison prévue.

Ainsi, améliorer la Qualité (Q) nécessite soit de mettre plus de ressource (donc un Cout supplémentaire) ou livrer plus tard (donc un Délais supplémentaire). Inversement, réduire le Cout (donc les ressources mobilisées) nécessiterait soit de réduire les fonctionnalités livrées (donc la Qualité) soit augmenter le Délais de livraison vu le manque de ressources. Ainsi de suite …

En projet classique toutes les variables sont considérées pour l’arbitrage, et souvent, on impactera d’abord le Délais, ensuite éventuellement le Cout et vraiment en dernier recours la qualité.

Les priorités QCD en projet Agile : la Qualité, variable de choix

En agile, les durées d’itérations sont fixées, la composante Délais n’est donc pas une variable d’ajustement sauf très rare exception. Cela a pour avantage de maintenir un synchronisme naturel à la fin de l’itération entre les équipes de développement et le reste de l’entreprise (équipes de test, déploiement, métier, communication …).

La composante Cout de son côté est souvent difficilement ajustable. En effet, en projet agile :

  1. La priorité est donnée au livrable par rapport à la documentation.
  2. L’interaction directe des membres prévaut par rapport aux processus et outils.

De fait la culture de l’équipe est relativement orale et met donc du temps à se transmettre aux nouveaux arrivants.

De plus, les équipes étant souvent auto-organisée, cela nécessite du temps pour se réorganiser en fonction des capacités de nouveaux arrivants.

La variable d’ajustement principale est donc souvent la Qualité autrement dit, la question revient souvent à une variante de : Que vas-t-on livrer ?

Les critères de décision en agile : la valeur et la capacité à livrer

Une fois la question posée, les réponses possibles sont analysées selon deux critères principaux :

  1. Quelle valeur ajoutée apporte tel ou tel choix à l’utilisateur (Valeur métier)
  2. A quel point les informations nécessaires pour livrer cette valeur sont disponibles.

Parmi les options suffisamment précise et réalisables on choisira donc celle qui apporte le plus de Valeur au métier.

Le droit à l’erreur

En projet agile, le changement est la règle et non pas une exception, de fait on se donne le droit de se tromper et de changer de cap, de fait la décision peut se prendre avec un certain niveau d’incertitude. Cependant, il convient dans ce cas là de se donner les moyens de détecter son erreur le plus tôt et la convertir en apprentissage dans le cadre de l’amélioration continue.

En conclusion

Les choix de projet agile reviennent souvent à redefinir le périmètre ou les détails du livrable (variable Qualité), ce choix doit se faire essentiellement en regardant la valeur métier et la capacité à réellement livrer cette valeur. Enfin, il n’est pas une exception de devoir éventuellement changer d’avis plus tard, l’important est de transformer les erreurs en apprentissage.