La revue de presse hebdomadaire des écosystèmes Java/JEE proposée par Xebia.

Actualité éditeurs / SSII

• Amazon dévoile DynamoDB (Par Alexandre Dutra)
• Sortie de Visuwall 0.3 (Par Julien Smadja et Arnaud Lemaire)

Evénements de notre communauté en France et à l’étranger

• Common Crawl Corpus : le web disponible sur les disques d’Amazon Web Service (Par Bertrand Dechoux)

Actualité éditeurs / SSII

Amazon dévoile DynamoDB

Il était difficile, cette semaine, de passer à côté de la nouvelle: après les rumeurs les plus folles et un teasing maîtrisé, Amazon mit fin au suspense le 18 janvier dernier en dévoilant un nouveau service baptisé Amazon DynamoDB.

Bon nombre de nos confrères ont relayé l’information: TechCrunch, ReadWriteCloud ou encore InformationWeek y sont allés de leur plume, mais c’est dans son blog que Werner Vogels, CTO d’Amazon, revient longuement sur les choix qui l’ont poussé à mettre au point DynamoDB.

Sans surprise, DynamoDB serait le fruit d’un double retour d’expérience: celui de Dynamo d’une part, la solution NoSQL mise au point par Amazon dès 2007 et qui est à l’origine d’Apache Cassandra, Voldemort, Riak et de bien d’autres solutions NoSQL orientées clé-valeur; et celui de SimpleDB d’autre part, une autre solution non-relationnelle également développée par Amazon depuis 2007.

Dynamo, on le sait, fut une des toutes premières solutions non-relationnelles à s’attaquer aux principes des systèmes massivement distribués, hautement scalables et fiables. De l’aveu de Vogels, ce fut une réussite technique incontestable, mais le succès auprès des développeurs n’a jamais atteint le niveau escompté, sans doute en raison de la complexité du système.

SimpleDB, en revanche, était plus limitée mais aussi plus flexible et plus facile d’administration, et a fini par l’emporter en popularité auprès des développeurs. Un brin rancunier, Vogels explique qu’en préférant SimpleDB à Dynamo « les développeurs on choisi la simplicité plutôt que la précision » en « votant avec leurs pieds » (sic). En somme « les développeurs voulaient un service », non une infrastructure.

Amazon DynamoDB, selon Vogels, est un peu le meilleur des deux mondes: un service cloud bâti sur les principes solides dérivés de Dynamo (scalabilité incrémentale, haute performance prévisible), tout en gardant la facilité d’administration et le côté « clé-en-mains » qui ont fait le succès de SimpleDB.

Selon Vogels toujours, DynamoDB compte les avantages suivants sur ses prédécesseurs:

• Facilité d’administration: DynamoDB se charge de la complexité engendrée par les réplications et les partitionnements de données.
• Scalabilité: DynamoDB est conçu pour allouer automatiquement les ressources nécessaires à l’application, et ce jusqu’à des centaines, voire des milliers de noeuds répartis sur plusieurs Availability Zones. DynamoDB corrige ici une erreur de design souvent reprochée à SimpleDB: l’allocation au préalable des Domains, espaces mémoire à la capacité finie.
• Rapidité: DynamoDB fournit un très haut débit et une latence très basse grâce à l’usage de disques SSD (Solid State Drives).
• Prévisibilité des performances: DynamoDB répond à cette problématique par la notion de « Débit provisionné » (Provisioned Throughput): le client peut désormais spécifier le débit requis par l’application, pour une table donnée; DynamoDB alloue les ressources nécessaires de manière transparente afin de garantir un niveau de performances stable.
• Disponibilité: DynamoDB réplique ses données sur différents data centers afin de minimiser les risques de défaillance.
• Flexibilité: s’inspirant ici davantage de SimpleDB, DynamoDB n’impose pas de contrainte de schéma pour le modèle de données (d’ailleurs plus riche qu’un simple modèle clé-valeur comme celui de Dynamo), bien qu’il soit possible d’y appliquer un certain nombre de contraintes d’intégrité.

Enfin, le pricing a été complètement revu. Finies les obscures « heures machine » de SimpleDB, place à une grille tarifaire simple:

• Le stockage est proposé à $1 par gigaoctet et par mois.
• La bande passante est facturée en fonction du débit provisionné:
  • $0.01 par heure pour chaque 10 unités de capacité en écriture (Write Capacity);
  • $0.01 par heure pour chaque 50 unités de capacité en lecture (Read Capacity) fortement consistantes (les lectures potentiellement consistantes – eventually consistent – sont à moitié prix).

(Une unité de capacité en lecture ou écriture correspond, selon Vogel, respectivement à une capacité de lecture ou d’écriture par seconde pour des objets allant jusqu’à 1 kilo-octet en taille.)

Enfin, il faudrait noter que DynamoDB est intimement lié aux services Elastic MapReduce proposés par Amazon: il sera donc possible d’utiliser DynamoDB dans des opérations MapReduce, ce qui ouvre des perspectives intéressantes pour le traitement en quasi temps réel de grands volumes de données, directement sur la base de données de production, et donc en phase avec l’approche BigData.

Sortie de Visuwall 0.3

La version 0.3 de Visuwall est sortie la semaine dernière. Pour rappel, cet outil avait déjà fait l’objet d’un article dans notre blog : Visuwall – Mixer vos outils de build et de qualité. Vous pouvez dès à présent télécharger cette nouvelle version ici sur le repository Maven.

Cette version apporte son lot de nouveautés :

• Support des projets autres que Maven.
• Ajout d’un nouveau plugin pour les utilisateurs de Continuum.
• Support de l’authentification des outils d’Intégration Continue et de Sonar.
• Message d’information concernant la compatibilité du plugin Sonar (Visuwall est disponible exclusivement pour les versions de Sonar supérieures à 1.3).
• Auto suppression de la base de données en cas de montée de version de Visuwall (la migration est prévue dans une version ultérieure).
• Ajout d’un logo en fond lorsqu’aucun projet n’est encore affiché.
• Les paramètres de configuration de l’interface graphique sont sauvegardés en cookie.
• Lorsque le build d’un projet est en échec, les photos des développeurs apparaissent (Visuwall utilise Gravatar).
• Une configuration à base de TeamCity & Sonar est désormais possible.

Le changelog complet est disponible pour également suivre la correction des bugs.

La version 0.4 est dores et déjà en développement, toutes propositions d’évolution ou de rapport de bugs sont les bienvenues via un mail à cette adresse: visuwall.ci@gmail.com ou directement via l’issue tracker Github du projet.

Vous pouvez également nous suivre sur Twitter : @visuwallci et nous soumettre des photos de Visuwall en action comme ci-dessous :

Evénements de notre communauté en France et à l’étranger

Common Crawl Corpus : le web disponible sur les disques d’Amazon Web Service

Hadoop a été historiquement développé pour distribuer Nutch, un moteur de recherche open source. Hadoop vous permet désormais d’analyser facilement de gros volumes de données tel que l’ensemble des pages web. Obtenir celles-ci demande cependant plus d’effort. Il faut en effet mettre en place votre infrastructure pour crawler les sites qui vous intéressent et ceci n’est pas trivial. La fondation Common Crawl s’est donnée pour but de construire et maintenir un crawl de l’ensemble du web afin de créer une nouvelle vague d’innovation, d’éducation et de recherche. En effet, le web est une mine d’informations mais pour l’instant son exploitation se fait par un cercle restreint d’acteurs : Google, Bing, Yahoo…

Depuis le 20 janvier, le corpus Common Crawl est disponible au sein d’Amazon Web Services. Certains pourront s’étonner qu’il ne s’agisse pas d’un simple lien téléchargeable, mais la solution se veut pragmatique: en effet la taille du corpus (60 téraoctets) impose de stocker ces informations à proximité de leur lieu de traitement. Amazon, en tant que leader dans les solutions IaaS (EC2/MapReduce), est alors un choix qui se justifie. Le corpus contient 5 milliards de pages web. Ceci représente une fraction du web dont la véritable taille reste à estimer. Cet ensemble de données est donc amené à grossir davantage. Le corpus Common Crawl n’est pas un projet isolé et rejoint de nombreux datasets hébergés également par Amazon traitant de sujets variés allant des variations du génome humain au graphe social de l’univers Marvel.