Systèmes Distribués - Message-Oriented Middlewarelccanon.free.fr/teaching/SD/MOM.pdf ·...

Systèmes DistribuésMessage-Oriented Middleware

Louis-Claude Canonlouis-claude.canon@univ-fcomte.fr

Bureau 414C

Master 2 informatique – Semestre 9

Louis-Claude Canon SD – Message-Oriented Middleware 1 / 71

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Perspectives et bibliographie

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Introduction

Principe de la communication indirecte

I Les échanges se font par l’intermédiaire d’une structure spécifique : unport, une file, un canal, . . .

I Le flux de communication est géré par un intergiciel.I Assure un couplage faible entre les composants d’une application

distribuée (plus de souplesse/flexibilité).

Introduction

Intergiciel (middleware)

I Couche logicielle intermédiaire située entre l’application et le systèmed’exploitation de la machine.

I Sert à concevoir, développer et déployer une application répartie.I Un MOM (intergiciel orienté message) gère les échanges entre les

composants distribués.

Introduction

Services additionnels des MOMs

I Transaction : envois et réceptions groupés.I Persistence : retransmission des messages en cas de panne.I Multicast : communication de groupe.I Trace des échanges (log).I Gestion des droits d’accès.I Transparence des échanges : protocole de communication facilitant

l’encapsulation d’objets ou d’autres données typées.

Introduction

Contexte applicatif

I Application de type workflow (gestion de flux) : desdocuments/informations/tâches sont transmis de participant enparticipant suivant une procédure donnée.

I Exemple : application web gérant la commande d’un client.I Stocker la commande dans un système géré par un tiers (audit).I Envoyer un mail de confirmation au client.I Transmettre les informations liées à la commande au système

d’expédition.

JMS 2.0

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

JMS 2.0

Architecture de l’interface JMS

I Fournisseur JMS (provider) : système de messagerie.I Clients JMS : composants produisant et consommant des messages.I Messages : contient les informations communiquées entre les clients.I Objets administrés : objets JMS configurés par un administrateur.

JMS 2.0

Styles de communication

I Communication point-à-point :I Les messages transitent par une file (queue).I Chaque message n’a qu’un seul consommateur.I Le récepteur peut consommer le message même s’il était hors-ligne

lorsque ce dernier a été émis.I Communication publication/abonnement (publish/subscribe) :

I Les messages transitent par un sujet (topic).I Chaque message peut avoir plusieurs consommateurs.I Un client qui s’abonne à un sujet ne peut consommer que les messages

émis après l’abonnement.

JMS 2.0

Consommation des messages

I Synchrone : un consommateur peut explicitement recevoir un messagede la destination avec la méthode bloquante receive.

I Asynchrone : une application peut enregistrer un listener avec unconsommateur. Lorsqu’un message sera reçu, la méthode onMessagesera appelée.

JMS 2.0

Séquence des messages en mode synchroneProducteur MOM Consommat.

receive

JMS 2.0

Séquence des messages en mode asynchroneProducteur MOM Consommat.

setMessageListener

onMessage

JMS 2.0

Objets principaux

Objets administrés Les fabriques (connection factories) et les destinations.Connections Représente un socket TCP/IP.

Sessions Représente un ensemble d’échanges suivant un mode donné.JMSContext Regroupe une connexion et une session.Producteurs de messages Envoie des messages.Consommateurs de messages Reçoit des messages.

Messages Information échangée.

JMS 2.0

Objets administrésConnection factoriesI Permet de créer une connexion auprès d’un fournisseur.I Injection JNDI.

@Resource(lookup = "java:comp/DefaultJMSConnectionFactory")private static ConnectionFactory connectionFactory;

DestinationsI Représente soit des files, soit des sujets.

@Resource(lookup = "jms/MyQueue")private static Queue queue;

@Resource(lookup = "jms/MyTopic")private static Topic topic;

JMS 2.0

Connexion et session

I Connexion : peut représenter un seul socket TCP/IP et est associé àune ou plusieurs sessions.

I Session : contexte pour envoyer et recevoir des messages. Permet degrouper les échanges au sein d’une transaction.

JMS 2.0

JMSContext

I Combine une connexion et une session.I Permet de créer des producteurs et des consommateurs de messages,

des messages et des destinations temporaires.

JMSContext context = connectionFactory.createContext();context.close();

JMS 2.0

JMSProducer

I Nécessaire pour l’envoi d’un message.I Objet léger, peut être recréé à chaque utilisation.

context.createProducer().send(dest, message);

JMS 2.0

JMSConsumer et réception synchrone

I Nécessaire pour la réception d’un message.I Possibilité de donner une échéance en argument.

JMSConsumer consumer = context.createConsumer(dest);Message m = consumer.receive();

JMS 2.0

JMSConsumer et réception asynchrone

I Un listener doit implémenter l’interface MessageListener quicontient une méthode, onMessage.

I La méthode onMessage est invoquée à la réception de chaquemessage.

MessageListener myListener = new MessageListener();consumer.setMessageListener(myListener);

JMS 2.0

JMSConsumer et sélecteur de messages

I Les messages reçus peuvent être filtrés.I Syntaxe basée sur un sous-ensemble de SQL92.I La sélection se fait sur les propriétés des messages.

message = session.createTextMessage();message.setStringProperty("NewsType", "Sports");

String sel = "NewsType = 'Sports' OR NewsType = 'Opinion'";JMSConsumer consumer = context.createConsumer(dest, sel);

JMS 2.0

JMSConsumer et sujet

I Pas de différence avec les files dans la syntaxe.I Tous les messages reçus lors d’une déconnexion sont perdus.

JMSConsumer consumer = context.createConsumer(dest);

JMS 2.0

JMSConsumer et sujet durable

I Tous les messages reçus lors d’une déconnexion sont conservés.I Permet de réutiliser une inscription grâce à son identifiant.I La désinscription devient nécessaire.

String subName = "MySub";JMSConsumer consumer = context.createDurableConsumer(dest, subName);context.unsubscribe(subName);

JMS 2.0

JMSConsumer et sujet partagé

I Les messages seront répartis entre ceux qui ont participé à l’inscription.

String subName = "MySub";JMSConsumer consumer = context.createSharedConsumer(dest, subName);

JMS 2.0

Messages JMS

Contient trois parties :En-tête Ensemble de champs possédant des valeurs déterminées par le

client ou le fournisseur.Propriétés Champs spécifiés par l’application et servant aux sélecteurs.

Corps 6 types différents.

JMS 2.0

En-tête des messages JMS

Champ Description Défini parJMSDestination Destination du message. fournisseurJMSPriority Priorité du message. fournisseurJMSMessageID Identifiant du message. fournisseur

JMSTimestamp La date de réception du message parle fournisseur. fournisseur

JMSCorrelationID L’identifiant du message relatif. applicationJMSReplyTo Destination à utiliser pour la réponse. application. . .

JMS 2.0

Corps des messages JMS

Type DescriptionTextMessage Une chaîne de caractères.MapMessage Un ensemble de paires clé-valeur.BytesMessage Un flot de données binaires.StreamMessage Un flot de données primitives.ObjectMessage Un objet sérialisé.Message Ne contient rien.

JMS 2.0

Exceptions JMS

IllegalStateException // file créée sur un TopicSessionInvalidDestinationException // mauvaise destinationInvalidSelectorException // problème de syntaxe du sélecteur...

JMS 2.0

Exemple d’échange d’une chaîne de caractères

String message = "This is a message";TextMessage m = context.createTextMessage();m.setText(message);context.createProducer().send(dest, m);

JMSConsumer consumer = context.createConsumer(dest);Message m = consumer.receive();if (m instanceof TextMessage) {

String message = m.getBody(String.class);System.out.println("Reading message: " + message);

} else {// Handle error or process another message type

JMS 2.0

Exemple simplifié

String message = "This is a message";context.createProducer().send(dest, message);

JMSConsumer consumer = context.createConsumer(dest);String message = consumer.receiveBody(String.class);

JMS 2.0

Mode de session

AUTO_ACKNOWLEDGE Un accusé de réception est transmis automatiquementà chaque réception.

CLIENT_ACKNOWLEDGE Un accusé de réception est transmis lors de l’appelà la méthode acknowledge.

DUPS_OK_ACKNOWLEDGE Un accusé de réception est transmisparesseusement (un message peut être reçu plusieurs fois).

TRANSACTED Spécifie que la session est en mode transactionnel.

JMS 2.0

Transaction

I Permet de grouper l’envoi et la réception de messages en les terminantpar l’appel de la méthode commit. Exemples :I Un client envoie deux messages mais ne souhaite pas qu’en cas de

défaillance (du client), seul le premier soit reçu par le fournisseur.I Un client reçoit deux messages mais ne souhaite pas qu’en cas de

défaillance (du client), seul le premier soit reçu et traité.I On annule une transaction par l’appel de la méthode rollback.I Il ne faut pas grouper un envoi et une réception qui soit en attente

d’une réponse du message envoyé. Cela provoque un interblocage.

JMS 2.0

Persistance

I Les messages peuvent être persistants ou non. Seul un messagepersistant survit à la défaillance du fournisseur.

I La durabilité est une propriété liée à un abonnement alors que lapersistance est une propriété liée à un message.

JMS 2.0

Spécificités de JMS 1.1

I API plus complexe et moins flexible.I N’exploite pas les propriétés récentes du langage Java.I Rétrocompatible.I Les classes JMSContext, JMSProducer et JMSConsumer n’existent

JMS 2.0

Envoi d’un message (JMS 1.1)

public void sendMessageJMS11(ConnectionFactory connFactory,Queue queue, String text) {

try {Connection conn = connFactory.createConnection();try {

Session session = conn.createSession(false,Session.AUTO_ACKNOWLEDGE);

MessageProducer msgProducer= session.createProducer(queue);

TextMessage textMsg = session.createTextMessage(text);msgProducer.send(textMsg);

} finally {conn.close();

}} catch (JMSException ex) {// handle exception (details omitted)

JMS 2.0

Envoi d’un message (JMS 2.0)

public void sendMessageJMS20(ConnectionFactory connFactory,Queue queue, String text) {

try (JMSContext context = connFactory.createContext()) {context.createProducer().send(queue, text);

} catch (JMSRuntimeException ex) {// handle exception (details omitted)

I JMSContext regroupant Connection et Session.I Construction try-with-resources de Java 7.I Construction du TextMessage automatique.I Un JMSProducer n’est pas associé à une destination.

JMS 2.0

Réception d’un message (JMS 1.1)public String rcvMessageJMS11(ConnectionFactory connFactory,

Queue queue){String body = null;try {

Connection conn = connFactory.createConnection();try {

Session session = conn.createSession(false,Session.AUTO_ACKNOWLEDGE);

MessageConsumer msgConsumer= session.createConsumer(queue);

conn.start();TextMessage textMsg

= (TextMessage)msgConsumer.receive();body = textMsg.getText();

} finally {conn.close();

}} catch (JMSException ex) {// handle exception (details omitted)

}return body;

JMS 2.0

Réception d’un message (JMS 2.0)

public String rcvMessageJMS20(ConnectionFactory connFactory,Queue queue){

String body=null;try (JMSContext context = connFactory.createContext()) {

JMSConsumer consumer = context.createConsumer(queue);body = consumer.receiveBody(String.class);

} catch (JMSRuntimeException ex) {// handle exception (details omitted)

}return body;

I Pas d’appel à context.start().I Un JMSConsumer est associé à une destination.

JMS 2.0

Création de session

JMS 1.1 :Session createSession(boolean transacted,

int acknowledgeMode)throws JMSException;

// Session.AUTO_ACKNOWLEDGE, Session.CLIENT_ACKNOWLEDGE ou// Session.DUPS_OK_ACKNOWLEDGE

JMS 2.0 :JMSContext createContext(int sessionMode) throws JMSException;// JMSContext.AUTO_ACKNOWLEDGE, JMSContext.CLIENT_ACKNOWLEDGE,// JMSContext.DUPS_OK_ACKNOWLEDGE ou JMSContext.TRANSACTED

JMSContext createContext() throws JMSException;

JMS 2.0

Délai de délivrance

JMS 1.1 :try (Connection conn = connFactory.createConnection()) {

Session session = conn.createSession();MessageProducer msgProducer

= session.createProducer(queue);msgProducer.setDeliveryDelay(20000);TextMessage textMsg = session.createTextMessage("Hello");msgProducer.send(textMsg);

JMS 2.0 :try (JMSContext context = connFactory.createContext()) {

context.createProducer().setDeliveryDelay(20000).send(queue,"Hello world");

JMS 2.0

Caractéristiques clés de JMS

I Couplage faible entre les participants (ils n’ont pas tous besoin d’êtreconnectés au même moment).

I Fiabilité (durable, persistent).I Performance (distribution de la charge, débit important).

AMQP 0-9-1

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

AMQP 0-9-1

JMS et AMQP

AMQPProtocole réseau (wire-level) pour l’échange de messages sur des files :I Définit des règles sur les valeurs binaires échangées.I Indépendance vis-à-vis des vendeurs.

JMSInterface de programmation (coté client) :I Définit les fonctions permettant de contrôler le middleware.I Les clients et le serveur JMS doivent utiliser la même implémentation.I Le même code pourra être utilisé avec n’importe quelle implémentation.

AMQP 0-9-1

Même fonctionnement pour les files qu’avec JMS :

AMQP 0-9-1

Exchange

Distinction entre les exchanges (point d’arrivé des messages) et les files(point de retrait) :

Les exchanges sont liés aux files par des bindings.

AMQP 0-9-1

Types d’exchanges

Trois types : fanout (équivalent des sujets JMS), direct (sujets JMS avecfiltres) et topic (sujets JMS avec filtres avancés).

AMQP 0-9-1

Réaliser une invocation à distance avec une file :

AvantagesI Répartition de la charge (rajouter des consommateurs).I Pas besoin d’annuaire.I Répartition des fonctions sur différents serveurs (filtres).

AMQP 0-9-1

Concepts et équivalence JMS

File Stocke les messages en attente d’être consommés (file).Exchange Point d’entré des messages.Bindings Relie une file à un exchange.

Vhost Séparation virtuelle entre différents ensembles de files etd’exchanges.

Connection Socket TCP/IP après authentification (Connection).Channel Regroupe un ensemble d’échanges (Session).Durable Propriété d’une file ou d’un exchange (persistent).

Persistent Propriété d’un message (persistent).

ZeroMQ

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Particularités

I Communication directe et indirecte : on manipule des sockets, mais onpeut facilement simuler un fournisseur.

I Bilan des solutions lors du développement d’une application distribuée :I La laisser centralisée (ne passe pas à l’échelle).I La distribuer en utilisant directement des sockets TCP/IP (bas niveau,

nécessité de réimplémenter de nombreuses fonctionnalités).I Stocker les données dans des bases de données (inadapté pour des

échanges dynamiques).I Utiliser un fournisseur JMS ou AMQP (coût d’administration).

I Objectif : fournir une solution haut-niveau pour les projets modestesavec un coût de performance et d’administration minimal.I Couplage faible (les machines peuvent se connecter après l’envoi d’un

message).I Schémas de communication (multicast).I Sans fournisseur.

Introduction

JMS 2.0

AMQP 0-9-1

ZeroMQ

Historique de JMS

I JMS 1.0 (2001).I JMS 1.1 (2002).I JMS 2.0 inclus dans Java EE 7 (avril/mai 2013).

Implémentations pour JMS

Les plus populaires et les plus performantes

Apache ActiveMQ JMS 1.1.HornetQ (JBoss) JMS 1.1, JMS 2.0 (depuis le 16 décembre 2013). Devient

Apache ActiveMQ Artemis en 2014.

Autres implémentations connues

JORAM JMS 1.1, JMS 2.0 (depuis le 2 octobre 2013).OpenMQ (GlassFish) Implémentation de référence de Oracle.

Historique d’AMQP

Advanced Message Queuing Protocol :I 0-8 (juin 2006)I 0-9 (décembre 2006)I 0-10 (février 2008)I 0-9-1 (novembre 2008)I 1.0 (octobre 2011)I Standard OASIS (octobre 2012)I Standard ISO/IEC (avril 2014)

RabbitMQ

I Implémentation la plus populaire d’AMQP.I Écrit en Erlang.I Supporte les versions 0-8, 0-9 et 0-9-1.

Historique récapitulatif

•1.0JMS •1.1 •2.0

•0-8AMQP •0-9 •0-9-1

•0-10

•1.0

•0.3

ZeroMQ •1.0

•2.0

•3.0

•4.0

•ZMTP/1.0

•2.0 •3.0 •3.1

Récapitulatif sur les implémentations

Standard/vendeur Implémentation principaleIBM WebSphere MQTIBCO Enterprise Message ServiceJMS 1.1 Apache ActiveMQJMS 2.0 Apache ActiveMQ ArtemisAMQP 0-9-1 RabbitMQAMQP 0-10/1.0 Apache QPidZMTP ZeroMQ

Et aussi Sparrow, Starling, Kestrel, Beanstalkd, SQS, Apache Kafka,EagleMQ, IronMQ, . . .

Documentation officielle

I Documentation de l’interface JMS 2.0I Spécification JMS 2.0I Tutoriel sur les conceptsI Tutoriel sur les exemplesI Code des exemples des tutoriels

Java Message Service, seconde édition, 2009

N’aborde pas la version 2.0.

RabbitMQ in Action, 2012

Spécifique à l’implémentationdominante du protocole, AMQP0-9-1. Assez complémentaire avec ladocumention en ligne.

ZeroMQ, 2013

Reprend essentiellement le guideZeroMQ accessible en ligne.

Discussions sur des questions liées

I Real world use of JMS/message queues?I In which domains are message oriented middleware like AMQP useful?I What is Java Message Service (JMS) for?I ActiveMQ Use CasesI Should you use JMS in your next enterprise application?I Why should I use JMS and not RMI+Queue?I Message Queue vs. Web Services?

Systèmes Distribués - Message-Oriented Middlewarelccanon.free.fr/teaching/SD/MOM.pdf ·...

Documents

Transcript of Systèmes Distribués - Message-Oriented Middlewarelccanon.free.fr/teaching/SD/MOM.pdf ·...

REVUE ÉCONOMIQUE DE L’ AGGLOMÉRATION LORIENTAISE · international (SIAL 2012, Gulfood à Dubaï...). Aujourd’hui les produits sont distribués sur l’ensemble de la Bretagne

piano.rupiano.ru/scores/rahmaninov/pieces/rah-mus-mom.pdf · Author: DAU Created Date: 6/11/2004 10:41:19 AM

Saccharomyces Aspergillus digestion - EDP Sciences objectif de déterminer l ... (AO), distribués dans leur milieu de culture, sur la digestion des ... les bactéries adhérentes

Cohérence dans les systèmes de stockage distribués ...

Comparaison: canalgaussienetcanaldeRayleigh - ENSEAperso-etis.ensea.fr/andriyanova/documents/cours/... · Les branches de diversité sont distribués pas en temps mais à l’espace.

Sang et toxiques - centres-antipoison.net · Toxicité pour organes lymphoïdes et lymphopénie ... Les mélanges d'hydrocarbures pétroliers (à l'exception des carburants) distribués

Notion de communauté dans des systèmes distribués de Montréal

la bruja mom.pdf

Plaquette Lirima 2015 vfr - Laboratoire International de ... · laboratifs ». Une grande partie de l’activité de recherche est consacrée à un modèle de systèmes distribués

Intégration négociée de services dans les systèmes distribués · Noha Ibrahim, Frédéric Le Mouël, Stéphane Frénot To cite this version: Noha Ibrahim, Frédéric Le Mouël,

MergedFile - Ministry of Housing and Urban Affairsmohua.gov.in/upload/uploadfiles/files/CSMC027-mom.pdf · The States/UTs Governments to furnish regular update on the above issues

Tutoriel ''Objets Distribués, Interopérabilité, CORBA''

Mechanics of Materials - AM3DP Group Masdarkshanmugam.faculty.masdar.ac.ae/PDF/mom.pdf · Mechanics of Materials 102 (2016) 117–131 ... (ii) the nature of ﬁber-matrix in- terface.

Momentum - literature.cdn.keysight.comliterature.cdn.keysight.com/litweb/pdf/ads2005a/pdf/mom.pdf · ii Notice The information contained in this document is subject to change without

Report about MoM and SoB, seeking more ideas Andreas Tilletille/talks/20130815_mom/mom.pdf · Subject: Happy birthday Debian Med and announcement of MOM ... (MOM) In this program

GRADE 3: ORAL COMMUNICATION - Scholastic …scholastic.ca/education/momentum/corr-on_g3-mom.pdf · GRADE 3: ORAL COMMUNICATION ... (e.g., list the important ideas in a ... game; to

Mécanismes numériques et distribués de l'anticipation motrice

Introduction Lesintergicielsàmessages LestandardJMS ...queinnec.perso.enseeiht.fr/Ens/SAD/mom.pdf · Introduction Lesintergicielsàmessages LestandardJMS(JavaMessageService) Lacommunicationasynchroneparmessage

Genève Aéroport - FLY. TRAVEL. DISCOVER.€¦ · GENÈVE Ά Aéroport de Genève ̇ 40’000 exemplaires, distribués gratuitement ̇ Salon du protocole ̇ Salons VIP de l’Aéroport

Semaine 8: Java 2, Enterprise Edition1 J2EE: les composants distribués et transactionnels Références Chap 9 et 10, Livre « Developping Distributed and.