AMQP协议 – RabbitMQ教程(一)
当前各种应用大量使用异步消息模型,并随之产生众多消息中间件产品及协议,标准的不一致使应用与中间件之间的耦合限制产品的选择,并增加维护成本。AMQP是一个提供统一消息服务的应用层标准协议,基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同开发语言等条件的限制。
协议架构
当然这种降低耦合的机制是基于与上层产品,语言无关的协议。AMQP协议是一种二进制协议,提供客户端应用与消息中间件之间异步、安全、高效地交互。从整体来看,AMQP协议可划分为三层:
这种分层架构类似于OSI网络协议,可替换各层实现而不影响与其它层的交互。AMQP定义了合适的服务器端域模型,用于规范服务器的行为(AMQP服务器端可称为Broker)。在这里Model层决定这些基本域模型所产生的行为,这种行为在AMQP中用”Command”表示,在后文中会着重来分析这些域模型。Session层定义客户端与broker之间的通信(通信双方都是一个Peer,可互称做Partner),为Command的可靠传输提供保障。Transport层专注于数据传送,并与Session保持交互,接受上层的数据,组装成二进制流,传送到Receiver后再解析数据,交付给Session层。Session层需要Transport层完成网络异常情况的汇报,顺序传送Command等工作。
域模型
上面是对AMQP协议的大致说明。下面会以我们对消息服务的需求来理解AMQP所提供的域模型。消息中间件的主要功能是消息的路由(Routing)和缓存(Buffering)。在AMQP中提供类似功能的两种域模型:Exchange 和 Message Queue。
Exchange接收消息生产者(Message Producer)发送的消息根据不同的路由算法将消息发送往Message Queue。Message Queue会在消息不能被正常消费时缓存这些消息,具体的缓存策略由实现者决定,当Message Queue与消息消费者(Message Consumer)之间的连接通畅时,Message Queue有将消息转发到Consumer的责任。
Message是当前模型中所操纵的基本单位,它由Producer产生,经过Broker被Consumer所消费。它的基本结构有两部分: Header和Body。Header是由Producer添加上的各种属性的集合,这些属性有控制Message是否可被缓存,接收的queue是哪个,优先级是多少等。Body是真正需要传送的数据,它是对Broker不可见的二进制数据流,在传输过程中不应该受到影响。
一个Broker中会存在多个Message Queue,Exchange怎样知道它要把消息发送到哪个Message Queue中去呢? 这就是上图中所展示Binding的作用。Message Queue的创建是由Client Application控制的,在创建Message Queue后需要确定它来接收并保存哪个Exchange路由的结果。Binding是用来关联Exchange与Message Queue的域模型。Client Application控制Exchange与某个特定Message Queue关联,并将这个Queue接受哪种消息的条件绑定到Exchange,这个条件也叫Binding Key或是 Criteria。
在与多个Message Queue关联后,Exchange中就会存在一个路由表,这个表中存储着每个Message Queue所需要消息的限制条件。Exchange就会检查它接受到的每个Message的Header及Body信息,来决定将Message路由到哪个Queue中去。Message的Header中应该有个属性叫Routing Key,它由Message发送者产生,提供给Exchange路由这条Message的标准。Exchange根据不同路由算法有不同有Exchange Type。比如有Direct类似,需要Binding key等于Routing Key;也有Binding Key与Routing Key符合一个模式关系;也有根据Message包含的某些属性来判断。一些基础的路由算法由AMQP所提供,Client Application也可以自定义各种自己的扩展路由算法。那么一个Message的处理流程类似于这样:
在这里有个新名词需要介绍: Virtual Host。一个Virtual Host可持有一些Exchange和Message Queue。它是一个虚拟概念,一个Virtual Host可以是一台服务器,也可以是由多台服务器组成的集群。同步扩展下,Exchange与Message Queue的部署也可以是一台或是多台服务器上。
Message的产生者和消费者可能是同一个应用。整个AMQP定义的就是Client Application与Broker之间的交互。在粗略介绍完AMQP的域模型后,可以关注下Client是怎样与Broker建立起连接的。
Client-Broker连接机制
在AMQP中,Client Application想要与Broker沟通,就需要建立起与Broker的Connection,这种Connection其实是与Virtual Host相关联的,也就是说,Connection是建立在Client与Virtual Host之间。可以在一个Connection上并发运行多个Channel,每个Channel执行与Broker的通信,我们前面提供的Session就是依附于Channel上的。
这里的Session可以有多种定义,既可以表示AMQP内部提供的Command分发机制,也可以说是在宏观上区别与域模型的接口。正常理解就是我们平时所说的交互Context,主要作用就是在网络上可靠地传递每一个Command。在AMQP的设计中,应当是借鉴了TCP的各种设计,用于保证这种可靠性。
在Session层,为上层所需要交互的每个Command分配一个惟一标识符(可以是一个UUID),是为了在传输过程中可以对command做校验和重传。Command发送端也需要记录每个发送出去的Command到Replay Buffer,以期得到接收方的回馈,保证这个Command被接收方明确地接收或是已执行这个Command。对于超时没有收到反馈的Command,发送方再次重传。如果接收方已明确地回馈信息想要告知Command发送方但这条信息在中途丢失或是其它问题发送方没有收到,那么发送方不断重传会对接收方产生影响,为了降低这种影响,Command接收方设置一个过滤器Idempotency Barrier,来拦截那些已接收过的Command。 关于这种重传及确认机制,可以参考下TCP的相关设计。
上面大致介绍了AMQP的域模型及连接机制中的确认及重传模型,不涉及AMQP的详细二进制规范。
AMQP及其实现RabbitMQ
上面部分大致介绍了AMQP的基本原理,在没有接触具体代码之前,都比较抽象。后续文章将会继续介绍RabbitMQ的基本概念及其使用的路由算法等。
本文参考AMQP协议
本文系作者 @root 原创发布在 CycleGen。未经许可,禁止转载。