docker跨主机通信的方法

概述

flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具。它的主要思路是：预先留出一个网段，每个主机使用其中一部分，然后每个容器被分配不同的ip；让所有的容器认为大家在同一个直连的网络，底层通过UDP/VxLAN等进行报文的封装和转发。

架构图

跨主机容器通信

这里涉及到一个知识点，就是底层通过UDP/VxLAN设备进行报文的封装和转发，以下来叙述一下这个过程，当报文从Pod1：10.1.15.2/24要去往Pod4: 10.1.20.2/24这个容器的时候，要分别经过以下步骤。

因为Pod1的veth0和docker0的一段网卡相连，所以数据包会先发往docker0网桥，此时docker0会查询自己所维护的路由表，没有发现有10.1.20.2/24这个地址，所以会把数据包发送给默认路由，这里的默认路由即flannel网桥。

flannel网桥是一个VxLAN设备，它收到数据包后，检查到包中的目的地址并不是自己的地址，所以他本应该这把这个数据包重新发送出去，因为他的下一层已经是数据链路层，所以即将进行二层封包，即通过ARP协议来对以太网进行广播谁是10.1.20.2/24，接受并记录目的的MAC地址。但是由于它是一个VxLAN设备，其特殊性就是并没有真正在二层发出这个 arp 包，而是由 linux kernel 引发一个”L3 MISS”事件并将 arp 请求发到用户空间的 Flannel 程序中。

flannel程序接收到”L3 MISS”事件以及 arp 请求 (who is10.1.20.2/24 ) 后，并不会像以太网发送ARP请求，而是在etcd中匹配10.1.20.2/24的信息，从而找到Node2的MAC地址。Flannel 将查询到的信息放入 Node1 host 的 arp cache 表中，flannel0 完成这项工作后，Linux kernel 就可以在 arp table 中找到 10.1.20.2/24对应的 MAC 地址并封装二层以太包了。

Node 上 2 的 eth0 接收到上述 VXLAN 包，内核也识别出这是一个 VXLAN 包，于是通过相反的步骤解包出来，最后传达到POD4上去。