1. 虚拟化技术实战之：CentOS7 KVM+VLAN
本文将详细介绍如何在 CentOS7 上配置 KVM 与 VLAN 技术，为部署云平台 OpenStack 做好准备。先从 VLAN 的基础知识开始，通过实践操作理解其工作原理。
环境要求：
一台物理服务器安装 CentOS7u3。
操作步骤如下：
首先，为了安装 VLAN 相关命令，需要配置额外的软件仓库。
[root@wing ~]# yum install epel-release -y
[root@wing ~]# yum install vconfig -y
接着，加载必要的内核模块。
[root@wing ~]# modprobe 8021q
模块加载成功后，通过命令创建 VLAN 网络。
[root@wing ~]# vconfig add ens33 10
[root@wing ~]# vconfig add ens33 20
创建网桥，并将 VLAN 接口连接到网桥。
[root@wing ~]# brctl addif br10 ens33.10
[root@wing ~]# brctl addif br20 ens33.20
使用 virt-manager 或命令行方式创建虚拟机。
将虚拟机连接到 VLAN 网络。
[root@wing ~]# brctl addif br10 vnet0
[root@wing ~]# brctl addif br10 vnet1
[root@wing ~]# brctl addif br20 vnet2
[root@wing ~]# brctl addif br20 vnet3
配置虚拟机网络接口。
#vim /etc/sysconfig/network-scripts/ifcfg-br10
#vim /etc/sysconfig/network-scripts/ifcfg-ens33.10
测试网络连接，确保 VLAN 网络配置正确。
分别在虚拟机上配置 IP 地址。
通过 ping 命令验证网络连接。
vnet0 和 vnet1 能相互 ping 通。
vnet2 和 vnet3 能相互 ping 通。
vnet0 和 vnet2 不能相互 ping 通。
vnet1 和 vnet3 不能相互 ping 通。
至此，完成了 CentOS7 上的 VLAN 配置。如果在物理交换机上测试，可以配置相同 VLAN 并进行验证。
最后，将配置写入到系统文件，确保重启后配置依然生效。
#vim /etc/rc.local
#vim /etc/sysconfig/network-scripts/ifcfg-br10
#vim /etc/sysconfig/network-scripts/ifcfg-ens33.10
以上步骤详细介绍了如何在 CentOS7 上配置 KVM 与 VLAN 技术，为后续搭建云平台 OpenStack 做好准备。通过实践操作，深入理解 VLAN 网络的工作原理和配置细节。
2. 什么是OpenStack
本文详细介绍了Openstack的网络原理和实现，主要内容包括：Neutron的网络架构及网络模型还有neutron虚拟化的实现和对二三层网桥的理解。
一、Neutron概述
Neutron是一个用Python写的分布式软件项目，用来实现OpenStack中的虚拟网络服务，实现软件定义网络。Neutron北向有自己的REST API，中间有自己的业务逻辑层，有自己的DB和进程之间通讯的消息机制。同时Neutron常见的进程包括Neutron-server和Neutron-agent，分布式部署在不同的操作系统。
OpenStack发展至今，已经经历了20个版本。虽然版本一直在更替，发展的项目也越来越多，但是Neutron作为OpenStack三大核心之一，它的地位是不会动摇的。只不过当初的Neutron也只是Nova项目的一个模块而已，到F版本正式从中剥离，成为一个正式的项目。
从Nova-Network起步，经过Quantum，多年的积累Neutron在网络各个方面都取得了长足的发展。其主要的功能为：
（1）支持多租户隔离
（2）支持多种网络类型同时使用
（3）支持隧道技术（VXLAN、GRE）
（4）支持路由转发、SNAT、DNAT技术
（5）支持Floating IP和安全组
多平面租户私有网络
图中同时有VXLAN和VLAN两种网络，两种网络之间互相隔离。租户A和B各自独占一个网络，并且通过自己的路由器连接到了外部网络。路由器为租户的每个虚拟机提供了Float IP，完成vm和外网之间的互相访问。
二、Neutron架构及网络模型
1、Neutron架构
Neutron-sever可以理解为类似于nova-api那样的一个专门用来接收API调用的组件，负责将不同的api发送到不同Neutron plugin。
Neutron-plugin可以理解为不同网络功能实现的入口，接收server发来的API，向database完成一些注册信息。然后将具体要执行的业务操作和参数通知给对应的agent来执行。
Agent就是plugin在设备上的代理，接受相应的plugin通知的业务操作和参数，并转换为具体的命令行操作。
总得来说，server负责交互接收请求，plugin操作数据库，agent负责具体的网络创建。
2、Neutron架构之Neutron-Server
（1）Neutron-server的本质是一个Python Web Server Gateway Interface（WSGI），是一个Web框架。
（2）Neutron-server接收两种请求：
REST API请求：接收REST API请求，并将REST API分发到对应的Plugin（L3RouterPlugin）。
RPC请求：接收Plugin agent请求，分发到对应的Plugin（NeutronL3agent）。
3、Neutron架构之Neutron-Plugin
Neutron-plugin分为Core-plugin和Service-plugin。
Core-plugin：ML2负责管理二层网络，ML2主要包括Network、Subnet、Port三类核心资源，对三类资源进行操作的REST API是原生支持的。
Service-plugin：实现L3-L7网络，包括Router、Firewall、VPN。
4、Neutron架构之Neutron-Agent
（1）Neutron-agent配置的业务对象是部署在每一个网络节点或者计算节点的网元。
（2）网元区分为PNF和VNF：
PNF：物理网络功能，指传统的路由器、交换机等硬件设备
VNF：虚拟网络功能，通过软件实现的网络功能（二层交换、三层路由等）
（3）Neutron-agent三层架构如下图：
Neutron-agent架构分为三层，北向为Neutron-server提供RPC接口，供Neutron server调用，南向通过CLI协议栈对Neutron VNF进行配置。在中间会进行两种模型的转换，从RPC模型转换为CLI模型。
5、Neutron架构之通信原理
（1）Neutron是OpenStack的核心组件，官网给出Neutron的定义是NaaS。
（2）Naas有两层含义：
对外接口：Neutron为Network等网络资源提供了RESTful API、CLI、GUI等模型。
内部实现：利用Linux原生或者开源的虚拟网络功能，加上硬件网络，构建网络。
Neutron接收到API请求后，交由模块WSGI进行初步的处理，然后这个模块通过Python API调用neutron的Plugin。Plugin做了相应的处理后，通过RPC调用Neutron的Agent组件，agent再通过某种协议对虚拟网络功能进行配置。其中承载RPC通信的是AMQP server，在部署中常用的开源软件就是RabbitMQ
6、Neutron架构之控制节点网络模型
控制节点没有实现具体的网络功能，它对各种虚拟设备做管理配合的工作。
（1）Neutron：Neutron-server核心组件。
（2）API/CLI：Neutron进程通过API/CLI接口接收请求。
（3）OVS Agent：Neutron通过RPC协议与agent通信。
控制节点部署着各种服务和Neutron-server，Neutron-server通过api/cli接口接收请求信息，通过RPC和Agent进行交互。Agent再调用ovs/linuxbridge等网络设备创建网络。
7、Neutron架构之计算节点网络模型
（1）qbr：Linux Bridge网桥
（2）br-int：OVS网桥
（3）br-tun：OVS隧道网桥
（4）VXLAN封装：网络类型的转变
8、Neutron架构之网络节点网络模型
网络节点部署了Router、DHCP Server服务，网桥连接物理网卡。
（1）Router：路由转发
（2）DHCP： 提供DNS、DHCP等服务。
（3）br-ex： 连接物理网口，连接外网
三、Neutron虚拟化实现功能及设备介绍
1、Neutron虚拟化实现功能
Neutron提供的网络虚拟化能力包括：
（1）二层到七层网络的虚拟化：L2（virtual Switch）、L3（virtual Router 和 LB）、L47（virtual Firewall ）等
（2）网络连通性：二层网络和三层网络
（3）租户隔离性
（4）网络安全性
（5）网络拓展性
（6）REST API
（7）更高级的服务，包括 LBaaS，FWaaS，VPNaaS 等
2、Neutron虚拟化功能之二层网络
（1）按照用户权限创建网络：
Provider network：管理员创建，映射租户网络到物理网络
Tenant network：租户创建的普通网络
External network：物理网络
（2）按照网络类型：
Flat network：所有租户网络在一个网络中
Local network：只允许在服务器内通信，不通外网
VLAN network：基于物理VLAN实现的虚拟网络
VXLAN network：基于VXLAN实现的虚拟网络
3、Neutron虚拟化实现功能之租户隔离
Neutron是一个支持多租户的系统，所以租户隔离是Neutron必须要支持的特性。
（1）租户隔离三种含义：管理面隔离、数据面的隔离、故障面的隔离。
（2）不同层次租户网络的隔离性
租户与租户之间三层隔离
同一租户不同网络之间二层隔离
同一租户同一网络不同子网二层隔离
（3）计算节点的 br-int 上，Neutron 为每个虚机连接 OVS 的 access port 分配了内部的 VLAN Tag。这种 Tag 限制了网络流量只能在 Tenant Network 之内。
（4）计算节点的 br-tun 上，Neutron 将内部的 VLAN Tag 转化为 VXLAN Tunnel ID，然后转发到网络节点。
（5）网络节点的 br-tun 上，Neutron 将 VXLAN Tunnel ID 转发了一一对应的 内部 VLAN Tag，使得 网络流被不同的服务处理。
（6）网络节点的 br-int 上连接的 DHCP 和 L3 agent 使用 Linux Network Namespace 进行隔离。
4、Neutron虚拟化实现功能之租户网络安全
除了租户隔离以外 Neutron还提供数据网络与外部网络的隔离性。
（1）默认情况下，所有虚拟机通过外网的流量全部走网络节点的L3 agent。在这里，内部的固定IP被转化为外部的浮动IP地址
（1）Neutron还利用Linux iptables特性，实现其Security Group特性，从而保证访问虚机的安全性
（3）Neutron利用网络控制节点上的Network Namespace中的iptables，实现了进出租户网络的网络防火墙，从而保证了进出租户网络的安全性。
5、Neutron虚拟化设备
（1）端口：Port代表虚拟网络交换机上的一个虚拟交换机端口
虚拟机的网卡连接到Port上就会拥有MAC地址和IP地址
（2）虚拟交换机：Neutron默认采用开源的Openvswitch，
同时还支持Linux Bridge
（3）虚拟路由器VR：
四、Neutron网桥及二三层网络理解
1、Neutron-Local-Bridge
仅用于测试；网桥没有与物理网卡相连VM不通外网。
图中创建了两个local network，分别有其对应的qbr网桥。Vm123的虚拟网卡通过tap连接到qbr网桥上。其中2和3属于同一个network可以通信，1属于另一个网络不能和23进行通信。并且qbr网桥不连物理网卡，所以说local网络虚拟机只能同网络通信，不能连通外网。
2、Neutron-Flat-Bridge
Flat网络是在local网络的基础上实现不同宿主机之间的二层互联，但是每个flat network都会占用一个宿主机的物理接口。其中qbr1对应的flatnetwork 连接 eth1 qbr2，两个网络的虚机在物理二层可以互联。其它跟local network类似。
3、Neutron-VLAN-Bridge
在基于linux bridge的vlan网络中，eht1物理网卡上创建了两个vlan接口，1.1连接到qbr1网桥，1.2连接到了qbr2网桥。在这种情况下vm通过eth1.1或者eth1.2发送到eth1的包会被打上各自的vlan id。此时vm2和vm3属于同一个network所以是互通的，vm与vm2和vm3不通。
4、Neutron-VXLAN-Bridge
这个是以Linux bridge作agent的Vxlan网络：
Vxlan网络比Vxlan网络多了个VXLAN隧道，在Openstack中创建好内部网络和实例后，agent就会在计算节点和网络节点创建一对vxlan vtep.组成隧道的两个端点。
Vxlan连接在eth0网口。在网络节点多了两个组件dhcp 和router，他们分别通过一对veth与qbr网桥连接在一起，多个dhcp和路由之间使用namesapce隔离，当vm产生ping包时，发往linux 网桥qbr1，通过网桥在vxlan12上封装数据包，数据通过eth0网卡出计算节点到网络节点的eth0，在vxlan12解包。到达路由器之后经过nat地址转换，从eth1出去访问外网，由租户网络到运营商网络再到外部网络。
5、Neutron-VLAN-OVS
与Linux bridge不同，openvswitch 不是通过eth1.1 eth1.2这样的vlan接口来隔离不同的vlan，而是通过openvswitch的流表规则来指定如何对进出br-int的数据进行转发，实现不同vlan的隔离。
图中计算节点的所有虚拟机都连接在int网桥上，虚拟机分为两个网络。Int网桥会对到来的数据包根据network的不同打上vlan id号，然后转发到eth网桥,eth网桥直连物理网络。这时候流量就从计算节点到了网络节点。
网络节点的ehx int网桥的功能相似，多了一个ex网桥，这个网桥是管理提前创建好的，和物理网卡相连，ex网桥和int网桥之间通过一对patch-port相连，虚拟机的流量到达int网桥后经过路由到ex网桥。
6、Neutron-VXLAN-OVS
Vxlan的模型和vlan的模型十分相似，从表面上来看，他俩相比只有一个不同,vlan对应的是ethx网桥，而vxlan对应的是tun网桥。
在这里ethx和tun都是ovs网桥，所以说两者的差别不是实现组件的差别而是组件所执行功能的差别，ethx执行的是普通二层交换机的功能，tun执行的是vxlan中的vtep的功能，图中俩tun对应的接口ip就是vxlan的隧道终结点ip。所以说虚机的数据包在到达tun网桥之前是打的是vlan tag，而到达tun之后会发生网络类型的转换，从vlan封装为vxlan然后到达网络节点。而之前的vlan类型的网络，虚机数据包的类型一直都是vlan。
7、物理的二层与虚拟的二层（VLAN模式)
（1）物理的二层指的是：物理网络是二层网络，基于以太网协议的广播方式进行通信。
（2）虚拟的二层指的是：Neutron实现的虚拟网络也是二层网络（openstack的vm机所用的网络必须是大二层），也是基于以太网协议的广播方式进行通信，但毫无疑问的是该虚拟网络是依赖于物理的二层网络。
（3）物理二层+虚拟二层的典型代表：VLAN网络模式。
8、物理的三层与虚拟的二层（GRE模式与VXLAN模式）
（1）物理三层指的是：物理网络是三层网络，基于IP路由的方式进行通信。
（2）虚拟的二层指的是：Neutron实现的虚拟网络仍然是二层网络（openstack的vm机所用的网络必须是大二层），仍然是基于以太网的广播方式进行通信，但毫无疑问的是该虚拟机网络是依赖于物理的三层网络，这点有点类似于VPN的概念，根本原理就是将私网的包封装起来，最终打上隧道的ip地址传输。
（3）物理三层+虚拟二层的典型代表：GRE模式与VXLAN模式。
3. openstack 一个租户可以创建多少虚拟网段
OpenStack里虚机(或者叫instance)只有在分配floating IP后才能访问外网，那么需要怎样做配置才能达到目的呢？ 1. 需要在网络节点上确定一个可以访问外网的物理网卡，这个网卡可以和管理网卡是一个。这里我们假定外网网卡和管理网卡是独立的，且外网网卡的名字叫做eth2。 2. 添加一个新的bridge br-ex，并将eth2作为port绑定到br-ex [plain] view plain # ovs-vsctl add-br br-ex # ovs-vsctl add-port br-ex eth2 3. 创建/etc/sysconfig/network-scripts/ifcfg-eth2文件，并输入如下内容： [plain] view plain TYPE=OVSPort BOOTPROTO=none DEVICETYPE=ovs OVS_BRIDGE=br-ex DEVICE=eth2 ONBOOT=yes 4. 创建/etc/sysconfig/network-scripts/ifcfg-br-ex文件，并输入如下内容： [plain] view plain TYPE=OVSBridge BOOTPROTO=none DEVICETYPE=ovs NAME=br-ex DEVICE=br-ex ONBOOT=yes 5. 重新启动网络服务让配置生效 [plain] view plain # systemctl restart network.service 6. 用具有admin role的用户在Openstack Controller节点创建外网(external network)和相应子网，这里的外网是所谓的provider network，是不允许普通权限的租户创建的，普通的租户只能创建租户网络。注意"--router:external=true"选项表示这是一个外网，网络类型选的是flat(如果外网是VLAN，就选VLAN)，子网的CIDR是192.168.100.0/24。 [plain] view plain # neutron net-create --provider:network_type flat --provider:physical_network default --router:external=true public # neutron subnet-create public --name public_subnet --allocation-pool start=192.168.100.100,end=192.168.100.150 192.168.100.0/24 创建完成后显示结果如下： 7. 如果要让租户的虚机访问外网，还需要创建一个router，用普通租户用户创建router，命令如下: [plain] view plain ＃ neutron router-create router01 8. 将租户的私有子网（private_sub）作为interface加入router01，并将外网(public)设置为网关： [plain] view plain # neutron router-interface-add router01 private_sub # neutron router-gateway-set router01 public 9. 然后就可以为虚拟机分配floating IP了。分配完成后虚拟机就可以访问外网了。 [plain] view plain # neutron floatingip-create public # neutron floatingip-list [plain] view plain # neutron floatingip-associate e12a6c2b-fc5e-4448-a6bb-3047638b850e 164f410e-6961-422d-b256-0609bfe6e9ff
4. openvswitch的原理和常用命令
Openvswitch是基于开源Apache2.0许可的高性能虚拟交换机，专为大规模网络自动化设计，支持多种Linux虚拟化技术，如Xen、KVM和VirtualBox。其核心在于内核模块的数据路径（数据包处理机制）和流表（匹配规则）机制。每个数据路径包含多个vports，用户空间可以设置流表规则来决定数据包的转发行为。当数据包到达vport时，内核模块依据流表匹配规则执行相应操作，未匹配的则进入用户空间处理队列，等待进一步处理。
OpenvSwitch的架构包括内核模块、用户空间处理和物理接口。其工作流程涉及虚拟机内的数据包发送，通过vNIC到物理机的VNIC接口，再到虚拟交换机（如br100），接着通过物理接口（如eth0）转发，最终按照物理网络规则进行路由。在多虚拟机环境中，通过设置VLAN TAG可以控制网络隔离。
在实际应用中，例如创建物理机到物理机的网络拓扑，可以通过简单的命令操作。Openstack中的Neutron则负责虚拟机网络配置，包括创建虚拟网桥、连接端口以及根据网络类型进行配置，如VLAN、VXLAN等。虚拟机间的通信，根据安全组设置和网络配置规则进行。