1. 虛擬化技術實戰之：CentOS7 KVM+VLAN
本文將詳細介紹如何在 CentOS7 上配置 KVM 與 VLAN 技術，為部署雲平台 OpenStack 做好准備。先從 VLAN 的基礎知識開始，通過實踐操作理解其工作原理。
環境要求：
一台物理伺服器安裝 CentOS7u3。
操作步驟如下：
首先，為了安裝 VLAN 相關命令，需要配置額外的軟體倉庫。
[root@wing ~]# yum install epel-release -y
[root@wing ~]# yum install vconfig -y
接著，載入必要的內核模塊。
[root@wing ~]# modprobe 8021q
模塊載入成功後，通過命令創建 VLAN 網路。
[root@wing ~]# vconfig add ens33 10
[root@wing ~]# vconfig add ens33 20
創建網橋，並將 VLAN 介面連接到網橋。
[root@wing ~]# brctl addif br10 ens33.10
[root@wing ~]# brctl addif br20 ens33.20
使用 virt-manager 或命令行方式創建虛擬機。
將虛擬機連接到 VLAN 網路。
[root@wing ~]# brctl addif br10 vnet0
[root@wing ~]# brctl addif br10 vnet1
[root@wing ~]# brctl addif br20 vnet2
[root@wing ~]# brctl addif br20 vnet3
配置虛擬機網路介面。
#vim /etc/sysconfig/network-scripts/ifcfg-br10
#vim /etc/sysconfig/network-scripts/ifcfg-ens33.10
測試網路連接，確保 VLAN 網路配置正確。
分別在虛擬機上配置 IP 地址。
通過 ping 命令驗證網路連接。
vnet0 和 vnet1 能相互 ping 通。
vnet2 和 vnet3 能相互 ping 通。
vnet0 和 vnet2 不能相互 ping 通。
vnet1 和 vnet3 不能相互 ping 通。
至此，完成了 CentOS7 上的 VLAN 配置。如果在物理交換機上測試，可以配置相同 VLAN 並進行驗證。
最後，將配置寫入到系統文件，確保重啟後配置依然生效。
#vim /etc/rc.local
#vim /etc/sysconfig/network-scripts/ifcfg-br10
#vim /etc/sysconfig/network-scripts/ifcfg-ens33.10
以上步驟詳細介紹了如何在 CentOS7 上配置 KVM 與 VLAN 技術，為後續搭建雲平台 OpenStack 做好准備。通過實踐操作，深入理解 VLAN 網路的工作原理和配置細節。
2. 什麼是OpenStack
本文詳細介紹了Openstack的網路原理和實現，主要內容包括：Neutron的網路架構及網路模型還有neutron虛擬化的實現和對二三層網橋的理解。
一、Neutron概述
Neutron是一個用Python寫的分布式軟體項目，用來實現OpenStack中的虛擬網路服務，實現軟體定義網路。Neutron北向有自己的REST API，中間有自己的業務邏輯層，有自己的DB和進程之間通訊的消息機制。同時Neutron常見的進程包括Neutron-server和Neutron-agent，分布式部署在不同的操作系統。
OpenStack發展至今，已經經歷了20個版本。雖然版本一直在更替，發展的項目也越來越多，但是Neutron作為OpenStack三大核心之一，它的地位是不會動搖的。只不過當初的Neutron也只是Nova項目的一個模塊而已，到F版本正式從中剝離，成為一個正式的項目。
從Nova-Network起步，經過Quantum，多年的積累Neutron在網路各個方面都取得了長足的發展。其主要的功能為：
（1）支持多租戶隔離
（2）支持多種網路類型同時使用
（3）支持隧道技術（VXLAN、GRE）
（4）支持路由轉發、SNAT、DNAT技術
（5）支持Floating IP和安全組
多平面租戶私有網路
圖中同時有VXLAN和VLAN兩種網路，兩種網路之間互相隔離。租戶A和B各自獨佔一個網路，並且通過自己的路由器連接到了外部網路。路由器為租戶的每個虛擬機提供了Float IP，完成vm和外網之間的互相訪問。
二、Neutron架構及網路模型
1、Neutron架構
Neutron-sever可以理解為類似於nova-api那樣的一個專門用來接收API調用的組件，負責將不同的api發送到不同Neutron plugin。
Neutron-plugin可以理解為不同網路功能實現的入口，接收server發來的API，向database完成一些注冊信息。然後將具體要執行的業務操作和參數通知給對應的agent來執行。
Agent就是plugin在設備上的代理，接受相應的plugin通知的業務操作和參數，並轉換為具體的命令行操作。
總得來說，server負責交互接收請求，plugin操作資料庫，agent負責具體的網路創建。
2、Neutron架構之Neutron-Server
（1）Neutron-server的本質是一個Python Web Server Gateway Interface（WSGI），是一個Web框架。
（2）Neutron-server接收兩種請求：
REST API請求：接收REST API請求，並將REST API分發到對應的Plugin（L3RouterPlugin）。
RPC請求：接收Plugin agent請求，分發到對應的Plugin（NeutronL3agent）。
3、Neutron架構之Neutron-Plugin
Neutron-plugin分為Core-plugin和Service-plugin。
Core-plugin：ML2負責管理二層網路，ML2主要包括Network、Subnet、Port三類核心資源，對三類資源進行操作的REST API是原生支持的。
Service-plugin：實現L3-L7網路，包括Router、Firewall、VPN。
4、Neutron架構之Neutron-Agent
（1）Neutron-agent配置的業務對象是部署在每一個網路節點或者計算節點的網元。
（2）網元區分為PNF和VNF：
PNF：物理網路功能，指傳統的路由器、交換機等硬體設備
VNF：虛擬網路功能，通過軟體實現的網路功能（二層交換、三層路由等）
（3）Neutron-agent三層架構如下圖：
Neutron-agent架構分為三層，北向為Neutron-server提供RPC介面，供Neutron server調用，南向通過CLI協議棧對Neutron VNF進行配置。在中間會進行兩種模型的轉換，從RPC模型轉換為CLI模型。
5、Neutron架構之通信原理
（1）Neutron是OpenStack的核心組件，官網給出Neutron的定義是NaaS。
（2）Naas有兩層含義：
對外介面：Neutron為Network等網路資源提供了RESTful API、CLI、GUI等模型。
內部實現：利用Linux原生或者開源的虛擬網路功能，加上硬體網路，構建網路。
Neutron接收到API請求後，交由模塊WSGI進行初步的處理，然後這個模塊通過Python API調用neutron的Plugin。Plugin做了相應的處理後，通過RPC調用Neutron的Agent組件，agent再通過某種協議對虛擬網路功能進行配置。其中承載RPC通信的是AMQP server，在部署中常用的開源軟體就是RabbitMQ
6、Neutron架構之控制節點網路模型
控制節點沒有實現具體的網路功能，它對各種虛擬設備做管理配合的工作。
（1）Neutron：Neutron-server核心組件。
（2）API/CLI：Neutron進程通過API/CLI介面接收請求。
（3）OVS Agent：Neutron通過RPC協議與agent通信。
控制節點部署著各種服務和Neutron-server，Neutron-server通過api/cli介面接收請求信息，通過RPC和Agent進行交互。Agent再調用ovs/linuxbridge等網路設備創建網路。
7、Neutron架構之計算節點網路模型
（1）qbr：Linux Bridge網橋
（2）br-int：OVS網橋
（3）br-tun：OVS隧道網橋
（4）VXLAN封裝：網路類型的轉變
8、Neutron架構之網路節點網路模型
網路節點部署了Router、DHCP Server服務，網橋連接物理網卡。
（1）Router：路由轉發
（2）DHCP： 提供DNS、DHCP等服務。
（3）br-ex： 連接物理網口，連接外網
三、Neutron虛擬化實現功能及設備介紹
1、Neutron虛擬化實現功能
Neutron提供的網路虛擬化能力包括：
（1）二層到七層網路的虛擬化：L2（virtual Switch）、L3（virtual Router 和 LB）、L47（virtual Firewall ）等
（2）網路連通性：二層網路和三層網路
（3）租戶隔離性
（4）網路安全性
（5）網路拓展性
（6）REST API
（7）更高級的服務，包括 LBaaS，FWaaS，VPNaaS 等
2、Neutron虛擬化功能之二層網路
（1）按照用戶許可權創建網路：
Provider network：管理員創建，映射租戶網路到物理網路
Tenant network：租戶創建的普通網路
External network：物理網路
（2）按照網路類型：
Flat network：所有租戶網路在一個網路中
Local network：只允許在伺服器內通信，不通外網
VLAN network：基於物理VLAN實現的虛擬網路
VXLAN network：基於VXLAN實現的虛擬網路
3、Neutron虛擬化實現功能之租戶隔離
Neutron是一個支持多租戶的系統，所以租戶隔離是Neutron必須要支持的特性。
（1）租戶隔離三種含義：管理面隔離、數據面的隔離、故障面的隔離。
（2）不同層次租戶網路的隔離性
租戶與租戶之間三層隔離
同一租戶不同網路之間二層隔離
同一租戶同一網路不同子網二層隔離
（3）計算節點的 br-int 上，Neutron 為每個虛機連接 OVS 的 access port 分配了內部的 VLAN Tag。這種 Tag 限制了網路流量只能在 Tenant Network 之內。
（4）計算節點的 br-tun 上，Neutron 將內部的 VLAN Tag 轉化為 VXLAN Tunnel ID，然後轉發到網路節點。
（5）網路節點的 br-tun 上，Neutron 將 VXLAN Tunnel ID 轉發了一一對應的 內部 VLAN Tag，使得 網路流被不同的服務處理。
（6）網路節點的 br-int 上連接的 DHCP 和 L3 agent 使用 Linux Network Namespace 進行隔離。
4、Neutron虛擬化實現功能之租戶網路安全
除了租戶隔離以外 Neutron還提供數據網路與外部網路的隔離性。
（1）默認情況下，所有虛擬機通過外網的流量全部走網路節點的L3 agent。在這里，內部的固定IP被轉化為外部的浮動IP地址
（1）Neutron還利用Linux iptables特性，實現其Security Group特性，從而保證訪問虛機的安全性
（3）Neutron利用網路控制節點上的Network Namespace中的iptables，實現了進出租戶網路的網路防火牆，從而保證了進出租戶網路的安全性。
5、Neutron虛擬化設備
（1）埠：Port代表虛擬網路交換機上的一個虛擬交換機埠
虛擬機的網卡連接到Port上就會擁有MAC地址和IP地址
（2）虛擬交換機：Neutron默認採用開源的Openvswitch，
同時還支持Linux Bridge
（3）虛擬路由器VR：
四、Neutron網橋及二三層網路理解
1、Neutron-Local-Bridge
僅用於測試；網橋沒有與物理網卡相連VM不通外網。
圖中創建了兩個local network，分別有其對應的qbr網橋。Vm123的虛擬網卡通過tap連接到qbr網橋上。其中2和3屬於同一個network可以通信，1屬於另一個網路不能和23進行通信。並且qbr網橋不連物理網卡，所以說local網路虛擬機只能同網路通信，不能連通外網。
2、Neutron-Flat-Bridge
Flat網路是在local網路的基礎上實現不同宿主機之間的二層互聯，但是每個flat network都會佔用一個宿主機的物理介面。其中qbr1對應的flatnetwork 連接 eth1 qbr2，兩個網路的虛機在物理二層可以互聯。其它跟local network類似。
3、Neutron-VLAN-Bridge
在基於linux bridge的vlan網路中，eht1物理網卡上創建了兩個vlan介面，1.1連接到qbr1網橋，1.2連接到了qbr2網橋。在這種情況下vm通過eth1.1或者eth1.2發送到eth1的包會被打上各自的vlan id。此時vm2和vm3屬於同一個network所以是互通的，vm與vm2和vm3不通。
4、Neutron-VXLAN-Bridge
這個是以Linux bridge作agent的Vxlan網路：
Vxlan網路比Vxlan網路多了個VXLAN隧道，在Openstack中創建好內部網路和實例後，agent就會在計算節點和網路節點創建一對vxlan vtep.組成隧道的兩個端點。
Vxlan連接在eth0網口。在網路節點多了兩個組件dhcp 和router，他們分別通過一對veth與qbr網橋連接在一起，多個dhcp和路由之間使用namesapce隔離，當vm產生ping包時，發往linux 網橋qbr1，通過網橋在vxlan12上封裝數據包，數據通過eth0網卡出計算節點到網路節點的eth0，在vxlan12解包。到達路由器之後經過nat地址轉換，從eth1出去訪問外網，由租戶網路到運營商網路再到外部網路。
5、Neutron-VLAN-OVS
與Linux bridge不同，openvswitch 不是通過eth1.1 eth1.2這樣的vlan介面來隔離不同的vlan，而是通過openvswitch的流表規則來指定如何對進出br-int的數據進行轉發，實現不同vlan的隔離。
圖中計算節點的所有虛擬機都連接在int網橋上，虛擬機分為兩個網路。Int網橋會對到來的數據包根據network的不同打上vlan id號，然後轉發到eth網橋,eth網橋直連物理網路。這時候流量就從計算節點到了網路節點。
網路節點的ehx int網橋的功能相似，多了一個ex網橋，這個網橋是管理提前創建好的，和物理網卡相連，ex網橋和int網橋之間通過一對patch-port相連，虛擬機的流量到達int網橋後經過路由到ex網橋。
6、Neutron-VXLAN-OVS
Vxlan的模型和vlan的模型十分相似，從表面上來看，他倆相比只有一個不同,vlan對應的是ethx網橋，而vxlan對應的是tun網橋。
在這里ethx和tun都是ovs網橋，所以說兩者的差別不是實現組件的差別而是組件所執行功能的差別，ethx執行的是普通二層交換機的功能，tun執行的是vxlan中的vtep的功能，圖中倆tun對應的介面ip就是vxlan的隧道終結點ip。所以說虛機的數據包在到達tun網橋之前是打的是vlan tag，而到達tun之後會發生網路類型的轉換，從vlan封裝為vxlan然後到達網路節點。而之前的vlan類型的網路，虛機數據包的類型一直都是vlan。
7、物理的二層與虛擬的二層（VLAN模式)
（1）物理的二層指的是：物理網路是二層網路，基於乙太網協議的廣播方式進行通信。
（2）虛擬的二層指的是：Neutron實現的虛擬網路也是二層網路（openstack的vm機所用的網路必須是大二層），也是基於乙太網協議的廣播方式進行通信，但毫無疑問的是該虛擬網路是依賴於物理的二層網路。
（3）物理二層+虛擬二層的典型代表：VLAN網路模式。
8、物理的三層與虛擬的二層（GRE模式與VXLAN模式）
（1）物理三層指的是：物理網路是三層網路，基於IP路由的方式進行通信。
（2）虛擬的二層指的是：Neutron實現的虛擬網路仍然是二層網路（openstack的vm機所用的網路必須是大二層），仍然是基於乙太網的廣播方式進行通信，但毫無疑問的是該虛擬機網路是依賴於物理的三層網路，這點有點類似於VPN的概念，根本原理就是將私網的包封裝起來，最終打上隧道的ip地址傳輸。
（3）物理三層+虛擬二層的典型代表：GRE模式與VXLAN模式。
3. openstack 一個租戶可以創建多少虛擬網段
OpenStack里虛機(或者叫instance)只有在分配floating IP後才能訪問外網，那麼需要怎樣做配置才能達到目的呢？ 1. 需要在網路節點上確定一個可以訪問外網的物理網卡，這個網卡可以和管理網卡是一個。這里我們假定外網網卡和管理網卡是獨立的，且外網網卡的名字叫做eth2。 2. 添加一個新的bridge br-ex，並將eth2作為port綁定到br-ex [plain] view plain # ovs-vsctl add-br br-ex # ovs-vsctl add-port br-ex eth2 3. 創建/etc/sysconfig/network-scripts/ifcfg-eth2文件，並輸入如下內容： [plain] view plain TYPE=OVSPort BOOTPROTO=none DEVICETYPE=ovs OVS_BRIDGE=br-ex DEVICE=eth2 ONBOOT=yes 4. 創建/etc/sysconfig/network-scripts/ifcfg-br-ex文件，並輸入如下內容： [plain] view plain TYPE=OVSBridge BOOTPROTO=none DEVICETYPE=ovs NAME=br-ex DEVICE=br-ex ONBOOT=yes 5. 重新啟動網路服務讓配置生效 [plain] view plain # systemctl restart network.service 6. 用具有admin role的用戶在Openstack Controller節點創建外網(external network)和相應子網，這里的外網是所謂的provider network，是不允許普通許可權的租戶創建的，普通的租戶只能創建租戶網路。注意"--router:external=true"選項表示這是一個外網，網路類型選的是flat(如果外網是VLAN，就選VLAN)，子網的CIDR是192.168.100.0/24。 [plain] view plain # neutron net-create --provider:network_type flat --provider:physical_network default --router:external=true public # neutron subnet-create public --name public_subnet --allocation-pool start=192.168.100.100,end=192.168.100.150 192.168.100.0/24 創建完成後顯示結果如下： 7. 如果要讓租戶的虛機訪問外網，還需要創建一個router，用普通租戶用戶創建router，命令如下: [plain] view plain ＃ neutron router-create router01 8. 將租戶的私有子網（private_sub）作為interface加入router01，並將外網(public)設置為網關： [plain] view plain # neutron router-interface-add router01 private_sub # neutron router-gateway-set router01 public 9. 然後就可以為虛擬機分配floating IP了。分配完成後虛擬機就可以訪問外網了。 [plain] view plain # neutron floatingip-create public # neutron floatingip-list [plain] view plain # neutron floatingip-associate e12a6c2b-fc5e-4448-a6bb-3047638b850e 164f410e-6961-422d-b256-0609bfe6e9ff
4. openvswitch的原理和常用命令
Openvswitch是基於開源Apache2.0許可的高性能虛擬交換機，專為大規模網路自動化設計，支持多種Linux虛擬化技術，如Xen、KVM和VirtualBox。其核心在於內核模塊的數據路徑（數據包處理機制）和流表（匹配規則）機制。每個數據路徑包含多個vports，用戶空間可以設置流表規則來決定數據包的轉發行為。當數據包到達vport時，內核模塊依據流表匹配規則執行相應操作，未匹配的則進入用戶空間處理隊列，等待進一步處理。
OpenvSwitch的架構包括內核模塊、用戶空間處理和物理介面。其工作流程涉及虛擬機內的數據包發送，通過vNIC到物理機的VNIC介面，再到虛擬交換機（如br100），接著通過物理介面（如eth0）轉發，最終按照物理網路規則進行路由。在多虛擬機環境中，通過設置VLAN TAG可以控制網路隔離。
在實際應用中，例如創建物理機到物理機的網路拓撲，可以通過簡單的命令操作。Openstack中的Neutron則負責虛擬機網路配置，包括創建虛擬網橋、連接埠以及根據網路類型進行配置，如VLAN、VXLAN等。虛擬機間的通信，根據安全組設置和網路配置規則進行。