典型场景实践

场景设定:由于业务需要,用户希望使用Mellanox CX-5型号的智能网卡,进一步提升业务云主机的网络性能。

假定用户已准备以下资源:
  • 已准备两台x86服务器、一台千兆交换机、一台万兆交换机、以及若干五类跳线。
  • 每台x86服务器已安装一张Mellanox CX-5型号智能网卡。
  • 已准备以下必要文件:
    • 最新ZStack Cloud ISO
    • 最新ZStack Cloud安装包
    • 最新多管理节点高可用套件
    • ZStack Cloud云平台许可证(企业版 付费)
    • 最新ZStack Cloud专用VPC路由器镜像(KVM)
假定用户硬件网络规划如下:
  • 管理网络
    表 1. 管理网络
    节点 千兆网口 1 千兆网口 2 聚合网口 网桥 IP地址 掩码 网关
    管理节点1 eth0 eth1 bond0 br_bond0 172.25.15.143 255.255.255.0 172.25.0.1
    管理节点2 eth0 eth1 bond0 br_bond0 172.25.15.99 255.255.255.0 172.25.0.1
  • 业务网络
    表 2. 业务网络
    节点 万兆网口 1 万兆网口 2 IP地址 掩码 网关
    管理节点1 enp179s0f0 enp179s0f1 - - -
    管理节点2 enp179s0f0 enp179s0f1 - - -
硬件网络拓扑如图 1所示:
图 1. 智能网卡 硬件网络拓扑


假定用户场景网络规划如下:
  • 管理网络
    表 3. 管理网络
    管理网络 配置信息
    网卡 bond0
    VLAN ID 非VLAN
    IP地址段 172.25.15.50~172.25.15.150
    子网掩码 255.255.255.0
    网关 172.25.0.1
  • VPC网络
    表 4. VPC子网-1
    VPC子网-1 配置信息
    网卡 bond0
    VLAN ID 2200
    CIDR 192.167.0.1/24
    网关 192.167.0.1
    DHCP服务IP 系统随机分配
    表 5. VPC子网-2
    VPC子网-2 配置信息
    网卡 enp179s0f1
    VLAN ID 2334
    CIDR 192.168.0.1/24
    网关 192.168.0.1
    DHCP服务IP 系统随机分配
场景网络拓扑如图 2所示:
图 2. 智能网卡 场景网络拓扑


具体实践流程如下:
  1. 硬件上架并连线。
  2. 安装操作系统。
  3. 配置管理网络。
  4. 安装高可用套件。
  5. 安装许可证。
  6. 创建集群,并开启网络加速支持。
  7. 将两台管理节点添加至集群。
  8. 切割物理网卡。
  9. 创建两个二层网络(网络加速模式分别为:智能网卡、标准),并加载到集群。
  10. 创建VPC路由器,并创建两个VPC子网。
  11. 创建两台业务云主机,每台均挂载两个VPC子网。
  12. 场景验证:业务云主机vNIC类型网卡与vDPA类型网卡性能对比。
  1. 硬件上架并连线。

    核对硬件设备,按照硬件网络拓扑图(如图 1所示),对服务器和网络设备进行上架并连线。

  2. 安装操作系统。

    依次对两台服务器执行以下步骤,安装操作系统。

    1. BIOS检查。

      硬件设备上电后,手动启动服务器进入BIOS检查,需确保BIOS已开启:SR-IOV支持、Intel VT-d / AMD IOMMU支持。

    2. 将定制版ISO刻录到U盘。
    3. 通过U盘引导节点启动,进入安装导航。
    4. 安装操作系统。

      选择默认项开始安装操作系统。分区配置完成后,使用管理节点模式进行安装。安装过程自动进行,需要设定root账户密码。安装结束后,重新引导节点启动,拔掉U盘。

  3. 配置管理网络。
    按照硬件网络规划(如表 1所示),依次对两台管理节点执行以下命令,配置管理网络。
    # 以管理节点1为例  # 创建聚合网卡bond0 [root@localhost ~]# zs-bond-lacp -c bond0  # 将管理节点1的两个千兆网口eth0、eth1添加到bond0 [root@localhost ~]# zs-nic-to-bond -a bond0 eth0  [root@localhost ~]# zs-nic-to-bond -a bond0 eth1  # 配置上述链路聚合后,请在对应的交换机网口配置LACP聚合  # 创建网桥br_bond0,指定管理节点1的IP、掩码和网关 [root@localhost ~]# zs-network-setting -b bond0 172.25.15.143 255.255.255.0 172.25.0.1  # 查看聚合端口bond0是否创建成功 [root@localhost ~]# zs-show-network
  4. 安装高可用套件。

    对任一管理节点执行以下步骤安装高可用套件,即可实现双管理节点高可用。

    以管理节点1为例。

    1. 将高可用套件导入管理节点1并解压。
    2. 在管理节点1中安装高可用套件。
    3. 通过VIP访问管理节点1的UI界面,完成云平台初始化。
    4. 管理节点主备切换,通过VIP访问管理节点2的UI界面,完成云平台初始化。
  5. 安装许可证。

    通过VIP访问任一管理节点的UI界面,将已备好的双管理节点许可证上传即可。

  6. 创建集群,并开启网络加速支持。

    通过VIP访问管理节点1的UI界面。在ZStack Cloud主菜单,点击资源中心 > 硬件设施 > 计算设施 > 集群,进入集群界面。点击创建集群,弹出创建集群界面。

    可参考以下示例输入相应内容:
    • 区域:显示当前所在区域
    • 名称:设置集群名称
    • 简介:可选项,备注相关信息
    • 虚拟化技术:选择KVM
    • CPU架构:选择x86_64
    • 网络加速支持:可选项,默认关闭,本场景选择开启
      说明: 网络加速支持仅可在创建集群时开启。
    • 网络配置
      • VDI网络:可选项,留空不填
      • 迁移网络:可选项,留空不填
    • 高级设置
      • 指定云主机CPU型号:可选项,使用默认设置
      • 物理机CPU型号设置:可选项,使用默认设置
    图 3所示:
    图 3. 创建集群


  7. 将两台管理节点添加至集群。

    ZStack Cloud主菜单,点击资源中心 > 硬件设施 > 计算设施 > 物理机,进入物理机界面。点击添加物理机,弹出添加物理机界面,选择手动添加方式。

    以添加管理节点1为例,可参考以下示例输入相应内容:
    • 名称:设置物理机名称
    • 简介:可选项,备注相关信息
    • 虚拟化技术:选择KVM
    • 标签:可选项,不设置
    • 集群:选择已创建好且开启网络加速支持的集群
    • 物理机信息:选择IP地址方式
      • IP地址:输入物理机IP,本场景输入管理节点1的IP:172.25.15.143
      • SSH端口:输入物理机SSH端口,默认为22
      • 用户名:输入物理机用户名,默认为root
      • 密码:输入用户名匹配的密码
    • 扫描物理机IOMMU设置:可选项,默认关闭,本场景选择开启
      说明: 在内核开启IOMMU支持后,需重启物理机生效。
    • Intel EPT硬件辅助:可选项,默认开启
    • 添加下一个:勾选,继续添加管理节点2
    图 4所示:
    图 4. 添加管理节点1


  8. 切割物理网卡。

    在物理机详情页点击关联资源 > 物理网卡,选择Mellanox CX-5型号的智能网卡,执行SR-IOV切割操作,将物理网卡切割成指定数量的虚拟网卡。

  9. 创建两个二层网络(网络加速模式分别为:智能网卡、标准),并加载到集群。
    1. 创建二层网络(网络加速模式为:智能网卡),并加载到集群。

      ZStack Cloud主菜单,点击资源中心 > 网络资源 > 二层网络资源 > 二层网络,进入二层网络界面。点击创建二层网络,弹出创建二层网络界面。

      可参考以下示例输入相应内容:
      • 区域:显示当前所在区域
      • 名称:设置二层网络名称
      • 简介:可选项,备注相关信息
      • 类型:选择L2VlanNetwork
      • 集群:可选项,选择已创建好且开启网络加速支持的集群
      • 网络加速模式:选择智能网卡
      • VLAN ID:输入VLAN ID,本场景输入:2334
      • 网卡名称:输入二层网络设备名称,本场景输入:enp179s0f1
      图 5所示:
      图 5. 创建二层网络 智能网卡


    2. 创建二层网络(网络加速模式为:标准),并加载到集群。
      可参考以下示例输入相应内容:
      • 区域:显示当前所在区域
      • 名称:设置二层网络名称
      • 简介:可选项,备注相关信息
      • 类型:选择L2VlanNetwork
      • 集群:可选项,选择已创建好且开启网络加速支持的集群
      • 网络加速模式:选择标准
      • VLAN ID:输入VLAN ID,本场景输入:2200
      • 网卡名称:输入二层网络设备名称,本场景输入:bond0
      图 6所示:
      图 6. 创建二层网络 标准


  10. 创建VPC路由器,并创建两个VPC子网。
    1. 创建VPC路由器。

      提前将已备好的专用VPC路由器镜像添加至云平台,并按照场景网络规划(如表 3所示)创建管理网络以及路由器规格。

      ZStack Cloud主菜单,点击资源中心 > 网络资源 > 路由器 > VPC路由器,进入VPC路由器界面,点击创建VPC路由器,弹出创建VPC路由器界面。

      可参考以下示例输入相应内容:
      • 名称:设置VPC路由器名称
      • 简介:可选项,备注相关信息
      • 路由器规格:选择已创建好的路由器规格
      • 集群:可选项,指定启动VPC路由器的物理机所在的集群
      • 集群分配策略:VPC路由器支持系统分配和手动指定两种存储分配策略:
        • 系统分配:系统根据预置策略分配主存储。
        • 手动指定:用户按需手动选择主存储。
          • 主存储:选择VPC路由器使用的主存储
      • 物理机:可选项,可指定物理机启动VPC路由器,本场景选择管理节点1
      • 指定默认IPv4:可选项,留空不填
      • 指定管理网IP:可选项,留空不填
      • DNS:可选项,留空不填
      • CPU绑定:可选项,不设置
      图 7所示:
      图 7. 创建VPC路由器


    2. 创建VPC子网-1。

      按照场景网络规划(如表 4所示),创建VPC子网-1。

      ZStack Cloud主菜单,点击资源中心 > 网络资源 > 三层网络资源 > VPC网络,进入VPC网络界面,点击创建VPC网络,弹出创建VPC网络界面。

      可参考以下示例输入相应内容:
      • 名称:设置VPC网络名称,本场景输入:VPC子网-1
      • 简介:可选项,备注相关信息
      • 二层网络:选择已创建好的二层网络(网络加速模式为:标准)
      • VPC路由器:可选项,选择已创建好的VPC路由器
      • 网络段方式:选择CIDR
        • CIDR:本场景输入:192.167.0.1/24
        • 网关:可选项,本场景输入:192.167.0.1
        • DHCP服务:可选项,默认开启
        • IP分配策略:可选项,本场景选择随机分配
        • DHCP服务IP:可选项,留空不填,系统随机分配
      • DNS:可选项,留空不填
      图 8所示:
      图 8. 创建VPC子网-1


    3. 创建VPC子网-2。

      按照场景网络规划(如表 5所示),创建VPC子网-2。

      可参考以下示例输入相应内容:
      • 名称:设置VPC网络名称,本场景输入:VPC子网-2
      • 简介:可选项,备注相关信息
      • 二层网络:选择已创建好的二层网络(网络加速模式为:智能网卡)
      • VPC路由器:可选项,选择已创建好的VPC路由器
      • 网络段方式:选择CIDR
        • CIDR:本场景输入:192.168.0.1/24
        • 网关:可选项,本场景输入:192.168.0.1
        • DHCP服务:可选项,默认开启
        • IP分配策略:可选项,本场景选择随机分配
        • DHCP服务IP:可选项,留空不填,系统随机分配
      • DNS:可选项,留空不填
      图 9所示:
      图 9. 创建VPC子网-2


  11. 创建两台业务云主机,每台均挂载两个VPC子网。

    ZStack Cloud主菜单,点击资源中心 > 云资源池 > 虚拟资源 > 云主机,进入云主机界面。点击创建云主机,弹出创建云主机界面,选择快捷创建方式。

    可参考以下示例输入相应内容:
    • 名称:设置云主机名称
    • 数量:本场景输入:2
    • 标签:可选项,不设置
    • 规格:选择基础规格
      • 计算规格:选择已有的计算规格
      • 镜像:选择已添加的云主机镜像
      • 数据云盘:可选项,默认不勾选
    • 网络配置
      • 网络:选择已创建好的VPC子网-1、VPC子网-2
      • 设置默认网络:设置VPC子网-2为默认网络
      • 启用SR-IOV:可选项,置灰,本场景不启用
      • 指定IP:可选项,默认不勾选,通过DHCP随机分配
      • MAC地址:可选项,默认不勾选,系统随机分配
      • 安全组:可选项,不设置
      • 弹性IP:可选项,不设置
    • User Data:可选项,不设置
    图 10所示:
    图 10. 创建云主机




  12. 场景验证:业务云主机vNIC类型网卡与vDPA类型网卡性能对比。
    本场景下,将使用iperf3网络测速工具,对两台业务云主机进行网络性能测试,并分别从带宽、丢包率、吞吐量三个指标来查看业务云主机的vNIC网卡与vDPA网卡的性能对比。
    1. 查看两台业务云主机的网卡信息。
      名称 网卡类型 IP地址
      业务云主机-1 vNIC 192.167.0.218
      vDPA 192.168.0.149
      业务云主机-2 vNIC 192.167.0.226
      vDPA 192.168.0.110
      图 11所示:
      图 11. 云主机网卡信息




    2. UDP小包性能测试(包大小:16 byte)

      假定业务云主机-1为客户端,业务云主机-2为服务端。

      测试分为以下两轮:
      1. 第一轮:UDP小包从业务云主机2(vNIC)发送至业务云主机1(vNIC),查看带宽、丢包率、吞吐量。
      2. 第二轮:UDP小包从业务云主机2(vDPA)发送至业务云主机1(vDPA),查看带宽、丢包率、吞吐量。
      # 安装iperf3,服务端与客户端均需安装 [root@localhost ~]# yum install iperf3  # 第一轮测试  # 在服务端执行以下命令 [root@localhost ~]# iperf3 -s  # 在客户端执行以下命令 [root@localhost ~]# iperf3 -u -l 16 -b 100m -t 30 -c 192.167.0.226 -i 1  # iperf3命令相关参数释义 # -s //以服务端模式运行  # -u //UDP模式 # -l //UDP包大小,单位:byte # -b //目标带宽,单位:bits/sec # -t //测试时长,单位:s # -c //以客户端模式运行,并指定服务端IP地址 # -i //回显时间间隔,单位:s  # 第一轮测试持续30秒结束  # 第二轮测试  # 在客户端执行以下命令 [root@localhost ~]# iperf3 -u -l 16 -b 100m -t 30 -c 192.168.0.110 -i 1  # 第二轮测试持续30秒结束
      测试结果:
      UDP小包测试 服务端 - 客户端 带宽(Mbits/sec) 丢包率(%) 吞吐量(pps)
      第一轮 业务云主机2(vNIC)- 业务云主机1(vNIC) 12.1 0.46 95144.3
      第二轮 业务云主机2(vDPA)- 业务云主机1(vDPA) 19.2 0.74 151418
      图 12所示:
      图 12. UDP小包 测试结果
      第一轮

      第二轮

    3. UDP大包性能测试(包大小:1460 byte)

      假定业务云主机-1为客户端,业务云主机-2为服务端。

      测试分为以下两轮:
      1. 第一轮:UDP大包从业务云主机2(vNIC)发送至业务云主机1(vNIC),查看带宽、丢包率、吞吐量。
      2. 第二轮:UDP大包从业务云主机2(vDPA)发送至业务云主机1(vDPA),查看带宽、丢包率、吞吐量。
      # 第一轮测试  # 在客户端执行以下命令,UDP包大小为默认值:1460 byte [root@localhost ~]# iperf3 -u -b 1G -t 30 -c 192.167.0.226 -i 1  # 第一轮测试持续30秒结束  # 第二轮测试  # 在客户端执行以下命令,UDP包大小为默认值:1460 byte [root@localhost ~]# iperf3 -u -b 1G -t 30 -c 192.168.0.110 -i 1  # 第二轮测试持续30秒结束
      测试结果:
      UDP大包测试 服务端 - 客户端 带宽(Mbits/sec) 丢包率(%) 吞吐量(pps)
      第一轮 业务云主机2(vNIC)- 业务云主机1(vNIC) 267 51 94735.1
      第二轮 业务云主机2(vDPA)- 业务云主机1(vDPA) 843 1.8 148343.5
      图 13所示:
      图 13. UDP大包 测试结果
      第一轮

      第二轮

至此,智能网卡场景实践介绍完毕。

历史版本

学习路径

ZStack Cloud 产品学习路径

快速梳理文档,点击相应文本链接,快速跳转到相应文档的页面,学习 ZStack Cloud 产品。

我知道了

升级提醒

若您选择升级至4.0.0及之后版本,请注意以下功能调整:

1. 云路由器全面升级为VPC路由器,云路由网络全面升级为VPC网络,不再单独设云路由器页面。升级全程无感知,相关业务不受任何影响。

2. 企业管理账号体系取代用户组与用户,不再单独设用户/用户组页面,不可再使用用户/用户组账号登录云平台。升级前,请先将“用户组与用户”纳管的账号数据妥善迁移至“企业管理”纳管,再执行升级操作。注意:对于admin创建并具备admin权限的用户账号同步取消,如有需要,可使用企业管理账号体系中的平台管理员实现相同功能。

3. 调整AD/LDAP与账户的对接管理方式,统一由企业管理纳管,不再单独设AD/LDAP页面。升级前,请先将“账户”对接纳管的AD/LDAP账号数据妥善迁移至“企业管理”纳管,再执行升级操作。

如对上述升级提醒有任何疑问或需要升级帮助,请联系ZStack官方技术支持

下载ZStack企业版

您已填写过基本信息?点击这里

姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

下载链接将会通过邮件形式发送至您的邮箱,请谨慎填写。

同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

下载ZStack企业版

还未填写过基本信息?点击这里

邮箱或手机号码格式错误
同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

验证手机号
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

登录观看培训视频
仅对注册用户开放,请 登录 观看培训视频

业务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

其他(漏洞提交、投诉举报等)

400-962-2212 转 3
ZStack认证培训咨询
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

业务咨询:

400-962-2212 转 1

ZStack学院:

training@zstack.io
申请ZStack多机版
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

业务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

其他(漏洞提交、投诉举报等)

400-962-2212 转 3
立即咨询
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

业务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

其他(漏洞提交、投诉举报等)

400-962-2212 转 3
培训认证合作伙伴申请
姓名应该不少于2个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
邮箱格式错误
城市名称不应该少于2个字符
公司名称不应该少于4个字符
职位名称不应该少于2个字符

同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

业务咨询:

400-962-2212 转 1

商务联系:

channel@zstack.io
ZStack&工信人才联合证书申请
已获得ZStack原厂证书
未获得ZStack原厂证书
请填写您的基本信息
姓名应该不少于2个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
邮箱格式错误
城市名称不应该少于2个字符
公司/学校名称不应该少于4个字符
证书类型
ZCCT
ZCCE
ZCCA
ZCPC-ISP
申请ZStack&工信人才联合证书须支付工本费,是否可以接受
同意 不同意

我已阅读并同意云轴科技 《法律声明》《隐私政策》用户管理规则及公约

业务咨询:

400-962-2212 转 1

商务联系:

channel@zstack.io

下载链接已发送至您的邮箱。

如未收到,请查看您的垃圾邮件、订阅邮件、广告邮件。 当您收到电子邮件后,请点击 URL 链接,以完成下载。

下载链接已发送至您的邮箱。

如未收到,请查看您的垃圾邮件、订阅邮件、广告邮件。
或点击下方URL链接 (IE内核浏览器请右键另存为), 完成下载:

感谢您使用 ZStack 产品和服务。

成功提交申请。

我们将安排工作人员尽快与您取得联系。

感谢您使用 ZStack 产品和服务。

信息提交成功。

我们将安排工作人员尽快与您取得联系,请保持电话畅通。

感谢您使用 ZStack 产品和服务。

预约沟通

联系我们

业务咨询
400-962-2212 转 1
售后咨询
400-962-2212 转 2
其他业务(漏洞提交、投诉举报等)
400-962-2212 转 3

联系我们

回到顶部

产品试用申请
请选择您要试用的产品
ZStack Cloud 企业版
ZStack Cloud 混合云版
ZStack Cloud 基础版
ZStack Cloud 标准版
请填写您的基本信息
姓名应该不少于两个字符
手机号格式错误
验证码填写错误 获取短信验证码 60 秒后可重发
公司名称不应该少于4个字符
邮箱格式错误

商务咨询:

400-962-2212 转 1

售后咨询:

400-962-2212 转 2

商务联系:

sales@zstack.io

成功提交申请。

我们将安排工作人员尽快与您取得联系。

感谢您使用 ZStack 产品和服务。