在 MLNX-OS 上配置带外管理

网络工程 管理 梅拉诺克斯 mlnx 操作系统
2022-02-17 22:44:42

我正在尝试在基于 MLNX-OS 的 Mellanox 交换机上设置带外管理

默认情况下,mgmt0-1 接口似乎与所有其他接口在同一个 VRF 中,我假设我必须创建一个新的 VRF 并将管理接口放入其中。

然而,我发现的这个 MLNX-OS 文档只有一小段关于 VRF 的内容,我无法弄清楚如何将 mgmt 接口设置为特定的 VRF。我想是通过如下声明:

   vrf definition management rd 10.12.15.73:0

但它不起作用,我不明白“rd”部分是如何工作的。

该交换机是具有 MLNX-OS 版本 3.6.3508 的 MSN2700。开关电流配置为:

##
## Running database "initial"
## Generated at 2009/10/25 02:22:29 +0000
## Hostname: SW2
##

##
## Running-config temporary prefix mode setting
##
no cli default prefix-modes enable

##
## Interface Split configuration
##
   interface ethernet 1/1 module-type qsfp-split-4 force
   interface ethernet 1/3 module-type qsfp-split-4 force
   interface ethernet 1/5 module-type qsfp-split-4 force
   interface ethernet 1/25 module-type qsfp-split-2 force
   interface ethernet 1/26 module-type qsfp-split-2 force

##
## Interface Ethernet configuration
##
   interface ethernet 1/1/1-1/1/4 speed 10000 force
   interface ethernet 1/3/1-1/3/4 speed 10000 force
   interface ethernet 1/5/1-1/5/4 speed 10000 force
   interface ethernet 1/17-1/18 speed 40000 force
   interface ethernet 1/32 speed 10000 force
   interface ethernet 1/1/1-1/1/4 mtu 9000 force
   interface ethernet 1/3/1-1/3/4 mtu 9000 force
   interface ethernet 1/5/1-1/5/4 mtu 9000 force
   interface ethernet 1/17-1/18 mtu 9000 force
   interface ethernet 1/25/1-1/25/2 mtu 9000 force
   interface ethernet 1/26/1-1/26/2 mtu 9000 force
   interface ethernet 1/17 switchport mode trunk
   interface ethernet 1/18 switchport mode trunk
   interface ethernet 1/25/1 switchport mode trunk
   interface ethernet 1/25/2 switchport mode trunk
   interface ethernet 1/26/1 switchport mode trunk
   interface ethernet 1/26/2 switchport mode trunk
   interface ethernet 1/32 description Uplink

##
## LAG configuration
##
   lacp

##
## VLAN configuration
##
   vlan 1047
   vlan 2014-2015
   vlan 3012
   vlan 1047 name "VDI-Client"
   vlan 2014 name "STOR1"
   vlan 2015 name "STOR2"
   vlan 3012 name "VMNet"
   interface ethernet 1/25/1 switchport trunk allowed-vlan none
   interface ethernet 1/25/2 switchport trunk allowed-vlan none
   interface ethernet 1/26/1 switchport trunk allowed-vlan none
   interface ethernet 1/26/2 switchport trunk allowed-vlan none
   interface ethernet 1/1/1 switchport access vlan 2014
   interface ethernet 1/1/2 switchport access vlan 2014
   interface ethernet 1/1/3 switchport access vlan 3012
   interface ethernet 1/1/4 switchport access vlan 3012
   interface ethernet 1/3/1 switchport access vlan 2015
   interface ethernet 1/3/2 switchport access vlan 2015
   interface ethernet 1/3/3 switchport access vlan 2015
   interface ethernet 1/3/4 switchport access vlan 2015
   interface ethernet 1/5/1 switchport access vlan 2014
   interface ethernet 1/5/2 switchport access vlan 2015
   interface ethernet 1/5/3 switchport access vlan 2014
   interface ethernet 1/5/4 switchport access vlan 2015
   interface ethernet 1/25/1 switchport trunk allowed-vlan add 1047
   interface ethernet 1/25/1 switchport trunk allowed-vlan add 2014-2015
   interface ethernet 1/25/1 switchport trunk allowed-vlan add 3012
   interface ethernet 1/25/1 switchport trunk allowed-vlan remove 1
   interface ethernet 1/25/2 switchport trunk allowed-vlan add 1047
   interface ethernet 1/25/2 switchport trunk allowed-vlan add 2014-2015
   interface ethernet 1/25/2 switchport trunk allowed-vlan add 3012
   interface ethernet 1/25/2 switchport trunk allowed-vlan remove 1
   interface ethernet 1/26/1 switchport trunk allowed-vlan add 1047
   interface ethernet 1/26/1 switchport trunk allowed-vlan add 2014-2015
   interface ethernet 1/26/1 switchport trunk allowed-vlan add 3012
   interface ethernet 1/26/1 switchport trunk allowed-vlan remove 1
   interface ethernet 1/26/2 switchport trunk allowed-vlan add 1047
   interface ethernet 1/26/2 switchport trunk allowed-vlan add 2014-2015
   interface ethernet 1/26/2 switchport trunk allowed-vlan add 3012
   interface ethernet 1/26/2 switchport trunk allowed-vlan remove 1

##
## L3 configuration
##
   vrf definition management
   vrf definition management rd 10.12.15.73:0
   ip routing vrf default
   interface vlan 1
   interface vlan 10
   interface vlan 1047
   interface vlan 3012
   interface vlan 1 ip address 10.12.99.43 255.255.255.248
   interface vlan 1047 ip address 10.11.47.254 255.255.255.0
   interface vlan 3012 ip address 10.10.47.254 255.255.255.0
   ip route 10.0.0.0 /8 10.12.99.41

##
## DHCP relay configuration
##
   ip dhcp relay instance 1 vrf default
   ip dhcp relay instance 1 address 10.10.47.1
   ip dhcp relay instance 1 address 10.10.47.2
   interface vlan 1047 ip dhcp relay instance 1
   interface vlan 3012 ip dhcp relay instance 1

##
## Network interface configuration
##
no interface mgmt0 dhcp
   interface mgmt0 ip address 10.12.15.73 /24

##
## Other IP configuration
##
   ip route 0.0.0.0 0.0.0.0 10.12.15.254
   hostname SW2
   ip domain-list mydomain.tld
   ip name-server xxx.xxx.xxx.xxx

##
## Other IPv6 configuration
##
no ipv6 enable

##
## Local user account configuration
##
   <stripped>

##
## AAA remote server configuration
##
<stripped>

##
## SNMP configuration
##
 <stripped>

##
## Network management configuration
##
# web proxy auth basic password ********

##
## X.509 certificates configuration
##
#
# Certificate name system-self-signed, ID *****************
# (public-cert config omitted since private-key config is hidden)

##
## Persistent prefix mode setting
##
cli default prefix-modes enable

那么在 MLNX-OS 上配置 OOB 管理的正确方法是什么?
是通过 VRF 吗?
如果是这样,我如何将 mgmt0 分配给特定的 VRF 实例?

编辑:用 Mellanox 打开了一个案例,他们确认默认情况下管理接口在默认 VRF 中(因此不是 OOB),我必须将它们放在单独的 VRF 中。还是得跟他们弄清楚怎么做。

4个回答

我联系了 Mellanox 客户支持,遇到了同样的问题。有一个命令可以为管理界面创建专用 VRF。这很容易做到 - 从 CLI,只需运行命令

vrf definition mgmt

有关Mellanox 文档,请参见此处

默认情况下,mgmt0-1 接口似乎与所有其他接口在同一个 VRF 中......

我没有在提供的文档中看到它。据此,Mellanox 上的 OOB 管理设置似乎很简单。

我们需要在 mgmt0(或 mgmt1)上配置一个 IP 地址并将其放入 OOB 管理网络。没有理由将它放在 VRF 实例中。本文档将为您提供更多信息。

更新的答案:

看来你误解了这里的重点。

OBB 管理流量应通过 L2 网络/网段到达管理接口,而不是通过设备本身路由。

在此处输入图像描述

我刚刚推出了其中的 2 个,我部署的方式是利用 OOB 物理接口,它连接到管理平面,根据许多制造商的说法,这个接口在板级上与数据平面隔离,这给了你总隔离。我已经设置了一个带有专用管理交换机的管理网络,其中所有生产交换机都通过自己的管理接口连接到它。我发现这个解决方案最适合我们的 DC。

欢迎对设计提出意见和建议。

在与 Mellanox 支持工程师就另一个问题进行故障排除会话后,他们确认将管理接口与路由平面隔离的唯一方法是将其单独留在默认 VRF 中,并将所有其他配置放在单独的 VRF 中。

管理界面不能放入另一个 VRF。当前版本的 Onyx OS (3.9.0612) 除了默认的一个之外还允许 6 个 VRF。

Mellanox 意识到了这个问题,他们对此有很多抱怨,应该在未来的版本中解决。