这是我注意到的非常奇怪的问题。在我们的数据中心,机架中的每个交换机都配置了 cisco vPC,整个数据中心运行 vPC,因此在任何时间段都没有生成树的循环。
但是我注意到一个我之前忽略的问题,当我将全新的 TOR 交换机插入机架并连接到配电交换机时,一旦我启动 vPC,它就会像镜像流量一样在网络中泛滥流量。
我在其中一个节点上设置了 tcpdump 并在控制台上观看实时数据包流,一旦我配置了 vPC,我就注意到屏幕上的泛滥非常高,简而言之,我可以看到该主机 tcpdump 命令上的每个主机流量。就像每台机器向该主机发送流量一样,它在任何地方都发生,而不仅仅是单个主机(泛滥的持续时间不到 10 秒)。
你们怎么看待这种行为,是正常的还是我应该深入?
更新 - 1
- 我们有非常基本的 vPC 配置(我们没有使用 FEX)
- TOR 交换机为 N3K,配电交换机为 N9K
[配电开关]
专有网络配置
vpc domain 4
peer-switch
role priority 10
peer-keepalive destination 10.10.10.2 source 10.10.10.1
auto-recovery
ip arp synchronize
VPC 对等链路端口通道
interface port-channel999
description *** vPC Peer-Link ***
switchport mode trunk
switchport trunk allowed vlan 10-11,20-21,28-31,40,50,100,200
spanning-tree port type network
speed 40000
no negotiate auto
vpc peer-link
连接到 TOR 交换机的链路
interface port-channel403
switchport mode trunk
switchport trunk allowed vlan 10-11,20-21,28-31,40,50,100,200
speed 40000
mtu 9216
no negotiate auto
vpc 403
[ TOR 开关 ]
vpc domain 403
role priority 10
peer-keepalive destination 172.29.30.11 source 172.29.30.10
auto-recovery
vPC 对等链路端口
interface port-channel999
description *** vPC Peer-Link ***
switchport mode trunk
switchport trunk allowed vlan 10-11,20-21,28-31,40,50,100,200
spanning-tree port type network
speed 40000
vpc peer-link
中继连接到分布交换机
interface port-channel3
switchport mode trunk
switchport trunk allowed vlan 10-11,20-21,28-31,40,50,100,200
speed 40000
vpc 3
编辑 - 1
我有两种类型的服务器,有些服务器配置了 vPC 的绑定,有些服务器没有配置绑定,我可以告诉你我看到这些服务器上的这种行为没有配置绑定。
上图中服务器有两个网卡,
nic1
配置 VLAN 标记以运行多个 VLANnic2
为 SR-IOV 配置(此服务器是 openstack 计算节点)
我看到大量流量涌来,nic1
但没有nic2
更新 - 2
我们在数据中心有 48 个机架,每个机架有两个上面描述的 TOR 交换机,我们有两个主机配置。
- 绑定主机(这些主机是普通的应用程序主机) - ** 不是 ** 获取
etherror
- 非绑定主机(使用 SR-IOV 的 openstack 计算节点,因为 SR-IOV 不支持绑定) - 获取
Etherror
我在openstack
计算节点位于机架中的任何地方都看到了这个错误,所以它无处不在,而不是特定的机架或主机,感觉就像当时 openstack 主机看到所有流量来到它们一样......就像你向主机发送不需要的流量一样。
很明显,这仅发生在非绑定服务器orphen
端口上,因为其他具有绑定配置的主机没有看到这种洪水。
更新 - 3
分布(连接到核心的一个是所有 VLAN 的 ROOT 网桥)
显示生成树 vlan 200
VLAN0200
Spanning tree enabled protocol rstp
Root ID Priority 32968
Address 0023.04ee.be01
This bridge is the root
Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec
Bridge ID Priority 32968 (priority 32768 sys-id-ext 200)
Address 0023.04ee.be01
Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec
Interface Role Sts Cost Prio.Nbr Type
---------------- ---- --- --------- -------- --------------------------------
Po23 Desg FWD 1 128.4118 (vPC) P2p
Po24 Desg FWD 1 128.4119 (vPC) P2p
TOR 开关 (N3K)
VLAN0200
Spanning tree enabled protocol rstp
Root ID Priority 32968
Address 0023.04ee.be01
Cost 2
Port 4110 (port-channel15)
Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec
Bridge ID Priority 32968 (priority 32768 sys-id-ext 200)
Address 0023.04ee.be73
Hello Time 2 sec Max Age 20 sec Forward Delay 15 sec
Interface Role Sts Cost Prio.Nbr Type
---------------- ---- --- --------- -------- --------------------------------
Po15 Root FWD 1 128.4110 (vPC) P2p
Po131 Desg FWD 1 128.4226 (vPC) Edge P2p
Po136 Desg FWD 1 128.4231 (vPC) Edge P2p
Po999 Desg FWD 1 128.5094 (vPC peer-link) Network P2p
Eth1/12 Desg FWD 2 128.12 Edge P2p
Eth1/13 Desg FWD 2 128.13 Edge P2p
N3K vPC 连接到服务器
interface port-channel129
switchport mode trunk
switchport trunk native vlan 40
switchport trunk allowed vlan 10-11,20-21,28-31,40,50,100,200
spanning-tree port type edge trunk
spanning-tree bpduguard enable
speed 10000
vpc 129
我在交换机端保留了 vPC 配置,但没有在服务器端配置绑定,所以简而言之,在交换机上显示 vPC 已关闭并且绑定已关闭,原因我没有这样做,因为我想如果明天我需要绑定我不不需要重新配置开关..