Правила Flow Offloading в nftables #951

Betonmischer86 · 2024-12-16T08:24:09Z

Betonmischer86
Dec 16, 2024

Поясните, пожалуйста, насчет правил, которые Zapret создает в OpenWrt. Возможно, я что-то путаю.

Вот здесь разве не должен быть указан порт WAN среди прочих devices для оффлоада возвратного трафика? У меня это eth2. В одноименном разделе таблицы fw4 до установки Запрета он присутствует, а Запрет его убрал. Прим.: у меня такое дерево устройств на роутере, что девайс под названием wan — это просто порт коммутатора наряду с lan1,2,3 и в моем случае для аплинка не используется.

table inet zapret {

	flowtable ft {
		hook ingress priority filter - 1
		devices = { eth1, lan1, lan2, lan3, phy0.0-ap0, phy0.1-ap0, wan }
		flags offload
	}

Почему согласно комменту в счетчике должно быть мало трафика, если оффлоадинг работает? Казалось бы, львиная доля должна попасть во flowtable ft (что и происходит).

	chain flow_offload {
		tcp dport { 80, 443 } ct original packets 1-9 ip daddr != @nozapret return comment "direct flow offloading exemption"
		udp dport 443 ct original packets 1-9 ip daddr != @nozapret return comment "direct flow offloading exemption"
		meta l4proto { tcp, udp } flow add @ft
		meta l4proto { tcp, udp } counter packets 354837 bytes 403739871 comment "if offload works here must not be too much traffic"
	}

bol-van · 2024-12-16T08:42:06Z

bol-van
Dec 16, 2024
Maintainer

Грузаните для начала канал и посмотрите загрузку проца. Должно быть около 0 на хардваре.
Для хардваре оффлоада внутри flotwable нужны порты свитча, а не целый свитч
Мало трафика должно быть, потому что львиная доля не процессится netfilter , а в случае хардваре вообще не процессится ядром

5 replies

Betonmischer86 Dec 16, 2024
Author

Оффлоад работает и именно хардваре: загрузка ядер в пределах 3 % на гигабитном канале под полной загрузкой на вход или выход. Без хардваре проценты были на порядок выше, вообще без оффлоада еще х2. Спрашиваю исключительно для понимания того, что происходит.

Про счетчик понял, спасибо. Осталось понять, почему Запрет убрал eth2 (это мой аплинк) из devices, а оффлоад работает. Цитирую https://wiki.nftables.org:

The devices are specified as iifname(s) of the input interface(s) of the traffic that should be offloaded. Devices are required for both traffic directions.

bol-van Dec 16, 2024
Maintainer

Оффлоад выполняется свитчом.
Порты свитча в архитектуре DSA видятся как отдельные устройства.
Обычно wan,lan1,lan2,lan3,......
Но это все 1 и тот же свитч.
Если eth2 это какой-то модем, то не будет на нем работать хардваре оффлоад

Опишите структуру интерфейсов и ifconfig сбросьте

Betonmischer86 Dec 16, 2024
Author

Это одноплатный компьютер Banana Pi BPI-R4.

На одном GMAC процессора сидит свитч с внешними портами wan, lan1, lan2, lan3 и внутренним портом eth0.
Два двух других GMAC — корзины SFP (устройства eth1 и eth2).

Интерфейс br-lan: порты wan, lan1, lan2, lan3 и eth1

Интерфейсы wan и wan6: порт eth2

root@router:~# ls -l /sys/class/net (лишнее убрал)

eth0 -> ../../devices/platform/soc/15100000.ethernet/net/eth0			
eth1 -> ../../devices/platform/soc/15100000.ethernet/net/eth1
eth2 -> ../../devices/platform/soc/15100000.ethernet/net/eth2
lan1 -> ../../devices/platform/soc/15020000.switch/net/lan1
lan2 -> ../../devices/platform/soc/15020000.switch/net/lan2
lan3 -> ../../devices/platform/soc/15020000.switch/net/lan3
wan -> ../../devices/platform/soc/15020000.switch/net/wan

root@router:~# ifconfig (лишнее убрал)

br-lan    Link encap:Ethernet  HWaddr ******************  
          inet addr:192.168.1.1  Bcast:192.168.1.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2416994 errors:0 dropped:0 overruns:0 frame:0
          TX packets:6508776 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:2582623978 (2.4 GiB)  TX bytes:7501903152 (6.9 GiB)

eth0      Link encap:Ethernet  HWaddr ******************  
          UP BROADCAST RUNNING MULTICAST  MTU:1504  Metric:1
          RX packets:52043644 errors:0 dropped:0 overruns:0 frame:0
          TX packets:62402369 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:40157751355 (37.3 GiB)  TX bytes:82292780033 (76.6 GiB)
          Interrupt:106 

eth1      Link encap:Ethernet  HWaddr ******************  
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
          Interrupt:106 

eth2      Link encap:Ethernet  HWaddr ******************
          inet addr:************  Bcast:************  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:54178648 errors:0 dropped:17851 overruns:0 frame:0
          TX packets:36545255 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:74334296252 (69.2 GiB)  TX bytes:22487707206 (20.9 GiB)
          Interrupt:106 

lan1      Link encap:Ethernet  HWaddr ******************  
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:291033 errors:0 dropped:19 overruns:0 frame:0
          TX packets:418020 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:165904333 (158.2 MiB)  TX bytes:186010665 (177.3 MiB)

lan2      Link encap:Ethernet  HWaddr ******************  
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:4085908 errors:0 dropped:19 overruns:0 frame:0
          TX packets:3277382 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:3790866809 (3.5 GiB)  TX bytes:3740673225 (3.4 GiB)

lan3      Link encap:Ethernet  HWaddr ******************  
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:16574603 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12779935 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:18263607822 (17.0 GiB)  TX bytes:12978417799 (12.0 GiB)

wan       Link encap:Ethernet  HWaddr ******************  
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

bol-van Dec 16, 2024
Maintainer

А что у вас в
/etc/init.d/zapret list_ifsets
?

Код заполнения flowtable :

nft_fill_ifsets_overload()
{
	local ifaces DLAN DWAN DWAN6 PDLAN PDWAN PDWAN6

	call_for_multiple_items network_get_device DLAN "$OPENWRT_LAN"
	call_for_multiple_items network_get_physdev PDLAN "$OPENWRT_LAN"

	network_find_wan4_all ifaces
	call_for_multiple_items network_get_device DWAN "$ifaces"
	call_for_multiple_items network_get_physdev PDWAN "$ifaces"

	network_find_wan6_all ifaces
	call_for_multiple_items network_get_device DWAN6 "$ifaces"
	call_for_multiple_items network_get_physdev PDWAN6 "$ifaces"

	nft_fill_ifsets "$DLAN" "$DWAN" "$DWAN6" "$PDLAN" "$PDWAN" "$PDWAN6"
}

Здесь берутся netifd интерфейсы из OPENWRT_LAN и OPENWRT_WAN, к ним добавляются все интерфейсы с default route ipv4 и ipv6. netifd интерфейсы ресолвятся в девайсы linux, дальше направляются в nft_fill_ifsets
Там их пытаются засунуть в flowtable.
Сначала как есть. Если ошибка - пытаемся заресолвить bridge members и засунуть каждый из них.

			ALLDEVS=$(unique $1 $2 $3 $4 $5 $6)
			# first create unbound flowtable. may cause error in older nft version
			nft_create_or_update_flowtable 'offload' 2>/dev/null
			# then add elements. some of them can cause error because unsupported
			for i in $ALLDEVS; do
				if nft_hw_offload_supported $i; then
					nft_create_or_update_flowtable 'offload' $i
				else
					# bridge members must be added instead of the bridge itself
					# some members may not support hw offload. example : lan1 lan2 lan3 support, wlan0 wlan1 - not
					devs=$(resolve_lower_devices $i)
					for j in $devs; do
						# do not display error if addition failed
						nft_create_or_update_flowtable 'offload' $j 2>/dev/null
					done
				fi
			done
			;;

Betonmischer86 Dec 16, 2024
Author

root@router:~# /etc/init.d/zapret list_ifsets
table inet zapret {
	set lanif {
		type ifname
		elements = { "br-lan" }
	}
}
table inet zapret {
	set wanif {
		type ifname
		elements = { "eth2" }
	}
}
table inet zapret {
	set wanif6 {
		type ifname
	}
}
table inet zapret {
	map link_local {
		type ifname : ipv6_addr
	}
}
table inet zapret {
	flowtable ft {
		hook ingress priority filter - 1
		devices = { eth1, lan1, lan2, lan3, phy0.0-ap0, phy0.1-ap0, wan }
		flags offload
	}
}

Default route, разумеется, присутствует.

bol-van · 2024-12-16T14:35:46Z

bol-van
Dec 16, 2024
Maintainer

А так ?

nft list flowtable inet zapret ft
nft add flowtable inet zapret ft "{ hook ingress priority -1; flags offload; devices={eth2}; }"
nft list flowtable inet zapret ft

В OPENWRT_WAN4 и OPENWRT_WAN6 что-то написано свое ?

8 replies

bol-van Dec 16, 2024
Maintainer

Это немного не так работает.
Если хоть раз оно попадет в flowtable, то механизм offload окончательно пропишется к этому соединению.
oifname сделано специально, чтобы не городить еще и reverse offloading rules на входящие.
По исходящим оно решает когда запускать offload.

Перед offload помещаются exemption rules для работы zapret. Все, что под них не попадает, сразу же запускает механизм offload. Не принципиально запустит offload SYN или SYN,ACK. Ему все равно.

Betonmischer86 Dec 16, 2024
Author

Если хоть раз оно попадет в flowtable, то механизм offload окончательно пропишется к этому соединению.

ОК, про возвратный трафик усвоил. А как быть с форвардом между локальными подсетями? К примеру, у меня есть подсети 192.168.1.0/24 и 192.168.2.0/24 на одном свитче роутера. Под exemptions пакет не подпадает, но и в chain flow_offload из chain forward не направится.

bol-van Dec 17, 2024
Maintainer

Там же свитч. Трафик не попадает в ядро ни при каких обстоятельствах.
Устройства свитча в linux виртуальны, это не значит, что все процессит ядро или управляет трафиком.
Ядро обычно имеет доступ к отдельному порту свитча, а внутренний перекид между портами настраивается через VLANы

Betonmischer86 Dec 17, 2024
Author

Я провел эксперимент без vLAN'ов. Убрал порт свитча lan2 из br-lan, сделал на нем свой интерфейс 192.168.2.0/24 и прогнал iperf3 с 192.168.1.0/24 (Wi-Fi). Потом добавил правило nft add rule inet zapret forward oifname "lan2" jump flow_offload, и загрузка ядер упала на ~25%.

Betonmischer86 Dec 17, 2024
Author

Перепроверил в проводной сети. Если ввести правило nft add rule inet zapret forward oifname "lan2" jump, нагрузка на ядра при форварде между 192.168.1.0/24 и 192.168.2.0/24 около нуля. Если убрать, то десятки процентов.

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Правила Flow Offloading в nftables #951

{{title}}

Replies: 2 comments 13 replies

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

Select a reply

Правила Flow Offloading в nftables #951

Betonmischer86 Dec 16, 2024

Replies: 2 comments · 13 replies

bol-van Dec 16, 2024 Maintainer

Betonmischer86 Dec 16, 2024 Author

bol-van Dec 16, 2024 Maintainer

Betonmischer86 Dec 16, 2024 Author

bol-van Dec 16, 2024 Maintainer

Betonmischer86 Dec 16, 2024 Author

bol-van Dec 16, 2024 Maintainer

bol-van Dec 16, 2024 Maintainer

Betonmischer86 Dec 16, 2024 Author

bol-van Dec 17, 2024 Maintainer

Betonmischer86 Dec 17, 2024 Author

Betonmischer86 Dec 17, 2024 Author

Betonmischer86
Dec 16, 2024

Replies: 2 comments 13 replies

bol-van
Dec 16, 2024
Maintainer

Betonmischer86 Dec 16, 2024
Author

bol-van Dec 16, 2024
Maintainer

Betonmischer86 Dec 16, 2024
Author

bol-van Dec 16, 2024
Maintainer

Betonmischer86 Dec 16, 2024
Author

bol-van
Dec 16, 2024
Maintainer

bol-van Dec 16, 2024
Maintainer

Betonmischer86 Dec 16, 2024
Author

bol-van Dec 17, 2024
Maintainer

Betonmischer86 Dec 17, 2024
Author

Betonmischer86 Dec 17, 2024
Author