Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2020 Intel Corporation
3 : : */
4 : :
5 : : #include <sys/queue.h>
6 : : #include <stdio.h>
7 : : #include <errno.h>
8 : : #include <stdint.h>
9 : : #include <string.h>
10 : : #include <unistd.h>
11 : : #include <stdarg.h>
12 : :
13 : : #include <rte_debug.h>
14 : : #include <rte_ether.h>
15 : : #include <ethdev_driver.h>
16 : : #include <rte_log.h>
17 : : #include <rte_malloc.h>
18 : : #include <rte_eth_ctrl.h>
19 : : #include <rte_tailq.h>
20 : : #include <rte_flow_driver.h>
21 : :
22 : : #include "iavf_log.h"
23 : : #include "iavf.h"
24 : : #include "iavf_generic_flow.h"
25 : :
26 : : #define IAVF_PHINT_NONE 0
27 : : #define IAVF_PHINT_GTPU BIT_ULL(0)
28 : : #define IAVF_PHINT_GTPU_EH BIT_ULL(1)
29 : : #define IAVF_PHINT_GTPU_EH_DWN BIT_ULL(2)
30 : : #define IAVF_PHINT_GTPU_EH_UP BIT_ULL(3)
31 : : #define IAVF_PHINT_OUTER_IPV4 BIT_ULL(4)
32 : : #define IAVF_PHINT_OUTER_IPV6 BIT_ULL(5)
33 : : #define IAVF_PHINT_GRE BIT_ULL(6)
34 : : /* the second IP header of GTPoGRE */
35 : : #define IAVF_PHINT_MID_IPV4 BIT_ULL(7)
36 : : #define IAVF_PHINT_MID_IPV6 BIT_ULL(8)
37 : : /* L2TPv2 */
38 : : #define IAVF_PHINT_L2TPV2 BIT_ULL(9)
39 : : #define IAVF_PHINT_L2TPV2_LEN BIT_ULL(10)
40 : : /* Raw */
41 : : #define IAVF_PHINT_RAW BIT_ULL(11)
42 : :
43 : : #define IAVF_PHINT_GTPU_MSK (IAVF_PHINT_GTPU | \
44 : : IAVF_PHINT_GTPU_EH | \
45 : : IAVF_PHINT_GTPU_EH_DWN | \
46 : : IAVF_PHINT_GTPU_EH_UP)
47 : :
48 : : #define IAVF_PHINT_LAYERS_MSK (IAVF_PHINT_OUTER_IPV4 | \
49 : : IAVF_PHINT_OUTER_IPV6)
50 : :
51 : : #define IAVF_GTPU_EH_DWNLINK 0
52 : : #define IAVF_GTPU_EH_UPLINK 1
53 : :
54 : : struct iavf_hash_match_type {
55 : : uint64_t hash_type;
56 : : struct virtchnl_proto_hdrs *proto_hdrs;
57 : : uint64_t pattern_hint;
58 : : };
59 : :
60 : : struct iavf_rss_meta {
61 : : struct virtchnl_proto_hdrs proto_hdrs;
62 : : enum virtchnl_rss_algorithm rss_algorithm;
63 : : bool raw_ena;
64 : : };
65 : :
66 : : struct iavf_hash_flow_cfg {
67 : : struct virtchnl_rss_cfg *rss_cfg;
68 : : bool simple_xor;
69 : : };
70 : :
71 : : static int
72 : : iavf_hash_init(struct iavf_adapter *ad);
73 : : static int
74 : : iavf_hash_create(struct iavf_adapter *ad, struct rte_flow *flow, void *meta,
75 : : struct rte_flow_error *error);
76 : : static int
77 : : iavf_hash_destroy(struct iavf_adapter *ad, struct rte_flow *flow,
78 : : struct rte_flow_error *error);
79 : : static void
80 : : iavf_hash_uninit_parser(struct iavf_adapter *ad);
81 : : static void
82 : : iavf_hash_free(struct rte_flow *flow);
83 : : static int
84 : : iavf_hash_parse_pattern_action(struct iavf_adapter *ad,
85 : : struct iavf_pattern_match_item *array,
86 : : uint32_t array_len,
87 : : const struct rte_flow_item pattern[],
88 : : const struct rte_flow_action actions[],
89 : : uint32_t priority,
90 : : void **meta,
91 : : struct rte_flow_error *error);
92 : :
93 : : #define FIELD_SELECTOR(proto_hdr_field) \
94 : : (1UL << ((proto_hdr_field) & PROTO_HDR_FIELD_MASK))
95 : : #define BUFF_NOUSED 0
96 : :
97 : : #define proto_hdr_eth { \
98 : : VIRTCHNL_PROTO_HDR_ETH, \
99 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_ETH_SRC) | \
100 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_ETH_DST), {BUFF_NOUSED} }
101 : :
102 : : #define proto_hdr_svlan { \
103 : : VIRTCHNL_PROTO_HDR_S_VLAN, \
104 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_S_VLAN_ID), {BUFF_NOUSED} }
105 : :
106 : : #define proto_hdr_cvlan { \
107 : : VIRTCHNL_PROTO_HDR_C_VLAN, \
108 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_C_VLAN_ID), {BUFF_NOUSED} }
109 : :
110 : : #define proto_hdr_ipv4 { \
111 : : VIRTCHNL_PROTO_HDR_IPV4, \
112 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV4_SRC) | \
113 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV4_DST), {BUFF_NOUSED} }
114 : :
115 : : #define proto_hdr_ipv4_with_prot { \
116 : : VIRTCHNL_PROTO_HDR_IPV4, \
117 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV4_SRC) | \
118 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV4_DST) | \
119 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV4_PROT), {BUFF_NOUSED} }
120 : :
121 : : #define proto_hdr_ipv6 { \
122 : : VIRTCHNL_PROTO_HDR_IPV6, \
123 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV6_SRC) | \
124 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV6_DST), {BUFF_NOUSED} }
125 : :
126 : : #define proto_hdr_ipv6_frag { \
127 : : VIRTCHNL_PROTO_HDR_IPV6_EH_FRAG, \
128 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV6_EH_FRAG_PKID), {BUFF_NOUSED} }
129 : :
130 : : #define proto_hdr_ipv6_with_prot { \
131 : : VIRTCHNL_PROTO_HDR_IPV6, \
132 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV6_SRC) | \
133 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV6_DST) | \
134 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_IPV6_PROT), {BUFF_NOUSED} }
135 : :
136 : : #define proto_hdr_udp { \
137 : : VIRTCHNL_PROTO_HDR_UDP, \
138 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_UDP_SRC_PORT) | \
139 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_UDP_DST_PORT), {BUFF_NOUSED} }
140 : :
141 : : #define proto_hdr_tcp { \
142 : : VIRTCHNL_PROTO_HDR_TCP, \
143 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_TCP_SRC_PORT) | \
144 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_TCP_DST_PORT), {BUFF_NOUSED} }
145 : :
146 : : #define proto_hdr_sctp { \
147 : : VIRTCHNL_PROTO_HDR_SCTP, \
148 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_SCTP_SRC_PORT) | \
149 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_SCTP_DST_PORT), {BUFF_NOUSED} }
150 : :
151 : : #define proto_hdr_esp { \
152 : : VIRTCHNL_PROTO_HDR_ESP, \
153 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_ESP_SPI), {BUFF_NOUSED} }
154 : :
155 : : #define proto_hdr_ah { \
156 : : VIRTCHNL_PROTO_HDR_AH, \
157 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_AH_SPI), {BUFF_NOUSED} }
158 : :
159 : : #define proto_hdr_l2tpv3 { \
160 : : VIRTCHNL_PROTO_HDR_L2TPV3, \
161 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_L2TPV3_SESS_ID), {BUFF_NOUSED} }
162 : :
163 : : #define proto_hdr_pfcp { \
164 : : VIRTCHNL_PROTO_HDR_PFCP, \
165 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_PFCP_SEID), {BUFF_NOUSED} }
166 : :
167 : : #define proto_hdr_gtpc { \
168 : : VIRTCHNL_PROTO_HDR_GTPC, 0, {BUFF_NOUSED} }
169 : :
170 : : #define proto_hdr_ecpri { \
171 : : VIRTCHNL_PROTO_HDR_ECPRI, \
172 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_ECPRI_PC_RTC_ID), {BUFF_NOUSED} }
173 : :
174 : : #define proto_hdr_l2tpv2 { \
175 : : VIRTCHNL_PROTO_HDR_L2TPV2, \
176 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_L2TPV2_SESS_ID) | \
177 : : FIELD_SELECTOR(VIRTCHNL_PROTO_HDR_L2TPV2_LEN_SESS_ID), {BUFF_NOUSED} }
178 : :
179 : : #define proto_hdr_ppp { \
180 : : VIRTCHNL_PROTO_HDR_PPP, 0, {BUFF_NOUSED} }
181 : :
182 : : #define TUNNEL_LEVEL_OUTER 0
183 : : #define TUNNEL_LEVEL_INNER 1
184 : :
185 : : /* proto_hdrs template */
186 : : struct virtchnl_proto_hdrs outer_ipv4_tmplt = {
187 : : TUNNEL_LEVEL_OUTER, 4,
188 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan, proto_hdr_ipv4}}
189 : : };
190 : :
191 : : struct virtchnl_proto_hdrs outer_ipv4_udp_tmplt = {
192 : : TUNNEL_LEVEL_OUTER, 5,
193 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan,
194 : : proto_hdr_ipv4_with_prot,
195 : : proto_hdr_udp}}
196 : : };
197 : :
198 : : struct virtchnl_proto_hdrs outer_ipv4_tcp_tmplt = {
199 : : TUNNEL_LEVEL_OUTER, 5,
200 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan,
201 : : proto_hdr_ipv4_with_prot,
202 : : proto_hdr_tcp}}
203 : : };
204 : :
205 : : struct virtchnl_proto_hdrs outer_ipv4_sctp_tmplt = {
206 : : TUNNEL_LEVEL_OUTER, 5,
207 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan, proto_hdr_ipv4,
208 : : proto_hdr_sctp}}
209 : : };
210 : :
211 : : struct virtchnl_proto_hdrs outer_ipv6_tmplt = {
212 : : TUNNEL_LEVEL_OUTER, 4,
213 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan, proto_hdr_ipv6}}
214 : : };
215 : :
216 : : struct virtchnl_proto_hdrs outer_ipv6_frag_tmplt = {
217 : : TUNNEL_LEVEL_OUTER, 5,
218 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan,
219 : : proto_hdr_ipv6, proto_hdr_ipv6_frag}}
220 : : };
221 : :
222 : : struct virtchnl_proto_hdrs outer_ipv6_udp_tmplt = {
223 : : TUNNEL_LEVEL_OUTER, 5,
224 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan,
225 : : proto_hdr_ipv6_with_prot,
226 : : proto_hdr_udp}}
227 : : };
228 : :
229 : : struct virtchnl_proto_hdrs outer_ipv6_tcp_tmplt = {
230 : : TUNNEL_LEVEL_OUTER, 5,
231 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan,
232 : : proto_hdr_ipv6_with_prot,
233 : : proto_hdr_tcp}}
234 : : };
235 : :
236 : : struct virtchnl_proto_hdrs outer_ipv6_sctp_tmplt = {
237 : : TUNNEL_LEVEL_OUTER, 5,
238 : : {{proto_hdr_eth, proto_hdr_svlan, proto_hdr_cvlan, proto_hdr_ipv6,
239 : : proto_hdr_sctp}}
240 : : };
241 : :
242 : : struct virtchnl_proto_hdrs inner_ipv4_tmplt = {
243 : : TUNNEL_LEVEL_INNER, 1, {{proto_hdr_ipv4}}
244 : : };
245 : :
246 : : struct virtchnl_proto_hdrs inner_ipv4_udp_tmplt = {
247 : : TUNNEL_LEVEL_INNER, 2, {{proto_hdr_ipv4_with_prot, proto_hdr_udp}}
248 : : };
249 : :
250 : : struct virtchnl_proto_hdrs inner_ipv4_tcp_tmplt = {
251 : : TUNNEL_LEVEL_INNER, 2, {{proto_hdr_ipv4_with_prot, proto_hdr_tcp}}
252 : : };
253 : :
254 : : struct virtchnl_proto_hdrs second_inner_ipv4_tmplt = {
255 : : 2, 1, {{proto_hdr_ipv4}}
256 : : };
257 : :
258 : : struct virtchnl_proto_hdrs second_inner_ipv4_udp_tmplt = {
259 : : 2, 2, {{proto_hdr_ipv4_with_prot, proto_hdr_udp}}
260 : : };
261 : :
262 : : struct virtchnl_proto_hdrs second_inner_ipv4_tcp_tmplt = {
263 : : 2, 2, {{proto_hdr_ipv4_with_prot, proto_hdr_tcp}}
264 : : };
265 : :
266 : : struct virtchnl_proto_hdrs second_inner_ipv6_tmplt = {
267 : : 2, 1, {{proto_hdr_ipv6}}
268 : : };
269 : :
270 : : struct virtchnl_proto_hdrs second_inner_ipv6_udp_tmplt = {
271 : : 2, 2, {{proto_hdr_ipv6_with_prot, proto_hdr_udp}}
272 : : };
273 : :
274 : : struct virtchnl_proto_hdrs second_inner_ipv6_tcp_tmplt = {
275 : : 2, 2, {{proto_hdr_ipv6_with_prot, proto_hdr_tcp}}
276 : : };
277 : :
278 : : struct virtchnl_proto_hdrs inner_ipv4_sctp_tmplt = {
279 : : TUNNEL_LEVEL_INNER, 2, {{proto_hdr_ipv4, proto_hdr_sctp}}
280 : : };
281 : :
282 : : struct virtchnl_proto_hdrs inner_ipv6_tmplt = {
283 : : TUNNEL_LEVEL_INNER, 1, {{proto_hdr_ipv6}}
284 : : };
285 : :
286 : : struct virtchnl_proto_hdrs inner_ipv6_udp_tmplt = {
287 : : TUNNEL_LEVEL_INNER, 2, {{proto_hdr_ipv6_with_prot, proto_hdr_udp}}
288 : : };
289 : :
290 : : struct virtchnl_proto_hdrs inner_ipv6_tcp_tmplt = {
291 : : TUNNEL_LEVEL_INNER, 2, {{proto_hdr_ipv6_with_prot, proto_hdr_tcp}}
292 : : };
293 : :
294 : : struct virtchnl_proto_hdrs inner_ipv6_sctp_tmplt = {
295 : : TUNNEL_LEVEL_INNER, 2, {{proto_hdr_ipv6, proto_hdr_sctp}}
296 : : };
297 : :
298 : : struct virtchnl_proto_hdrs ipv4_esp_tmplt = {
299 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv4, proto_hdr_esp}}
300 : : };
301 : :
302 : : struct virtchnl_proto_hdrs ipv4_udp_esp_tmplt = {
303 : : TUNNEL_LEVEL_OUTER, 3,
304 : : {{proto_hdr_ipv4, proto_hdr_udp, proto_hdr_esp}}
305 : : };
306 : :
307 : : struct virtchnl_proto_hdrs ipv4_ah_tmplt = {
308 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv4, proto_hdr_ah}}
309 : : };
310 : :
311 : : struct virtchnl_proto_hdrs ipv6_esp_tmplt = {
312 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv6, proto_hdr_esp}}
313 : : };
314 : :
315 : : struct virtchnl_proto_hdrs ipv6_udp_esp_tmplt = {
316 : : TUNNEL_LEVEL_OUTER, 3,
317 : : {{proto_hdr_ipv6, proto_hdr_udp, proto_hdr_esp}}
318 : : };
319 : :
320 : : struct virtchnl_proto_hdrs ipv6_ah_tmplt = {
321 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv6, proto_hdr_ah}}
322 : : };
323 : :
324 : : struct virtchnl_proto_hdrs ipv4_l2tpv3_tmplt = {
325 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv4, proto_hdr_l2tpv3}}
326 : : };
327 : :
328 : : struct virtchnl_proto_hdrs ipv6_l2tpv3_tmplt = {
329 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv6, proto_hdr_l2tpv3}}
330 : : };
331 : :
332 : : struct virtchnl_proto_hdrs ipv4_pfcp_tmplt = {
333 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv4, proto_hdr_pfcp}}
334 : : };
335 : :
336 : : struct virtchnl_proto_hdrs ipv6_pfcp_tmplt = {
337 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_ipv6, proto_hdr_pfcp}}
338 : : };
339 : :
340 : : struct virtchnl_proto_hdrs ipv4_udp_gtpc_tmplt = {
341 : : TUNNEL_LEVEL_OUTER, 3,
342 : : {{proto_hdr_ipv4, proto_hdr_udp, proto_hdr_gtpc}}
343 : : };
344 : :
345 : : struct virtchnl_proto_hdrs ipv6_udp_gtpc_tmplt = {
346 : : TUNNEL_LEVEL_OUTER, 3,
347 : : {{proto_hdr_ipv6, proto_hdr_udp, proto_hdr_gtpc}}
348 : : };
349 : :
350 : : struct virtchnl_proto_hdrs eth_ecpri_tmplt = {
351 : : TUNNEL_LEVEL_OUTER, 2, {{proto_hdr_eth, proto_hdr_ecpri}}
352 : : };
353 : :
354 : : struct virtchnl_proto_hdrs ipv4_ecpri_tmplt = {
355 : : TUNNEL_LEVEL_OUTER, 3,
356 : : {{proto_hdr_ipv4, proto_hdr_udp, proto_hdr_ecpri}}
357 : : };
358 : :
359 : : struct virtchnl_proto_hdrs udp_l2tpv2_ppp_ipv4_tmplt = {
360 : : TUNNEL_LEVEL_INNER, 3,
361 : : {{proto_hdr_l2tpv2,
362 : : proto_hdr_ppp,
363 : : proto_hdr_ipv4}}
364 : : };
365 : :
366 : : struct virtchnl_proto_hdrs udp_l2tpv2_ppp_ipv6_tmplt = {
367 : : TUNNEL_LEVEL_INNER, 3,
368 : : {{proto_hdr_l2tpv2,
369 : : proto_hdr_ppp,
370 : : proto_hdr_ipv6}}
371 : : };
372 : :
373 : : struct virtchnl_proto_hdrs udp_l2tpv2_ppp_ipv4_udp_tmplt = {
374 : : TUNNEL_LEVEL_INNER, 4,
375 : : {{proto_hdr_l2tpv2,
376 : : proto_hdr_ppp,
377 : : proto_hdr_ipv4_with_prot,
378 : : proto_hdr_udp}}
379 : : };
380 : :
381 : : struct virtchnl_proto_hdrs udp_l2tpv2_ppp_ipv4_tcp_tmplt = {
382 : : TUNNEL_LEVEL_INNER, 4,
383 : : {{proto_hdr_l2tpv2,
384 : : proto_hdr_ppp,
385 : : proto_hdr_ipv4_with_prot,
386 : : proto_hdr_tcp}}
387 : : };
388 : :
389 : : struct virtchnl_proto_hdrs udp_l2tpv2_ppp_ipv6_udp_tmplt = {
390 : : TUNNEL_LEVEL_INNER, 4,
391 : : {{proto_hdr_l2tpv2,
392 : : proto_hdr_ppp,
393 : : proto_hdr_ipv6_with_prot,
394 : : proto_hdr_udp}}
395 : : };
396 : :
397 : : struct virtchnl_proto_hdrs udp_l2tpv2_ppp_ipv6_tcp_tmplt = {
398 : : TUNNEL_LEVEL_INNER, 4,
399 : : {{proto_hdr_l2tpv2,
400 : : proto_hdr_ppp,
401 : : proto_hdr_ipv6_with_prot,
402 : : proto_hdr_tcp}}
403 : :
404 : : };
405 : :
406 : : struct virtchnl_proto_hdrs ipv4_l2tpv2_tmplt = {
407 : : TUNNEL_LEVEL_OUTER, 4,
408 : : {{proto_hdr_eth,
409 : : proto_hdr_ipv4,
410 : : proto_hdr_udp,
411 : : proto_hdr_l2tpv2}}
412 : : };
413 : :
414 : : struct virtchnl_proto_hdrs ipv6_l2tpv2_tmplt = {
415 : : TUNNEL_LEVEL_OUTER, 4,
416 : : {{proto_hdr_eth,
417 : : proto_hdr_ipv6,
418 : : proto_hdr_udp,
419 : : proto_hdr_l2tpv2}}
420 : : };
421 : :
422 : : struct virtchnl_proto_hdrs ipv4_l2tpv2_ppp_tmplt = {
423 : : TUNNEL_LEVEL_OUTER, 5,
424 : : {{proto_hdr_eth,
425 : : proto_hdr_ipv4,
426 : : proto_hdr_udp,
427 : : proto_hdr_l2tpv2,
428 : : proto_hdr_ppp}}
429 : : };
430 : :
431 : : struct virtchnl_proto_hdrs ipv6_l2tpv2_ppp_tmplt = {
432 : : TUNNEL_LEVEL_OUTER, 5,
433 : : {{proto_hdr_eth,
434 : : proto_hdr_ipv6,
435 : : proto_hdr_udp,
436 : : proto_hdr_l2tpv2,
437 : : proto_hdr_ppp}}
438 : : };
439 : :
440 : : /* rss type super set */
441 : :
442 : : /* IPv4 outer */
443 : : #define IAVF_RSS_TYPE_OUTER_IPV4 (RTE_ETH_RSS_ETH | RTE_ETH_RSS_IPV4 | \
444 : : RTE_ETH_RSS_FRAG_IPV4 | \
445 : : RTE_ETH_RSS_IPV4_CHKSUM)
446 : : #define IAVF_RSS_TYPE_OUTER_IPV4_UDP (IAVF_RSS_TYPE_OUTER_IPV4 | \
447 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP | \
448 : : RTE_ETH_RSS_L4_CHKSUM)
449 : : #define IAVF_RSS_TYPE_OUTER_IPV4_TCP (IAVF_RSS_TYPE_OUTER_IPV4 | \
450 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | \
451 : : RTE_ETH_RSS_L4_CHKSUM)
452 : : #define IAVF_RSS_TYPE_OUTER_IPV4_SCTP (IAVF_RSS_TYPE_OUTER_IPV4 | \
453 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP | \
454 : : RTE_ETH_RSS_L4_CHKSUM)
455 : : /* IPv6 outer */
456 : : #define IAVF_RSS_TYPE_OUTER_IPV6 (RTE_ETH_RSS_ETH | RTE_ETH_RSS_IPV6)
457 : : #define IAVF_RSS_TYPE_OUTER_IPV6_FRAG (IAVF_RSS_TYPE_OUTER_IPV6 | \
458 : : RTE_ETH_RSS_FRAG_IPV6)
459 : : #define IAVF_RSS_TYPE_OUTER_IPV6_UDP (IAVF_RSS_TYPE_OUTER_IPV6 | \
460 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
461 : : RTE_ETH_RSS_L4_CHKSUM)
462 : : #define IAVF_RSS_TYPE_OUTER_IPV6_TCP (IAVF_RSS_TYPE_OUTER_IPV6 | \
463 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
464 : : RTE_ETH_RSS_L4_CHKSUM)
465 : : #define IAVF_RSS_TYPE_OUTER_IPV6_SCTP (IAVF_RSS_TYPE_OUTER_IPV6 | \
466 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP | \
467 : : RTE_ETH_RSS_L4_CHKSUM)
468 : : /* VLAN IPV4 */
469 : : #define IAVF_RSS_TYPE_VLAN_IPV4 (IAVF_RSS_TYPE_OUTER_IPV4 | \
470 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
471 : : #define IAVF_RSS_TYPE_VLAN_IPV4_UDP (IAVF_RSS_TYPE_OUTER_IPV4_UDP | \
472 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
473 : : #define IAVF_RSS_TYPE_VLAN_IPV4_TCP (IAVF_RSS_TYPE_OUTER_IPV4_TCP | \
474 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
475 : : #define IAVF_RSS_TYPE_VLAN_IPV4_SCTP (IAVF_RSS_TYPE_OUTER_IPV4_SCTP | \
476 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
477 : : /* VLAN IPv6 */
478 : : #define IAVF_RSS_TYPE_VLAN_IPV6 (IAVF_RSS_TYPE_OUTER_IPV6 | \
479 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
480 : : #define IAVF_RSS_TYPE_VLAN_IPV6_FRAG (IAVF_RSS_TYPE_OUTER_IPV6_FRAG | \
481 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
482 : : #define IAVF_RSS_TYPE_VLAN_IPV6_UDP (IAVF_RSS_TYPE_OUTER_IPV6_UDP | \
483 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
484 : : #define IAVF_RSS_TYPE_VLAN_IPV6_TCP (IAVF_RSS_TYPE_OUTER_IPV6_TCP | \
485 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
486 : : #define IAVF_RSS_TYPE_VLAN_IPV6_SCTP (IAVF_RSS_TYPE_OUTER_IPV6_SCTP | \
487 : : RTE_ETH_RSS_S_VLAN | RTE_ETH_RSS_C_VLAN)
488 : : /* IPv4 inner */
489 : : #define IAVF_RSS_TYPE_INNER_IPV4 RTE_ETH_RSS_IPV4
490 : : #define IAVF_RSS_TYPE_INNER_IPV4_UDP (RTE_ETH_RSS_IPV4 | \
491 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP)
492 : : #define IAVF_RSS_TYPE_INNER_IPV4_TCP (RTE_ETH_RSS_IPV4 | \
493 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP)
494 : : #define IAVF_RSS_TYPE_INNER_IPV4_SCTP (RTE_ETH_RSS_IPV4 | \
495 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP)
496 : : /* IPv6 inner */
497 : : #define IAVF_RSS_TYPE_INNER_IPV6 RTE_ETH_RSS_IPV6
498 : : #define IAVF_RSS_TYPE_INNER_IPV6_UDP (RTE_ETH_RSS_IPV6 | \
499 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP)
500 : : #define IAVF_RSS_TYPE_INNER_IPV6_TCP (RTE_ETH_RSS_IPV6 | \
501 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP)
502 : : #define IAVF_RSS_TYPE_INNER_IPV6_SCTP (RTE_ETH_RSS_IPV6 | \
503 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP)
504 : : /* GTPU IPv4 */
505 : : #define IAVF_RSS_TYPE_GTPU_IPV4 (IAVF_RSS_TYPE_INNER_IPV4 | \
506 : : RTE_ETH_RSS_GTPU)
507 : : #define IAVF_RSS_TYPE_GTPU_IPV4_UDP (IAVF_RSS_TYPE_INNER_IPV4_UDP | \
508 : : RTE_ETH_RSS_GTPU)
509 : : #define IAVF_RSS_TYPE_GTPU_IPV4_TCP (IAVF_RSS_TYPE_INNER_IPV4_TCP | \
510 : : RTE_ETH_RSS_GTPU)
511 : : /* GTPU IPv6 */
512 : : #define IAVF_RSS_TYPE_GTPU_IPV6 (IAVF_RSS_TYPE_INNER_IPV6 | \
513 : : RTE_ETH_RSS_GTPU)
514 : : #define IAVF_RSS_TYPE_GTPU_IPV6_UDP (IAVF_RSS_TYPE_INNER_IPV6_UDP | \
515 : : RTE_ETH_RSS_GTPU)
516 : : #define IAVF_RSS_TYPE_GTPU_IPV6_TCP (IAVF_RSS_TYPE_INNER_IPV6_TCP | \
517 : : RTE_ETH_RSS_GTPU)
518 : : /* ESP, AH, L2TPV3 and PFCP */
519 : : #define IAVF_RSS_TYPE_IPV4_ESP (RTE_ETH_RSS_ESP | RTE_ETH_RSS_IPV4)
520 : : #define IAVF_RSS_TYPE_IPV4_AH (RTE_ETH_RSS_AH | RTE_ETH_RSS_IPV4)
521 : : #define IAVF_RSS_TYPE_IPV6_ESP (RTE_ETH_RSS_ESP | RTE_ETH_RSS_IPV6)
522 : : #define IAVF_RSS_TYPE_IPV6_AH (RTE_ETH_RSS_AH | RTE_ETH_RSS_IPV6)
523 : : #define IAVF_RSS_TYPE_IPV4_L2TPV3 (RTE_ETH_RSS_L2TPV3 | RTE_ETH_RSS_IPV4)
524 : : #define IAVF_RSS_TYPE_IPV6_L2TPV3 (RTE_ETH_RSS_L2TPV3 | RTE_ETH_RSS_IPV6)
525 : : #define IAVF_RSS_TYPE_IPV4_PFCP (RTE_ETH_RSS_PFCP | RTE_ETH_RSS_IPV4)
526 : : #define IAVF_RSS_TYPE_IPV6_PFCP (RTE_ETH_RSS_PFCP | RTE_ETH_RSS_IPV6)
527 : :
528 : : /* L2TPv2 */
529 : : #define IAVF_RSS_TYPE_ETH_L2TPV2 (RTE_ETH_RSS_ETH | RTE_ETH_RSS_L2TPV2)
530 : :
531 : : /**
532 : : * Supported pattern for hash.
533 : : * The first member is pattern item type,
534 : : * the second member is input set mask,
535 : : * the third member is virtchnl_proto_hdrs template
536 : : */
537 : : static struct iavf_pattern_match_item iavf_hash_pattern_list[] = {
538 : : /* IPv4 */
539 : : {iavf_pattern_raw, IAVF_INSET_NONE, NULL},
540 : : {iavf_pattern_eth_ipv4, IAVF_RSS_TYPE_OUTER_IPV4, &outer_ipv4_tmplt},
541 : : {iavf_pattern_eth_ipv4_udp, IAVF_RSS_TYPE_OUTER_IPV4_UDP, &outer_ipv4_udp_tmplt},
542 : : {iavf_pattern_eth_ipv4_tcp, IAVF_RSS_TYPE_OUTER_IPV4_TCP, &outer_ipv4_tcp_tmplt},
543 : : {iavf_pattern_eth_ipv4_sctp, IAVF_RSS_TYPE_OUTER_IPV4_SCTP, &outer_ipv4_sctp_tmplt},
544 : : {iavf_pattern_eth_vlan_ipv4, IAVF_RSS_TYPE_VLAN_IPV4, &outer_ipv4_tmplt},
545 : : {iavf_pattern_eth_vlan_ipv4_udp, IAVF_RSS_TYPE_VLAN_IPV4_UDP, &outer_ipv4_udp_tmplt},
546 : : {iavf_pattern_eth_vlan_ipv4_tcp, IAVF_RSS_TYPE_VLAN_IPV4_TCP, &outer_ipv4_tcp_tmplt},
547 : : {iavf_pattern_eth_vlan_ipv4_sctp, IAVF_RSS_TYPE_VLAN_IPV4_SCTP, &outer_ipv4_sctp_tmplt},
548 : : {iavf_pattern_eth_ipv4_gtpu, RTE_ETH_RSS_IPV4, &outer_ipv4_udp_tmplt},
549 : : {iavf_pattern_eth_ipv4_gtpu_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &inner_ipv4_tmplt},
550 : : {iavf_pattern_eth_ipv4_gtpu_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &inner_ipv4_udp_tmplt},
551 : : {iavf_pattern_eth_ipv4_gtpu_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &inner_ipv4_tcp_tmplt},
552 : : {iavf_pattern_eth_ipv6_gtpu_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &inner_ipv4_tmplt},
553 : : {iavf_pattern_eth_ipv6_gtpu_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &inner_ipv4_udp_tmplt},
554 : : {iavf_pattern_eth_ipv6_gtpu_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &inner_ipv4_tcp_tmplt},
555 : : {iavf_pattern_eth_ipv4_gtpu_eh_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &inner_ipv4_tmplt},
556 : : {iavf_pattern_eth_ipv4_gtpu_eh_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &inner_ipv4_udp_tmplt},
557 : : {iavf_pattern_eth_ipv4_gtpu_eh_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &inner_ipv4_tcp_tmplt},
558 : : {iavf_pattern_eth_ipv6_gtpu_eh_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &inner_ipv4_tmplt},
559 : : {iavf_pattern_eth_ipv6_gtpu_eh_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &inner_ipv4_udp_tmplt},
560 : : {iavf_pattern_eth_ipv6_gtpu_eh_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &inner_ipv4_tcp_tmplt},
561 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
562 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
563 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
564 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
565 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
566 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
567 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
568 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
569 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
570 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
571 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
572 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
573 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_eh_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
574 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_eh_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
575 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_eh_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
576 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_eh_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
577 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_eh_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
578 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_eh_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
579 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_eh_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
580 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_eh_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
581 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_eh_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
582 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_eh_ipv4, IAVF_RSS_TYPE_GTPU_IPV4, &second_inner_ipv4_tmplt},
583 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_eh_ipv4_udp, IAVF_RSS_TYPE_GTPU_IPV4_UDP, &second_inner_ipv4_udp_tmplt},
584 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_eh_ipv4_tcp, IAVF_RSS_TYPE_GTPU_IPV4_TCP, &second_inner_ipv4_tcp_tmplt},
585 : : {iavf_pattern_eth_ipv4_esp, IAVF_RSS_TYPE_IPV4_ESP, &ipv4_esp_tmplt},
586 : : {iavf_pattern_eth_ipv4_udp_esp, IAVF_RSS_TYPE_IPV4_ESP, &ipv4_udp_esp_tmplt},
587 : : {iavf_pattern_eth_ipv4_ah, IAVF_RSS_TYPE_IPV4_AH, &ipv4_ah_tmplt},
588 : : {iavf_pattern_eth_ipv4_l2tpv3, IAVF_RSS_TYPE_IPV4_L2TPV3, &ipv4_l2tpv3_tmplt},
589 : : {iavf_pattern_eth_ipv4_pfcp, IAVF_RSS_TYPE_IPV4_PFCP, &ipv4_pfcp_tmplt},
590 : : {iavf_pattern_eth_ipv4_gtpc, RTE_ETH_RSS_IPV4, &ipv4_udp_gtpc_tmplt},
591 : : {iavf_pattern_eth_ecpri, RTE_ETH_RSS_ECPRI, ð_ecpri_tmplt},
592 : : {iavf_pattern_eth_ipv4_ecpri, RTE_ETH_RSS_ECPRI, &ipv4_ecpri_tmplt},
593 : : {iavf_pattern_eth_ipv4_gre_ipv4, IAVF_RSS_TYPE_INNER_IPV4, &inner_ipv4_tmplt},
594 : : {iavf_pattern_eth_ipv6_gre_ipv4, IAVF_RSS_TYPE_INNER_IPV4, &inner_ipv4_tmplt},
595 : : {iavf_pattern_eth_ipv4_gre_ipv4_tcp, IAVF_RSS_TYPE_INNER_IPV4_TCP, &inner_ipv4_tcp_tmplt},
596 : : {iavf_pattern_eth_ipv6_gre_ipv4_tcp, IAVF_RSS_TYPE_INNER_IPV4_TCP, &inner_ipv4_tcp_tmplt},
597 : : {iavf_pattern_eth_ipv4_gre_ipv4_udp, IAVF_RSS_TYPE_INNER_IPV4_UDP, &inner_ipv4_udp_tmplt},
598 : : {iavf_pattern_eth_ipv6_gre_ipv4_udp, IAVF_RSS_TYPE_INNER_IPV4_UDP, &inner_ipv4_udp_tmplt},
599 : : {iavf_pattern_eth_ipv4_udp_l2tpv2, IAVF_RSS_TYPE_ETH_L2TPV2, &ipv4_l2tpv2_tmplt},
600 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp, IAVF_RSS_TYPE_ETH_L2TPV2, &ipv4_l2tpv2_ppp_tmplt},
601 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp_ipv4, IAVF_RSS_TYPE_INNER_IPV4, &udp_l2tpv2_ppp_ipv4_tmplt},
602 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp_ipv4_udp, IAVF_RSS_TYPE_INNER_IPV4_UDP, &udp_l2tpv2_ppp_ipv4_udp_tmplt},
603 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp_ipv4_tcp, IAVF_RSS_TYPE_INNER_IPV4_TCP, &udp_l2tpv2_ppp_ipv4_tcp_tmplt},
604 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp_ipv4, IAVF_RSS_TYPE_INNER_IPV4, &udp_l2tpv2_ppp_ipv4_tmplt},
605 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp_ipv4_udp, IAVF_RSS_TYPE_INNER_IPV4_UDP, &udp_l2tpv2_ppp_ipv4_udp_tmplt},
606 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp_ipv4_tcp, IAVF_RSS_TYPE_INNER_IPV4_TCP, &udp_l2tpv2_ppp_ipv4_tcp_tmplt},
607 : :
608 : : /* IPv6 */
609 : : {iavf_pattern_eth_ipv6, IAVF_RSS_TYPE_OUTER_IPV6, &outer_ipv6_tmplt},
610 : : {iavf_pattern_eth_ipv6_frag_ext, IAVF_RSS_TYPE_OUTER_IPV6_FRAG, &outer_ipv6_frag_tmplt},
611 : : {iavf_pattern_eth_ipv6_udp, IAVF_RSS_TYPE_OUTER_IPV6_UDP, &outer_ipv6_udp_tmplt},
612 : : {iavf_pattern_eth_ipv6_tcp, IAVF_RSS_TYPE_OUTER_IPV6_TCP, &outer_ipv6_tcp_tmplt},
613 : : {iavf_pattern_eth_ipv6_sctp, IAVF_RSS_TYPE_OUTER_IPV6_SCTP, &outer_ipv6_sctp_tmplt},
614 : : {iavf_pattern_eth_vlan_ipv6, IAVF_RSS_TYPE_VLAN_IPV6, &outer_ipv6_tmplt},
615 : : {iavf_pattern_eth_vlan_ipv6_frag_ext, IAVF_RSS_TYPE_OUTER_IPV6_FRAG, &outer_ipv6_frag_tmplt},
616 : : {iavf_pattern_eth_vlan_ipv6_udp, IAVF_RSS_TYPE_VLAN_IPV6_UDP, &outer_ipv6_udp_tmplt},
617 : : {iavf_pattern_eth_vlan_ipv6_tcp, IAVF_RSS_TYPE_VLAN_IPV6_TCP, &outer_ipv6_tcp_tmplt},
618 : : {iavf_pattern_eth_vlan_ipv6_sctp, IAVF_RSS_TYPE_VLAN_IPV6_SCTP, &outer_ipv6_sctp_tmplt},
619 : : {iavf_pattern_eth_ipv6_gtpu, RTE_ETH_RSS_IPV6, &outer_ipv6_udp_tmplt},
620 : : {iavf_pattern_eth_ipv4_gtpu_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &inner_ipv6_tmplt},
621 : : {iavf_pattern_eth_ipv4_gtpu_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &inner_ipv6_udp_tmplt},
622 : : {iavf_pattern_eth_ipv4_gtpu_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &inner_ipv6_tcp_tmplt},
623 : : {iavf_pattern_eth_ipv6_gtpu_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &inner_ipv6_tmplt},
624 : : {iavf_pattern_eth_ipv6_gtpu_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &inner_ipv6_udp_tmplt},
625 : : {iavf_pattern_eth_ipv6_gtpu_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &inner_ipv6_tcp_tmplt},
626 : : {iavf_pattern_eth_ipv4_gtpu_eh_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &inner_ipv6_tmplt},
627 : : {iavf_pattern_eth_ipv4_gtpu_eh_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &inner_ipv6_udp_tmplt},
628 : : {iavf_pattern_eth_ipv4_gtpu_eh_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &inner_ipv6_tcp_tmplt},
629 : : {iavf_pattern_eth_ipv6_gtpu_eh_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &inner_ipv6_tmplt},
630 : : {iavf_pattern_eth_ipv6_gtpu_eh_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &inner_ipv6_udp_tmplt},
631 : : {iavf_pattern_eth_ipv6_gtpu_eh_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &inner_ipv6_tcp_tmplt},
632 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
633 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
634 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
635 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
636 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
637 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
638 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
639 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
640 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
641 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
642 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
643 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
644 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_eh_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
645 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_eh_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
646 : : {iavf_pattern_eth_ipv4_gre_ipv4_gtpu_eh_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
647 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_eh_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
648 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_eh_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
649 : : {iavf_pattern_eth_ipv4_gre_ipv6_gtpu_eh_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
650 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_eh_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
651 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_eh_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
652 : : {iavf_pattern_eth_ipv6_gre_ipv4_gtpu_eh_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
653 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_eh_ipv6, IAVF_RSS_TYPE_GTPU_IPV6, &second_inner_ipv6_tmplt},
654 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_eh_ipv6_udp, IAVF_RSS_TYPE_GTPU_IPV6_UDP, &second_inner_ipv6_udp_tmplt},
655 : : {iavf_pattern_eth_ipv6_gre_ipv6_gtpu_eh_ipv6_tcp, IAVF_RSS_TYPE_GTPU_IPV6_TCP, &second_inner_ipv6_tcp_tmplt},
656 : : {iavf_pattern_eth_ipv6_esp, IAVF_RSS_TYPE_IPV6_ESP, &ipv6_esp_tmplt},
657 : : {iavf_pattern_eth_ipv6_udp_esp, IAVF_RSS_TYPE_IPV6_ESP, &ipv6_udp_esp_tmplt},
658 : : {iavf_pattern_eth_ipv6_ah, IAVF_RSS_TYPE_IPV6_AH, &ipv6_ah_tmplt},
659 : : {iavf_pattern_eth_ipv6_l2tpv3, IAVF_RSS_TYPE_IPV6_L2TPV3, &ipv6_l2tpv3_tmplt},
660 : : {iavf_pattern_eth_ipv6_pfcp, IAVF_RSS_TYPE_IPV6_PFCP, &ipv6_pfcp_tmplt},
661 : : {iavf_pattern_eth_ipv6_gtpc, RTE_ETH_RSS_IPV6, &ipv6_udp_gtpc_tmplt},
662 : : {iavf_pattern_eth_ipv4_gre_ipv6, IAVF_RSS_TYPE_INNER_IPV6, &inner_ipv6_tmplt},
663 : : {iavf_pattern_eth_ipv6_gre_ipv6, IAVF_RSS_TYPE_INNER_IPV6, &inner_ipv6_tmplt},
664 : : {iavf_pattern_eth_ipv4_gre_ipv6_tcp, IAVF_RSS_TYPE_INNER_IPV6_TCP, &inner_ipv6_tcp_tmplt},
665 : : {iavf_pattern_eth_ipv6_gre_ipv6_tcp, IAVF_RSS_TYPE_INNER_IPV6_TCP, &inner_ipv6_tcp_tmplt},
666 : : {iavf_pattern_eth_ipv4_gre_ipv6_udp, IAVF_RSS_TYPE_INNER_IPV6_UDP, &inner_ipv6_udp_tmplt},
667 : : {iavf_pattern_eth_ipv6_gre_ipv6_udp, IAVF_RSS_TYPE_INNER_IPV6_UDP, &inner_ipv6_udp_tmplt},
668 : : {iavf_pattern_eth_ipv6_udp_l2tpv2, IAVF_RSS_TYPE_ETH_L2TPV2, &ipv6_l2tpv2_tmplt},
669 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp, IAVF_RSS_TYPE_ETH_L2TPV2, &ipv6_l2tpv2_ppp_tmplt},
670 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp_ipv6, IAVF_RSS_TYPE_INNER_IPV6, &udp_l2tpv2_ppp_ipv6_tmplt},
671 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp_ipv6_udp, IAVF_RSS_TYPE_INNER_IPV6_UDP, &udp_l2tpv2_ppp_ipv6_udp_tmplt},
672 : : {iavf_pattern_eth_ipv4_udp_l2tpv2_ppp_ipv6_tcp, IAVF_RSS_TYPE_INNER_IPV6_TCP, &udp_l2tpv2_ppp_ipv6_tcp_tmplt},
673 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp_ipv6, IAVF_RSS_TYPE_INNER_IPV6, &udp_l2tpv2_ppp_ipv6_tmplt},
674 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp_ipv6_udp, IAVF_RSS_TYPE_INNER_IPV6_UDP, &udp_l2tpv2_ppp_ipv6_udp_tmplt},
675 : : {iavf_pattern_eth_ipv6_udp_l2tpv2_ppp_ipv6_tcp, IAVF_RSS_TYPE_INNER_IPV6_TCP, &udp_l2tpv2_ppp_ipv6_tcp_tmplt},
676 : :
677 : : };
678 : :
679 : : static struct iavf_flow_engine iavf_hash_engine = {
680 : : .init = iavf_hash_init,
681 : : .create = iavf_hash_create,
682 : : .destroy = iavf_hash_destroy,
683 : : .uninit = iavf_hash_uninit_parser,
684 : : .free = iavf_hash_free,
685 : : .type = IAVF_FLOW_ENGINE_HASH,
686 : : };
687 : :
688 : : /* Register parser for comms package. */
689 : : static struct iavf_flow_parser iavf_hash_parser = {
690 : : .engine = &iavf_hash_engine,
691 : : .array = iavf_hash_pattern_list,
692 : : .array_len = RTE_DIM(iavf_hash_pattern_list),
693 : : .parse_pattern_action = iavf_hash_parse_pattern_action,
694 : : };
695 : :
696 : : int
697 : 0 : iavf_rss_hash_set(struct iavf_adapter *ad, uint64_t rss_hf, bool add)
698 : : {
699 : : struct iavf_info *vf = IAVF_DEV_PRIVATE_TO_VF(ad);
700 : : struct virtchnl_rss_cfg rss_cfg;
701 : :
702 : : #define IAVF_RSS_HF_ALL ( \
703 : : RTE_ETH_RSS_IPV4 | \
704 : : RTE_ETH_RSS_IPV6 | \
705 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP | \
706 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
707 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | \
708 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
709 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP | \
710 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP)
711 : :
712 : 0 : rss_cfg.rss_algorithm = VIRTCHNL_RSS_ALG_TOEPLITZ_ASYMMETRIC;
713 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_IPV4) {
714 : 0 : rss_cfg.proto_hdrs = inner_ipv4_tmplt;
715 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
716 : : }
717 : :
718 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_NONFRAG_IPV4_UDP) {
719 : 0 : rss_cfg.proto_hdrs = inner_ipv4_udp_tmplt;
720 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
721 : : }
722 : :
723 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_NONFRAG_IPV4_TCP) {
724 : 0 : rss_cfg.proto_hdrs = inner_ipv4_tcp_tmplt;
725 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
726 : : }
727 : :
728 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_NONFRAG_IPV4_SCTP) {
729 : 0 : rss_cfg.proto_hdrs = inner_ipv4_sctp_tmplt;
730 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
731 : : }
732 : :
733 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_IPV6) {
734 : 0 : rss_cfg.proto_hdrs = inner_ipv6_tmplt;
735 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
736 : : }
737 : :
738 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_NONFRAG_IPV6_UDP) {
739 : 0 : rss_cfg.proto_hdrs = inner_ipv6_udp_tmplt;
740 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
741 : : }
742 : :
743 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_NONFRAG_IPV6_TCP) {
744 : 0 : rss_cfg.proto_hdrs = inner_ipv6_tcp_tmplt;
745 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
746 : : }
747 : :
748 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_NONFRAG_IPV6_SCTP) {
749 : 0 : rss_cfg.proto_hdrs = inner_ipv6_sctp_tmplt;
750 : 0 : iavf_add_del_rss_cfg(ad, &rss_cfg, add);
751 : : }
752 : :
753 : 0 : vf->rss_hf = rss_hf & IAVF_RSS_HF_ALL;
754 : 0 : return 0;
755 : : }
756 : :
757 : 276 : RTE_INIT(iavf_hash_engine_init)
758 : : {
759 : : struct iavf_flow_engine *engine = &iavf_hash_engine;
760 : :
761 : 276 : iavf_register_flow_engine(engine);
762 : 276 : }
763 : :
764 : : static int
765 : 0 : iavf_hash_init(struct iavf_adapter *ad)
766 : : {
767 : : struct iavf_info *vf = IAVF_DEV_PRIVATE_TO_VF(ad);
768 : : struct iavf_flow_parser *parser;
769 : : int ret;
770 : :
771 [ # # ]: 0 : if (vf->vf_reset)
772 : : return -EIO;
773 : :
774 [ # # ]: 0 : if (!vf->vf_res)
775 : : return -EINVAL;
776 : :
777 [ # # ]: 0 : if (!(vf->vf_res->vf_cap_flags & VIRTCHNL_VF_OFFLOAD_ADV_RSS_PF))
778 : : return -ENOTSUP;
779 : :
780 : : parser = &iavf_hash_parser;
781 : :
782 : 0 : ret = iavf_register_parser(parser, ad);
783 [ # # ]: 0 : if (ret) {
784 : 0 : PMD_DRV_LOG(ERR, "fail to register hash parser");
785 : 0 : return ret;
786 : : }
787 : :
788 : : return ret;
789 : : }
790 : :
791 : : static int
792 : 0 : iavf_hash_parse_pattern(const struct rte_flow_item pattern[], uint64_t *phint,
793 : : struct rte_flow_error *error)
794 : : {
795 : : const struct rte_flow_item *item = pattern;
796 : : const struct rte_flow_item_gtp_psc *psc;
797 : : const struct rte_flow_item_ecpri *ecpri;
798 : : struct rte_ecpri_common_hdr ecpri_common;
799 : : const struct rte_flow_item_l2tpv2 *l2tpv2;
800 : : uint16_t flags_version;
801 : :
802 [ # # ]: 0 : for (item = pattern; item->type != RTE_FLOW_ITEM_TYPE_END; item++) {
803 [ # # ]: 0 : if (item->last) {
804 : 0 : rte_flow_error_set(error, EINVAL,
805 : : RTE_FLOW_ERROR_TYPE_ITEM, item,
806 : : "Not support range");
807 : 0 : return -rte_errno;
808 : : }
809 : :
810 [ # # # # : 0 : switch (item->type) {
# # # #
# ]
811 : 0 : case RTE_FLOW_ITEM_TYPE_RAW:
812 : 0 : *phint |= IAVF_PHINT_RAW;
813 : 0 : break;
814 : 0 : case RTE_FLOW_ITEM_TYPE_IPV4:
815 : 0 : if (!(*phint & IAVF_PHINT_GTPU_MSK) &&
816 [ # # ]: 0 : !(*phint & IAVF_PHINT_GRE) &&
817 : : !(*phint & IAVF_PHINT_L2TPV2))
818 : 0 : *phint |= IAVF_PHINT_OUTER_IPV4;
819 [ # # ]: 0 : if ((*phint & IAVF_PHINT_GRE) && !(*phint & IAVF_PHINT_GTPU_MSK))
820 : 0 : *phint |= IAVF_PHINT_MID_IPV4;
821 : : break;
822 : 0 : case RTE_FLOW_ITEM_TYPE_IPV6:
823 : 0 : if (!(*phint & IAVF_PHINT_GTPU_MSK) &&
824 [ # # ]: 0 : !(*phint & IAVF_PHINT_GRE) &&
825 : : !(*phint & IAVF_PHINT_L2TPV2))
826 : 0 : *phint |= IAVF_PHINT_OUTER_IPV6;
827 [ # # ]: 0 : if ((*phint & IAVF_PHINT_GRE) && !(*phint & IAVF_PHINT_GTPU_MSK))
828 : 0 : *phint |= IAVF_PHINT_MID_IPV6;
829 : : break;
830 : 0 : case RTE_FLOW_ITEM_TYPE_GTPU:
831 : 0 : *phint |= IAVF_PHINT_GTPU;
832 : 0 : break;
833 : 0 : case RTE_FLOW_ITEM_TYPE_GTP_PSC:
834 : 0 : *phint |= IAVF_PHINT_GTPU_EH;
835 : 0 : psc = item->spec;
836 [ # # ]: 0 : if (!psc)
837 : : break;
838 [ # # ]: 0 : else if (psc->hdr.type == IAVF_GTPU_EH_UPLINK)
839 : 0 : *phint |= IAVF_PHINT_GTPU_EH_UP;
840 [ # # ]: 0 : else if (psc->hdr.type == IAVF_GTPU_EH_DWNLINK)
841 : 0 : *phint |= IAVF_PHINT_GTPU_EH_DWN;
842 : : break;
843 : 0 : case RTE_FLOW_ITEM_TYPE_ECPRI:
844 : 0 : ecpri = item->spec;
845 [ # # ]: 0 : if (!ecpri)
846 : : break;
847 : :
848 [ # # ]: 0 : ecpri_common.u32 = rte_be_to_cpu_32(ecpri->hdr.common.u32);
849 : :
850 [ # # ]: 0 : if (ecpri_common.type !=
851 : : RTE_ECPRI_MSG_TYPE_IQ_DATA) {
852 : 0 : rte_flow_error_set(error, EINVAL,
853 : : RTE_FLOW_ERROR_TYPE_ITEM, item,
854 : : "Unsupported common type.");
855 : 0 : return -rte_errno;
856 : : }
857 : : break;
858 : 0 : case RTE_FLOW_ITEM_TYPE_GRE:
859 : 0 : *phint |= IAVF_PHINT_GRE;
860 : 0 : break;
861 : 0 : case RTE_FLOW_ITEM_TYPE_L2TPV2:
862 : 0 : l2tpv2 = item->spec;
863 : :
864 [ # # ]: 0 : if (l2tpv2) {
865 : : flags_version =
866 [ # # ]: 0 : rte_be_to_cpu_16(l2tpv2->hdr.common.flags_version);
867 [ # # ]: 0 : if (flags_version & IAVF_L2TPV2_FLAGS_LEN)
868 : 0 : *phint |= IAVF_PHINT_L2TPV2_LEN;
869 : : else
870 : 0 : *phint |= IAVF_PHINT_L2TPV2;
871 : : } else {
872 : 0 : *phint |= IAVF_PHINT_L2TPV2;
873 : : }
874 : : break;
875 : : default:
876 : : break;
877 : : }
878 : : }
879 : :
880 : : return 0;
881 : : }
882 : :
883 : : static int
884 : 0 : iavf_hash_parse_raw_pattern(const struct rte_flow_item *item,
885 : : struct rte_flow_error *error,
886 : : struct iavf_rss_meta *meta)
887 : : {
888 : : const struct rte_flow_item_raw *raw_spec, *raw_mask;
889 : : uint16_t spec_len, pkt_len;
890 : : uint8_t *pkt_buf, *msk_buf;
891 : : uint8_t tmp_val = 0;
892 : : uint8_t tmp_c = 0;
893 : : int i, j;
894 : :
895 : 0 : raw_spec = item->spec;
896 : 0 : raw_mask = item->mask;
897 : :
898 [ # # ]: 0 : if (!raw_spec || !raw_mask) {
899 : 0 : PMD_DRV_LOG(ERR, "NULL RAW spec/mask");
900 : 0 : rte_flow_error_set(error, EINVAL,
901 : : RTE_FLOW_ERROR_TYPE_ITEM,
902 : : item, "NULL RAW spec/mask");
903 : 0 : return -rte_errno;
904 : : }
905 : :
906 : 0 : spec_len = strlen((char *)(uintptr_t)raw_spec->pattern);
907 [ # # ]: 0 : if (strlen((char *)(uintptr_t)raw_mask->pattern) !=
908 : : spec_len)
909 : 0 : return -rte_errno;
910 : :
911 : 0 : pkt_len = spec_len / 2;
912 : :
913 : 0 : pkt_buf = rte_zmalloc(NULL, pkt_len, 0);
914 [ # # ]: 0 : if (!pkt_buf)
915 : : return -ENOMEM;
916 : :
917 : 0 : msk_buf = rte_zmalloc(NULL, pkt_len, 0);
918 [ # # ]: 0 : if (!msk_buf)
919 : : return -ENOMEM;
920 : :
921 : : /* convert string to int array */
922 [ # # ]: 0 : for (i = 0, j = 0; i < spec_len; i += 2, j++) {
923 : 0 : tmp_c = raw_spec->pattern[i];
924 [ # # ]: 0 : if (tmp_c >= 'a' && tmp_c <= 'f')
925 : 0 : tmp_val = tmp_c - 'a' + 10;
926 [ # # ]: 0 : if (tmp_c >= 'A' && tmp_c <= 'F')
927 : 0 : tmp_val = tmp_c - 'A' + 10;
928 [ # # ]: 0 : if (tmp_c >= '0' && tmp_c <= '9')
929 : : tmp_val = tmp_c - '0';
930 : :
931 : 0 : tmp_c = raw_spec->pattern[i + 1];
932 [ # # ]: 0 : if (tmp_c >= 'a' && tmp_c <= 'f')
933 : 0 : pkt_buf[j] = tmp_val * 16 + tmp_c - 'a' + 10;
934 [ # # ]: 0 : if (tmp_c >= 'A' && tmp_c <= 'F')
935 : 0 : pkt_buf[j] = tmp_val * 16 + tmp_c - 'A' + 10;
936 [ # # ]: 0 : if (tmp_c >= '0' && tmp_c <= '9')
937 : 0 : pkt_buf[j] = tmp_val * 16 + tmp_c - '0';
938 : :
939 : 0 : tmp_c = raw_mask->pattern[i];
940 [ # # ]: 0 : if (tmp_c >= 'a' && tmp_c <= 'f')
941 : 0 : tmp_val = tmp_c - 0x57;
942 [ # # ]: 0 : if (tmp_c >= 'A' && tmp_c <= 'F')
943 : 0 : tmp_val = tmp_c - 0x37;
944 [ # # ]: 0 : if (tmp_c >= '0' && tmp_c <= '9')
945 : : tmp_val = tmp_c - '0';
946 : :
947 : 0 : tmp_c = raw_mask->pattern[i + 1];
948 [ # # ]: 0 : if (tmp_c >= 'a' && tmp_c <= 'f')
949 : 0 : msk_buf[j] = tmp_val * 16 + tmp_c - 'a' + 10;
950 [ # # ]: 0 : if (tmp_c >= 'A' && tmp_c <= 'F')
951 : 0 : msk_buf[j] = tmp_val * 16 + tmp_c - 'A' + 10;
952 [ # # ]: 0 : if (tmp_c >= '0' && tmp_c <= '9')
953 : 0 : msk_buf[j] = tmp_val * 16 + tmp_c - '0';
954 : : }
955 : :
956 [ # # ]: 0 : rte_memcpy(meta->proto_hdrs.raw.spec, pkt_buf, pkt_len);
957 [ # # ]: 0 : rte_memcpy(meta->proto_hdrs.raw.mask, msk_buf, pkt_len);
958 : 0 : meta->proto_hdrs.raw.pkt_len = pkt_len;
959 : :
960 : 0 : rte_free(pkt_buf);
961 : 0 : rte_free(msk_buf);
962 : :
963 : 0 : return 0;
964 : : }
965 : :
966 : : #define REFINE_PROTO_FLD(op, fld) \
967 : : VIRTCHNL_##op##_PROTO_HDR_FIELD(hdr, VIRTCHNL_PROTO_HDR_##fld)
968 : : #define REPALCE_PROTO_FLD(fld_1, fld_2) \
969 : : do { \
970 : : REFINE_PROTO_FLD(DEL, fld_1); \
971 : : REFINE_PROTO_FLD(ADD, fld_2); \
972 : : } while (0)
973 : :
974 : : static void
975 : : iavf_hash_add_fragment_hdr(struct virtchnl_proto_hdrs *hdrs, int layer)
976 : : {
977 : : struct virtchnl_proto_hdr *hdr1;
978 : : struct virtchnl_proto_hdr *hdr2;
979 : : int i;
980 : :
981 : 0 : if (layer < 0 || layer > hdrs->count)
982 : : return;
983 : :
984 : : /* shift headers layer */
985 [ # # ]: 0 : for (i = hdrs->count; i >= layer; i--) {
986 : : hdr1 = &hdrs->proto_hdr[i];
987 : 0 : hdr2 = &hdrs->proto_hdr[i - 1];
988 : 0 : *hdr1 = *hdr2;
989 : : }
990 : :
991 : : /* adding dummy fragment header */
992 : : hdr1 = &hdrs->proto_hdr[layer];
993 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, IPV4_FRAG);
994 : 0 : hdrs->count = ++layer;
995 : : }
996 : :
997 : : /* refine proto hdrs base on l2, l3, l4 rss type */
998 : : static void
999 : 0 : iavf_refine_proto_hdrs_l234(struct virtchnl_proto_hdrs *proto_hdrs,
1000 : : uint64_t rss_type)
1001 : : {
1002 : : struct virtchnl_proto_hdr *hdr;
1003 : : int i;
1004 : :
1005 [ # # ]: 0 : for (i = 0; i < proto_hdrs->count; i++) {
1006 : : hdr = &proto_hdrs->proto_hdr[i];
1007 [ # # # # : 0 : switch (hdr->type) {
# # # # #
# # # # #
# # # ]
1008 : 0 : case VIRTCHNL_PROTO_HDR_ETH:
1009 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_ETH))
1010 : 0 : hdr->field_selector = 0;
1011 [ # # ]: 0 : else if (rss_type & RTE_ETH_RSS_L2_SRC_ONLY)
1012 : 0 : REFINE_PROTO_FLD(DEL, ETH_DST);
1013 [ # # ]: 0 : else if (rss_type & RTE_ETH_RSS_L2_DST_ONLY)
1014 : 0 : REFINE_PROTO_FLD(DEL, ETH_SRC);
1015 : : break;
1016 : 0 : case VIRTCHNL_PROTO_HDR_IPV4:
1017 [ # # ]: 0 : if (rss_type &
1018 : : (RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_FRAG_IPV4 |
1019 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP |
1020 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP |
1021 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP)) {
1022 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_FRAG_IPV4) {
1023 [ # # ]: 0 : iavf_hash_add_fragment_hdr(proto_hdrs, i + 1);
1024 [ # # ]: 0 : } else if (rss_type & RTE_ETH_RSS_L3_SRC_ONLY) {
1025 : 0 : REFINE_PROTO_FLD(DEL, IPV4_DST);
1026 [ # # ]: 0 : } else if (rss_type & RTE_ETH_RSS_L3_DST_ONLY) {
1027 : 0 : REFINE_PROTO_FLD(DEL, IPV4_SRC);
1028 [ # # ]: 0 : } else if (rss_type &
1029 : : (RTE_ETH_RSS_L4_SRC_ONLY |
1030 : : RTE_ETH_RSS_L4_DST_ONLY)) {
1031 : 0 : REFINE_PROTO_FLD(DEL, IPV4_DST);
1032 : 0 : REFINE_PROTO_FLD(DEL, IPV4_SRC);
1033 : : }
1034 : : } else {
1035 : 0 : hdr->field_selector = 0;
1036 : : }
1037 : :
1038 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_IPV4_CHKSUM)
1039 : 0 : REFINE_PROTO_FLD(ADD, IPV4_CHKSUM);
1040 : :
1041 : : break;
1042 : 0 : case VIRTCHNL_PROTO_HDR_IPV4_FRAG:
1043 [ # # ]: 0 : if (rss_type &
1044 : : (RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_FRAG_IPV4 |
1045 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP |
1046 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP |
1047 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP)) {
1048 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_FRAG_IPV4)
1049 : 0 : REFINE_PROTO_FLD(ADD, IPV4_FRAG_PKID);
1050 : : } else {
1051 : 0 : hdr->field_selector = 0;
1052 : : }
1053 : :
1054 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_IPV4_CHKSUM)
1055 : 0 : REFINE_PROTO_FLD(ADD, IPV4_CHKSUM);
1056 : :
1057 : : break;
1058 : 0 : case VIRTCHNL_PROTO_HDR_IPV6:
1059 [ # # ]: 0 : if (rss_type &
1060 : : (RTE_ETH_RSS_IPV6 | RTE_ETH_RSS_FRAG_IPV6 |
1061 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP |
1062 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP |
1063 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP)) {
1064 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L3_SRC_ONLY) {
1065 : 0 : REFINE_PROTO_FLD(DEL, IPV6_DST);
1066 [ # # ]: 0 : } else if (rss_type & RTE_ETH_RSS_L3_DST_ONLY) {
1067 : 0 : REFINE_PROTO_FLD(DEL, IPV6_SRC);
1068 [ # # ]: 0 : } else if (rss_type &
1069 : : (RTE_ETH_RSS_L4_SRC_ONLY |
1070 : : RTE_ETH_RSS_L4_DST_ONLY)) {
1071 : 0 : REFINE_PROTO_FLD(DEL, IPV6_DST);
1072 : 0 : REFINE_PROTO_FLD(DEL, IPV6_SRC);
1073 : : }
1074 : : } else {
1075 : 0 : hdr->field_selector = 0;
1076 : : }
1077 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L3_PRE64) {
1078 [ # # ]: 0 : if (REFINE_PROTO_FLD(TEST, IPV6_SRC))
1079 : 0 : REPALCE_PROTO_FLD(IPV6_SRC,
1080 : : IPV6_PREFIX64_SRC);
1081 [ # # ]: 0 : if (REFINE_PROTO_FLD(TEST, IPV6_DST))
1082 : 0 : REPALCE_PROTO_FLD(IPV6_DST,
1083 : : IPV6_PREFIX64_DST);
1084 : : }
1085 : : break;
1086 : 0 : case VIRTCHNL_PROTO_HDR_IPV6_EH_FRAG:
1087 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_FRAG_IPV6)
1088 : 0 : REFINE_PROTO_FLD(ADD, IPV6_EH_FRAG_PKID);
1089 : : else
1090 : 0 : hdr->field_selector = 0;
1091 : :
1092 : : break;
1093 : 0 : case VIRTCHNL_PROTO_HDR_UDP:
1094 [ # # ]: 0 : if (rss_type &
1095 : : (RTE_ETH_RSS_NONFRAG_IPV4_UDP |
1096 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP)) {
1097 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L4_SRC_ONLY)
1098 : 0 : REFINE_PROTO_FLD(DEL, UDP_DST_PORT);
1099 [ # # ]: 0 : else if (rss_type & RTE_ETH_RSS_L4_DST_ONLY)
1100 : 0 : REFINE_PROTO_FLD(DEL, UDP_SRC_PORT);
1101 [ # # ]: 0 : else if (rss_type &
1102 : : (RTE_ETH_RSS_L3_SRC_ONLY |
1103 : : RTE_ETH_RSS_L3_DST_ONLY))
1104 : 0 : hdr->field_selector = 0;
1105 : : } else {
1106 : 0 : hdr->field_selector = 0;
1107 : : }
1108 : :
1109 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L4_CHKSUM)
1110 : 0 : REFINE_PROTO_FLD(ADD, UDP_CHKSUM);
1111 : : break;
1112 : 0 : case VIRTCHNL_PROTO_HDR_TCP:
1113 [ # # ]: 0 : if (rss_type &
1114 : : (RTE_ETH_RSS_NONFRAG_IPV4_TCP |
1115 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP)) {
1116 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L4_SRC_ONLY)
1117 : 0 : REFINE_PROTO_FLD(DEL, TCP_DST_PORT);
1118 [ # # ]: 0 : else if (rss_type & RTE_ETH_RSS_L4_DST_ONLY)
1119 : 0 : REFINE_PROTO_FLD(DEL, TCP_SRC_PORT);
1120 [ # # ]: 0 : else if (rss_type &
1121 : : (RTE_ETH_RSS_L3_SRC_ONLY |
1122 : : RTE_ETH_RSS_L3_DST_ONLY))
1123 : 0 : hdr->field_selector = 0;
1124 : : } else {
1125 : 0 : hdr->field_selector = 0;
1126 : : }
1127 : :
1128 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L4_CHKSUM)
1129 : 0 : REFINE_PROTO_FLD(ADD, TCP_CHKSUM);
1130 : : break;
1131 : 0 : case VIRTCHNL_PROTO_HDR_SCTP:
1132 [ # # ]: 0 : if (rss_type &
1133 : : (RTE_ETH_RSS_NONFRAG_IPV4_SCTP |
1134 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP)) {
1135 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L4_SRC_ONLY)
1136 : 0 : REFINE_PROTO_FLD(DEL, SCTP_DST_PORT);
1137 [ # # ]: 0 : else if (rss_type & RTE_ETH_RSS_L4_DST_ONLY)
1138 : 0 : REFINE_PROTO_FLD(DEL, SCTP_SRC_PORT);
1139 [ # # ]: 0 : else if (rss_type &
1140 : : (RTE_ETH_RSS_L3_SRC_ONLY |
1141 : : RTE_ETH_RSS_L3_DST_ONLY))
1142 : 0 : hdr->field_selector = 0;
1143 : : } else {
1144 : 0 : hdr->field_selector = 0;
1145 : : }
1146 : :
1147 [ # # ]: 0 : if (rss_type & RTE_ETH_RSS_L4_CHKSUM)
1148 : 0 : REFINE_PROTO_FLD(ADD, SCTP_CHKSUM);
1149 : : break;
1150 : 0 : case VIRTCHNL_PROTO_HDR_S_VLAN:
1151 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_S_VLAN))
1152 : 0 : hdr->field_selector = 0;
1153 : : break;
1154 : 0 : case VIRTCHNL_PROTO_HDR_C_VLAN:
1155 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_C_VLAN))
1156 : 0 : hdr->field_selector = 0;
1157 : : break;
1158 : 0 : case VIRTCHNL_PROTO_HDR_L2TPV3:
1159 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_L2TPV3))
1160 : 0 : hdr->field_selector = 0;
1161 : : break;
1162 : 0 : case VIRTCHNL_PROTO_HDR_ESP:
1163 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_ESP))
1164 : 0 : hdr->field_selector = 0;
1165 : : break;
1166 : 0 : case VIRTCHNL_PROTO_HDR_AH:
1167 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_AH))
1168 : 0 : hdr->field_selector = 0;
1169 : : break;
1170 : 0 : case VIRTCHNL_PROTO_HDR_PFCP:
1171 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_PFCP))
1172 : 0 : hdr->field_selector = 0;
1173 : : break;
1174 : 0 : case VIRTCHNL_PROTO_HDR_ECPRI:
1175 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_ECPRI))
1176 : 0 : hdr->field_selector = 0;
1177 : : break;
1178 : 0 : case VIRTCHNL_PROTO_HDR_L2TPV2:
1179 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_L2TPV2))
1180 : 0 : hdr->field_selector = 0;
1181 : : break;
1182 : : default:
1183 : : break;
1184 : : }
1185 : : }
1186 : 0 : }
1187 : :
1188 : : /* refine proto hdrs base on gtpu rss type */
1189 : : static void
1190 : : iavf_refine_proto_hdrs_gtpu(struct virtchnl_proto_hdrs *proto_hdrs,
1191 : : uint64_t rss_type)
1192 : : {
1193 : : struct virtchnl_proto_hdr *hdr;
1194 : : int i;
1195 : :
1196 [ # # ]: 0 : if (!(rss_type & RTE_ETH_RSS_GTPU))
1197 : : return;
1198 : :
1199 [ # # ]: 0 : for (i = 0; i < proto_hdrs->count; i++) {
1200 : : hdr = &proto_hdrs->proto_hdr[i];
1201 [ # # ]: 0 : switch (hdr->type) {
1202 : 0 : case VIRTCHNL_PROTO_HDR_GTPU_IP:
1203 : 0 : REFINE_PROTO_FLD(ADD, GTPU_IP_TEID);
1204 : 0 : break;
1205 : : default:
1206 : : break;
1207 : : }
1208 : : }
1209 : : }
1210 : :
1211 : : static void
1212 : 0 : iavf_refine_proto_hdrs_by_pattern(struct virtchnl_proto_hdrs *proto_hdrs,
1213 : : uint64_t phint)
1214 : : {
1215 : : struct virtchnl_proto_hdr *hdr1;
1216 : : struct virtchnl_proto_hdr *hdr2;
1217 : : int i, shift_count = 1;
1218 : 0 : int tun_lvl = proto_hdrs->tunnel_level;
1219 : :
1220 [ # # ]: 0 : if (!(phint & IAVF_PHINT_GTPU_MSK) && !(phint & IAVF_PHINT_GRE))
1221 : : return;
1222 : :
1223 [ # # ]: 0 : while (tun_lvl) {
1224 [ # # ]: 0 : if (phint & IAVF_PHINT_LAYERS_MSK)
1225 : : shift_count = 2;
1226 : :
1227 : : /* shift headers layer */
1228 : 0 : for (i = proto_hdrs->count - 1 + shift_count;
1229 [ # # ]: 0 : i > shift_count - 1; i--) {
1230 : : hdr1 = &proto_hdrs->proto_hdr[i];
1231 : 0 : hdr2 = &proto_hdrs->proto_hdr[i - shift_count];
1232 : 0 : *hdr1 = *hdr2;
1233 : : }
1234 : :
1235 [ # # ]: 0 : if (shift_count == 1) {
1236 : : /* adding tunnel header at layer 0 */
1237 : 0 : hdr1 = &proto_hdrs->proto_hdr[0];
1238 : : } else {
1239 : : /* adding tunnel header and outer ip header */
1240 : 0 : hdr1 = &proto_hdrs->proto_hdr[1];
1241 : : hdr2 = &proto_hdrs->proto_hdr[0];
1242 : 0 : hdr2->field_selector = 0;
1243 : 0 : proto_hdrs->count++;
1244 : 0 : tun_lvl--;
1245 : :
1246 [ # # ]: 0 : if (tun_lvl == TUNNEL_LEVEL_OUTER) {
1247 [ # # ]: 0 : if (phint & IAVF_PHINT_OUTER_IPV4)
1248 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr2, IPV4);
1249 [ # # ]: 0 : else if (phint & IAVF_PHINT_OUTER_IPV6)
1250 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr2, IPV6);
1251 [ # # ]: 0 : } else if (tun_lvl == TUNNEL_LEVEL_INNER) {
1252 [ # # ]: 0 : if (phint & IAVF_PHINT_MID_IPV4)
1253 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr2, IPV4);
1254 [ # # ]: 0 : else if (phint & IAVF_PHINT_MID_IPV6)
1255 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr2, IPV6);
1256 : : }
1257 : : }
1258 : :
1259 : 0 : hdr1->field_selector = 0;
1260 : 0 : proto_hdrs->count++;
1261 : :
1262 [ # # ]: 0 : if (phint & IAVF_PHINT_GTPU_EH_DWN)
1263 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, GTPU_EH_PDU_DWN);
1264 [ # # ]: 0 : else if (phint & IAVF_PHINT_GTPU_EH_UP)
1265 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, GTPU_EH_PDU_UP);
1266 [ # # ]: 0 : else if (phint & IAVF_PHINT_GTPU_EH)
1267 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, GTPU_EH);
1268 [ # # ]: 0 : else if (phint & IAVF_PHINT_GTPU)
1269 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, GTPU_IP);
1270 : :
1271 [ # # ]: 0 : if (phint & IAVF_PHINT_GRE) {
1272 [ # # ]: 0 : if (phint & IAVF_PHINT_GTPU) {
1273 : : /* if GTPoGRE, add GRE header at the outer tunnel */
1274 [ # # ]: 0 : if (tun_lvl == TUNNEL_LEVEL_OUTER)
1275 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, GRE);
1276 : : } else {
1277 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, GRE);
1278 : : }
1279 : : }
1280 : : }
1281 : 0 : proto_hdrs->tunnel_level = tun_lvl;
1282 : : }
1283 : :
1284 : : static void
1285 : 0 : iavf_refine_proto_hdrs_l2tpv2(struct virtchnl_proto_hdrs *proto_hdrs,
1286 : : uint64_t phint)
1287 : : {
1288 : : struct virtchnl_proto_hdr *hdr, *hdr1;
1289 : : int i;
1290 : :
1291 [ # # ]: 0 : if (!(phint & IAVF_PHINT_L2TPV2) && !(phint & IAVF_PHINT_L2TPV2_LEN))
1292 : : return;
1293 : :
1294 [ # # ]: 0 : if (proto_hdrs->tunnel_level == TUNNEL_LEVEL_INNER) {
1295 : : /* shift headers layer */
1296 [ # # ]: 0 : for (i = proto_hdrs->count; i > 0; i--)
1297 : 0 : proto_hdrs->proto_hdr[i] = proto_hdrs->proto_hdr[i - 1];
1298 : :
1299 : : /* adding outer ip header at layer 0 */
1300 : : hdr1 = &proto_hdrs->proto_hdr[0];
1301 : 0 : hdr1->field_selector = 0;
1302 : 0 : proto_hdrs->count++;
1303 : 0 : proto_hdrs->tunnel_level = TUNNEL_LEVEL_OUTER;
1304 [ # # ]: 0 : if (phint & IAVF_PHINT_OUTER_IPV4)
1305 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, IPV4);
1306 [ # # ]: 0 : else if (phint & IAVF_PHINT_OUTER_IPV6)
1307 : 0 : VIRTCHNL_SET_PROTO_HDR_TYPE(hdr1, IPV6);
1308 : : } else {
1309 [ # # ]: 0 : for (i = 0; i < proto_hdrs->count; i++) {
1310 : : hdr = &proto_hdrs->proto_hdr[i];
1311 [ # # ]: 0 : if (hdr->type == VIRTCHNL_PROTO_HDR_L2TPV2) {
1312 [ # # ]: 0 : if (phint & IAVF_PHINT_L2TPV2) {
1313 : 0 : REFINE_PROTO_FLD(DEL, L2TPV2_LEN_SESS_ID);
1314 [ # # ]: 0 : } else if (phint & IAVF_PHINT_L2TPV2_LEN) {
1315 : 0 : REFINE_PROTO_FLD(DEL, L2TPV2_SESS_ID);
1316 : : }
1317 : : }
1318 : : }
1319 : : }
1320 : : }
1321 : :
1322 : 0 : static void iavf_refine_proto_hdrs(struct virtchnl_proto_hdrs *proto_hdrs,
1323 : : uint64_t rss_type, uint64_t phint)
1324 : : {
1325 : 0 : iavf_refine_proto_hdrs_l234(proto_hdrs, rss_type);
1326 : 0 : iavf_refine_proto_hdrs_by_pattern(proto_hdrs, phint);
1327 : : iavf_refine_proto_hdrs_gtpu(proto_hdrs, rss_type);
1328 : 0 : iavf_refine_proto_hdrs_l2tpv2(proto_hdrs, phint);
1329 : 0 : }
1330 : :
1331 : : static uint64_t invalid_rss_comb[] = {
1332 : : RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_NONFRAG_IPV4_UDP,
1333 : : RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_NONFRAG_IPV4_TCP,
1334 : : RTE_ETH_RSS_IPV6 | RTE_ETH_RSS_NONFRAG_IPV6_UDP,
1335 : : RTE_ETH_RSS_IPV6 | RTE_ETH_RSS_NONFRAG_IPV6_TCP,
1336 : : RTE_ETH_RSS_L3_PRE32 | RTE_ETH_RSS_L3_PRE40 |
1337 : : RTE_ETH_RSS_L3_PRE48 | RTE_ETH_RSS_L3_PRE56 |
1338 : : RTE_ETH_RSS_L3_PRE96
1339 : : };
1340 : :
1341 : : struct rss_attr_type {
1342 : : uint64_t attr;
1343 : : uint64_t type;
1344 : : };
1345 : :
1346 : : #define VALID_RSS_IPV4_L4 (RTE_ETH_RSS_NONFRAG_IPV4_UDP | \
1347 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | \
1348 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP)
1349 : :
1350 : : #define VALID_RSS_IPV6_L4 (RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
1351 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
1352 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP)
1353 : :
1354 : : #define VALID_RSS_IPV4 (RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_FRAG_IPV4 | \
1355 : : VALID_RSS_IPV4_L4)
1356 : : #define VALID_RSS_IPV6 (RTE_ETH_RSS_IPV6 | RTE_ETH_RSS_FRAG_IPV6 | \
1357 : : VALID_RSS_IPV6_L4)
1358 : : #define VALID_RSS_L3 (VALID_RSS_IPV4 | VALID_RSS_IPV6)
1359 : : #define VALID_RSS_L4 (VALID_RSS_IPV4_L4 | VALID_RSS_IPV6_L4)
1360 : :
1361 : : #define VALID_RSS_ATTR (RTE_ETH_RSS_L3_SRC_ONLY | \
1362 : : RTE_ETH_RSS_L3_DST_ONLY | \
1363 : : RTE_ETH_RSS_L4_SRC_ONLY | \
1364 : : RTE_ETH_RSS_L4_DST_ONLY | \
1365 : : RTE_ETH_RSS_L2_SRC_ONLY | \
1366 : : RTE_ETH_RSS_L2_DST_ONLY | \
1367 : : RTE_ETH_RSS_L3_PRE64)
1368 : :
1369 : : #define INVALID_RSS_ATTR (RTE_ETH_RSS_L3_PRE32 | \
1370 : : RTE_ETH_RSS_L3_PRE40 | \
1371 : : RTE_ETH_RSS_L3_PRE48 | \
1372 : : RTE_ETH_RSS_L3_PRE56 | \
1373 : : RTE_ETH_RSS_L3_PRE96)
1374 : :
1375 : : static struct rss_attr_type rss_attr_to_valid_type[] = {
1376 : : {RTE_ETH_RSS_L2_SRC_ONLY | RTE_ETH_RSS_L2_DST_ONLY, RTE_ETH_RSS_ETH},
1377 : : {RTE_ETH_RSS_L3_SRC_ONLY | RTE_ETH_RSS_L3_DST_ONLY, VALID_RSS_L3},
1378 : : {RTE_ETH_RSS_L4_SRC_ONLY | RTE_ETH_RSS_L4_DST_ONLY, VALID_RSS_L4},
1379 : : /* current ipv6 prefix only supports prefix 64 bits*/
1380 : : {RTE_ETH_RSS_L3_PRE64, VALID_RSS_IPV6},
1381 : : {INVALID_RSS_ATTR, 0}
1382 : : };
1383 : :
1384 : : static bool
1385 : 0 : iavf_any_invalid_rss_type(enum rte_eth_hash_function rss_func,
1386 : : uint64_t rss_type, uint64_t allow_rss_type)
1387 : : {
1388 : : uint32_t i;
1389 : :
1390 : : /**
1391 : : * Check if l3/l4 SRC/DST_ONLY is set for SYMMETRIC_TOEPLITZ
1392 : : * hash function.
1393 : : */
1394 [ # # ]: 0 : if (rss_func == RTE_ETH_HASH_FUNCTION_SYMMETRIC_TOEPLITZ) {
1395 [ # # ]: 0 : if (rss_type & (RTE_ETH_RSS_L3_SRC_ONLY | RTE_ETH_RSS_L3_DST_ONLY |
1396 : : RTE_ETH_RSS_L4_SRC_ONLY | RTE_ETH_RSS_L4_DST_ONLY))
1397 : : return true;
1398 : :
1399 [ # # ]: 0 : if (!(rss_type &
1400 : : (RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_IPV6 |
1401 : : RTE_ETH_RSS_FRAG_IPV4 | RTE_ETH_RSS_FRAG_IPV6 |
1402 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP | RTE_ETH_RSS_NONFRAG_IPV6_UDP |
1403 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | RTE_ETH_RSS_NONFRAG_IPV6_TCP |
1404 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP | RTE_ETH_RSS_NONFRAG_IPV6_SCTP)))
1405 : : return true;
1406 : : }
1407 : :
1408 : : /* check invalid combination */
1409 [ # # ]: 0 : for (i = 0; i < RTE_DIM(invalid_rss_comb); i++) {
1410 [ # # ]: 0 : if (rte_popcount64(rss_type & invalid_rss_comb[i]) > 1)
1411 : : return true;
1412 : : }
1413 : :
1414 : : /* check invalid RSS attribute */
1415 [ # # ]: 0 : for (i = 0; i < RTE_DIM(rss_attr_to_valid_type); i++) {
1416 : : struct rss_attr_type *rat = &rss_attr_to_valid_type[i];
1417 : :
1418 [ # # # # ]: 0 : if (rat->attr & rss_type && !(rat->type & rss_type))
1419 : : return true;
1420 : : }
1421 : :
1422 : : /* check not allowed RSS type */
1423 : 0 : rss_type &= ~VALID_RSS_ATTR;
1424 : :
1425 : 0 : return ((rss_type & allow_rss_type) != rss_type);
1426 : : }
1427 : :
1428 : : static int
1429 : 0 : iavf_hash_parse_action(struct iavf_pattern_match_item *match_item,
1430 : : const struct rte_flow_action actions[],
1431 : : uint64_t pattern_hint, struct iavf_rss_meta *rss_meta,
1432 : : struct rte_flow_error *error)
1433 : : {
1434 : : enum rte_flow_action_type action_type;
1435 : : const struct rte_flow_action_rss *rss;
1436 : : const struct rte_flow_action *action;
1437 : : uint64_t rss_type;
1438 : :
1439 : : /* Supported action is RSS. */
1440 [ # # ]: 0 : for (action = actions; action->type !=
1441 : 0 : RTE_FLOW_ACTION_TYPE_END; action++) {
1442 : : action_type = action->type;
1443 [ # # ]: 0 : switch (action_type) {
1444 : 0 : case RTE_FLOW_ACTION_TYPE_RSS:
1445 : 0 : rss = action->conf;
1446 : 0 : rss_type = rss->types;
1447 : :
1448 [ # # ]: 0 : if (rss->func ==
1449 : : RTE_ETH_HASH_FUNCTION_SIMPLE_XOR){
1450 : 0 : rss_meta->rss_algorithm =
1451 : : VIRTCHNL_RSS_ALG_XOR_ASYMMETRIC;
1452 : 0 : return rte_flow_error_set(error, ENOTSUP,
1453 : : RTE_FLOW_ERROR_TYPE_ACTION, action,
1454 : : "function simple_xor is not supported");
1455 [ # # ]: 0 : } else if (rss->func ==
1456 : : RTE_ETH_HASH_FUNCTION_SYMMETRIC_TOEPLITZ) {
1457 : 0 : rss_meta->rss_algorithm =
1458 : : VIRTCHNL_RSS_ALG_TOEPLITZ_SYMMETRIC;
1459 : : } else {
1460 : 0 : rss_meta->rss_algorithm =
1461 : : VIRTCHNL_RSS_ALG_TOEPLITZ_ASYMMETRIC;
1462 : : }
1463 : :
1464 [ # # ]: 0 : if (rss->level)
1465 : 0 : return rte_flow_error_set(error, ENOTSUP,
1466 : : RTE_FLOW_ERROR_TYPE_ACTION, action,
1467 : : "a nonzero RSS encapsulation level is not supported");
1468 : :
1469 [ # # ]: 0 : if (rss->key_len)
1470 : 0 : return rte_flow_error_set(error, ENOTSUP,
1471 : : RTE_FLOW_ERROR_TYPE_ACTION, action,
1472 : : "a nonzero RSS key_len is not supported");
1473 : :
1474 [ # # ]: 0 : if (rss->queue_num)
1475 : 0 : return rte_flow_error_set(error, ENOTSUP,
1476 : : RTE_FLOW_ERROR_TYPE_ACTION, action,
1477 : : "a non-NULL RSS queue is not supported");
1478 : :
1479 : : /* If pattern type is raw, no need to refine rss type */
1480 [ # # ]: 0 : if (pattern_hint == IAVF_PHINT_RAW)
1481 : : break;
1482 : :
1483 : : /**
1484 : : * Check simultaneous use of SRC_ONLY and DST_ONLY
1485 : : * of the same level.
1486 : : */
1487 : : rss_type = rte_eth_rss_hf_refine(rss_type);
1488 : :
1489 [ # # ]: 0 : if (iavf_any_invalid_rss_type(rss->func, rss_type,
1490 : : match_item->input_set_mask))
1491 : 0 : return rte_flow_error_set(error, ENOTSUP,
1492 : : RTE_FLOW_ERROR_TYPE_ACTION,
1493 : : action, "RSS type not supported");
1494 : :
1495 : 0 : memcpy(&rss_meta->proto_hdrs, match_item->meta,
1496 : : sizeof(struct virtchnl_proto_hdrs));
1497 : :
1498 : 0 : iavf_refine_proto_hdrs(&rss_meta->proto_hdrs,
1499 : : rss_type, pattern_hint);
1500 : 0 : break;
1501 : :
1502 : : case RTE_FLOW_ACTION_TYPE_END:
1503 : : break;
1504 : :
1505 : 0 : default:
1506 : 0 : rte_flow_error_set(error, EINVAL,
1507 : : RTE_FLOW_ERROR_TYPE_ACTION, action,
1508 : : "Invalid action.");
1509 : 0 : return -rte_errno;
1510 : : }
1511 : : }
1512 : :
1513 : : return 0;
1514 : : }
1515 : :
1516 : : static int
1517 : 0 : iavf_hash_parse_pattern_action(__rte_unused struct iavf_adapter *ad,
1518 : : struct iavf_pattern_match_item *array,
1519 : : uint32_t array_len,
1520 : : const struct rte_flow_item pattern[],
1521 : : const struct rte_flow_action actions[],
1522 : : uint32_t priority,
1523 : : void **meta,
1524 : : struct rte_flow_error *error)
1525 : : {
1526 : : struct iavf_pattern_match_item *pattern_match_item;
1527 : : struct iavf_rss_meta *rss_meta_ptr;
1528 : 0 : uint64_t phint = IAVF_PHINT_NONE;
1529 : : int ret = 0;
1530 : :
1531 [ # # ]: 0 : if (priority >= 1)
1532 : 0 : return -rte_errno;
1533 : :
1534 : 0 : rss_meta_ptr = rte_zmalloc(NULL, sizeof(*rss_meta_ptr), 0);
1535 [ # # ]: 0 : if (!rss_meta_ptr) {
1536 : 0 : rte_flow_error_set(error, EINVAL,
1537 : : RTE_FLOW_ERROR_TYPE_HANDLE, NULL,
1538 : : "No memory for rss_meta_ptr");
1539 : 0 : return -ENOMEM;
1540 : : }
1541 : :
1542 : : /* Check rss supported pattern and find matched pattern. */
1543 : : pattern_match_item =
1544 : 0 : iavf_search_pattern_match_item(pattern, array, array_len,
1545 : : error);
1546 [ # # ]: 0 : if (!pattern_match_item) {
1547 : 0 : ret = -rte_errno;
1548 : 0 : goto error;
1549 : : }
1550 : :
1551 : 0 : ret = iavf_hash_parse_pattern(pattern, &phint, error);
1552 [ # # ]: 0 : if (ret)
1553 : 0 : goto error;
1554 : :
1555 [ # # ]: 0 : if (phint == IAVF_PHINT_RAW) {
1556 : 0 : rss_meta_ptr->raw_ena = true;
1557 : 0 : ret = iavf_hash_parse_raw_pattern(pattern, error, rss_meta_ptr);
1558 [ # # ]: 0 : if (ret) {
1559 : 0 : rte_flow_error_set(error, EINVAL,
1560 : : RTE_FLOW_ERROR_TYPE_ITEM, NULL,
1561 : : "Parse raw pattern failed");
1562 : 0 : goto error;
1563 : : }
1564 : : }
1565 : :
1566 : 0 : ret = iavf_hash_parse_action(pattern_match_item, actions, phint,
1567 : : rss_meta_ptr, error);
1568 : :
1569 : 0 : error:
1570 [ # # ]: 0 : if (!ret && meta)
1571 : 0 : *meta = rss_meta_ptr;
1572 : : else
1573 : 0 : rte_free(rss_meta_ptr);
1574 : :
1575 : 0 : rte_free(pattern_match_item);
1576 : :
1577 : 0 : return ret;
1578 : : }
1579 : :
1580 : : static int
1581 : 0 : iavf_hash_create(__rte_unused struct iavf_adapter *ad,
1582 : : __rte_unused struct rte_flow *flow, void *meta,
1583 : : __rte_unused struct rte_flow_error *error)
1584 : : {
1585 : : struct iavf_rss_meta *rss_meta = (struct iavf_rss_meta *)meta;
1586 : : struct virtchnl_rss_cfg *rss_cfg;
1587 : : int ret = 0;
1588 : :
1589 : 0 : rss_cfg = rte_zmalloc("iavf rss rule",
1590 : : sizeof(struct virtchnl_rss_cfg), 0);
1591 [ # # ]: 0 : if (!rss_cfg) {
1592 : 0 : rte_flow_error_set(error, EINVAL,
1593 : : RTE_FLOW_ERROR_TYPE_HANDLE, NULL,
1594 : : "No memory for rss rule");
1595 : 0 : return -ENOMEM;
1596 : : }
1597 : :
1598 : 0 : rss_cfg->proto_hdrs = rss_meta->proto_hdrs;
1599 : 0 : rss_cfg->rss_algorithm = rss_meta->rss_algorithm;
1600 : :
1601 : 0 : ret = iavf_add_del_rss_cfg(ad, rss_cfg, true);
1602 [ # # ]: 0 : if (!ret) {
1603 : 0 : flow->rule = rss_cfg;
1604 : : } else {
1605 : 0 : PMD_DRV_LOG(ERR, "fail to add RSS configure");
1606 : 0 : rte_flow_error_set(error, -ret,
1607 : : RTE_FLOW_ERROR_TYPE_HANDLE, NULL,
1608 : : "Failed to add rss rule.");
1609 : 0 : rte_free(rss_cfg);
1610 : 0 : return -rte_errno;
1611 : : }
1612 : :
1613 : 0 : rte_free(meta);
1614 : :
1615 : 0 : return ret;
1616 : : }
1617 : :
1618 : : static int
1619 : 0 : iavf_hash_destroy(__rte_unused struct iavf_adapter *ad,
1620 : : struct rte_flow *flow,
1621 : : __rte_unused struct rte_flow_error *error)
1622 : : {
1623 : : struct iavf_info *vf = IAVF_DEV_PRIVATE_TO_VF(ad);
1624 : : struct virtchnl_rss_cfg *rss_cfg;
1625 : : int ret = 0;
1626 : :
1627 [ # # ]: 0 : if (vf->vf_reset)
1628 : : return 0;
1629 : :
1630 : 0 : rss_cfg = (struct virtchnl_rss_cfg *)flow->rule;
1631 : :
1632 : 0 : ret = iavf_add_del_rss_cfg(ad, rss_cfg, false);
1633 [ # # ]: 0 : if (ret) {
1634 : 0 : PMD_DRV_LOG(ERR, "fail to del RSS configure");
1635 : 0 : rte_flow_error_set(error, -ret,
1636 : : RTE_FLOW_ERROR_TYPE_HANDLE, NULL,
1637 : : "Failed to delete rss rule.");
1638 : 0 : return -rte_errno;
1639 : : }
1640 : : return ret;
1641 : : }
1642 : :
1643 : : static void
1644 : 0 : iavf_hash_uninit_parser(struct iavf_adapter *ad)
1645 : : {
1646 : 0 : iavf_unregister_parser(&iavf_hash_parser, ad);
1647 : 0 : }
1648 : :
1649 : : void
1650 : 0 : iavf_hash_uninit(struct iavf_adapter *ad)
1651 : : {
1652 : : struct iavf_info *vf = IAVF_DEV_PRIVATE_TO_VF(ad);
1653 : : struct rte_eth_rss_conf *rss_conf;
1654 : :
1655 [ # # ]: 0 : if (vf->vf_reset)
1656 : : return;
1657 : :
1658 [ # # ]: 0 : if (!vf->vf_res)
1659 : : return;
1660 : :
1661 [ # # ]: 0 : if (!(vf->vf_res->vf_cap_flags & VIRTCHNL_VF_OFFLOAD_ADV_RSS_PF))
1662 : : return;
1663 : :
1664 : 0 : rss_conf = &ad->dev_data->dev_conf.rx_adv_conf.rss_conf;
1665 [ # # ]: 0 : if (iavf_rss_hash_set(ad, rss_conf->rss_hf, false))
1666 : 0 : PMD_DRV_LOG(ERR, "fail to delete default RSS");
1667 : : }
1668 : :
1669 : : static void
1670 : 0 : iavf_hash_free(struct rte_flow *flow)
1671 : : {
1672 : 0 : rte_free(flow->rule);
1673 : 0 : }
|
