Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2010-2016 Intel Corporation
3 : : */
4 : :
5 : : #ifndef _IXGBE_ETHDEV_H_
6 : : #define _IXGBE_ETHDEV_H_
7 : :
8 : : #include <stdint.h>
9 : : #include <stdbool.h>
10 : : #include <sys/queue.h>
11 : :
12 : : #include "base/ixgbe_type.h"
13 : : #include "base/ixgbe_dcb.h"
14 : : #include "base/ixgbe_dcb_82599.h"
15 : : #include "base/ixgbe_dcb_82598.h"
16 : : #include "ixgbe_bypass.h"
17 : : #include "ixgbe_ipsec.h"
18 : : #include <rte_flow.h>
19 : : #include <rte_time.h>
20 : : #include <rte_hash.h>
21 : : #include <rte_pci.h>
22 : : #include <bus_pci_driver.h>
23 : : #include <rte_tm_driver.h>
24 : :
25 : : /* need update link, bit flag */
26 : : #define IXGBE_FLAG_NEED_LINK_UPDATE (uint32_t)(1 << 0)
27 : : #define IXGBE_FLAG_MAILBOX (uint32_t)(1 << 1)
28 : : #define IXGBE_FLAG_PHY_INTERRUPT (uint32_t)(1 << 2)
29 : : #define IXGBE_FLAG_MACSEC (uint32_t)(1 << 3)
30 : : #define IXGBE_FLAG_NEED_LINK_CONFIG (uint32_t)(1 << 4)
31 : :
32 : : /*
33 : : * Defines that were not part of ixgbe_type.h as they are not used by the
34 : : * FreeBSD driver.
35 : : */
36 : : #define IXGBE_ADVTXD_MAC_1588 0x00080000 /* IEEE1588 Timestamp packet */
37 : : #define IXGBE_RXD_STAT_TMST 0x10000 /* Timestamped Packet indication */
38 : : #define IXGBE_ADVTXD_TUCMD_L4T_RSV 0x00001800 /* L4 Packet TYPE, resvd */
39 : : #define IXGBE_RXDADV_ERR_CKSUM_BIT 30
40 : : #define IXGBE_RXDADV_ERR_CKSUM_MSK 3
41 : : #define IXGBE_ADVTXD_MACLEN_SHIFT 9 /* Bit shift for l2_len */
42 : : #define IXGBE_NB_STAT_MAPPING_REGS 32
43 : : #define IXGBE_EXTENDED_VLAN (uint32_t)(1 << 26) /* EXTENDED VLAN ENABLE */
44 : : #define IXGBE_VFTA_SIZE 128
45 : : #define IXGBE_HKEY_MAX_INDEX 10
46 : : #define IXGBE_MAX_RX_QUEUE_NUM 128
47 : : #define IXGBE_MAX_INTR_QUEUE_NUM 15
48 : : #define IXGBE_VMDQ_DCB_NB_QUEUES IXGBE_MAX_RX_QUEUE_NUM
49 : : #define IXGBE_DCB_NB_QUEUES IXGBE_MAX_RX_QUEUE_NUM
50 : : #define IXGBE_NONE_MODE_TX_NB_QUEUES 64
51 : :
52 : : #ifndef NBBY
53 : : #define NBBY 8 /* number of bits in a byte */
54 : : #endif
55 : : #define IXGBE_HWSTRIP_BITMAP_SIZE (IXGBE_MAX_RX_QUEUE_NUM / (sizeof(uint32_t) * NBBY))
56 : :
57 : : /* EITR Interval is in 2048ns uinits for 1G and 10G link */
58 : : #define IXGBE_EITR_INTERVAL_UNIT_NS 2048
59 : : #define IXGBE_EITR_ITR_INT_SHIFT 3
60 : : #define IXGBE_EITR_INTERVAL_US(us) \
61 : : (((us) * 1000 / IXGBE_EITR_INTERVAL_UNIT_NS << IXGBE_EITR_ITR_INT_SHIFT) & \
62 : : IXGBE_EITR_ITR_INT_MASK)
63 : :
64 : : #define IXGBE_QUEUE_ITR_INTERVAL_DEFAULT 500 /* 500us */
65 : :
66 : : /* Loopback operation modes */
67 : : #define IXGBE_LPBK_NONE 0x0 /* Default value. Loopback is disabled. */
68 : : #define IXGBE_LPBK_TX_RX 0x1 /* Tx->Rx loopback operation is enabled. */
69 : : /* X540-X550 specific loopback operations */
70 : : #define IXGBE_MII_AUTONEG_ENABLE 0x1000 /* Auto-negotiation enable (default = 1) */
71 : :
72 : : #define IXGBE_MAX_JUMBO_FRAME_SIZE 0x2600 /* Maximum Jumbo frame size. */
73 : :
74 : : #define IXGBE_RTTBCNRC_RF_INT_MASK_BASE 0x000003FF
75 : : #define IXGBE_RTTBCNRC_RF_INT_MASK_M \
76 : : (IXGBE_RTTBCNRC_RF_INT_MASK_BASE << IXGBE_RTTBCNRC_RF_INT_SHIFT)
77 : :
78 : : #define IXGBE_MAX_QUEUE_NUM_PER_VF 8
79 : :
80 : : #define IXGBE_SYN_FILTER_ENABLE 0x00000001 /* syn filter enable field */
81 : : #define IXGBE_SYN_FILTER_QUEUE 0x000000FE /* syn filter queue field */
82 : : #define IXGBE_SYN_FILTER_QUEUE_SHIFT 1 /* syn filter queue field shift */
83 : : #define IXGBE_SYN_FILTER_SYNQFP 0x80000000 /* syn filter SYNQFP */
84 : :
85 : : #define IXGBE_ETQF_UP 0x00070000 /* ethertype filter priority field */
86 : : #define IXGBE_ETQF_SHIFT 16
87 : : #define IXGBE_ETQF_UP_EN 0x00080000
88 : : #define IXGBE_ETQF_ETHERTYPE 0x0000FFFF /* ethertype filter ethertype field */
89 : : #define IXGBE_ETQF_MAX_PRI 7
90 : :
91 : : #define IXGBE_SDPQF_DSTPORT 0xFFFF0000 /* dst port field */
92 : : #define IXGBE_SDPQF_DSTPORT_SHIFT 16 /* dst port field shift */
93 : : #define IXGBE_SDPQF_SRCPORT 0x0000FFFF /* src port field */
94 : :
95 : : #define IXGBE_L34T_IMIR_SIZE_BP 0x00001000
96 : : #define IXGBE_L34T_IMIR_RESERVE 0x00080000 /* bit 13 to 19 must be set to 1000000b. */
97 : : #define IXGBE_L34T_IMIR_LLI 0x00100000
98 : : #define IXGBE_L34T_IMIR_QUEUE 0x0FE00000
99 : : #define IXGBE_L34T_IMIR_QUEUE_SHIFT 21
100 : : #define IXGBE_5TUPLE_MAX_PRI 7
101 : : #define IXGBE_5TUPLE_MIN_PRI 1
102 : :
103 : : /* The overhead from MTU to max frame size. */
104 : : #define IXGBE_ETH_OVERHEAD (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN)
105 : :
106 : : /* The max frame size with default MTU */
107 : : #define IXGBE_ETH_MAX_LEN (RTE_ETHER_MTU + IXGBE_ETH_OVERHEAD)
108 : :
109 : : /* bit of VXLAN tunnel type | 7 bits of zeros | 8 bits of zeros*/
110 : : #define IXGBE_FDIR_VXLAN_TUNNEL_TYPE 0x8000
111 : : /* bit of NVGRE tunnel type | 7 bits of zeros | 8 bits of zeros*/
112 : : #define IXGBE_FDIR_NVGRE_TUNNEL_TYPE 0x0
113 : :
114 : : #define IXGBE_RSS_OFFLOAD_ALL ( \
115 : : RTE_ETH_RSS_IPV4 | \
116 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | \
117 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP | \
118 : : RTE_ETH_RSS_IPV6 | \
119 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
120 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
121 : : RTE_ETH_RSS_IPV6_EX | \
122 : : RTE_ETH_RSS_IPV6_TCP_EX | \
123 : : RTE_ETH_RSS_IPV6_UDP_EX)
124 : :
125 : : #define IXGBE_VF_IRQ_ENABLE_MASK 3 /* vf irq enable mask */
126 : : #define IXGBE_VF_MAXMSIVECTOR 1
127 : :
128 : : #define IXGBE_MISC_VEC_ID RTE_INTR_VEC_ZERO_OFFSET
129 : : #define IXGBE_RX_VEC_START RTE_INTR_VEC_RXTX_OFFSET
130 : :
131 : : #define IXGBE_SECTX_MINSECIFG_MASK 0x0000000F
132 : :
133 : : #define IXGBE_MACSEC_PNTHRSH 0xFFFFFE00
134 : :
135 : : #define IXGBE_MAX_FDIR_FILTER_NUM (1024 * 32)
136 : : #define IXGBE_MAX_L2_TN_FILTER_NUM 128
137 : :
138 : : /* Link speed for X550 auto negotiation */
139 : : #define IXGBE_LINK_SPEED_X550_AUTONEG (IXGBE_LINK_SPEED_100_FULL | \
140 : : IXGBE_LINK_SPEED_1GB_FULL | \
141 : : IXGBE_LINK_SPEED_2_5GB_FULL | \
142 : : IXGBE_LINK_SPEED_5GB_FULL | \
143 : : IXGBE_LINK_SPEED_10GB_FULL)
144 : :
145 : : /*
146 : : * Information about the fdir mode.
147 : : */
148 : : struct ixgbe_hw_fdir_mask {
149 : : uint16_t vlan_tci_mask;
150 : : uint32_t src_ipv4_mask;
151 : : uint32_t dst_ipv4_mask;
152 : : uint16_t src_ipv6_mask;
153 : : uint16_t dst_ipv6_mask;
154 : : uint8_t l4_proto_match;
155 : : uint16_t src_port_mask;
156 : : uint16_t dst_port_mask;
157 : : uint16_t flex_bytes_mask;
158 : : uint8_t mac_addr_byte_mask;
159 : : uint32_t tunnel_id_mask;
160 : : uint8_t tunnel_type_mask;
161 : : };
162 : :
163 : : struct ixgbe_fdir_filter {
164 : : TAILQ_ENTRY(ixgbe_fdir_filter) entries;
165 : : union ixgbe_atr_input ixgbe_fdir; /* key of fdir filter*/
166 : : uint32_t fdirflags; /* drop or forward */
167 : : uint32_t fdirhash; /* hash value for fdir */
168 : : uint8_t queue; /* assigned rx queue */
169 : : };
170 : :
171 : : /* list of fdir filters */
172 : : TAILQ_HEAD(ixgbe_fdir_filter_list, ixgbe_fdir_filter);
173 : :
174 : : struct ixgbe_fdir_rule {
175 : : struct ixgbe_hw_fdir_mask mask;
176 : : union ixgbe_atr_input ixgbe_fdir; /* key of fdir filter*/
177 : : bool b_spec; /* If TRUE, ixgbe_fdir, fdirflags, queue have meaning. */
178 : : bool b_mask; /* If TRUE, mask has meaning. */
179 : : enum rte_fdir_mode mode; /* IP, MAC VLAN, Tunnel */
180 : : uint32_t fdirflags; /* drop or forward */
181 : : uint32_t soft_id; /* an unique value for this rule */
182 : : uint8_t queue; /* assigned rx queue */
183 : : uint8_t flex_bytes_offset;
184 : : };
185 : :
186 : : struct ixgbe_hw_fdir_info {
187 : : struct ixgbe_hw_fdir_mask mask;
188 : : uint8_t flex_bytes_offset;
189 : : uint16_t collision;
190 : : uint16_t free;
191 : : uint16_t maxhash;
192 : : uint8_t maxlen;
193 : : uint64_t add;
194 : : uint64_t remove;
195 : : uint64_t f_add;
196 : : uint64_t f_remove;
197 : : struct ixgbe_fdir_filter_list fdir_list; /* filter list*/
198 : : /* store the pointers of the filters, index is the hash value. */
199 : : struct ixgbe_fdir_filter **hash_map;
200 : : struct rte_hash *hash_handle; /* cuckoo hash handler */
201 : : uint32_t n_flows;
202 : : bool mask_added; /* If already got mask from consistent filter */
203 : : };
204 : :
205 : : struct ixgbe_rte_flow_rss_conf {
206 : : struct rte_flow_action_rss conf; /**< RSS parameters. */
207 : : uint8_t key[IXGBE_HKEY_MAX_INDEX * sizeof(uint32_t)]; /* Hash key. */
208 : : uint16_t queue[IXGBE_MAX_RX_QUEUE_NUM]; /**< Queues indices to use. */
209 : : };
210 : :
211 : : /* structure for interrupt relative data */
212 : : struct ixgbe_interrupt {
213 : : uint32_t flags;
214 : : uint32_t mask;
215 : : /*to save original mask during delayed handler */
216 : : uint32_t mask_original;
217 : : };
218 : :
219 : : struct ixgbe_vfta {
220 : : uint32_t vfta[IXGBE_VFTA_SIZE];
221 : : };
222 : :
223 : : struct ixgbe_hwstrip {
224 : : uint32_t bitmap[IXGBE_HWSTRIP_BITMAP_SIZE];
225 : : };
226 : :
227 : : /*
228 : : * VF data which used by PF host only
229 : : */
230 : : #define IXGBE_MAX_VF_MC_ENTRIES 30
231 : : #define IXGBE_MAX_UTA 128
232 : :
233 : : struct ixgbe_uta_info {
234 : : uint8_t uc_filter_type;
235 : : uint16_t uta_in_use;
236 : : uint32_t uta_shadow[IXGBE_MAX_UTA];
237 : : };
238 : :
239 : : struct ixgbe_vf_info {
240 : : uint8_t vf_mac_addresses[RTE_ETHER_ADDR_LEN];
241 : : uint16_t vf_mc_hashes[IXGBE_MAX_VF_MC_ENTRIES];
242 : : uint16_t num_vf_mc_hashes;
243 : : uint16_t default_vf_vlan_id;
244 : : uint16_t vlans_enabled;
245 : : bool clear_to_send;
246 : : uint16_t tx_rate[IXGBE_MAX_QUEUE_NUM_PER_VF];
247 : : uint16_t vlan_count;
248 : : uint8_t spoofchk_enabled;
249 : : uint8_t api_version;
250 : : uint16_t switch_domain_id;
251 : : uint16_t xcast_mode;
252 : : uint16_t mac_count;
253 : : };
254 : :
255 : : /*
256 : : * Possible l4type of 5tuple filters.
257 : : */
258 : : enum ixgbe_5tuple_protocol {
259 : : IXGBE_FILTER_PROTOCOL_TCP = 0,
260 : : IXGBE_FILTER_PROTOCOL_UDP,
261 : : IXGBE_FILTER_PROTOCOL_SCTP,
262 : : IXGBE_FILTER_PROTOCOL_NONE,
263 : : };
264 : :
265 : : TAILQ_HEAD(ixgbe_5tuple_filter_list, ixgbe_5tuple_filter);
266 : :
267 : : struct ixgbe_5tuple_filter_info {
268 : : uint32_t dst_ip;
269 : : uint32_t src_ip;
270 : : uint16_t dst_port;
271 : : uint16_t src_port;
272 : : enum ixgbe_5tuple_protocol proto; /* l4 protocol. */
273 : : uint8_t priority; /* seven levels (001b-111b), 111b is highest,
274 : : used when more than one filter matches. */
275 : : uint8_t dst_ip_mask:1, /* if mask is 1b, do not compare dst ip. */
276 : : src_ip_mask:1, /* if mask is 1b, do not compare src ip. */
277 : : dst_port_mask:1, /* if mask is 1b, do not compare dst port. */
278 : : src_port_mask:1, /* if mask is 1b, do not compare src port. */
279 : : proto_mask:1; /* if mask is 1b, do not compare protocol. */
280 : : };
281 : :
282 : : /* 5tuple filter structure */
283 : : struct ixgbe_5tuple_filter {
284 : : TAILQ_ENTRY(ixgbe_5tuple_filter) entries;
285 : : uint16_t index; /* the index of 5tuple filter */
286 : : struct ixgbe_5tuple_filter_info filter_info;
287 : : uint16_t queue; /* rx queue assigned to */
288 : : };
289 : :
290 : : #define IXGBE_5TUPLE_ARRAY_SIZE \
291 : : (RTE_ALIGN(IXGBE_MAX_FTQF_FILTERS, (sizeof(uint32_t) * NBBY)) / \
292 : : (sizeof(uint32_t) * NBBY))
293 : :
294 : : struct ixgbe_ethertype_filter {
295 : : uint16_t ethertype;
296 : : uint32_t etqf;
297 : : uint32_t etqs;
298 : : /**
299 : : * If this filter is added by configuration,
300 : : * it should not be removed.
301 : : */
302 : : bool conf;
303 : : };
304 : :
305 : : /*
306 : : * Structure to store filters' info.
307 : : */
308 : : struct ixgbe_filter_info {
309 : : uint8_t ethertype_mask; /* Bit mask for every used ethertype filter */
310 : : /* store used ethertype filters*/
311 : : struct ixgbe_ethertype_filter ethertype_filters[IXGBE_MAX_ETQF_FILTERS];
312 : : /* Bit mask for every used 5tuple filter */
313 : : uint32_t fivetuple_mask[IXGBE_5TUPLE_ARRAY_SIZE];
314 : : struct ixgbe_5tuple_filter_list fivetuple_list;
315 : : /* store the SYN filter info */
316 : : uint32_t syn_info;
317 : : /* store the rss filter info */
318 : : struct ixgbe_rte_flow_rss_conf rss_info;
319 : : };
320 : :
321 : : struct ixgbe_l2_tn_key {
322 : : enum rte_eth_tunnel_type l2_tn_type;
323 : : uint32_t tn_id;
324 : : };
325 : :
326 : : struct ixgbe_l2_tn_filter {
327 : : TAILQ_ENTRY(ixgbe_l2_tn_filter) entries;
328 : : struct ixgbe_l2_tn_key key;
329 : : uint32_t pool;
330 : : };
331 : :
332 : : TAILQ_HEAD(ixgbe_l2_tn_filter_list, ixgbe_l2_tn_filter);
333 : :
334 : : struct ixgbe_l2_tn_info {
335 : : struct ixgbe_l2_tn_filter_list l2_tn_list;
336 : : struct ixgbe_l2_tn_filter **hash_map;
337 : : struct rte_hash *hash_handle;
338 : : bool e_tag_en; /* e-tag enabled */
339 : : bool e_tag_fwd_en; /* e-tag based forwarding enabled */
340 : : uint16_t e_tag_ether_type; /* ether type for e-tag */
341 : : };
342 : :
343 : : struct rte_flow {
344 : : enum rte_filter_type filter_type;
345 : : /* security flows are not rte_filter_type */
346 : : bool is_security;
347 : : void *rule;
348 : : };
349 : :
350 : : struct ixgbe_macsec_setting {
351 : : uint8_t offload_en;
352 : : uint8_t encrypt_en;
353 : : uint8_t replayprotect_en;
354 : : };
355 : :
356 : : /*
357 : : * Statistics counters collected by the MACsec
358 : : */
359 : : struct ixgbe_macsec_stats {
360 : : /* TX port statistics */
361 : : uint64_t out_pkts_untagged;
362 : : uint64_t out_pkts_encrypted;
363 : : uint64_t out_pkts_protected;
364 : : uint64_t out_octets_encrypted;
365 : : uint64_t out_octets_protected;
366 : :
367 : : /* RX port statistics */
368 : : uint64_t in_pkts_untagged;
369 : : uint64_t in_pkts_badtag;
370 : : uint64_t in_pkts_nosci;
371 : : uint64_t in_pkts_unknownsci;
372 : : uint64_t in_octets_decrypted;
373 : : uint64_t in_octets_validated;
374 : :
375 : : /* RX SC statistics */
376 : : uint64_t in_pkts_unchecked;
377 : : uint64_t in_pkts_delayed;
378 : : uint64_t in_pkts_late;
379 : :
380 : : /* RX SA statistics */
381 : : uint64_t in_pkts_ok;
382 : : uint64_t in_pkts_invalid;
383 : : uint64_t in_pkts_notvalid;
384 : : uint64_t in_pkts_unusedsa;
385 : : uint64_t in_pkts_notusingsa;
386 : : };
387 : :
388 : : /* The configuration of bandwidth */
389 : : struct ixgbe_bw_conf {
390 : : uint8_t tc_num; /* Number of TCs. */
391 : : };
392 : :
393 : : /* Struct to store Traffic Manager shaper profile. */
394 : : struct ixgbe_tm_shaper_profile {
395 : : TAILQ_ENTRY(ixgbe_tm_shaper_profile) node;
396 : : uint32_t shaper_profile_id;
397 : : uint32_t reference_count;
398 : : struct rte_tm_shaper_params profile;
399 : : };
400 : :
401 : : TAILQ_HEAD(ixgbe_shaper_profile_list, ixgbe_tm_shaper_profile);
402 : :
403 : : /* node type of Traffic Manager */
404 : : enum ixgbe_tm_node_type {
405 : : IXGBE_TM_NODE_TYPE_PORT,
406 : : IXGBE_TM_NODE_TYPE_TC,
407 : : IXGBE_TM_NODE_TYPE_QUEUE,
408 : : IXGBE_TM_NODE_TYPE_MAX,
409 : : };
410 : :
411 : : /* Struct to store Traffic Manager node configuration. */
412 : : struct ixgbe_tm_node {
413 : : TAILQ_ENTRY(ixgbe_tm_node) node;
414 : : uint32_t id;
415 : : uint32_t priority;
416 : : uint32_t weight;
417 : : uint32_t reference_count;
418 : : uint16_t no;
419 : : struct ixgbe_tm_node *parent;
420 : : struct ixgbe_tm_shaper_profile *shaper_profile;
421 : : struct rte_tm_node_params params;
422 : : };
423 : :
424 : : TAILQ_HEAD(ixgbe_tm_node_list, ixgbe_tm_node);
425 : :
426 : : /* The configuration of Traffic Manager */
427 : : struct ixgbe_tm_conf {
428 : : struct ixgbe_shaper_profile_list shaper_profile_list;
429 : : struct ixgbe_tm_node *root; /* root node - port */
430 : : struct ixgbe_tm_node_list tc_list; /* node list for all the TCs */
431 : : struct ixgbe_tm_node_list queue_list; /* node list for all the queues */
432 : : /**
433 : : * The number of added TC nodes.
434 : : * It should be no more than the TC number of this port.
435 : : */
436 : : uint32_t nb_tc_node;
437 : : /**
438 : : * The number of added queue nodes.
439 : : * It should be no more than the queue number of this port.
440 : : */
441 : : uint32_t nb_queue_node;
442 : : /**
443 : : * This flag is used to check if APP can change the TM node
444 : : * configuration.
445 : : * When it's true, means the configuration is applied to HW,
446 : : * APP should not change the configuration.
447 : : * As we don't support on-the-fly configuration, when starting
448 : : * the port, APP should call the hierarchy_commit API to set this
449 : : * flag to true. When stopping the port, this flag should be set
450 : : * to false.
451 : : */
452 : : bool committed;
453 : : };
454 : :
455 : : struct ixgbe_filter_ele_base;
456 : : TAILQ_HEAD(ixgbe_filter_ele_list, ixgbe_filter_ele_base);
457 : :
458 : : /*
459 : : * Structure to store private data for each driver instance (for each port).
460 : : */
461 : : struct ixgbe_adapter {
462 : : struct ixgbe_hw hw;
463 : : struct ixgbe_hw_stats stats;
464 : : struct ixgbe_macsec_stats macsec_stats;
465 : : struct ixgbe_macsec_setting macsec_setting;
466 : : struct rte_eth_fdir_conf fdir_conf;
467 : : struct ixgbe_hw_fdir_info fdir;
468 : : struct ixgbe_interrupt intr;
469 : : struct ixgbe_vfta shadow_vfta;
470 : : struct ixgbe_hwstrip hwstrip;
471 : : struct ixgbe_dcb_config dcb_config;
472 : : struct ixgbe_vf_info *vfdata;
473 : : struct ixgbe_uta_info uta_info;
474 : : #ifdef RTE_LIBRTE_IXGBE_BYPASS
475 : : struct ixgbe_bypass_info bps;
476 : : #endif /* RTE_LIBRTE_IXGBE_BYPASS */
477 : : struct ixgbe_filter_info filter;
478 : : struct ixgbe_filter_ele_list flow_list;
479 : : struct ixgbe_l2_tn_info l2_tn;
480 : : struct ixgbe_bw_conf bw_conf;
481 : : struct ixgbe_ipsec ipsec;
482 : : bool rx_bulk_alloc_allowed;
483 : : bool rx_vec_allowed;
484 : : struct rte_timecounter systime_tc;
485 : : struct rte_timecounter rx_tstamp_tc;
486 : : struct rte_timecounter tx_tstamp_tc;
487 : : struct ixgbe_tm_conf tm_conf;
488 : :
489 : : /* For RSS reta table update */
490 : : uint8_t rss_reta_updated;
491 : :
492 : : /* Used for limiting SDP3 TX_DISABLE checks */
493 : : uint8_t sdp3_no_tx_disable;
494 : : uint16_t max_vfs;
495 : :
496 : : /* Used for VF link sync with PF's physical and logical (by checking
497 : : * mailbox status) link status.
498 : : */
499 : : uint8_t pflink_fullchk;
500 : : uint8_t mac_ctrl_frame_fwd;
501 : : RTE_ATOMIC(bool) link_thread_running;
502 : : rte_thread_t link_thread_tid;
503 : : };
504 : :
505 : : struct ixgbe_vf_representor {
506 : : uint16_t vf_id;
507 : : uint16_t switch_domain_id;
508 : : uint16_t pf_port_id;
509 : : };
510 : :
511 : : int ixgbe_vf_representor_init(struct rte_eth_dev *ethdev, void *init_params);
512 : : int ixgbe_vf_representor_uninit(struct rte_eth_dev *ethdev);
513 : : uint16_t ixgbe_vf_representor_rx_burst(void *rx_queue, struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
514 : : uint16_t ixgbe_vf_representor_tx_burst(void *tx_queue, struct rte_mbuf **tx_pkts, uint16_t nb_pkts);
515 : :
516 : : #define IXGBE_DEV_FDIR_CONF(dev) \
517 : : (&((struct ixgbe_adapter *)(dev)->data->dev_private)->fdir_conf)
518 : :
519 : : #define IXGBE_DEV_PRIVATE_TO_ADAPTER(adapter) \
520 : : ((struct ixgbe_adapter *)adapter)
521 : :
522 : : #define IXGBE_DEV_PRIVATE_TO_FDIR_CONF(adapter) \
523 : : (&(adapter)->fdir_conf)
524 : :
525 : : #define IXGBE_DEV_PRIVATE_TO_HW(adapter)\
526 : : (&((struct ixgbe_adapter *)adapter)->hw)
527 : :
528 : : #define IXGBE_DEV_PRIVATE_TO_STATS(adapter) \
529 : : (&((struct ixgbe_adapter *)adapter)->stats)
530 : :
531 : : #define IXGBE_DEV_PRIVATE_TO_MACSEC_STATS(adapter) \
532 : : (&((struct ixgbe_adapter *)adapter)->macsec_stats)
533 : :
534 : : #define IXGBE_DEV_PRIVATE_TO_MACSEC_SETTING(adapter) \
535 : : (&((struct ixgbe_adapter *)adapter)->macsec_setting)
536 : :
537 : : #define IXGBE_DEV_PRIVATE_TO_INTR(adapter) \
538 : : (&((struct ixgbe_adapter *)adapter)->intr)
539 : :
540 : : #define IXGBE_DEV_PRIVATE_TO_FDIR_INFO(adapter) \
541 : : (&((struct ixgbe_adapter *)adapter)->fdir)
542 : :
543 : : #define IXGBE_DEV_PRIVATE_TO_VFTA(adapter) \
544 : : (&((struct ixgbe_adapter *)adapter)->shadow_vfta)
545 : :
546 : : #define IXGBE_DEV_PRIVATE_TO_HWSTRIP_BITMAP(adapter) \
547 : : (&((struct ixgbe_adapter *)adapter)->hwstrip)
548 : :
549 : : #define IXGBE_DEV_PRIVATE_TO_DCB_CFG(adapter) \
550 : : (&((struct ixgbe_adapter *)adapter)->dcb_config)
551 : :
552 : : #define IXGBE_DEV_PRIVATE_TO_P_VFDATA(adapter) \
553 : : (&((struct ixgbe_adapter *)adapter)->vfdata)
554 : :
555 : : #define IXGBE_DEV_PRIVATE_TO_PFDATA(adapter) \
556 : : (&((struct ixgbe_adapter *)adapter)->mr_data)
557 : :
558 : : #define IXGBE_DEV_PRIVATE_TO_UTA(adapter) \
559 : : (&((struct ixgbe_adapter *)adapter)->uta_info)
560 : :
561 : : #define IXGBE_DEV_PRIVATE_TO_FILTER_INFO(adapter) \
562 : : (&((struct ixgbe_adapter *)adapter)->filter)
563 : :
564 : : #define IXGBE_DEV_PRIVATE_TO_L2_TN_INFO(adapter) \
565 : : (&((struct ixgbe_adapter *)adapter)->l2_tn)
566 : :
567 : : #define IXGBE_DEV_PRIVATE_TO_BW_CONF(adapter) \
568 : : (&((struct ixgbe_adapter *)adapter)->bw_conf)
569 : :
570 : : #define IXGBE_DEV_PRIVATE_TO_TM_CONF(adapter) \
571 : : (&((struct ixgbe_adapter *)adapter)->tm_conf)
572 : :
573 : : #define IXGBE_DEV_PRIVATE_TO_IPSEC(adapter)\
574 : : (&((struct ixgbe_adapter *)adapter)->ipsec)
575 : :
576 : : /*
577 : : * RX/TX function prototypes
578 : : */
579 : : void ixgbe_dev_clear_queues(struct rte_eth_dev *dev);
580 : :
581 : : void ixgbe_dev_free_queues(struct rte_eth_dev *dev);
582 : :
583 : : void ixgbe_dev_rx_queue_release(struct rte_eth_dev *dev, uint16_t qid);
584 : :
585 : : void ixgbe_dev_tx_queue_release(struct rte_eth_dev *dev, uint16_t qid);
586 : :
587 : : int ixgbe_dev_rx_queue_setup(struct rte_eth_dev *dev, uint16_t rx_queue_id,
588 : : uint16_t nb_rx_desc, unsigned int socket_id,
589 : : const struct rte_eth_rxconf *rx_conf,
590 : : struct rte_mempool *mb_pool);
591 : :
592 : : int ixgbe_dev_tx_queue_setup(struct rte_eth_dev *dev, uint16_t tx_queue_id,
593 : : uint16_t nb_tx_desc, unsigned int socket_id,
594 : : const struct rte_eth_txconf *tx_conf);
595 : :
596 : : int ixgbe_dev_rx_queue_count(void *rx_queue);
597 : :
598 : : int ixgbe_dev_rx_descriptor_status(void *rx_queue, uint16_t offset);
599 : : int ixgbe_dev_tx_descriptor_status(void *tx_queue, uint16_t offset);
600 : :
601 : : int ixgbe_dev_rx_init(struct rte_eth_dev *dev);
602 : :
603 : : void ixgbe_dev_tx_init(struct rte_eth_dev *dev);
604 : :
605 : : int ixgbe_dev_rxtx_start(struct rte_eth_dev *dev);
606 : :
607 : : int ixgbe_dev_rx_queue_start(struct rte_eth_dev *dev, uint16_t rx_queue_id);
608 : :
609 : : int ixgbe_dev_rx_queue_stop(struct rte_eth_dev *dev, uint16_t rx_queue_id);
610 : :
611 : : int ixgbe_dev_tx_queue_start(struct rte_eth_dev *dev, uint16_t tx_queue_id);
612 : :
613 : : int ixgbe_dev_tx_queue_stop(struct rte_eth_dev *dev, uint16_t tx_queue_id);
614 : :
615 : : void ixgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
616 : : struct rte_eth_rxq_info *qinfo);
617 : :
618 : : void ixgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
619 : : struct rte_eth_txq_info *qinfo);
620 : :
621 : : void ixgbe_recycle_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
622 : : struct rte_eth_recycle_rxq_info *recycle_rxq_info);
623 : :
624 : : int ixgbevf_dev_rx_init(struct rte_eth_dev *dev);
625 : :
626 : : void ixgbevf_dev_tx_init(struct rte_eth_dev *dev);
627 : :
628 : : void ixgbevf_dev_rxtx_start(struct rte_eth_dev *dev);
629 : :
630 : : uint16_t ixgbe_recv_pkts(void *rx_queue, struct rte_mbuf **rx_pkts,
631 : : uint16_t nb_pkts);
632 : :
633 : : uint16_t ixgbe_recv_pkts_bulk_alloc(void *rx_queue, struct rte_mbuf **rx_pkts,
634 : : uint16_t nb_pkts);
635 : :
636 : : uint16_t ixgbe_recv_pkts_lro_single_alloc(void *rx_queue,
637 : : struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
638 : : uint16_t ixgbe_recv_pkts_lro_bulk_alloc(void *rx_queue,
639 : : struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
640 : :
641 : : uint16_t ixgbe_xmit_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
642 : : uint16_t nb_pkts);
643 : :
644 : : uint16_t ixgbe_xmit_pkts_simple(void *tx_queue, struct rte_mbuf **tx_pkts,
645 : : uint16_t nb_pkts);
646 : :
647 : : uint16_t ixgbe_prep_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
648 : : uint16_t nb_pkts);
649 : :
650 : : int ixgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
651 : : struct rte_eth_rss_conf *rss_conf);
652 : :
653 : : int ixgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
654 : : struct rte_eth_rss_conf *rss_conf);
655 : :
656 : : uint16_t ixgbe_reta_size_get(enum ixgbe_mac_type mac_type);
657 : :
658 : : uint32_t ixgbe_reta_reg_get(enum ixgbe_mac_type mac_type, uint16_t reta_idx);
659 : :
660 : : uint32_t ixgbe_mrqc_reg_get(enum ixgbe_mac_type mac_type);
661 : :
662 : : uint32_t ixgbe_rssrk_reg_get(enum ixgbe_mac_type mac_type, uint8_t i);
663 : :
664 : : bool ixgbe_rss_update_sp(enum ixgbe_mac_type mac_type);
665 : :
666 : : int ixgbe_add_del_ntuple_filter(struct ixgbe_adapter *adapter,
667 : : struct rte_eth_ntuple_filter *filter,
668 : : bool add);
669 : : int ixgbe_add_del_ethertype_filter(struct ixgbe_adapter *adapter,
670 : : struct rte_eth_ethertype_filter *filter,
671 : : bool add);
672 : : int ixgbe_syn_filter_set(struct ixgbe_adapter *adapter,
673 : : struct rte_eth_syn_filter *filter,
674 : : bool add);
675 : :
676 : : /**
677 : : * l2 tunnel configuration.
678 : : */
679 : : struct ixgbe_l2_tunnel_conf {
680 : : enum rte_eth_tunnel_type l2_tunnel_type;
681 : : uint16_t ether_type; /* ether type in l2 header */
682 : : uint32_t tunnel_id; /* port tag id for e-tag */
683 : : uint16_t vf_id; /* VF id for tag insertion */
684 : : uint32_t pool; /* destination pool for tag based forwarding */
685 : : };
686 : :
687 : : int
688 : : ixgbe_dev_l2_tunnel_filter_add(struct ixgbe_adapter *adapter,
689 : : struct ixgbe_l2_tunnel_conf *l2_tunnel,
690 : : bool restore);
691 : : int
692 : : ixgbe_dev_l2_tunnel_filter_del(struct ixgbe_adapter *adapter,
693 : : struct ixgbe_l2_tunnel_conf *l2_tunnel);
694 : : void ixgbe_filterlist_init(struct rte_eth_dev *dev);
695 : : void ixgbe_filterlist_flush(struct rte_eth_dev *dev);
696 : : /*
697 : : * Flow director function prototypes
698 : : */
699 : : int ixgbe_fdir_configure(struct rte_eth_dev *dev,
700 : : const struct rte_eth_fdir_conf *fdir_conf,
701 : : const struct ixgbe_hw_fdir_mask *fdir_mask);
702 : : int ixgbe_fdir_set_input_mask(struct ixgbe_adapter *adapter,
703 : : const struct ixgbe_hw_fdir_mask *mask,
704 : : enum rte_fdir_mode mode);
705 : : int ixgbe_fdir_set_flexbytes_offset(struct ixgbe_adapter *adapter,
706 : : uint16_t offset);
707 : : int ixgbe_fdir_filter_program(struct ixgbe_adapter *adapter,
708 : : struct rte_eth_fdir_conf *fdir_conf,
709 : : struct ixgbe_fdir_rule *rule,
710 : : bool del, bool update);
711 : : void ixgbe_fdir_info_get(struct rte_eth_dev *dev,
712 : : struct rte_eth_fdir_info *fdir_info);
713 : : void ixgbe_fdir_stats_get(struct rte_eth_dev *dev,
714 : : struct rte_eth_fdir_stats *fdir_stats);
715 : :
716 : : void ixgbe_configure_dcb(struct rte_eth_dev *dev);
717 : :
718 : : int
719 : : ixgbe_dev_link_update_share(struct rte_eth_dev *dev,
720 : : int wait_to_complete, int vf);
721 : :
722 : : /*
723 : : * misc function prototypes
724 : : */
725 : : void ixgbe_vlan_hw_filter_enable(struct rte_eth_dev *dev);
726 : :
727 : : void ixgbe_vlan_hw_filter_disable(struct rte_eth_dev *dev);
728 : :
729 : : void ixgbe_vlan_hw_strip_config(struct rte_eth_dev *dev);
730 : :
731 : : int ixgbe_pf_host_init(struct rte_eth_dev *eth_dev);
732 : :
733 : : void ixgbe_pf_host_uninit(struct rte_eth_dev *eth_dev);
734 : :
735 : : void ixgbe_pf_mbx_process(struct rte_eth_dev *eth_dev);
736 : :
737 : : int ixgbe_pf_host_configure(struct rte_eth_dev *eth_dev);
738 : :
739 : : uint32_t ixgbe_convert_vm_rx_mask_to_val(uint16_t rx_mask, uint32_t orig_val);
740 : :
741 : : void ixgbe_fdir_filter_restore(struct rte_eth_dev *dev);
742 : : int ixgbe_clear_all_fdir_filter(struct rte_eth_dev *dev);
743 : :
744 : : extern const struct rte_flow_ops ixgbe_flow_ops;
745 : :
746 : : void ixgbe_clear_all_ethertype_filter(struct rte_eth_dev *dev);
747 : : void ixgbe_clear_all_ntuple_filter(struct rte_eth_dev *dev);
748 : : void ixgbe_clear_syn_filter(struct rte_eth_dev *dev);
749 : : int ixgbe_clear_all_l2_tn_filter(struct rte_eth_dev *dev);
750 : :
751 : : int ixgbe_disable_sec_tx_path_generic(struct ixgbe_hw *hw);
752 : :
753 : : int ixgbe_enable_sec_tx_path_generic(struct ixgbe_hw *hw);
754 : :
755 : : int ixgbe_vt_check(struct ixgbe_hw *hw);
756 : : int ixgbe_set_vf_rate_limit(struct rte_eth_dev *dev, uint16_t vf,
757 : : uint32_t tx_rate, uint64_t q_msk);
758 : : bool is_ixgbe_supported(struct rte_eth_dev *dev);
759 : : int ixgbe_tm_ops_get(struct rte_eth_dev *dev, void *ops);
760 : : void ixgbe_tm_conf_init(struct rte_eth_dev *dev);
761 : : void ixgbe_tm_conf_uninit(struct rte_eth_dev *dev);
762 : : int ixgbe_set_queue_rate_limit(struct rte_eth_dev *dev, uint16_t queue_idx,
763 : : uint32_t tx_rate);
764 : : int ixgbe_rss_conf_init(struct ixgbe_rte_flow_rss_conf *out,
765 : : const struct rte_flow_action_rss *in);
766 : : int ixgbe_action_rss_same(const struct rte_flow_action_rss *comp,
767 : : const struct rte_flow_action_rss *with);
768 : : int ixgbe_config_rss_filter(struct ixgbe_adapter *adapter,
769 : : struct ixgbe_rte_flow_rss_conf *conf, bool add);
770 : :
771 : : void ixgbe_dev_macsec_register_enable(struct rte_eth_dev *dev,
772 : : struct ixgbe_macsec_setting *macsec_setting);
773 : :
774 : : void ixgbe_dev_macsec_register_disable(struct rte_eth_dev *dev);
775 : :
776 : : void ixgbe_dev_macsec_setting_save(struct rte_eth_dev *dev,
777 : : struct ixgbe_macsec_setting *macsec_setting);
778 : :
779 : : void ixgbe_dev_macsec_setting_reset(struct rte_eth_dev *dev);
780 : :
781 : : static inline int
782 : : ixgbe_ethertype_filter_lookup(struct ixgbe_filter_info *filter_info,
783 : : uint16_t ethertype)
784 : : {
785 : : int i;
786 : :
787 [ # # ]: 0 : for (i = 0; i < IXGBE_MAX_ETQF_FILTERS; i++) {
788 [ # # ]: 0 : if (filter_info->ethertype_filters[i].ethertype == ethertype &&
789 [ # # ]: 0 : (filter_info->ethertype_mask & (1 << i)))
790 : : return i;
791 : : }
792 : : return -1;
793 : : }
794 : :
795 : : static inline int
796 : : ixgbe_ethertype_filter_insert(struct ixgbe_filter_info *filter_info,
797 : : struct ixgbe_ethertype_filter *ethertype_filter)
798 : : {
799 : : int i;
800 : :
801 [ # # ]: 0 : for (i = 0; i < IXGBE_MAX_ETQF_FILTERS; i++) {
802 [ # # ]: 0 : if (!(filter_info->ethertype_mask & (1 << i))) {
803 : 0 : filter_info->ethertype_mask |= 1 << i;
804 : 0 : filter_info->ethertype_filters[i].ethertype =
805 : : ethertype_filter->ethertype;
806 : 0 : filter_info->ethertype_filters[i].etqf =
807 : : ethertype_filter->etqf;
808 : 0 : filter_info->ethertype_filters[i].etqs =
809 : : ethertype_filter->etqs;
810 : 0 : filter_info->ethertype_filters[i].conf =
811 : : ethertype_filter->conf;
812 : 0 : return i;
813 : : }
814 : : }
815 : : return -1;
816 : : }
817 : :
818 : : static inline int
819 : : ixgbe_ethertype_filter_remove(struct ixgbe_filter_info *filter_info,
820 : : uint8_t idx)
821 : : {
822 [ # # ]: 0 : if (idx >= IXGBE_MAX_ETQF_FILTERS)
823 : : return -1;
824 : 0 : filter_info->ethertype_mask &= ~(1 << idx);
825 : 0 : filter_info->ethertype_filters[idx].ethertype = 0;
826 : 0 : filter_info->ethertype_filters[idx].etqf = 0;
827 : 0 : filter_info->ethertype_filters[idx].etqs = 0;
828 : : filter_info->ethertype_filters[idx].etqs = FALSE;
829 : : return idx;
830 : : }
831 : :
832 : : #endif /* _IXGBE_ETHDEV_H_ */
|
