Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2010-2016 Intel Corporation
3 : : */
4 : :
5 : : #ifndef _IXGBE_ETHDEV_H_
6 : : #define _IXGBE_ETHDEV_H_
7 : :
8 : : #include <stdint.h>
9 : : #include <stdbool.h>
10 : : #include <sys/queue.h>
11 : :
12 : : #include "base/ixgbe_type.h"
13 : : #include "base/ixgbe_dcb.h"
14 : : #include "base/ixgbe_dcb_82599.h"
15 : : #include "base/ixgbe_dcb_82598.h"
16 : : #include "ixgbe_bypass.h"
17 : : #include "ixgbe_ipsec.h"
18 : : #include <rte_flow.h>
19 : : #include <rte_time.h>
20 : : #include <rte_hash.h>
21 : : #include <rte_pci.h>
22 : : #include <bus_pci_driver.h>
23 : : #include <rte_tm_driver.h>
24 : :
25 : : /* need update link, bit flag */
26 : : #define IXGBE_FLAG_NEED_LINK_UPDATE (uint32_t)(1 << 0)
27 : : #define IXGBE_FLAG_MAILBOX (uint32_t)(1 << 1)
28 : : #define IXGBE_FLAG_PHY_INTERRUPT (uint32_t)(1 << 2)
29 : : #define IXGBE_FLAG_MACSEC (uint32_t)(1 << 3)
30 : : #define IXGBE_FLAG_NEED_LINK_CONFIG (uint32_t)(1 << 4)
31 : :
32 : : /*
33 : : * Defines that were not part of ixgbe_type.h as they are not used by the
34 : : * FreeBSD driver.
35 : : */
36 : : #define IXGBE_ADVTXD_MAC_1588 0x00080000 /* IEEE1588 Timestamp packet */
37 : : #define IXGBE_RXD_STAT_TMST 0x10000 /* Timestamped Packet indication */
38 : : #define IXGBE_ADVTXD_TUCMD_L4T_RSV 0x00001800 /* L4 Packet TYPE, resvd */
39 : : #define IXGBE_RXDADV_ERR_CKSUM_BIT 30
40 : : #define IXGBE_RXDADV_ERR_CKSUM_MSK 3
41 : : #define IXGBE_ADVTXD_MACLEN_SHIFT 9 /* Bit shift for l2_len */
42 : : #define IXGBE_NB_STAT_MAPPING_REGS 32
43 : : #define IXGBE_EXTENDED_VLAN (uint32_t)(1 << 26) /* EXTENDED VLAN ENABLE */
44 : : #define IXGBE_VFTA_SIZE 128
45 : : #define IXGBE_HKEY_MAX_INDEX 10
46 : : #define IXGBE_MAX_RX_QUEUE_NUM 128
47 : : #define IXGBE_MAX_INTR_QUEUE_NUM 15
48 : : #define IXGBE_VMDQ_DCB_NB_QUEUES IXGBE_MAX_RX_QUEUE_NUM
49 : : #define IXGBE_DCB_NB_QUEUES IXGBE_MAX_RX_QUEUE_NUM
50 : : #define IXGBE_NONE_MODE_TX_NB_QUEUES 64
51 : :
52 : : #ifndef NBBY
53 : : #define NBBY 8 /* number of bits in a byte */
54 : : #endif
55 : : #define IXGBE_HWSTRIP_BITMAP_SIZE (IXGBE_MAX_RX_QUEUE_NUM / (sizeof(uint32_t) * NBBY))
56 : :
57 : : /* EITR Interval is in 2048ns uinits for 1G and 10G link */
58 : : #define IXGBE_EITR_INTERVAL_UNIT_NS 2048
59 : : #define IXGBE_EITR_ITR_INT_SHIFT 3
60 : : #define IXGBE_EITR_INTERVAL_US(us) \
61 : : (((us) * 1000 / IXGBE_EITR_INTERVAL_UNIT_NS << IXGBE_EITR_ITR_INT_SHIFT) & \
62 : : IXGBE_EITR_ITR_INT_MASK)
63 : :
64 : : #define IXGBE_QUEUE_ITR_INTERVAL_DEFAULT 500 /* 500us */
65 : :
66 : : /* Loopback operation modes */
67 : : #define IXGBE_LPBK_NONE 0x0 /* Default value. Loopback is disabled. */
68 : : #define IXGBE_LPBK_TX_RX 0x1 /* Tx->Rx loopback operation is enabled. */
69 : : /* X540-X550 specific loopback operations */
70 : : #define IXGBE_MII_AUTONEG_ENABLE 0x1000 /* Auto-negotiation enable (default = 1) */
71 : :
72 : : #define IXGBE_MAX_JUMBO_FRAME_SIZE 0x2600 /* Maximum Jumbo frame size. */
73 : :
74 : : #define IXGBE_RTTBCNRC_RF_INT_MASK_BASE 0x000003FF
75 : : #define IXGBE_RTTBCNRC_RF_INT_MASK_M \
76 : : (IXGBE_RTTBCNRC_RF_INT_MASK_BASE << IXGBE_RTTBCNRC_RF_INT_SHIFT)
77 : :
78 : : #define IXGBE_MAX_QUEUE_NUM_PER_VF 8
79 : :
80 : : #define IXGBE_SYN_FILTER_ENABLE 0x00000001 /* syn filter enable field */
81 : : #define IXGBE_SYN_FILTER_QUEUE 0x000000FE /* syn filter queue field */
82 : : #define IXGBE_SYN_FILTER_QUEUE_SHIFT 1 /* syn filter queue field shift */
83 : : #define IXGBE_SYN_FILTER_SYNQFP 0x80000000 /* syn filter SYNQFP */
84 : :
85 : : #define IXGBE_ETQF_UP 0x00070000 /* ethertype filter priority field */
86 : : #define IXGBE_ETQF_SHIFT 16
87 : : #define IXGBE_ETQF_UP_EN 0x00080000
88 : : #define IXGBE_ETQF_ETHERTYPE 0x0000FFFF /* ethertype filter ethertype field */
89 : : #define IXGBE_ETQF_MAX_PRI 7
90 : :
91 : : #define IXGBE_SDPQF_DSTPORT 0xFFFF0000 /* dst port field */
92 : : #define IXGBE_SDPQF_DSTPORT_SHIFT 16 /* dst port field shift */
93 : : #define IXGBE_SDPQF_SRCPORT 0x0000FFFF /* src port field */
94 : :
95 : : #define IXGBE_L34T_IMIR_SIZE_BP 0x00001000
96 : : #define IXGBE_L34T_IMIR_RESERVE 0x00080000 /* bit 13 to 19 must be set to 1000000b. */
97 : : #define IXGBE_L34T_IMIR_LLI 0x00100000
98 : : #define IXGBE_L34T_IMIR_QUEUE 0x0FE00000
99 : : #define IXGBE_L34T_IMIR_QUEUE_SHIFT 21
100 : : #define IXGBE_5TUPLE_MAX_PRI 7
101 : : #define IXGBE_5TUPLE_MIN_PRI 1
102 : :
103 : : /* The overhead from MTU to max frame size. */
104 : : #define IXGBE_ETH_OVERHEAD (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN)
105 : :
106 : : /* The max frame size with default MTU */
107 : : #define IXGBE_ETH_MAX_LEN (RTE_ETHER_MTU + IXGBE_ETH_OVERHEAD)
108 : :
109 : : /* bit of VXLAN tunnel type | 7 bits of zeros | 8 bits of zeros*/
110 : : #define IXGBE_FDIR_VXLAN_TUNNEL_TYPE 0x8000
111 : : /* bit of NVGRE tunnel type | 7 bits of zeros | 8 bits of zeros*/
112 : : #define IXGBE_FDIR_NVGRE_TUNNEL_TYPE 0x0
113 : :
114 : : #define IXGBE_RSS_OFFLOAD_ALL ( \
115 : : RTE_ETH_RSS_IPV4 | \
116 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | \
117 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP | \
118 : : RTE_ETH_RSS_IPV6 | \
119 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
120 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
121 : : RTE_ETH_RSS_IPV6_EX | \
122 : : RTE_ETH_RSS_IPV6_TCP_EX | \
123 : : RTE_ETH_RSS_IPV6_UDP_EX)
124 : :
125 : : #define IXGBE_VF_IRQ_ENABLE_MASK 3 /* vf irq enable mask */
126 : : #define IXGBE_VF_MAXMSIVECTOR 1
127 : :
128 : : #define IXGBE_MISC_VEC_ID RTE_INTR_VEC_ZERO_OFFSET
129 : : #define IXGBE_RX_VEC_START RTE_INTR_VEC_RXTX_OFFSET
130 : :
131 : : #define IXGBE_SECTX_MINSECIFG_MASK 0x0000000F
132 : :
133 : : #define IXGBE_MACSEC_PNTHRSH 0xFFFFFE00
134 : :
135 : : #define IXGBE_MAX_FDIR_FILTER_NUM (1024 * 32)
136 : : #define IXGBE_MAX_L2_TN_FILTER_NUM 128
137 : :
138 : : /* Link speed for X550 auto negotiation */
139 : : #define IXGBE_LINK_SPEED_X550_AUTONEG (IXGBE_LINK_SPEED_100_FULL | \
140 : : IXGBE_LINK_SPEED_1GB_FULL | \
141 : : IXGBE_LINK_SPEED_2_5GB_FULL | \
142 : : IXGBE_LINK_SPEED_5GB_FULL | \
143 : : IXGBE_LINK_SPEED_10GB_FULL)
144 : :
145 : : /*
146 : : * Information about the fdir mode.
147 : : */
148 : : struct ixgbe_hw_fdir_mask {
149 : : uint16_t vlan_tci_mask;
150 : : uint32_t src_ipv4_mask;
151 : : uint32_t dst_ipv4_mask;
152 : : uint16_t src_ipv6_mask;
153 : : uint16_t dst_ipv6_mask;
154 : : uint16_t src_port_mask;
155 : : uint16_t dst_port_mask;
156 : : uint16_t flex_bytes_mask;
157 : : uint8_t mac_addr_byte_mask;
158 : : uint32_t tunnel_id_mask;
159 : : uint8_t tunnel_type_mask;
160 : : };
161 : :
162 : : struct ixgbe_fdir_filter {
163 : : TAILQ_ENTRY(ixgbe_fdir_filter) entries;
164 : : union ixgbe_atr_input ixgbe_fdir; /* key of fdir filter*/
165 : : uint32_t fdirflags; /* drop or forward */
166 : : uint32_t fdirhash; /* hash value for fdir */
167 : : uint8_t queue; /* assigned rx queue */
168 : : };
169 : :
170 : : /* list of fdir filters */
171 : : TAILQ_HEAD(ixgbe_fdir_filter_list, ixgbe_fdir_filter);
172 : :
173 : : struct ixgbe_fdir_rule {
174 : : struct ixgbe_hw_fdir_mask mask;
175 : : union ixgbe_atr_input ixgbe_fdir; /* key of fdir filter*/
176 : : bool b_spec; /* If TRUE, ixgbe_fdir, fdirflags, queue have meaning. */
177 : : bool b_mask; /* If TRUE, mask has meaning. */
178 : : enum rte_fdir_mode mode; /* IP, MAC VLAN, Tunnel */
179 : : uint32_t fdirflags; /* drop or forward */
180 : : uint32_t soft_id; /* an unique value for this rule */
181 : : uint8_t queue; /* assigned rx queue */
182 : : uint8_t flex_bytes_offset;
183 : : };
184 : :
185 : : struct ixgbe_hw_fdir_info {
186 : : struct ixgbe_hw_fdir_mask mask;
187 : : uint8_t flex_bytes_offset;
188 : : uint16_t collision;
189 : : uint16_t free;
190 : : uint16_t maxhash;
191 : : uint8_t maxlen;
192 : : uint64_t add;
193 : : uint64_t remove;
194 : : uint64_t f_add;
195 : : uint64_t f_remove;
196 : : struct ixgbe_fdir_filter_list fdir_list; /* filter list*/
197 : : /* store the pointers of the filters, index is the hash value. */
198 : : struct ixgbe_fdir_filter **hash_map;
199 : : struct rte_hash *hash_handle; /* cuckoo hash handler */
200 : : bool mask_added; /* If already got mask from consistent filter */
201 : : };
202 : :
203 : : struct ixgbe_rte_flow_rss_conf {
204 : : struct rte_flow_action_rss conf; /**< RSS parameters. */
205 : : uint8_t key[IXGBE_HKEY_MAX_INDEX * sizeof(uint32_t)]; /* Hash key. */
206 : : uint16_t queue[IXGBE_MAX_RX_QUEUE_NUM]; /**< Queues indices to use. */
207 : : };
208 : :
209 : : /* structure for interrupt relative data */
210 : : struct ixgbe_interrupt {
211 : : uint32_t flags;
212 : : uint32_t mask;
213 : : /*to save original mask during delayed handler */
214 : : uint32_t mask_original;
215 : : };
216 : :
217 : : struct ixgbe_stat_mapping_registers {
218 : : uint32_t tqsm[IXGBE_NB_STAT_MAPPING_REGS];
219 : : uint32_t rqsmr[IXGBE_NB_STAT_MAPPING_REGS];
220 : : };
221 : :
222 : : struct ixgbe_vfta {
223 : : uint32_t vfta[IXGBE_VFTA_SIZE];
224 : : };
225 : :
226 : : struct ixgbe_hwstrip {
227 : : uint32_t bitmap[IXGBE_HWSTRIP_BITMAP_SIZE];
228 : : };
229 : :
230 : : /*
231 : : * VF data which used by PF host only
232 : : */
233 : : #define IXGBE_MAX_VF_MC_ENTRIES 30
234 : : #define IXGBE_MAX_UTA 128
235 : :
236 : : struct ixgbe_uta_info {
237 : : uint8_t uc_filter_type;
238 : : uint16_t uta_in_use;
239 : : uint32_t uta_shadow[IXGBE_MAX_UTA];
240 : : };
241 : :
242 : : struct ixgbe_vf_info {
243 : : uint8_t vf_mac_addresses[RTE_ETHER_ADDR_LEN];
244 : : uint16_t vf_mc_hashes[IXGBE_MAX_VF_MC_ENTRIES];
245 : : uint16_t num_vf_mc_hashes;
246 : : uint16_t default_vf_vlan_id;
247 : : uint16_t vlans_enabled;
248 : : bool clear_to_send;
249 : : uint16_t tx_rate[IXGBE_MAX_QUEUE_NUM_PER_VF];
250 : : uint16_t vlan_count;
251 : : uint8_t spoofchk_enabled;
252 : : uint8_t api_version;
253 : : uint16_t switch_domain_id;
254 : : uint16_t xcast_mode;
255 : : uint16_t mac_count;
256 : : };
257 : :
258 : : /*
259 : : * Possible l4type of 5tuple filters.
260 : : */
261 : : enum ixgbe_5tuple_protocol {
262 : : IXGBE_FILTER_PROTOCOL_TCP = 0,
263 : : IXGBE_FILTER_PROTOCOL_UDP,
264 : : IXGBE_FILTER_PROTOCOL_SCTP,
265 : : IXGBE_FILTER_PROTOCOL_NONE,
266 : : };
267 : :
268 : : TAILQ_HEAD(ixgbe_5tuple_filter_list, ixgbe_5tuple_filter);
269 : :
270 : : struct ixgbe_5tuple_filter_info {
271 : : uint32_t dst_ip;
272 : : uint32_t src_ip;
273 : : uint16_t dst_port;
274 : : uint16_t src_port;
275 : : enum ixgbe_5tuple_protocol proto; /* l4 protocol. */
276 : : uint8_t priority; /* seven levels (001b-111b), 111b is highest,
277 : : used when more than one filter matches. */
278 : : uint8_t dst_ip_mask:1, /* if mask is 1b, do not compare dst ip. */
279 : : src_ip_mask:1, /* if mask is 1b, do not compare src ip. */
280 : : dst_port_mask:1, /* if mask is 1b, do not compare dst port. */
281 : : src_port_mask:1, /* if mask is 1b, do not compare src port. */
282 : : proto_mask:1; /* if mask is 1b, do not compare protocol. */
283 : : };
284 : :
285 : : /* 5tuple filter structure */
286 : : struct ixgbe_5tuple_filter {
287 : : TAILQ_ENTRY(ixgbe_5tuple_filter) entries;
288 : : uint16_t index; /* the index of 5tuple filter */
289 : : struct ixgbe_5tuple_filter_info filter_info;
290 : : uint16_t queue; /* rx queue assigned to */
291 : : };
292 : :
293 : : #define IXGBE_5TUPLE_ARRAY_SIZE \
294 : : (RTE_ALIGN(IXGBE_MAX_FTQF_FILTERS, (sizeof(uint32_t) * NBBY)) / \
295 : : (sizeof(uint32_t) * NBBY))
296 : :
297 : : struct ixgbe_ethertype_filter {
298 : : uint16_t ethertype;
299 : : uint32_t etqf;
300 : : uint32_t etqs;
301 : : /**
302 : : * If this filter is added by configuration,
303 : : * it should not be removed.
304 : : */
305 : : bool conf;
306 : : };
307 : :
308 : : /*
309 : : * Structure to store filters' info.
310 : : */
311 : : struct ixgbe_filter_info {
312 : : uint8_t ethertype_mask; /* Bit mask for every used ethertype filter */
313 : : /* store used ethertype filters*/
314 : : struct ixgbe_ethertype_filter ethertype_filters[IXGBE_MAX_ETQF_FILTERS];
315 : : /* Bit mask for every used 5tuple filter */
316 : : uint32_t fivetuple_mask[IXGBE_5TUPLE_ARRAY_SIZE];
317 : : struct ixgbe_5tuple_filter_list fivetuple_list;
318 : : /* store the SYN filter info */
319 : : uint32_t syn_info;
320 : : /* store the rss filter info */
321 : : struct ixgbe_rte_flow_rss_conf rss_info;
322 : : };
323 : :
324 : : struct ixgbe_l2_tn_key {
325 : : enum rte_eth_tunnel_type l2_tn_type;
326 : : uint32_t tn_id;
327 : : };
328 : :
329 : : struct ixgbe_l2_tn_filter {
330 : : TAILQ_ENTRY(ixgbe_l2_tn_filter) entries;
331 : : struct ixgbe_l2_tn_key key;
332 : : uint32_t pool;
333 : : };
334 : :
335 : : TAILQ_HEAD(ixgbe_l2_tn_filter_list, ixgbe_l2_tn_filter);
336 : :
337 : : struct ixgbe_l2_tn_info {
338 : : struct ixgbe_l2_tn_filter_list l2_tn_list;
339 : : struct ixgbe_l2_tn_filter **hash_map;
340 : : struct rte_hash *hash_handle;
341 : : bool e_tag_en; /* e-tag enabled */
342 : : bool e_tag_fwd_en; /* e-tag based forwarding enabled */
343 : : uint16_t e_tag_ether_type; /* ether type for e-tag */
344 : : };
345 : :
346 : : struct rte_flow {
347 : : enum rte_filter_type filter_type;
348 : : /* security flows are not rte_filter_type */
349 : : bool is_security;
350 : : void *rule;
351 : : };
352 : :
353 : : struct ixgbe_macsec_setting {
354 : : uint8_t offload_en;
355 : : uint8_t encrypt_en;
356 : : uint8_t replayprotect_en;
357 : : };
358 : :
359 : : /*
360 : : * Statistics counters collected by the MACsec
361 : : */
362 : : struct ixgbe_macsec_stats {
363 : : /* TX port statistics */
364 : : uint64_t out_pkts_untagged;
365 : : uint64_t out_pkts_encrypted;
366 : : uint64_t out_pkts_protected;
367 : : uint64_t out_octets_encrypted;
368 : : uint64_t out_octets_protected;
369 : :
370 : : /* RX port statistics */
371 : : uint64_t in_pkts_untagged;
372 : : uint64_t in_pkts_badtag;
373 : : uint64_t in_pkts_nosci;
374 : : uint64_t in_pkts_unknownsci;
375 : : uint64_t in_octets_decrypted;
376 : : uint64_t in_octets_validated;
377 : :
378 : : /* RX SC statistics */
379 : : uint64_t in_pkts_unchecked;
380 : : uint64_t in_pkts_delayed;
381 : : uint64_t in_pkts_late;
382 : :
383 : : /* RX SA statistics */
384 : : uint64_t in_pkts_ok;
385 : : uint64_t in_pkts_invalid;
386 : : uint64_t in_pkts_notvalid;
387 : : uint64_t in_pkts_unusedsa;
388 : : uint64_t in_pkts_notusingsa;
389 : : };
390 : :
391 : : /* The configuration of bandwidth */
392 : : struct ixgbe_bw_conf {
393 : : uint8_t tc_num; /* Number of TCs. */
394 : : };
395 : :
396 : : /* Struct to store Traffic Manager shaper profile. */
397 : : struct ixgbe_tm_shaper_profile {
398 : : TAILQ_ENTRY(ixgbe_tm_shaper_profile) node;
399 : : uint32_t shaper_profile_id;
400 : : uint32_t reference_count;
401 : : struct rte_tm_shaper_params profile;
402 : : };
403 : :
404 : : TAILQ_HEAD(ixgbe_shaper_profile_list, ixgbe_tm_shaper_profile);
405 : :
406 : : /* node type of Traffic Manager */
407 : : enum ixgbe_tm_node_type {
408 : : IXGBE_TM_NODE_TYPE_PORT,
409 : : IXGBE_TM_NODE_TYPE_TC,
410 : : IXGBE_TM_NODE_TYPE_QUEUE,
411 : : IXGBE_TM_NODE_TYPE_MAX,
412 : : };
413 : :
414 : : /* Struct to store Traffic Manager node configuration. */
415 : : struct ixgbe_tm_node {
416 : : TAILQ_ENTRY(ixgbe_tm_node) node;
417 : : uint32_t id;
418 : : uint32_t priority;
419 : : uint32_t weight;
420 : : uint32_t reference_count;
421 : : uint16_t no;
422 : : struct ixgbe_tm_node *parent;
423 : : struct ixgbe_tm_shaper_profile *shaper_profile;
424 : : struct rte_tm_node_params params;
425 : : };
426 : :
427 : : TAILQ_HEAD(ixgbe_tm_node_list, ixgbe_tm_node);
428 : :
429 : : /* The configuration of Traffic Manager */
430 : : struct ixgbe_tm_conf {
431 : : struct ixgbe_shaper_profile_list shaper_profile_list;
432 : : struct ixgbe_tm_node *root; /* root node - port */
433 : : struct ixgbe_tm_node_list tc_list; /* node list for all the TCs */
434 : : struct ixgbe_tm_node_list queue_list; /* node list for all the queues */
435 : : /**
436 : : * The number of added TC nodes.
437 : : * It should be no more than the TC number of this port.
438 : : */
439 : : uint32_t nb_tc_node;
440 : : /**
441 : : * The number of added queue nodes.
442 : : * It should be no more than the queue number of this port.
443 : : */
444 : : uint32_t nb_queue_node;
445 : : /**
446 : : * This flag is used to check if APP can change the TM node
447 : : * configuration.
448 : : * When it's true, means the configuration is applied to HW,
449 : : * APP should not change the configuration.
450 : : * As we don't support on-the-fly configuration, when starting
451 : : * the port, APP should call the hierarchy_commit API to set this
452 : : * flag to true. When stopping the port, this flag should be set
453 : : * to false.
454 : : */
455 : : bool committed;
456 : : };
457 : :
458 : : /*
459 : : * Structure to store private data for each driver instance (for each port).
460 : : */
461 : : struct ixgbe_adapter {
462 : : struct ixgbe_hw hw;
463 : : struct ixgbe_hw_stats stats;
464 : : struct ixgbe_macsec_stats macsec_stats;
465 : : struct ixgbe_macsec_setting macsec_setting;
466 : : struct rte_eth_fdir_conf fdir_conf;
467 : : struct ixgbe_hw_fdir_info fdir;
468 : : struct ixgbe_interrupt intr;
469 : : struct ixgbe_stat_mapping_registers stat_mappings;
470 : : struct ixgbe_vfta shadow_vfta;
471 : : struct ixgbe_hwstrip hwstrip;
472 : : struct ixgbe_dcb_config dcb_config;
473 : : struct ixgbe_vf_info *vfdata;
474 : : struct ixgbe_uta_info uta_info;
475 : : #ifdef RTE_LIBRTE_IXGBE_BYPASS
476 : : struct ixgbe_bypass_info bps;
477 : : #endif /* RTE_LIBRTE_IXGBE_BYPASS */
478 : : struct ixgbe_filter_info filter;
479 : : struct ixgbe_l2_tn_info l2_tn;
480 : : struct ixgbe_bw_conf bw_conf;
481 : : struct ixgbe_ipsec ipsec;
482 : : bool rx_bulk_alloc_allowed;
483 : : bool rx_vec_allowed;
484 : : struct rte_timecounter systime_tc;
485 : : struct rte_timecounter rx_tstamp_tc;
486 : : struct rte_timecounter tx_tstamp_tc;
487 : : struct ixgbe_tm_conf tm_conf;
488 : :
489 : : /* For RSS reta table update */
490 : : uint8_t rss_reta_updated;
491 : :
492 : : /* Used for limiting SDP3 TX_DISABLE checks */
493 : : uint8_t sdp3_no_tx_disable;
494 : :
495 : : /* Used for VF link sync with PF's physical and logical (by checking
496 : : * mailbox status) link status.
497 : : */
498 : : uint8_t pflink_fullchk;
499 : : uint8_t mac_ctrl_frame_fwd;
500 : : RTE_ATOMIC(bool) link_thread_running;
501 : : rte_thread_t link_thread_tid;
502 : : };
503 : :
504 : : struct ixgbe_vf_representor {
505 : : uint16_t vf_id;
506 : : uint16_t switch_domain_id;
507 : : struct rte_eth_dev *pf_ethdev;
508 : : };
509 : :
510 : : int ixgbe_vf_representor_init(struct rte_eth_dev *ethdev, void *init_params);
511 : : int ixgbe_vf_representor_uninit(struct rte_eth_dev *ethdev);
512 : : uint16_t ixgbe_vf_representor_rx_burst(void *rx_queue, struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
513 : : uint16_t ixgbe_vf_representor_tx_burst(void *tx_queue, struct rte_mbuf **tx_pkts, uint16_t nb_pkts);
514 : :
515 : : #define IXGBE_DEV_FDIR_CONF(dev) \
516 : : (&((struct ixgbe_adapter *)(dev)->data->dev_private)->fdir_conf)
517 : :
518 : : #define IXGBE_DEV_PRIVATE_TO_HW(adapter)\
519 : : (&((struct ixgbe_adapter *)adapter)->hw)
520 : :
521 : : #define IXGBE_DEV_PRIVATE_TO_STATS(adapter) \
522 : : (&((struct ixgbe_adapter *)adapter)->stats)
523 : :
524 : : #define IXGBE_DEV_PRIVATE_TO_MACSEC_STATS(adapter) \
525 : : (&((struct ixgbe_adapter *)adapter)->macsec_stats)
526 : :
527 : : #define IXGBE_DEV_PRIVATE_TO_MACSEC_SETTING(adapter) \
528 : : (&((struct ixgbe_adapter *)adapter)->macsec_setting)
529 : :
530 : : #define IXGBE_DEV_PRIVATE_TO_INTR(adapter) \
531 : : (&((struct ixgbe_adapter *)adapter)->intr)
532 : :
533 : : #define IXGBE_DEV_PRIVATE_TO_FDIR_INFO(adapter) \
534 : : (&((struct ixgbe_adapter *)adapter)->fdir)
535 : :
536 : : #define IXGBE_DEV_PRIVATE_TO_STAT_MAPPINGS(adapter) \
537 : : (&((struct ixgbe_adapter *)adapter)->stat_mappings)
538 : :
539 : : #define IXGBE_DEV_PRIVATE_TO_VFTA(adapter) \
540 : : (&((struct ixgbe_adapter *)adapter)->shadow_vfta)
541 : :
542 : : #define IXGBE_DEV_PRIVATE_TO_HWSTRIP_BITMAP(adapter) \
543 : : (&((struct ixgbe_adapter *)adapter)->hwstrip)
544 : :
545 : : #define IXGBE_DEV_PRIVATE_TO_DCB_CFG(adapter) \
546 : : (&((struct ixgbe_adapter *)adapter)->dcb_config)
547 : :
548 : : #define IXGBE_DEV_PRIVATE_TO_P_VFDATA(adapter) \
549 : : (&((struct ixgbe_adapter *)adapter)->vfdata)
550 : :
551 : : #define IXGBE_DEV_PRIVATE_TO_PFDATA(adapter) \
552 : : (&((struct ixgbe_adapter *)adapter)->mr_data)
553 : :
554 : : #define IXGBE_DEV_PRIVATE_TO_UTA(adapter) \
555 : : (&((struct ixgbe_adapter *)adapter)->uta_info)
556 : :
557 : : #define IXGBE_DEV_PRIVATE_TO_FILTER_INFO(adapter) \
558 : : (&((struct ixgbe_adapter *)adapter)->filter)
559 : :
560 : : #define IXGBE_DEV_PRIVATE_TO_L2_TN_INFO(adapter) \
561 : : (&((struct ixgbe_adapter *)adapter)->l2_tn)
562 : :
563 : : #define IXGBE_DEV_PRIVATE_TO_BW_CONF(adapter) \
564 : : (&((struct ixgbe_adapter *)adapter)->bw_conf)
565 : :
566 : : #define IXGBE_DEV_PRIVATE_TO_TM_CONF(adapter) \
567 : : (&((struct ixgbe_adapter *)adapter)->tm_conf)
568 : :
569 : : #define IXGBE_DEV_PRIVATE_TO_IPSEC(adapter)\
570 : : (&((struct ixgbe_adapter *)adapter)->ipsec)
571 : :
572 : : /*
573 : : * RX/TX function prototypes
574 : : */
575 : : void ixgbe_dev_clear_queues(struct rte_eth_dev *dev);
576 : :
577 : : void ixgbe_dev_free_queues(struct rte_eth_dev *dev);
578 : :
579 : : void ixgbe_dev_rx_queue_release(struct rte_eth_dev *dev, uint16_t qid);
580 : :
581 : : void ixgbe_dev_tx_queue_release(struct rte_eth_dev *dev, uint16_t qid);
582 : :
583 : : int ixgbe_dev_rx_queue_setup(struct rte_eth_dev *dev, uint16_t rx_queue_id,
584 : : uint16_t nb_rx_desc, unsigned int socket_id,
585 : : const struct rte_eth_rxconf *rx_conf,
586 : : struct rte_mempool *mb_pool);
587 : :
588 : : int ixgbe_dev_tx_queue_setup(struct rte_eth_dev *dev, uint16_t tx_queue_id,
589 : : uint16_t nb_tx_desc, unsigned int socket_id,
590 : : const struct rte_eth_txconf *tx_conf);
591 : :
592 : : int ixgbe_dev_rx_queue_count(void *rx_queue);
593 : :
594 : : int ixgbe_dev_rx_descriptor_status(void *rx_queue, uint16_t offset);
595 : : int ixgbe_dev_tx_descriptor_status(void *tx_queue, uint16_t offset);
596 : :
597 : : int ixgbe_dev_rx_init(struct rte_eth_dev *dev);
598 : :
599 : : void ixgbe_dev_tx_init(struct rte_eth_dev *dev);
600 : :
601 : : int ixgbe_dev_rxtx_start(struct rte_eth_dev *dev);
602 : :
603 : : int ixgbe_dev_rx_queue_start(struct rte_eth_dev *dev, uint16_t rx_queue_id);
604 : :
605 : : int ixgbe_dev_rx_queue_stop(struct rte_eth_dev *dev, uint16_t rx_queue_id);
606 : :
607 : : int ixgbe_dev_tx_queue_start(struct rte_eth_dev *dev, uint16_t tx_queue_id);
608 : :
609 : : int ixgbe_dev_tx_queue_stop(struct rte_eth_dev *dev, uint16_t tx_queue_id);
610 : :
611 : : void ixgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
612 : : struct rte_eth_rxq_info *qinfo);
613 : :
614 : : void ixgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
615 : : struct rte_eth_txq_info *qinfo);
616 : :
617 : : void ixgbe_recycle_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
618 : : struct rte_eth_recycle_rxq_info *recycle_rxq_info);
619 : :
620 : : int ixgbevf_dev_rx_init(struct rte_eth_dev *dev);
621 : :
622 : : void ixgbevf_dev_tx_init(struct rte_eth_dev *dev);
623 : :
624 : : void ixgbevf_dev_rxtx_start(struct rte_eth_dev *dev);
625 : :
626 : : uint16_t ixgbe_recv_pkts(void *rx_queue, struct rte_mbuf **rx_pkts,
627 : : uint16_t nb_pkts);
628 : :
629 : : uint16_t ixgbe_recv_pkts_bulk_alloc(void *rx_queue, struct rte_mbuf **rx_pkts,
630 : : uint16_t nb_pkts);
631 : :
632 : : uint16_t ixgbe_recv_pkts_lro_single_alloc(void *rx_queue,
633 : : struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
634 : : uint16_t ixgbe_recv_pkts_lro_bulk_alloc(void *rx_queue,
635 : : struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
636 : :
637 : : uint16_t ixgbe_xmit_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
638 : : uint16_t nb_pkts);
639 : :
640 : : uint16_t ixgbe_xmit_pkts_simple(void *tx_queue, struct rte_mbuf **tx_pkts,
641 : : uint16_t nb_pkts);
642 : :
643 : : uint16_t ixgbe_prep_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
644 : : uint16_t nb_pkts);
645 : :
646 : : int ixgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
647 : : struct rte_eth_rss_conf *rss_conf);
648 : :
649 : : int ixgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
650 : : struct rte_eth_rss_conf *rss_conf);
651 : :
652 : : uint16_t ixgbe_reta_size_get(enum ixgbe_mac_type mac_type);
653 : :
654 : : uint32_t ixgbe_reta_reg_get(enum ixgbe_mac_type mac_type, uint16_t reta_idx);
655 : :
656 : : uint32_t ixgbe_mrqc_reg_get(enum ixgbe_mac_type mac_type);
657 : :
658 : : uint32_t ixgbe_rssrk_reg_get(enum ixgbe_mac_type mac_type, uint8_t i);
659 : :
660 : : bool ixgbe_rss_update_sp(enum ixgbe_mac_type mac_type);
661 : :
662 : : int ixgbe_add_del_ntuple_filter(struct rte_eth_dev *dev,
663 : : struct rte_eth_ntuple_filter *filter,
664 : : bool add);
665 : : int ixgbe_add_del_ethertype_filter(struct rte_eth_dev *dev,
666 : : struct rte_eth_ethertype_filter *filter,
667 : : bool add);
668 : : int ixgbe_syn_filter_set(struct rte_eth_dev *dev,
669 : : struct rte_eth_syn_filter *filter,
670 : : bool add);
671 : :
672 : : /**
673 : : * l2 tunnel configuration.
674 : : */
675 : : struct ixgbe_l2_tunnel_conf {
676 : : enum rte_eth_tunnel_type l2_tunnel_type;
677 : : uint16_t ether_type; /* ether type in l2 header */
678 : : uint32_t tunnel_id; /* port tag id for e-tag */
679 : : uint16_t vf_id; /* VF id for tag insertion */
680 : : uint32_t pool; /* destination pool for tag based forwarding */
681 : : };
682 : :
683 : : int
684 : : ixgbe_dev_l2_tunnel_filter_add(struct rte_eth_dev *dev,
685 : : struct ixgbe_l2_tunnel_conf *l2_tunnel,
686 : : bool restore);
687 : : int
688 : : ixgbe_dev_l2_tunnel_filter_del(struct rte_eth_dev *dev,
689 : : struct ixgbe_l2_tunnel_conf *l2_tunnel);
690 : : void ixgbe_filterlist_init(void);
691 : : void ixgbe_filterlist_flush(void);
692 : : /*
693 : : * Flow director function prototypes
694 : : */
695 : : int ixgbe_fdir_configure(struct rte_eth_dev *dev);
696 : : int ixgbe_fdir_set_input_mask(struct rte_eth_dev *dev);
697 : : int ixgbe_fdir_set_flexbytes_offset(struct rte_eth_dev *dev,
698 : : uint16_t offset);
699 : : int ixgbe_fdir_filter_program(struct rte_eth_dev *dev,
700 : : struct ixgbe_fdir_rule *rule,
701 : : bool del, bool update);
702 : : void ixgbe_fdir_info_get(struct rte_eth_dev *dev,
703 : : struct rte_eth_fdir_info *fdir_info);
704 : : void ixgbe_fdir_stats_get(struct rte_eth_dev *dev,
705 : : struct rte_eth_fdir_stats *fdir_stats);
706 : :
707 : : void ixgbe_configure_dcb(struct rte_eth_dev *dev);
708 : :
709 : : int
710 : : ixgbe_dev_link_update_share(struct rte_eth_dev *dev,
711 : : int wait_to_complete, int vf);
712 : :
713 : : /*
714 : : * misc function prototypes
715 : : */
716 : : void ixgbe_vlan_hw_filter_enable(struct rte_eth_dev *dev);
717 : :
718 : : void ixgbe_vlan_hw_filter_disable(struct rte_eth_dev *dev);
719 : :
720 : : void ixgbe_vlan_hw_strip_config(struct rte_eth_dev *dev);
721 : :
722 : : int ixgbe_pf_host_init(struct rte_eth_dev *eth_dev);
723 : :
724 : : void ixgbe_pf_host_uninit(struct rte_eth_dev *eth_dev);
725 : :
726 : : void ixgbe_pf_mbx_process(struct rte_eth_dev *eth_dev);
727 : :
728 : : int ixgbe_pf_host_configure(struct rte_eth_dev *eth_dev);
729 : :
730 : : uint32_t ixgbe_convert_vm_rx_mask_to_val(uint16_t rx_mask, uint32_t orig_val);
731 : :
732 : : void ixgbe_fdir_filter_restore(struct rte_eth_dev *dev);
733 : : int ixgbe_clear_all_fdir_filter(struct rte_eth_dev *dev);
734 : :
735 : : extern const struct rte_flow_ops ixgbe_flow_ops;
736 : :
737 : : void ixgbe_clear_all_ethertype_filter(struct rte_eth_dev *dev);
738 : : void ixgbe_clear_all_ntuple_filter(struct rte_eth_dev *dev);
739 : : void ixgbe_clear_syn_filter(struct rte_eth_dev *dev);
740 : : int ixgbe_clear_all_l2_tn_filter(struct rte_eth_dev *dev);
741 : :
742 : : int ixgbe_disable_sec_tx_path_generic(struct ixgbe_hw *hw);
743 : :
744 : : int ixgbe_enable_sec_tx_path_generic(struct ixgbe_hw *hw);
745 : :
746 : : int ixgbe_vt_check(struct ixgbe_hw *hw);
747 : : int ixgbe_set_vf_rate_limit(struct rte_eth_dev *dev, uint16_t vf,
748 : : uint32_t tx_rate, uint64_t q_msk);
749 : : bool is_ixgbe_supported(struct rte_eth_dev *dev);
750 : : int ixgbe_tm_ops_get(struct rte_eth_dev *dev, void *ops);
751 : : void ixgbe_tm_conf_init(struct rte_eth_dev *dev);
752 : : void ixgbe_tm_conf_uninit(struct rte_eth_dev *dev);
753 : : int ixgbe_set_queue_rate_limit(struct rte_eth_dev *dev, uint16_t queue_idx,
754 : : uint32_t tx_rate);
755 : : int ixgbe_rss_conf_init(struct ixgbe_rte_flow_rss_conf *out,
756 : : const struct rte_flow_action_rss *in);
757 : : int ixgbe_action_rss_same(const struct rte_flow_action_rss *comp,
758 : : const struct rte_flow_action_rss *with);
759 : : int ixgbe_config_rss_filter(struct rte_eth_dev *dev,
760 : : struct ixgbe_rte_flow_rss_conf *conf, bool add);
761 : :
762 : : void ixgbe_dev_macsec_register_enable(struct rte_eth_dev *dev,
763 : : struct ixgbe_macsec_setting *macsec_setting);
764 : :
765 : : void ixgbe_dev_macsec_register_disable(struct rte_eth_dev *dev);
766 : :
767 : : void ixgbe_dev_macsec_setting_save(struct rte_eth_dev *dev,
768 : : struct ixgbe_macsec_setting *macsec_setting);
769 : :
770 : : void ixgbe_dev_macsec_setting_reset(struct rte_eth_dev *dev);
771 : :
772 : : static inline int
773 : : ixgbe_ethertype_filter_lookup(struct ixgbe_filter_info *filter_info,
774 : : uint16_t ethertype)
775 : : {
776 : : int i;
777 : :
778 [ # # ]: 0 : for (i = 0; i < IXGBE_MAX_ETQF_FILTERS; i++) {
779 [ # # ]: 0 : if (filter_info->ethertype_filters[i].ethertype == ethertype &&
780 [ # # ]: 0 : (filter_info->ethertype_mask & (1 << i)))
781 : : return i;
782 : : }
783 : : return -1;
784 : : }
785 : :
786 : : static inline int
787 : : ixgbe_ethertype_filter_insert(struct ixgbe_filter_info *filter_info,
788 : : struct ixgbe_ethertype_filter *ethertype_filter)
789 : : {
790 : : int i;
791 : :
792 [ # # ]: 0 : for (i = 0; i < IXGBE_MAX_ETQF_FILTERS; i++) {
793 [ # # ]: 0 : if (!(filter_info->ethertype_mask & (1 << i))) {
794 : 0 : filter_info->ethertype_mask |= 1 << i;
795 : 0 : filter_info->ethertype_filters[i].ethertype =
796 : : ethertype_filter->ethertype;
797 : 0 : filter_info->ethertype_filters[i].etqf =
798 : : ethertype_filter->etqf;
799 : 0 : filter_info->ethertype_filters[i].etqs =
800 : : ethertype_filter->etqs;
801 : 0 : filter_info->ethertype_filters[i].conf =
802 : : ethertype_filter->conf;
803 : 0 : return i;
804 : : }
805 : : }
806 : : return -1;
807 : : }
808 : :
809 : : static inline int
810 : : ixgbe_ethertype_filter_remove(struct ixgbe_filter_info *filter_info,
811 : : uint8_t idx)
812 : : {
813 [ # # ]: 0 : if (idx >= IXGBE_MAX_ETQF_FILTERS)
814 : : return -1;
815 : 0 : filter_info->ethertype_mask &= ~(1 << idx);
816 : 0 : filter_info->ethertype_filters[idx].ethertype = 0;
817 : 0 : filter_info->ethertype_filters[idx].etqf = 0;
818 : 0 : filter_info->ethertype_filters[idx].etqs = 0;
819 : : filter_info->ethertype_filters[idx].etqs = FALSE;
820 : : return idx;
821 : : }
822 : :
823 : : #endif /* _IXGBE_ETHDEV_H_ */
|
