Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2022 Intel Corporation
3 : : */
4 : :
5 : : #include <rte_atomic.h>
6 : : #include <rte_eal.h>
7 : : #include <rte_ether.h>
8 : : #include <rte_malloc.h>
9 : : #include <rte_memzone.h>
10 : : #include <rte_dev.h>
11 : : #include <errno.h>
12 : : #include <rte_alarm.h>
13 : :
14 : : #include "idpf_ethdev.h"
15 : : #include "idpf_rxtx.h"
16 : : #include "../common/tx.h"
17 : : #include "idpf_ptp.h"
18 : :
19 : : #define IDPF_TX_SINGLE_Q "tx_single"
20 : : #define IDPF_RX_SINGLE_Q "rx_single"
21 : : #define IDPF_VPORT "vport"
22 : :
23 : : rte_spinlock_t idpf_adapter_lock;
24 : : /* A list for all adapters, one adapter matches one PCI device */
25 : : struct idpf_adapter_list idpf_adapter_list;
26 : : bool idpf_adapter_list_init;
27 : :
28 : : static const char * const idpf_valid_args[] = {
29 : : IDPF_TX_SINGLE_Q,
30 : : IDPF_RX_SINGLE_Q,
31 : : IDPF_VPORT,
32 : : NULL
33 : : };
34 : :
35 : : uint32_t idpf_supported_speeds[] = {
36 : : RTE_ETH_SPEED_NUM_NONE,
37 : : RTE_ETH_SPEED_NUM_10M,
38 : : RTE_ETH_SPEED_NUM_100M,
39 : : RTE_ETH_SPEED_NUM_1G,
40 : : RTE_ETH_SPEED_NUM_2_5G,
41 : : RTE_ETH_SPEED_NUM_5G,
42 : : RTE_ETH_SPEED_NUM_10G,
43 : : RTE_ETH_SPEED_NUM_20G,
44 : : RTE_ETH_SPEED_NUM_25G,
45 : : RTE_ETH_SPEED_NUM_40G,
46 : : RTE_ETH_SPEED_NUM_50G,
47 : : RTE_ETH_SPEED_NUM_56G,
48 : : RTE_ETH_SPEED_NUM_100G,
49 : : RTE_ETH_SPEED_NUM_200G
50 : : };
51 : :
52 : : static const uint64_t idpf_map_hena_rss[] = {
53 : : [IDPF_HASH_NONF_UNICAST_IPV4_UDP] =
54 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP,
55 : : [IDPF_HASH_NONF_MULTICAST_IPV4_UDP] =
56 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP,
57 : : [IDPF_HASH_NONF_IPV4_UDP] =
58 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP,
59 : : [IDPF_HASH_NONF_IPV4_TCP_SYN_NO_ACK] =
60 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP,
61 : : [IDPF_HASH_NONF_IPV4_TCP] =
62 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP,
63 : : [IDPF_HASH_NONF_IPV4_SCTP] =
64 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP,
65 : : [IDPF_HASH_NONF_IPV4_OTHER] =
66 : : RTE_ETH_RSS_NONFRAG_IPV4_OTHER,
67 : : [IDPF_HASH_FRAG_IPV4] = RTE_ETH_RSS_FRAG_IPV4,
68 : :
69 : : /* IPv6 */
70 : : [IDPF_HASH_NONF_UNICAST_IPV6_UDP] =
71 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP,
72 : : [IDPF_HASH_NONF_MULTICAST_IPV6_UDP] =
73 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP,
74 : : [IDPF_HASH_NONF_IPV6_UDP] =
75 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP,
76 : : [IDPF_HASH_NONF_IPV6_TCP_SYN_NO_ACK] =
77 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP,
78 : : [IDPF_HASH_NONF_IPV6_TCP] =
79 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP,
80 : : [IDPF_HASH_NONF_IPV6_SCTP] =
81 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP,
82 : : [IDPF_HASH_NONF_IPV6_OTHER] =
83 : : RTE_ETH_RSS_NONFRAG_IPV6_OTHER,
84 : : [IDPF_HASH_FRAG_IPV6] = RTE_ETH_RSS_FRAG_IPV6,
85 : :
86 : : /* L2 Payload */
87 : : [IDPF_HASH_L2_PAYLOAD] = RTE_ETH_RSS_L2_PAYLOAD
88 : : };
89 : :
90 : : static const uint64_t idpf_ipv4_rss = RTE_ETH_RSS_NONFRAG_IPV4_UDP |
91 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP |
92 : : RTE_ETH_RSS_NONFRAG_IPV4_SCTP |
93 : : RTE_ETH_RSS_NONFRAG_IPV4_OTHER |
94 : : RTE_ETH_RSS_FRAG_IPV4;
95 : :
96 : : static const uint64_t idpf_ipv6_rss = RTE_ETH_RSS_NONFRAG_IPV6_UDP |
97 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP |
98 : : RTE_ETH_RSS_NONFRAG_IPV6_SCTP |
99 : : RTE_ETH_RSS_NONFRAG_IPV6_OTHER |
100 : : RTE_ETH_RSS_FRAG_IPV6;
101 : :
102 : : struct rte_idpf_xstats_name_off {
103 : : char name[RTE_ETH_XSTATS_NAME_SIZE];
104 : : unsigned int offset;
105 : : };
106 : :
107 : : static const struct rte_idpf_xstats_name_off rte_idpf_stats_strings[] = {
108 : : {"rx_bytes", offsetof(struct virtchnl2_vport_stats, rx_bytes)},
109 : : {"rx_unicast_packets", offsetof(struct virtchnl2_vport_stats, rx_unicast)},
110 : : {"rx_multicast_packets", offsetof(struct virtchnl2_vport_stats, rx_multicast)},
111 : : {"rx_broadcast_packets", offsetof(struct virtchnl2_vport_stats, rx_broadcast)},
112 : : {"rx_dropped_packets", offsetof(struct virtchnl2_vport_stats, rx_discards)},
113 : : {"rx_errors", offsetof(struct virtchnl2_vport_stats, rx_errors)},
114 : : {"rx_unknown_protocol_packets", offsetof(struct virtchnl2_vport_stats,
115 : : rx_unknown_protocol)},
116 : : {"tx_bytes", offsetof(struct virtchnl2_vport_stats, tx_bytes)},
117 : : {"tx_unicast_packets", offsetof(struct virtchnl2_vport_stats, tx_unicast)},
118 : : {"tx_multicast_packets", offsetof(struct virtchnl2_vport_stats, tx_multicast)},
119 : : {"tx_broadcast_packets", offsetof(struct virtchnl2_vport_stats, tx_broadcast)},
120 : : {"tx_dropped_packets", offsetof(struct virtchnl2_vport_stats, tx_discards)},
121 : : {"tx_error_packets", offsetof(struct virtchnl2_vport_stats, tx_errors)}};
122 : :
123 : : #define IDPF_NB_XSTATS (sizeof(rte_idpf_stats_strings) / \
124 : : sizeof(rte_idpf_stats_strings[0]))
125 : :
126 : : static int
127 : 0 : idpf_dev_link_update(struct rte_eth_dev *dev,
128 : : __rte_unused int wait_to_complete)
129 : : {
130 [ # # ]: 0 : struct idpf_vport *vport = dev->data->dev_private;
131 : : struct rte_eth_link new_link;
132 : : unsigned int i;
133 : :
134 : : memset(&new_link, 0, sizeof(new_link));
135 : :
136 : : /* initialize with default value */
137 [ # # ]: 0 : new_link.link_speed = vport->link_up ? RTE_ETH_SPEED_NUM_UNKNOWN : RTE_ETH_SPEED_NUM_NONE;
138 : :
139 : : /* update in case a match */
140 [ # # ]: 0 : for (i = 0; i < RTE_DIM(idpf_supported_speeds); i++) {
141 [ # # ]: 0 : if (vport->link_speed == idpf_supported_speeds[i]) {
142 : 0 : new_link.link_speed = vport->link_speed;
143 : 0 : break;
144 : : }
145 : : }
146 : :
147 : 0 : new_link.link_duplex = RTE_ETH_LINK_FULL_DUPLEX;
148 : 0 : new_link.link_status = vport->link_up ? RTE_ETH_LINK_UP : RTE_ETH_LINK_DOWN;
149 : 0 : new_link.link_autoneg = (dev->data->dev_conf.link_speeds & RTE_ETH_LINK_SPEED_FIXED) ?
150 [ # # ]: 0 : RTE_ETH_LINK_FIXED : RTE_ETH_LINK_AUTONEG;
151 : :
152 : 0 : return rte_eth_linkstatus_set(dev, &new_link);
153 : : }
154 : :
155 : : static int
156 : 0 : idpf_dev_info_get(struct rte_eth_dev *dev, struct rte_eth_dev_info *dev_info)
157 : : {
158 : 0 : struct idpf_vport *vport = dev->data->dev_private;
159 : 0 : struct idpf_adapter *adapter = vport->adapter;
160 : :
161 : 0 : dev_info->max_rx_queues = adapter->caps.max_rx_q;
162 : 0 : dev_info->max_tx_queues = adapter->caps.max_tx_q;
163 : 0 : dev_info->min_rx_bufsize = IDPF_MIN_BUF_SIZE;
164 : 0 : dev_info->max_rx_pktlen = vport->max_mtu + IDPF_ETH_OVERHEAD;
165 : :
166 : 0 : dev_info->max_mtu = vport->max_mtu;
167 : 0 : dev_info->min_mtu = RTE_ETHER_MIN_MTU;
168 : :
169 : 0 : dev_info->hash_key_size = vport->rss_key_size;
170 : 0 : dev_info->reta_size = vport->rss_lut_size;
171 : :
172 : 0 : dev_info->flow_type_rss_offloads = IDPF_RSS_OFFLOAD_ALL;
173 : :
174 : 0 : dev_info->rx_offload_capa =
175 : : RTE_ETH_RX_OFFLOAD_IPV4_CKSUM |
176 : : RTE_ETH_RX_OFFLOAD_UDP_CKSUM |
177 : : RTE_ETH_RX_OFFLOAD_TCP_CKSUM |
178 : : RTE_ETH_RX_OFFLOAD_OUTER_IPV4_CKSUM |
179 : : RTE_ETH_RX_OFFLOAD_TIMESTAMP |
180 : : RTE_ETH_RX_OFFLOAD_SCATTER;
181 : :
182 : 0 : dev_info->tx_offload_capa =
183 : : RTE_ETH_TX_OFFLOAD_IPV4_CKSUM |
184 : : RTE_ETH_TX_OFFLOAD_UDP_CKSUM |
185 : : RTE_ETH_TX_OFFLOAD_TCP_CKSUM |
186 : : RTE_ETH_TX_OFFLOAD_SCTP_CKSUM |
187 : : RTE_ETH_TX_OFFLOAD_TCP_TSO |
188 : : RTE_ETH_TX_OFFLOAD_MULTI_SEGS |
189 : : RTE_ETH_TX_OFFLOAD_MBUF_FAST_FREE;
190 : :
191 : 0 : dev_info->default_txconf = (struct rte_eth_txconf) {
192 : : .tx_free_thresh = IDPF_DEFAULT_TX_FREE_THRESH,
193 : : .tx_rs_thresh = IDPF_DEFAULT_TX_RS_THRESH,
194 : : };
195 : :
196 : 0 : dev_info->default_rxconf = (struct rte_eth_rxconf) {
197 : : .rx_free_thresh = IDPF_DEFAULT_RX_FREE_THRESH,
198 : : };
199 : :
200 : 0 : dev_info->tx_desc_lim = (struct rte_eth_desc_lim) {
201 : : .nb_max = IDPF_MAX_RING_DESC,
202 : : .nb_min = IDPF_MIN_RING_DESC,
203 : : .nb_align = IDPF_ALIGN_RING_DESC,
204 : : };
205 : :
206 : 0 : dev_info->rx_desc_lim = (struct rte_eth_desc_lim) {
207 : : .nb_max = IDPF_MAX_RING_DESC,
208 : : .nb_min = IDPF_MIN_RING_DESC,
209 : : .nb_align = IDPF_ALIGN_RING_DESC,
210 : : };
211 : :
212 : 0 : return 0;
213 : : }
214 : :
215 : : static int
216 : 0 : idpf_dev_mtu_set(struct rte_eth_dev *dev, uint16_t mtu)
217 : : {
218 : 0 : struct idpf_vport *vport = dev->data->dev_private;
219 : :
220 : : /* mtu setting is forbidden if port is start */
221 [ # # ]: 0 : if (dev->data->dev_started) {
222 : 0 : PMD_DRV_LOG(ERR, "port must be stopped before configuration");
223 : 0 : return -EBUSY;
224 : : }
225 : :
226 [ # # ]: 0 : if (mtu > vport->max_mtu) {
227 : 0 : PMD_DRV_LOG(ERR, "MTU should be less than %d", vport->max_mtu);
228 : 0 : return -EINVAL;
229 : : }
230 : :
231 : 0 : vport->max_pkt_len = mtu + IDPF_ETH_OVERHEAD;
232 : :
233 : 0 : return 0;
234 : : }
235 : :
236 : : static const uint32_t *
237 : 0 : idpf_dev_supported_ptypes_get(struct rte_eth_dev *dev __rte_unused,
238 : : size_t *no_of_elements)
239 : : {
240 : : static const uint32_t ptypes[] = {
241 : : RTE_PTYPE_L2_ETHER,
242 : : RTE_PTYPE_L3_IPV4_EXT_UNKNOWN,
243 : : RTE_PTYPE_L3_IPV6_EXT_UNKNOWN,
244 : : RTE_PTYPE_L4_FRAG,
245 : : RTE_PTYPE_L4_UDP,
246 : : RTE_PTYPE_L4_TCP,
247 : : RTE_PTYPE_L4_SCTP,
248 : : RTE_PTYPE_L4_ICMP,
249 : : };
250 : :
251 : 0 : *no_of_elements = RTE_DIM(ptypes);
252 : 0 : return ptypes;
253 : : }
254 : :
255 : : static uint64_t
256 : 0 : idpf_get_mbuf_alloc_failed_stats(struct rte_eth_dev *dev)
257 : : {
258 : : uint64_t mbuf_alloc_failed = 0;
259 : : struct idpf_rx_queue *rxq;
260 : : int i = 0;
261 : :
262 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
263 : 0 : rxq = dev->data->rx_queues[i];
264 : 0 : mbuf_alloc_failed += rte_atomic_load_explicit(&rxq->rx_stats.mbuf_alloc_failed,
265 : : rte_memory_order_relaxed);
266 : : }
267 : :
268 : 0 : return mbuf_alloc_failed;
269 : : }
270 : :
271 : : static int
272 : 0 : idpf_dev_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats,
273 : : struct eth_queue_stats *qstats __rte_unused)
274 : : {
275 : 0 : struct idpf_vport *vport =
276 : 0 : (struct idpf_vport *)dev->data->dev_private;
277 : 0 : struct virtchnl2_vport_stats *pstats = NULL;
278 : : int ret;
279 : :
280 : 0 : ret = idpf_vc_stats_query(vport, &pstats);
281 [ # # ]: 0 : if (ret == 0) {
282 [ # # ]: 0 : uint8_t crc_stats_len = (dev->data->dev_conf.rxmode.offloads &
283 : : RTE_ETH_RX_OFFLOAD_KEEP_CRC) ? 0 :
284 : : RTE_ETHER_CRC_LEN;
285 : :
286 : 0 : idpf_vport_stats_update(&vport->eth_stats_offset, pstats);
287 : 0 : stats->ipackets = pstats->rx_unicast + pstats->rx_multicast +
288 : 0 : pstats->rx_broadcast;
289 : 0 : stats->opackets = pstats->tx_broadcast + pstats->tx_multicast +
290 : 0 : pstats->tx_unicast;
291 : 0 : stats->ierrors = pstats->rx_errors;
292 : 0 : stats->imissed = pstats->rx_discards;
293 : 0 : stats->oerrors = pstats->tx_errors + pstats->tx_discards;
294 : 0 : stats->ibytes = pstats->rx_bytes;
295 : 0 : stats->ibytes -= stats->ipackets * crc_stats_len;
296 : 0 : stats->obytes = pstats->tx_bytes;
297 : :
298 : 0 : dev->data->rx_mbuf_alloc_failed = idpf_get_mbuf_alloc_failed_stats(dev);
299 : 0 : stats->rx_nombuf = dev->data->rx_mbuf_alloc_failed;
300 : : } else {
301 : 0 : PMD_DRV_LOG(ERR, "Get statistics failed");
302 : : }
303 : 0 : return ret;
304 : : }
305 : :
306 : : static void
307 : 0 : idpf_reset_mbuf_alloc_failed_stats(struct rte_eth_dev *dev)
308 : : {
309 : : struct idpf_rx_queue *rxq;
310 : : int i;
311 : :
312 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
313 : 0 : rxq = dev->data->rx_queues[i];
314 : 0 : rte_atomic_store_explicit(&rxq->rx_stats.mbuf_alloc_failed, 0,
315 : : rte_memory_order_relaxed);
316 : : }
317 : 0 : }
318 : :
319 : : static int
320 : 0 : idpf_dev_stats_reset(struct rte_eth_dev *dev)
321 : : {
322 : 0 : struct idpf_vport *vport =
323 : 0 : (struct idpf_vport *)dev->data->dev_private;
324 : 0 : struct virtchnl2_vport_stats *pstats = NULL;
325 : : int ret;
326 : :
327 : 0 : ret = idpf_vc_stats_query(vport, &pstats);
328 [ # # ]: 0 : if (ret != 0)
329 : : return ret;
330 : :
331 : : /* set stats offset base on current values */
332 : 0 : vport->eth_stats_offset = *pstats;
333 : :
334 : 0 : idpf_reset_mbuf_alloc_failed_stats(dev);
335 : :
336 : 0 : return 0;
337 : : }
338 : :
339 : 0 : static int idpf_dev_xstats_reset(struct rte_eth_dev *dev)
340 : : {
341 : 0 : idpf_dev_stats_reset(dev);
342 : 0 : return 0;
343 : : }
344 : :
345 : 0 : static int idpf_dev_xstats_get(struct rte_eth_dev *dev,
346 : : struct rte_eth_xstat *xstats, unsigned int n)
347 : : {
348 : 0 : struct idpf_vport *vport =
349 : 0 : (struct idpf_vport *)dev->data->dev_private;
350 : 0 : struct virtchnl2_vport_stats *pstats = NULL;
351 : : unsigned int i;
352 : : int ret;
353 : :
354 [ # # ]: 0 : if (n < IDPF_NB_XSTATS)
355 : : return IDPF_NB_XSTATS;
356 : :
357 [ # # ]: 0 : if (!xstats)
358 : : return 0;
359 : :
360 : 0 : ret = idpf_vc_stats_query(vport, &pstats);
361 [ # # ]: 0 : if (ret) {
362 : 0 : PMD_DRV_LOG(ERR, "Get statistics failed");
363 : 0 : return 0;
364 : : }
365 : :
366 : 0 : idpf_vport_stats_update(&vport->eth_stats_offset, pstats);
367 : :
368 : : /* loop over xstats array and values from pstats */
369 [ # # ]: 0 : for (i = 0; i < IDPF_NB_XSTATS; i++) {
370 : 0 : xstats[i].id = i;
371 : 0 : xstats[i].value = *(uint64_t *)(((char *)pstats) +
372 : 0 : rte_idpf_stats_strings[i].offset);
373 : : }
374 : : return IDPF_NB_XSTATS;
375 : : }
376 : :
377 : 0 : static int idpf_dev_xstats_get_names(__rte_unused struct rte_eth_dev *dev,
378 : : struct rte_eth_xstat_name *xstats_names,
379 : : __rte_unused unsigned int limit)
380 : : {
381 : : unsigned int i;
382 : :
383 [ # # ]: 0 : if (xstats_names)
384 [ # # ]: 0 : for (i = 0; i < IDPF_NB_XSTATS; i++) {
385 : 0 : snprintf(xstats_names[i].name,
386 : : sizeof(xstats_names[i].name),
387 : 0 : "%s", rte_idpf_stats_strings[i].name);
388 : : }
389 : 0 : return IDPF_NB_XSTATS;
390 : : }
391 : :
392 : 0 : static int idpf_config_rss_hf(struct idpf_vport *vport, uint64_t rss_hf)
393 : : {
394 : : uint64_t hena = 0;
395 : : uint16_t i;
396 : :
397 : : /**
398 : : * RTE_ETH_RSS_IPV4 and RTE_ETH_RSS_IPV6 can be considered as 2
399 : : * generalizations of all other IPv4 and IPv6 RSS types.
400 : : */
401 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_IPV4)
402 : 0 : rss_hf |= idpf_ipv4_rss;
403 : :
404 [ # # ]: 0 : if (rss_hf & RTE_ETH_RSS_IPV6)
405 : 0 : rss_hf |= idpf_ipv6_rss;
406 : :
407 [ # # ]: 0 : for (i = 0; i < RTE_DIM(idpf_map_hena_rss); i++) {
408 [ # # ]: 0 : if (idpf_map_hena_rss[i] & rss_hf)
409 : 0 : hena |= BIT_ULL(i);
410 : : }
411 : :
412 : : /**
413 : : * At present, cp doesn't process the virtual channel msg of rss_hf configuration,
414 : : * tips are given below.
415 : : */
416 [ # # ]: 0 : if (hena != vport->rss_hf)
417 : 0 : PMD_DRV_LOG(WARNING, "Updating RSS Hash Function is not supported at present.");
418 : :
419 : 0 : return 0;
420 : : }
421 : :
422 : : static int
423 : 0 : idpf_init_rss(struct idpf_vport *vport)
424 : : {
425 : : struct rte_eth_rss_conf *rss_conf;
426 : : struct rte_eth_dev_data *dev_data;
427 : : uint16_t i, nb_q;
428 : : int ret = 0;
429 : :
430 : 0 : dev_data = vport->dev_data;
431 : : rss_conf = &dev_data->dev_conf.rx_adv_conf.rss_conf;
432 : 0 : nb_q = dev_data->nb_rx_queues;
433 : :
434 [ # # ]: 0 : if (rss_conf->rss_key == NULL) {
435 [ # # ]: 0 : for (i = 0; i < vport->rss_key_size; i++)
436 : 0 : vport->rss_key[i] = (uint8_t)rte_rand();
437 [ # # ]: 0 : } else if (rss_conf->rss_key_len != vport->rss_key_size) {
438 : 0 : PMD_INIT_LOG(ERR, "Invalid RSS key length in RSS configuration, should be %d",
439 : : vport->rss_key_size);
440 : 0 : return -EINVAL;
441 : : } else {
442 [ # # ]: 0 : rte_memcpy(vport->rss_key, rss_conf->rss_key,
443 : : vport->rss_key_size);
444 : : }
445 : :
446 [ # # ]: 0 : for (i = 0; i < vport->rss_lut_size; i++)
447 : 0 : vport->rss_lut[i] = i % nb_q;
448 : :
449 : 0 : vport->rss_hf = IDPF_DEFAULT_RSS_HASH_EXPANDED;
450 : :
451 : 0 : ret = idpf_vport_rss_config(vport);
452 [ # # ]: 0 : if (ret != 0)
453 : 0 : PMD_INIT_LOG(ERR, "Failed to configure RSS");
454 : :
455 : : return ret;
456 : : }
457 : :
458 : : static int
459 : 0 : idpf_rss_reta_update(struct rte_eth_dev *dev,
460 : : struct rte_eth_rss_reta_entry64 *reta_conf,
461 : : uint16_t reta_size)
462 : : {
463 : 0 : struct idpf_vport *vport = dev->data->dev_private;
464 : 0 : struct idpf_adapter *adapter = vport->adapter;
465 : : uint16_t idx, shift;
466 : : int ret = 0;
467 : : uint16_t i;
468 : :
469 [ # # # # ]: 0 : if (adapter->caps.rss_caps == 0 || dev->data->nb_rx_queues == 0) {
470 : 0 : PMD_DRV_LOG(DEBUG, "RSS is not supported");
471 : 0 : return -ENOTSUP;
472 : : }
473 : :
474 [ # # ]: 0 : if (reta_size != vport->rss_lut_size) {
475 : 0 : PMD_DRV_LOG(ERR, "The size of hash lookup table configured "
476 : : "(%d) doesn't match the number of hardware can "
477 : : "support (%d)",
478 : : reta_size, vport->rss_lut_size);
479 : 0 : return -EINVAL;
480 : : }
481 : :
482 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
483 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
484 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
485 [ # # ]: 0 : if (reta_conf[idx].mask & (1ULL << shift))
486 : 0 : vport->rss_lut[i] = reta_conf[idx].reta[shift];
487 : : }
488 : :
489 : : /* send virtchnl ops to configure RSS */
490 : 0 : ret = idpf_vc_rss_lut_set(vport);
491 [ # # ]: 0 : if (ret)
492 : 0 : PMD_INIT_LOG(ERR, "Failed to configure RSS lut");
493 : :
494 : : return ret;
495 : : }
496 : :
497 : : static int
498 : 0 : idpf_rss_reta_query(struct rte_eth_dev *dev,
499 : : struct rte_eth_rss_reta_entry64 *reta_conf,
500 : : uint16_t reta_size)
501 : : {
502 : 0 : struct idpf_vport *vport = dev->data->dev_private;
503 : 0 : struct idpf_adapter *adapter = vport->adapter;
504 : : uint16_t idx, shift;
505 : : int ret = 0;
506 : : uint16_t i;
507 : :
508 [ # # # # ]: 0 : if (adapter->caps.rss_caps == 0 || dev->data->nb_rx_queues == 0) {
509 : 0 : PMD_DRV_LOG(DEBUG, "RSS is not supported");
510 : 0 : return -ENOTSUP;
511 : : }
512 : :
513 [ # # ]: 0 : if (reta_size != vport->rss_lut_size) {
514 : 0 : PMD_DRV_LOG(ERR, "The size of hash lookup table configured "
515 : : "(%d) doesn't match the number of hardware can "
516 : : "support (%d)", reta_size, vport->rss_lut_size);
517 : 0 : return -EINVAL;
518 : : }
519 : :
520 : 0 : ret = idpf_vc_rss_lut_get(vport);
521 [ # # ]: 0 : if (ret) {
522 : 0 : PMD_DRV_LOG(ERR, "Failed to get RSS LUT");
523 : 0 : return ret;
524 : : }
525 : :
526 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
527 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
528 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
529 [ # # ]: 0 : if (reta_conf[idx].mask & (1ULL << shift))
530 : 0 : reta_conf[idx].reta[shift] = vport->rss_lut[i];
531 : : }
532 : :
533 : : return 0;
534 : : }
535 : :
536 : : static int
537 : 0 : idpf_rss_hash_update(struct rte_eth_dev *dev,
538 : : struct rte_eth_rss_conf *rss_conf)
539 : : {
540 : 0 : struct idpf_vport *vport = dev->data->dev_private;
541 : 0 : struct idpf_adapter *adapter = vport->adapter;
542 : : int ret = 0;
543 : :
544 [ # # # # ]: 0 : if (adapter->caps.rss_caps == 0 || dev->data->nb_rx_queues == 0) {
545 : 0 : PMD_DRV_LOG(DEBUG, "RSS is not supported");
546 : 0 : return -ENOTSUP;
547 : : }
548 : :
549 [ # # # # ]: 0 : if (!rss_conf->rss_key || rss_conf->rss_key_len == 0) {
550 : 0 : PMD_DRV_LOG(DEBUG, "No key to be configured");
551 : 0 : goto skip_rss_key;
552 [ # # ]: 0 : } else if (rss_conf->rss_key_len != vport->rss_key_size) {
553 : 0 : PMD_DRV_LOG(ERR, "The size of hash key configured "
554 : : "(%d) doesn't match the size of hardware can "
555 : : "support (%d)",
556 : : rss_conf->rss_key_len,
557 : : vport->rss_key_size);
558 : 0 : return -EINVAL;
559 : : }
560 : :
561 [ # # ]: 0 : rte_memcpy(vport->rss_key, rss_conf->rss_key,
562 : : vport->rss_key_size);
563 : 0 : ret = idpf_vc_rss_key_set(vport);
564 [ # # ]: 0 : if (ret != 0) {
565 : 0 : PMD_INIT_LOG(ERR, "Failed to configure RSS key");
566 : 0 : return ret;
567 : : }
568 : :
569 : 0 : skip_rss_key:
570 : 0 : ret = idpf_config_rss_hf(vport, rss_conf->rss_hf);
571 [ # # ]: 0 : if (ret != 0) {
572 : 0 : PMD_INIT_LOG(ERR, "Failed to configure RSS hash");
573 : 0 : return ret;
574 : : }
575 : :
576 : : return 0;
577 : : }
578 : :
579 : : static uint64_t
580 : 0 : idpf_map_general_rss_hf(uint64_t config_rss_hf, uint64_t last_general_rss_hf)
581 : : {
582 : : uint64_t valid_rss_hf = 0;
583 : : uint16_t i;
584 : :
585 [ # # ]: 0 : for (i = 0; i < RTE_DIM(idpf_map_hena_rss); i++) {
586 : 0 : uint64_t bit = BIT_ULL(i);
587 : :
588 [ # # ]: 0 : if (bit & config_rss_hf)
589 : 0 : valid_rss_hf |= idpf_map_hena_rss[i];
590 : : }
591 : :
592 [ # # ]: 0 : if (valid_rss_hf & idpf_ipv4_rss)
593 : 0 : valid_rss_hf |= last_general_rss_hf & RTE_ETH_RSS_IPV4;
594 : :
595 [ # # ]: 0 : if (valid_rss_hf & idpf_ipv6_rss)
596 : 0 : valid_rss_hf |= last_general_rss_hf & RTE_ETH_RSS_IPV6;
597 : :
598 : 0 : return valid_rss_hf;
599 : : }
600 : :
601 : : static int
602 : 0 : idpf_rss_hash_conf_get(struct rte_eth_dev *dev,
603 : : struct rte_eth_rss_conf *rss_conf)
604 : : {
605 : 0 : struct idpf_vport *vport = dev->data->dev_private;
606 : 0 : struct idpf_adapter *adapter = vport->adapter;
607 : : int ret = 0;
608 : :
609 [ # # # # ]: 0 : if (adapter->caps.rss_caps == 0 || dev->data->nb_rx_queues == 0) {
610 : 0 : PMD_DRV_LOG(DEBUG, "RSS is not supported");
611 : 0 : return -ENOTSUP;
612 : : }
613 : :
614 : 0 : ret = idpf_vc_rss_hash_get(vport);
615 [ # # ]: 0 : if (ret) {
616 : 0 : PMD_DRV_LOG(ERR, "Failed to get RSS hf");
617 : 0 : return ret;
618 : : }
619 : :
620 : 0 : rss_conf->rss_hf = idpf_map_general_rss_hf(vport->rss_hf, vport->last_general_rss_hf);
621 : :
622 [ # # ]: 0 : if (!rss_conf->rss_key)
623 : : return 0;
624 : :
625 : 0 : ret = idpf_vc_rss_key_get(vport);
626 [ # # ]: 0 : if (ret) {
627 : 0 : PMD_DRV_LOG(ERR, "Failed to get RSS key");
628 : 0 : return ret;
629 : : }
630 : :
631 [ # # ]: 0 : if (rss_conf->rss_key_len > vport->rss_key_size)
632 : 0 : rss_conf->rss_key_len = vport->rss_key_size;
633 : :
634 [ # # ]: 0 : rte_memcpy(rss_conf->rss_key, vport->rss_key, rss_conf->rss_key_len);
635 : :
636 : : return 0;
637 : : }
638 : :
639 : : static int
640 : 0 : idpf_dev_configure(struct rte_eth_dev *dev)
641 : : {
642 : 0 : struct idpf_vport *vport = dev->data->dev_private;
643 : : struct rte_eth_conf *conf = &dev->data->dev_conf;
644 : 0 : struct idpf_adapter *adapter = vport->adapter;
645 : : int ret;
646 : :
647 [ # # ]: 0 : if (conf->link_speeds & RTE_ETH_LINK_SPEED_FIXED) {
648 : 0 : PMD_INIT_LOG(ERR, "Setting link speed is not supported");
649 : 0 : return -ENOTSUP;
650 : : }
651 : :
652 [ # # ]: 0 : if (conf->txmode.mq_mode != RTE_ETH_MQ_TX_NONE) {
653 : 0 : PMD_INIT_LOG(ERR, "Multi-queue TX mode %d is not supported",
654 : : conf->txmode.mq_mode);
655 : 0 : return -ENOTSUP;
656 : : }
657 : :
658 [ # # ]: 0 : if (conf->lpbk_mode != 0) {
659 : 0 : PMD_INIT_LOG(ERR, "Loopback operation mode %d is not supported",
660 : : conf->lpbk_mode);
661 : 0 : return -ENOTSUP;
662 : : }
663 : :
664 [ # # ]: 0 : if (conf->dcb_capability_en != 0) {
665 : 0 : PMD_INIT_LOG(ERR, "Priority Flow Control(PFC) if not supported");
666 : 0 : return -ENOTSUP;
667 : : }
668 : :
669 [ # # ]: 0 : if (conf->intr_conf.lsc != 0) {
670 : 0 : PMD_INIT_LOG(ERR, "LSC interrupt is not supported");
671 : 0 : return -ENOTSUP;
672 : : }
673 : :
674 [ # # ]: 0 : if (conf->intr_conf.rxq != 0) {
675 : 0 : PMD_INIT_LOG(ERR, "RXQ interrupt is not supported");
676 : 0 : return -ENOTSUP;
677 : : }
678 : :
679 [ # # ]: 0 : if (conf->intr_conf.rmv != 0) {
680 : 0 : PMD_INIT_LOG(ERR, "RMV interrupt is not supported");
681 : 0 : return -ENOTSUP;
682 : : }
683 : :
684 [ # # # # ]: 0 : if (adapter->caps.rss_caps != 0 && dev->data->nb_rx_queues != 0) {
685 : 0 : ret = idpf_init_rss(vport);
686 [ # # ]: 0 : if (ret != 0) {
687 : 0 : PMD_INIT_LOG(ERR, "Failed to init rss");
688 : 0 : return ret;
689 : : }
690 : : } else {
691 : 0 : PMD_INIT_LOG(ERR, "RSS is not supported.");
692 : 0 : return -1;
693 : : }
694 : :
695 : 0 : vport->max_pkt_len =
696 [ # # ]: 0 : (dev->data->mtu == 0) ? IDPF_DEFAULT_MTU : dev->data->mtu +
697 : : IDPF_ETH_OVERHEAD;
698 : :
699 : 0 : vport->adapter->rx_func_type = IDPF_RX_DEFAULT;
700 : :
701 : 0 : return 0;
702 : : }
703 : :
704 : : static int
705 : : idpf_config_rx_queues_irqs(struct rte_eth_dev *dev)
706 : : {
707 : 0 : struct idpf_vport *vport = dev->data->dev_private;
708 : 0 : uint16_t nb_rx_queues = dev->data->nb_rx_queues;
709 : :
710 : 0 : return idpf_vport_irq_map_config(vport, nb_rx_queues);
711 : : }
712 : :
713 : : static int
714 : 0 : idpf_start_queues(struct rte_eth_dev *dev)
715 : : {
716 : : struct idpf_rx_queue *rxq;
717 : : struct ci_tx_queue *txq;
718 : : int err = 0;
719 : : int i;
720 : :
721 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++) {
722 : 0 : txq = dev->data->tx_queues[i];
723 [ # # # # ]: 0 : if (txq == NULL || txq->tx_deferred_start)
724 : 0 : continue;
725 : 0 : err = idpf_tx_queue_start(dev, i);
726 [ # # ]: 0 : if (err != 0) {
727 : 0 : PMD_DRV_LOG(ERR, "Fail to start Tx queue %u", i);
728 : 0 : return err;
729 : : }
730 : : }
731 : :
732 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
733 : 0 : rxq = dev->data->rx_queues[i];
734 [ # # # # ]: 0 : if (rxq == NULL || rxq->rx_deferred_start)
735 : 0 : continue;
736 : 0 : err = idpf_rx_queue_start(dev, i);
737 [ # # ]: 0 : if (err != 0) {
738 : 0 : PMD_DRV_LOG(ERR, "Fail to start Rx queue %u", i);
739 : 0 : return err;
740 : : }
741 : : }
742 : :
743 : : return err;
744 : : }
745 : :
746 : : static int
747 : 0 : idpf_dev_start(struct rte_eth_dev *dev)
748 : : {
749 : 0 : struct idpf_vport *vport = dev->data->dev_private;
750 : 0 : struct idpf_adapter *base = vport->adapter;
751 : 0 : struct idpf_adapter_ext *adapter = IDPF_ADAPTER_TO_EXT(base);
752 : 0 : uint16_t num_allocated_vectors = base->caps.num_allocated_vectors;
753 : : uint16_t req_vecs_num;
754 : : int ret;
755 : :
756 : : req_vecs_num = IDPF_DFLT_Q_VEC_NUM;
757 [ # # ]: 0 : if (req_vecs_num + adapter->used_vecs_num > num_allocated_vectors) {
758 : 0 : PMD_DRV_LOG(ERR, "The accumulated request vectors' number should be less than %d",
759 : : num_allocated_vectors);
760 : : ret = -EINVAL;
761 : 0 : goto err_vec;
762 : : }
763 : :
764 : 0 : ret = idpf_vc_vectors_alloc(vport, req_vecs_num);
765 [ # # ]: 0 : if (ret != 0) {
766 : 0 : PMD_DRV_LOG(ERR, "Failed to allocate interrupt vectors");
767 : 0 : goto err_vec;
768 : : }
769 : 0 : adapter->used_vecs_num += req_vecs_num;
770 : :
771 : : ret = idpf_config_rx_queues_irqs(dev);
772 [ # # ]: 0 : if (ret != 0) {
773 : 0 : PMD_DRV_LOG(ERR, "Failed to configure irqs");
774 : 0 : goto err_irq;
775 : : }
776 : :
777 : 0 : ret = idpf_start_queues(dev);
778 [ # # ]: 0 : if (ret != 0) {
779 : 0 : PMD_DRV_LOG(ERR, "Failed to start queues");
780 : 0 : goto err_startq;
781 : : }
782 : :
783 : 0 : idpf_set_rx_function(dev);
784 : 0 : idpf_set_tx_function(dev);
785 : :
786 : 0 : ret = idpf_vc_vport_ena_dis(vport, true);
787 [ # # ]: 0 : if (ret != 0) {
788 : 0 : PMD_DRV_LOG(ERR, "Failed to enable vport");
789 : 0 : goto err_vport;
790 : : }
791 : :
792 [ # # ]: 0 : if (idpf_dev_stats_reset(dev))
793 : 0 : PMD_DRV_LOG(ERR, "Failed to reset stats");
794 : :
795 : : return 0;
796 : :
797 : : err_vport:
798 : 0 : idpf_stop_queues(dev);
799 : 0 : err_startq:
800 : 0 : idpf_vport_irq_unmap_config(vport, dev->data->nb_rx_queues);
801 : 0 : err_irq:
802 : 0 : idpf_vc_vectors_dealloc(vport);
803 : : err_vec:
804 : : return ret;
805 : : }
806 : :
807 : : static int
808 : 0 : idpf_dev_stop(struct rte_eth_dev *dev)
809 : : {
810 : 0 : struct idpf_vport *vport = dev->data->dev_private;
811 : :
812 [ # # ]: 0 : if (dev->data->dev_started == 0)
813 : : return 0;
814 : :
815 : 0 : idpf_vc_vport_ena_dis(vport, false);
816 : :
817 : 0 : idpf_stop_queues(dev);
818 : :
819 : 0 : idpf_vport_irq_unmap_config(vport, dev->data->nb_rx_queues);
820 : :
821 : 0 : idpf_vc_vectors_dealloc(vport);
822 : :
823 : 0 : return 0;
824 : : }
825 : :
826 : : static int
827 : 0 : idpf_dev_close(struct rte_eth_dev *dev)
828 : : {
829 : 0 : struct idpf_vport *vport = dev->data->dev_private;
830 : 0 : struct idpf_adapter_ext *adapter = IDPF_ADAPTER_TO_EXT(vport->adapter);
831 : :
832 : 0 : idpf_dev_stop(dev);
833 : :
834 : 0 : idpf_vport_deinit(vport);
835 : :
836 : 0 : adapter->cur_vports &= ~RTE_BIT32(vport->devarg_id);
837 : 0 : adapter->cur_vport_nb--;
838 : 0 : dev->data->dev_private = NULL;
839 : 0 : adapter->vports[vport->sw_idx] = NULL;
840 : 0 : rte_free(vport);
841 : :
842 : 0 : return 0;
843 : : }
844 : :
845 : : static int
846 : 0 : idpf_timesync_enable(struct rte_eth_dev *dev)
847 : : {
848 : 0 : struct idpf_vport *vport = dev->data->dev_private;
849 : 0 : struct idpf_adapter *adapter = vport->adapter;
850 : : struct timespec sys_ts;
851 : : uint64_t ns;
852 : : int ret, q_id;
853 [ # # # # ]: 0 : if (dev->data->dev_started && !(dev->data->dev_conf.rxmode.offloads &
854 : : RTE_ETH_RX_OFFLOAD_TIMESTAMP)) {
855 : 0 : PMD_DRV_LOG(ERR, "Rx timestamp offload not configured");
856 : 0 : return -1;
857 : : }
858 : :
859 : 0 : adapter->ptp = rte_zmalloc(NULL, sizeof(struct idpf_ptp), 0);
860 [ # # ]: 0 : if (adapter->ptp == NULL) {
861 : 0 : PMD_DRV_LOG(ERR, "Failed to allocate memory for PTP");
862 : 0 : return -ENOMEM;
863 : : }
864 : :
865 : 0 : ret = idpf_ptp_get_caps(adapter);
866 [ # # ]: 0 : if (ret) {
867 : 0 : PMD_DRV_LOG(ERR, "Failed to get PTP capabilities, err=%d", ret);
868 : 0 : goto fail_ptp;
869 : : }
870 : :
871 : : /* Write the default increment time value if the clock adjustments are enabled. */
872 [ # # ]: 0 : if (adapter->ptp->adj_dev_clk_time_access != IDPF_PTP_NONE) {
873 : 0 : ret = idpf_ptp_adj_dev_clk_fine(adapter, adapter->ptp->base_incval);
874 [ # # ]: 0 : if (ret) {
875 : 0 : PMD_DRV_LOG(ERR, "PTP set incval failed, err=%d", ret);
876 : 0 : goto fail_ptp;
877 : : }
878 : : }
879 : :
880 : : /* Do not initialize the PTP if the device clock time cannot be read. */
881 [ # # ]: 0 : if (adapter->ptp->get_dev_clk_time_access == IDPF_PTP_NONE) {
882 : 0 : PMD_DRV_LOG(ERR, "Getting device clock time is not supported");
883 : : ret = -EIO;
884 : 0 : goto fail_ptp;
885 : : }
886 : :
887 : : /* Set the device clock time to system time. */
888 [ # # ]: 0 : if (adapter->ptp->set_dev_clk_time_access != IDPF_PTP_NONE) {
889 : 0 : clock_gettime(CLOCK_REALTIME, &sys_ts);
890 : : ns = rte_timespec_to_ns(&sys_ts);
891 : 0 : ret = idpf_ptp_set_dev_clk_time(adapter, ns);
892 [ # # ]: 0 : if (ret) {
893 : 0 : PMD_DRV_LOG(ERR, "PTP set clock time failed, err=%d", ret);
894 : 0 : goto fail_ptp;
895 : : }
896 : : }
897 : :
898 : 0 : ret = idpf_ptp_get_vport_tstamps_caps(vport);
899 [ # # ]: 0 : if (ret) {
900 : 0 : PMD_DRV_LOG(ERR, "Failed to get vport timestamp capabilities, err=%d", ret);
901 : 0 : goto fail_ptp;
902 : : }
903 : :
904 [ # # ]: 0 : for (q_id = 0; q_id < dev->data->nb_tx_queues; q_id++) {
905 : 0 : struct ci_tx_queue *txq = dev->data->tx_queues[q_id];
906 : 0 : txq->latch_idx = vport->tx_tstamp_caps->tx_tstamp[q_id].idx;
907 : : }
908 : :
909 : 0 : adapter->ptp->cmd.shtime_enable_mask = PF_GLTSYN_CMD_SYNC_SHTIME_EN_M;
910 : 0 : adapter->ptp->cmd.exec_cmd_mask = PF_GLTSYN_CMD_SYNC_EXEC_CMD_M;
911 : :
912 : 0 : return 0;
913 : :
914 : 0 : fail_ptp:
915 : 0 : rte_free(adapter->ptp);
916 : 0 : adapter->ptp = NULL;
917 : 0 : return ret;
918 : : }
919 : :
920 : : static int
921 : 0 : idpf_timesync_read_rx_timestamp(struct rte_eth_dev *dev,
922 : : struct timespec *timestamp,
923 : : uint32_t flags)
924 : : {
925 : : struct idpf_rx_queue *rxq;
926 : 0 : struct idpf_vport *vport = dev->data->dev_private;
927 : 0 : struct idpf_adapter *adapter = vport->adapter;
928 : : uint64_t ts_ns;
929 : :
930 : 0 : rxq = dev->data->rx_queues[flags];
931 : :
932 : 0 : ts_ns = idpf_tstamp_convert_32b_64b(adapter, 1, true, rxq->time_high);
933 : 0 : *timestamp = rte_ns_to_timespec(ts_ns);
934 : :
935 : 0 : return 0;
936 : : }
937 : :
938 : : static int
939 : 0 : idpf_timesync_read_tx_timestamp(struct rte_eth_dev *dev,
940 : : struct timespec *timestamp)
941 : : {
942 : 0 : struct idpf_vport *vport = dev->data->dev_private;
943 : : uint16_t latch_idx;
944 : : uint64_t ts_ns, tstamp;
945 : : int ret;
946 : :
947 : 0 : ret = idpf_ptp_get_tx_tstamp(vport);
948 [ # # ]: 0 : if (ret) {
949 : 0 : PMD_DRV_LOG(ERR, "Failed to get TX timestamp");
950 : 0 : return ret;
951 : : }
952 : :
953 : 0 : latch_idx = vport->tx_tstamp_caps->latched_idx;
954 : 0 : tstamp = vport->tx_tstamp_caps->tx_tstamp[latch_idx].tstamp;
955 [ # # ]: 0 : ts_ns = idpf_tstamp_convert_32b_64b(vport->adapter, 0, false, tstamp);
956 : :
957 : : /* Convert to timespec */
958 : 0 : *timestamp = rte_ns_to_timespec(ts_ns);
959 : :
960 : 0 : vport->tx_tstamp_caps->latched_idx = -1;
961 : :
962 : 0 : return 0;
963 : : }
964 : :
965 : : static int
966 : 0 : idpf_timesync_adjust_time(struct rte_eth_dev *dev, int64_t delta)
967 : : {
968 : 0 : struct idpf_vport *vport = dev->data->dev_private;
969 : 0 : struct idpf_adapter *adapter = vport->adapter;
970 : 0 : struct idpf_ptp *ptp = adapter->ptp;
971 : : uint64_t time, ns;
972 : : int ret;
973 : :
974 [ # # ]: 0 : if (ptp->adj_dev_clk_time_access != IDPF_PTP_MAILBOX) {
975 : 0 : PMD_DRV_LOG(ERR, "Adjusting device clock time is not supported");
976 : 0 : return -ENOTSUP;
977 : : }
978 : :
979 [ # # ]: 0 : if (delta > INT32_MAX || delta < INT32_MIN) {
980 : 0 : ret = idpf_ptp_read_src_clk_reg(adapter, &time);
981 [ # # ]: 0 : if (ret) {
982 : 0 : PMD_DRV_LOG(ERR, "PTP read clock time failed, err %d", ret);
983 : 0 : return ret;
984 : : }
985 : :
986 : 0 : ns = time + delta;
987 : :
988 : 0 : ret = idpf_ptp_set_dev_clk_time(adapter, ns);
989 [ # # ]: 0 : if (ret)
990 : 0 : PMD_DRV_LOG(ERR, "PTP set clock time failed, err %d", ret);
991 : :
992 : 0 : return ret;
993 : : }
994 : :
995 : 0 : ret = idpf_ptp_adj_dev_clk_time(adapter, delta);
996 [ # # ]: 0 : if (ret)
997 : 0 : PMD_DRV_LOG(ERR, "PTP adjusting clock failed, err %d", ret);
998 : :
999 : : return ret;
1000 : : }
1001 : :
1002 : : static int
1003 : 0 : idpf_timesync_adjust_freq(struct rte_eth_dev *dev, int64_t ppm)
1004 : : {
1005 : 0 : struct idpf_vport *vport = dev->data->dev_private;
1006 : 0 : struct idpf_adapter *adapter = vport->adapter;
1007 : 0 : struct idpf_ptp *ptp = adapter->ptp;
1008 : : int64_t incval, diff = 0;
1009 : : bool negative = false;
1010 : : uint64_t div, rem;
1011 : : uint64_t divisor = 1000000ULL << 16;
1012 : : int shift;
1013 : : int ret;
1014 : :
1015 : 0 : incval = ptp->base_incval;
1016 : :
1017 [ # # ]: 0 : if (ppm < 0) {
1018 : : negative = true;
1019 : 0 : ppm = -ppm;
1020 : : }
1021 : :
1022 : : /* can incval * ppm overflow ? */
1023 [ # # # # ]: 0 : if (rte_log2_u64(incval) + rte_log2_u64(ppm) > 62) {
1024 : 0 : rem = ppm % divisor;
1025 : 0 : div = ppm / divisor;
1026 : 0 : diff = div * incval;
1027 [ # # ]: 0 : ppm = rem;
1028 : :
1029 : 0 : shift = rte_log2_u64(incval) + rte_log2_u64(ppm) - 62;
1030 [ # # ]: 0 : if (shift > 0) {
1031 : : /* drop precision */
1032 : 0 : ppm >>= shift;
1033 : 0 : divisor >>= shift;
1034 : : }
1035 : : }
1036 : :
1037 [ # # ]: 0 : if (divisor)
1038 : 0 : diff = diff + incval * ppm / divisor;
1039 : :
1040 [ # # ]: 0 : if (negative)
1041 : 0 : incval -= diff;
1042 : : else
1043 : 0 : incval += diff;
1044 : :
1045 : 0 : ret = idpf_ptp_adj_dev_clk_fine(adapter, incval);
1046 [ # # ]: 0 : if (ret) {
1047 : 0 : PMD_DRV_LOG(ERR, "PTP failed to set incval, err %d", ret);
1048 : 0 : return ret;
1049 : : }
1050 : : return ret;
1051 : : }
1052 : :
1053 : : static int
1054 : 0 : idpf_timesync_write_time(struct rte_eth_dev *dev, const struct timespec *ts)
1055 : : {
1056 : 0 : struct idpf_vport *vport = dev->data->dev_private;
1057 : 0 : struct idpf_adapter *adapter = vport->adapter;
1058 : : uint64_t ns;
1059 : : int ret;
1060 : :
1061 : : ns = rte_timespec_to_ns(ts);
1062 : 0 : ret = idpf_ptp_set_dev_clk_time(adapter, ns);
1063 [ # # ]: 0 : if (ret)
1064 : 0 : PMD_DRV_LOG(ERR, "PTP write time failed, err %d", ret);
1065 : :
1066 : 0 : return ret;
1067 : : }
1068 : :
1069 : : static int
1070 : 0 : idpf_timesync_read_time(struct rte_eth_dev *dev, struct timespec *ts)
1071 : : {
1072 : 0 : struct idpf_vport *vport = dev->data->dev_private;
1073 : 0 : struct idpf_adapter *adapter = vport->adapter;
1074 : : uint64_t time;
1075 : : int ret;
1076 : :
1077 : 0 : ret = idpf_ptp_read_src_clk_reg(adapter, &time);
1078 [ # # ]: 0 : if (ret)
1079 : 0 : PMD_DRV_LOG(ERR, "PTP read time failed, err %d", ret);
1080 : : else
1081 [ # # ]: 0 : *ts = rte_ns_to_timespec(time);
1082 : :
1083 : 0 : return ret;
1084 : : }
1085 : :
1086 : : static int
1087 : 0 : idpf_timesync_disable(struct rte_eth_dev *dev)
1088 : : {
1089 : 0 : struct idpf_vport *vport = dev->data->dev_private;
1090 : 0 : struct idpf_adapter *adapter = vport->adapter;
1091 : :
1092 [ # # ]: 0 : if (vport->tx_tstamp_caps) {
1093 : 0 : rte_free(vport->tx_tstamp_caps);
1094 : 0 : vport->tx_tstamp_caps = NULL;
1095 : : }
1096 : :
1097 [ # # ]: 0 : if (adapter->ptp) {
1098 : 0 : rte_free(adapter->ptp);
1099 : 0 : adapter->ptp = NULL;
1100 : : }
1101 : :
1102 : 0 : return 0;
1103 : : }
1104 : :
1105 : :
1106 : : static const struct eth_dev_ops idpf_eth_dev_ops = {
1107 : : .dev_configure = idpf_dev_configure,
1108 : : .dev_close = idpf_dev_close,
1109 : : .rx_queue_setup = idpf_rx_queue_setup,
1110 : : .tx_queue_setup = idpf_tx_queue_setup,
1111 : : .dev_infos_get = idpf_dev_info_get,
1112 : : .dev_start = idpf_dev_start,
1113 : : .dev_stop = idpf_dev_stop,
1114 : : .link_update = idpf_dev_link_update,
1115 : : .rx_queue_start = idpf_rx_queue_start,
1116 : : .tx_queue_start = idpf_tx_queue_start,
1117 : : .rx_queue_stop = idpf_rx_queue_stop,
1118 : : .tx_queue_stop = idpf_tx_queue_stop,
1119 : : .rx_queue_release = idpf_dev_rx_queue_release,
1120 : : .tx_queue_release = idpf_dev_tx_queue_release,
1121 : : .mtu_set = idpf_dev_mtu_set,
1122 : : .dev_supported_ptypes_get = idpf_dev_supported_ptypes_get,
1123 : : .stats_get = idpf_dev_stats_get,
1124 : : .stats_reset = idpf_dev_stats_reset,
1125 : : .reta_update = idpf_rss_reta_update,
1126 : : .reta_query = idpf_rss_reta_query,
1127 : : .rss_hash_update = idpf_rss_hash_update,
1128 : : .rss_hash_conf_get = idpf_rss_hash_conf_get,
1129 : : .xstats_get = idpf_dev_xstats_get,
1130 : : .xstats_get_names = idpf_dev_xstats_get_names,
1131 : : .xstats_reset = idpf_dev_xstats_reset,
1132 : : .timesync_enable = idpf_timesync_enable,
1133 : : .timesync_read_rx_timestamp = idpf_timesync_read_rx_timestamp,
1134 : : .timesync_read_tx_timestamp = idpf_timesync_read_tx_timestamp,
1135 : : .timesync_adjust_time = idpf_timesync_adjust_time,
1136 : : .timesync_adjust_freq = idpf_timesync_adjust_freq,
1137 : : .timesync_read_time = idpf_timesync_read_time,
1138 : : .timesync_write_time = idpf_timesync_write_time,
1139 : : .timesync_disable = idpf_timesync_disable,
1140 : : };
1141 : :
1142 : : static int
1143 : 0 : insert_value(struct idpf_devargs *devargs, uint16_t id)
1144 : : {
1145 : : uint16_t i;
1146 : :
1147 : : /* ignore duplicate */
1148 [ # # ]: 0 : for (i = 0; i < devargs->req_vport_nb; i++) {
1149 [ # # ]: 0 : if (devargs->req_vports[i] == id)
1150 : : return 0;
1151 : : }
1152 : :
1153 [ # # ]: 0 : if (devargs->req_vport_nb >= RTE_DIM(devargs->req_vports)) {
1154 : 0 : PMD_INIT_LOG(ERR, "Total vport number can't be > %d",
1155 : : IDPF_MAX_VPORT_NUM);
1156 : 0 : return -EINVAL;
1157 : : }
1158 : :
1159 : 0 : devargs->req_vports[devargs->req_vport_nb] = id;
1160 : 0 : devargs->req_vport_nb++;
1161 : :
1162 : 0 : return 0;
1163 : : }
1164 : :
1165 : : static const char *
1166 : 0 : parse_range(const char *value, struct idpf_devargs *devargs)
1167 : : {
1168 : : uint16_t lo, hi, i;
1169 : 0 : int n = 0;
1170 : : int result;
1171 : : const char *pos = value;
1172 : :
1173 : 0 : result = sscanf(value, "%hu%n-%hu%n", &lo, &n, &hi, &n);
1174 [ # # ]: 0 : if (result == 1) {
1175 [ # # ]: 0 : if (lo >= IDPF_MAX_VPORT_NUM)
1176 : : return NULL;
1177 [ # # ]: 0 : if (insert_value(devargs, lo) != 0)
1178 : : return NULL;
1179 [ # # ]: 0 : } else if (result == 2) {
1180 [ # # # # ]: 0 : if (lo > hi || hi >= IDPF_MAX_VPORT_NUM)
1181 : : return NULL;
1182 [ # # ]: 0 : for (i = lo; i <= hi; i++) {
1183 [ # # ]: 0 : if (insert_value(devargs, i) != 0)
1184 : : return NULL;
1185 : : }
1186 : : } else {
1187 : : return NULL;
1188 : : }
1189 : :
1190 : 0 : return pos + n;
1191 : : }
1192 : :
1193 : : static int
1194 : 0 : parse_vport(const char *key, const char *value, void *args)
1195 : : {
1196 : : struct idpf_devargs *devargs = args;
1197 : : const char *pos = value;
1198 : :
1199 : 0 : devargs->req_vport_nb = 0;
1200 : :
1201 [ # # ]: 0 : if (*pos == '[')
1202 : 0 : pos++;
1203 : :
1204 : : while (1) {
1205 : 0 : pos = parse_range(pos, devargs);
1206 [ # # ]: 0 : if (pos == NULL) {
1207 : 0 : PMD_INIT_LOG(ERR, "invalid value:\"%s\" for key:\"%s\", ",
1208 : : value, key);
1209 : 0 : return -EINVAL;
1210 : : }
1211 [ # # ]: 0 : if (*pos != ',')
1212 : : break;
1213 : 0 : pos++;
1214 : : }
1215 : :
1216 [ # # # # ]: 0 : if (*value == '[' && *pos != ']') {
1217 : 0 : PMD_INIT_LOG(ERR, "invalid value:\"%s\" for key:\"%s\", ",
1218 : : value, key);
1219 : 0 : return -EINVAL;
1220 : : }
1221 : :
1222 : : return 0;
1223 : : }
1224 : :
1225 : : static int
1226 : 0 : parse_bool(const char *key, const char *value, void *args)
1227 : : {
1228 : : int *i = args;
1229 : : char *end;
1230 : : int num;
1231 : :
1232 : 0 : errno = 0;
1233 : :
1234 : 0 : num = strtoul(value, &end, 10);
1235 : :
1236 [ # # # # ]: 0 : if (errno == ERANGE || (num != 0 && num != 1)) {
1237 : 0 : PMD_INIT_LOG(ERR, "invalid value:\"%s\" for key:\"%s\", value must be 0 or 1",
1238 : : value, key);
1239 : 0 : return -EINVAL;
1240 : : }
1241 : :
1242 : 0 : *i = num;
1243 : 0 : return 0;
1244 : : }
1245 : :
1246 : : static int
1247 : 0 : idpf_parse_devargs(struct rte_pci_device *pci_dev, struct idpf_adapter_ext *adapter,
1248 : : struct idpf_devargs *idpf_args)
1249 : : {
1250 : 0 : struct rte_devargs *devargs = pci_dev->device.devargs;
1251 : : struct rte_kvargs *kvlist;
1252 : : int i, ret;
1253 : :
1254 : 0 : idpf_args->req_vport_nb = 0;
1255 : :
1256 [ # # ]: 0 : if (devargs == NULL)
1257 : : return 0;
1258 : :
1259 : 0 : kvlist = rte_kvargs_parse(devargs->args, idpf_valid_args);
1260 [ # # ]: 0 : if (kvlist == NULL) {
1261 : 0 : PMD_INIT_LOG(ERR, "invalid kvargs key");
1262 : 0 : return -EINVAL;
1263 : : }
1264 : :
1265 : : /* check parsed devargs */
1266 [ # # ]: 0 : if (adapter->cur_vport_nb + idpf_args->req_vport_nb >
1267 : : IDPF_MAX_VPORT_NUM) {
1268 : 0 : PMD_INIT_LOG(ERR, "Total vport number can't be > %d",
1269 : : IDPF_MAX_VPORT_NUM);
1270 : : ret = -EINVAL;
1271 : 0 : goto bail;
1272 : : }
1273 : :
1274 [ # # ]: 0 : for (i = 0; i < idpf_args->req_vport_nb; i++) {
1275 [ # # ]: 0 : if (adapter->cur_vports & RTE_BIT32(idpf_args->req_vports[i])) {
1276 : 0 : PMD_INIT_LOG(ERR, "Vport %d has been created",
1277 : : idpf_args->req_vports[i]);
1278 : : ret = -EINVAL;
1279 : 0 : goto bail;
1280 : : }
1281 : : }
1282 : :
1283 : 0 : ret = rte_kvargs_process(kvlist, IDPF_VPORT, &parse_vport,
1284 : : idpf_args);
1285 [ # # ]: 0 : if (ret != 0)
1286 : 0 : goto bail;
1287 : :
1288 : 0 : ret = rte_kvargs_process(kvlist, IDPF_TX_SINGLE_Q, &parse_bool,
1289 : 0 : &adapter->base.is_tx_singleq);
1290 [ # # ]: 0 : if (ret != 0)
1291 : 0 : goto bail;
1292 : :
1293 : 0 : ret = rte_kvargs_process(kvlist, IDPF_RX_SINGLE_Q, &parse_bool,
1294 : 0 : &adapter->base.is_rx_singleq);
1295 [ # # ]: 0 : if (ret != 0)
1296 : 0 : goto bail;
1297 : :
1298 : 0 : bail:
1299 : 0 : rte_kvargs_free(kvlist);
1300 : 0 : return ret;
1301 : : }
1302 : :
1303 : : static struct idpf_vport *
1304 : : idpf_find_vport(struct idpf_adapter_ext *adapter, uint32_t vport_id)
1305 : : {
1306 : : struct idpf_vport *vport = NULL;
1307 : : int i;
1308 : :
1309 [ # # ]: 0 : for (i = 0; i < adapter->cur_vport_nb; i++) {
1310 : 0 : vport = adapter->vports[i];
1311 [ # # ]: 0 : if (vport->vport_id != vport_id)
1312 : : continue;
1313 : : else
1314 : : return vport;
1315 : : }
1316 : :
1317 : : return vport;
1318 : : }
1319 : :
1320 : : static void
1321 : 0 : idpf_handle_event_msg(struct idpf_vport *vport, uint8_t *msg, uint16_t msglen)
1322 : : {
1323 : : struct virtchnl2_event *vc_event = (struct virtchnl2_event *)msg;
1324 : 0 : struct rte_eth_dev_data *data = vport->dev_data;
1325 : 0 : struct rte_eth_dev *dev = &rte_eth_devices[data->port_id];
1326 : :
1327 [ # # ]: 0 : if (msglen < sizeof(struct virtchnl2_event)) {
1328 : 0 : PMD_DRV_LOG(ERR, "Error event");
1329 : 0 : return;
1330 : : }
1331 : :
1332 [ # # ]: 0 : switch (vc_event->event) {
1333 : 0 : case VIRTCHNL2_EVENT_LINK_CHANGE:
1334 : 0 : PMD_DRV_LOG(DEBUG, "VIRTCHNL2_EVENT_LINK_CHANGE");
1335 : 0 : vport->link_up = !!(vc_event->link_status);
1336 : 0 : vport->link_speed = vc_event->link_speed;
1337 : 0 : idpf_dev_link_update(dev, 0);
1338 : 0 : break;
1339 : 0 : default:
1340 : 0 : PMD_DRV_LOG(ERR, " unknown event received %u", vc_event->event);
1341 : 0 : break;
1342 : : }
1343 : : }
1344 : :
1345 : : static void
1346 : 0 : idpf_handle_virtchnl_msg(struct idpf_adapter_ext *adapter_ex)
1347 : : {
1348 : : struct idpf_adapter *adapter = &adapter_ex->base;
1349 : 0 : struct idpf_dma_mem *dma_mem = NULL;
1350 : 0 : struct idpf_hw *hw = &adapter->hw;
1351 : : struct virtchnl2_event *vc_event;
1352 : : struct idpf_ctlq_msg ctlq_msg;
1353 : : enum idpf_mbx_opc mbx_op;
1354 : : struct idpf_vport *vport;
1355 : 0 : uint16_t pending = 1;
1356 : : uint32_t vc_op;
1357 : : int ret;
1358 : :
1359 [ # # ]: 0 : while (pending) {
1360 : 0 : ret = idpf_vc_ctlq_recv(hw->arq, &pending, &ctlq_msg);
1361 [ # # ]: 0 : if (ret) {
1362 : 0 : PMD_DRV_LOG(INFO, "Failed to read msg from virtual channel, ret: %d", ret);
1363 : 0 : return;
1364 : : }
1365 : :
1366 [ # # ]: 0 : rte_memcpy(adapter->mbx_resp, ctlq_msg.ctx.indirect.payload->va,
1367 : : IDPF_DFLT_MBX_BUF_SIZE);
1368 : :
1369 : 0 : mbx_op = rte_le_to_cpu_16(ctlq_msg.opcode);
1370 : 0 : vc_op = rte_le_to_cpu_32(ctlq_msg.cookie.mbx.chnl_opcode);
1371 : 0 : adapter->cmd_retval = rte_le_to_cpu_32(ctlq_msg.cookie.mbx.chnl_retval);
1372 : :
1373 [ # # ]: 0 : switch (mbx_op) {
1374 : 0 : case idpf_mbq_opc_send_msg_to_peer_pf:
1375 : : case idpf_mbq_opc_send_msg_to_peer_drv:
1376 [ # # ]: 0 : if (vc_op == VIRTCHNL2_OP_EVENT) {
1377 [ # # ]: 0 : if (ctlq_msg.data_len < sizeof(struct virtchnl2_event)) {
1378 : 0 : PMD_DRV_LOG(ERR, "Error event");
1379 : 0 : return;
1380 : : }
1381 : 0 : vc_event = (struct virtchnl2_event *)adapter->mbx_resp;
1382 : 0 : vport = idpf_find_vport(adapter_ex, vc_event->vport_id);
1383 [ # # ]: 0 : if (!vport) {
1384 : 0 : PMD_DRV_LOG(ERR, "Can't find vport.");
1385 : 0 : return;
1386 : : }
1387 : 0 : idpf_handle_event_msg(vport, adapter->mbx_resp,
1388 : : ctlq_msg.data_len);
1389 : : } else {
1390 [ # # ]: 0 : if (vc_op == adapter->pend_cmd)
1391 : : notify_cmd(adapter, adapter->cmd_retval);
1392 : : else
1393 : 0 : PMD_DRV_LOG(ERR, "command mismatch, expect %u, get %u",
1394 : : adapter->pend_cmd, vc_op);
1395 : :
1396 : 0 : PMD_DRV_LOG(DEBUG, " Virtual channel response is received,"
1397 : : "opcode = %d", vc_op);
1398 : : }
1399 : 0 : goto post_buf;
1400 : 0 : default:
1401 : 0 : PMD_DRV_LOG(DEBUG, "Request %u is not supported yet", mbx_op);
1402 : : }
1403 : : }
1404 : :
1405 : 0 : post_buf:
1406 [ # # ]: 0 : if (ctlq_msg.data_len)
1407 : 0 : dma_mem = ctlq_msg.ctx.indirect.payload;
1408 : : else
1409 : 0 : pending = 0;
1410 : :
1411 : 0 : ret = idpf_vc_ctlq_post_rx_buffs(hw, hw->arq, &pending, &dma_mem);
1412 [ # # # # ]: 0 : if (ret && dma_mem)
1413 : : idpf_free_dma_mem(hw, dma_mem);
1414 : : }
1415 : :
1416 : : static void
1417 : 0 : idpf_dev_alarm_handler(void *param)
1418 : : {
1419 : : struct idpf_adapter_ext *adapter = param;
1420 : :
1421 : 0 : idpf_handle_virtchnl_msg(adapter);
1422 : :
1423 : 0 : rte_eal_alarm_set(IDPF_ALARM_INTERVAL, idpf_dev_alarm_handler, adapter);
1424 : 0 : }
1425 : :
1426 : : static struct virtchnl2_get_capabilities req_caps = {
1427 : : .csum_caps =
1428 : : VIRTCHNL2_CAP_TX_CSUM_L3_IPV4 |
1429 : : VIRTCHNL2_CAP_TX_CSUM_L4_IPV4_TCP |
1430 : : VIRTCHNL2_CAP_TX_CSUM_L4_IPV4_UDP |
1431 : : VIRTCHNL2_CAP_TX_CSUM_L4_IPV4_SCTP |
1432 : : VIRTCHNL2_CAP_TX_CSUM_L4_IPV6_TCP |
1433 : : VIRTCHNL2_CAP_TX_CSUM_L4_IPV6_UDP |
1434 : : VIRTCHNL2_CAP_TX_CSUM_L4_IPV6_SCTP |
1435 : : VIRTCHNL2_CAP_TX_CSUM_GENERIC |
1436 : : VIRTCHNL2_CAP_RX_CSUM_L3_IPV4 |
1437 : : VIRTCHNL2_CAP_RX_CSUM_L4_IPV4_TCP |
1438 : : VIRTCHNL2_CAP_RX_CSUM_L4_IPV4_UDP |
1439 : : VIRTCHNL2_CAP_RX_CSUM_L4_IPV4_SCTP |
1440 : : VIRTCHNL2_CAP_RX_CSUM_L4_IPV6_TCP |
1441 : : VIRTCHNL2_CAP_RX_CSUM_L4_IPV6_UDP |
1442 : : VIRTCHNL2_CAP_RX_CSUM_L4_IPV6_SCTP |
1443 : : VIRTCHNL2_CAP_RX_CSUM_GENERIC,
1444 : :
1445 : : .rss_caps =
1446 : : VIRTCHNL2_CAP_RSS_IPV4_TCP |
1447 : : VIRTCHNL2_CAP_RSS_IPV4_UDP |
1448 : : VIRTCHNL2_CAP_RSS_IPV4_SCTP |
1449 : : VIRTCHNL2_CAP_RSS_IPV4_OTHER |
1450 : : VIRTCHNL2_CAP_RSS_IPV6_TCP |
1451 : : VIRTCHNL2_CAP_RSS_IPV6_UDP |
1452 : : VIRTCHNL2_CAP_RSS_IPV6_SCTP |
1453 : : VIRTCHNL2_CAP_RSS_IPV6_OTHER |
1454 : : VIRTCHNL2_CAP_RSS_IPV4_AH |
1455 : : VIRTCHNL2_CAP_RSS_IPV4_ESP |
1456 : : VIRTCHNL2_CAP_RSS_IPV4_AH_ESP |
1457 : : VIRTCHNL2_CAP_RSS_IPV6_AH |
1458 : : VIRTCHNL2_CAP_RSS_IPV6_ESP |
1459 : : VIRTCHNL2_CAP_RSS_IPV6_AH_ESP,
1460 : :
1461 : : .other_caps = VIRTCHNL2_CAP_WB_ON_ITR
1462 : : };
1463 : :
1464 : : static int
1465 : 0 : idpf_adapter_ext_init(struct rte_pci_device *pci_dev, struct idpf_adapter_ext *adapter)
1466 : : {
1467 : 0 : struct idpf_adapter *base = &adapter->base;
1468 : : struct idpf_hw *hw = &base->hw;
1469 : : int ret = 0;
1470 : :
1471 : 0 : hw->hw_addr = (void *)pci_dev->mem_resource[0].addr;
1472 : 0 : hw->hw_addr_len = pci_dev->mem_resource[0].len;
1473 : 0 : hw->back = base;
1474 : 0 : hw->vendor_id = pci_dev->id.vendor_id;
1475 : 0 : hw->device_id = pci_dev->id.device_id;
1476 : 0 : hw->subsystem_vendor_id = pci_dev->id.subsystem_vendor_id;
1477 : :
1478 [ # # ]: 0 : strncpy(adapter->name, pci_dev->device.name, PCI_PRI_STR_SIZE);
1479 : :
1480 [ # # ]: 0 : rte_memcpy(&base->caps, &req_caps, sizeof(struct virtchnl2_get_capabilities));
1481 : :
1482 : 0 : ret = idpf_adapter_init(base);
1483 [ # # ]: 0 : if (ret != 0) {
1484 : 0 : PMD_INIT_LOG(ERR, "Failed to init adapter");
1485 : 0 : goto err_adapter_init;
1486 : : }
1487 : :
1488 : 0 : rte_eal_alarm_set(IDPF_ALARM_INTERVAL, idpf_dev_alarm_handler, adapter);
1489 : :
1490 : 0 : adapter->max_vport_nb = adapter->base.caps.max_vports;
1491 : :
1492 : 0 : adapter->vports = rte_zmalloc("vports",
1493 : 0 : adapter->max_vport_nb *
1494 : : sizeof(*adapter->vports),
1495 : : 0);
1496 [ # # ]: 0 : if (adapter->vports == NULL) {
1497 : 0 : PMD_INIT_LOG(ERR, "Failed to allocate vports memory");
1498 : : ret = -ENOMEM;
1499 : 0 : goto err_vports_alloc;
1500 : : }
1501 : :
1502 : 0 : adapter->cur_vports = 0;
1503 : 0 : adapter->cur_vport_nb = 0;
1504 : :
1505 : 0 : adapter->used_vecs_num = 0;
1506 : :
1507 : 0 : return ret;
1508 : :
1509 : : err_vports_alloc:
1510 : 0 : rte_eal_alarm_cancel(idpf_dev_alarm_handler, adapter);
1511 : 0 : idpf_adapter_deinit(base);
1512 : : err_adapter_init:
1513 : : return ret;
1514 : : }
1515 : :
1516 : : static uint16_t
1517 : : idpf_vport_idx_alloc(struct idpf_adapter_ext *ad)
1518 : : {
1519 : : uint16_t vport_idx;
1520 : : uint16_t i;
1521 : :
1522 [ # # # # ]: 0 : for (i = 0; i < ad->max_vport_nb; i++) {
1523 [ # # # # ]: 0 : if (ad->vports[i] == NULL)
1524 : : break;
1525 : : }
1526 : :
1527 [ # # # # ]: 0 : if (i == ad->max_vport_nb)
1528 : : vport_idx = IDPF_INVALID_VPORT_IDX;
1529 : : else
1530 : : vport_idx = i;
1531 : :
1532 : : return vport_idx;
1533 : : }
1534 : :
1535 : : static int
1536 : 0 : idpf_dev_vport_init(struct rte_eth_dev *dev, void *init_params)
1537 : : {
1538 : 0 : struct idpf_vport *vport = dev->data->dev_private;
1539 : : struct idpf_vport_param *param = init_params;
1540 : 0 : struct idpf_adapter_ext *adapter = param->adapter;
1541 : : /* for sending create vport virtchnl msg prepare */
1542 : : struct virtchnl2_create_vport create_vport_info;
1543 : : int ret = 0;
1544 : :
1545 : 0 : dev->dev_ops = &idpf_eth_dev_ops;
1546 : 0 : vport->adapter = &adapter->base;
1547 : 0 : vport->sw_idx = param->idx;
1548 : 0 : vport->devarg_id = param->devarg_id;
1549 : :
1550 : : memset(&create_vport_info, 0, sizeof(create_vport_info));
1551 : 0 : ret = idpf_vport_info_init(vport, &create_vport_info);
1552 [ # # ]: 0 : if (ret != 0) {
1553 : 0 : PMD_INIT_LOG(ERR, "Failed to init vport req_info.");
1554 : 0 : goto err;
1555 : : }
1556 : :
1557 : 0 : ret = idpf_vport_init(vport, &create_vport_info, dev->data);
1558 [ # # ]: 0 : if (ret != 0) {
1559 : 0 : PMD_INIT_LOG(ERR, "Failed to init vports.");
1560 : 0 : goto err;
1561 : : }
1562 : :
1563 : 0 : dev->data->mac_addrs = rte_zmalloc(NULL, RTE_ETHER_ADDR_LEN, 0);
1564 [ # # ]: 0 : if (dev->data->mac_addrs == NULL) {
1565 : 0 : PMD_INIT_LOG(ERR, "Cannot allocate mac_addr memory.");
1566 : : ret = -ENOMEM;
1567 : 0 : goto err_mac_addrs;
1568 : : }
1569 : :
1570 : : rte_ether_addr_copy((struct rte_ether_addr *)vport->default_mac_addr,
1571 : : &dev->data->mac_addrs[0]);
1572 : :
1573 : 0 : adapter->vports[param->idx] = vport;
1574 : 0 : adapter->cur_vports |= RTE_BIT32(param->devarg_id);
1575 : 0 : adapter->cur_vport_nb++;
1576 : :
1577 : 0 : return 0;
1578 : :
1579 : : err_mac_addrs:
1580 : 0 : adapter->vports[param->idx] = NULL; /* reset */
1581 : 0 : idpf_vport_deinit(vport);
1582 : : err:
1583 : : return ret;
1584 : : }
1585 : :
1586 : : static const struct rte_pci_id pci_id_idpf_map[] = {
1587 : : { RTE_PCI_DEVICE(IDPF_INTEL_VENDOR_ID, IDPF_DEV_ID_PF) },
1588 : : { RTE_PCI_DEVICE(IDPF_INTEL_VENDOR_ID, IDPF_DEV_ID_SRIOV) },
1589 : : { IDPF_PCI_CLASS(IDPF_CLASS_NETWORK_ETHERNET_PROGIF) },
1590 : : { .vendor_id = 0, /* sentinel */ },
1591 : : };
1592 : :
1593 : : static struct idpf_adapter_ext *
1594 : 0 : idpf_find_adapter_ext(struct rte_pci_device *pci_dev)
1595 : : {
1596 : : struct idpf_adapter_ext *adapter;
1597 : : int found = 0;
1598 : :
1599 [ # # ]: 0 : if (pci_dev == NULL)
1600 : : return NULL;
1601 : :
1602 : : rte_spinlock_lock(&idpf_adapter_lock);
1603 [ # # ]: 0 : TAILQ_FOREACH(adapter, &idpf_adapter_list, next) {
1604 [ # # ]: 0 : if (strncmp(adapter->name, pci_dev->device.name, PCI_PRI_STR_SIZE) == 0) {
1605 : : found = 1;
1606 : : break;
1607 : : }
1608 : : }
1609 : : rte_spinlock_unlock(&idpf_adapter_lock);
1610 : :
1611 [ # # ]: 0 : if (found == 0)
1612 : 0 : return NULL;
1613 : :
1614 : : return adapter;
1615 : : }
1616 : :
1617 : : static void
1618 : 0 : idpf_adapter_ext_deinit(struct idpf_adapter_ext *adapter)
1619 : : {
1620 : 0 : rte_eal_alarm_cancel(idpf_dev_alarm_handler, adapter);
1621 : 0 : idpf_adapter_deinit(&adapter->base);
1622 : :
1623 : 0 : rte_free(adapter->vports);
1624 : 0 : adapter->vports = NULL;
1625 : 0 : }
1626 : :
1627 : : static int
1628 : 0 : idpf_pci_probe(struct rte_pci_driver *pci_drv __rte_unused,
1629 : : struct rte_pci_device *pci_dev)
1630 : : {
1631 : : struct idpf_vport_param vport_param;
1632 : : struct idpf_adapter_ext *adapter;
1633 : : struct idpf_devargs devargs;
1634 : : char name[RTE_ETH_NAME_MAX_LEN];
1635 : : int i, retval;
1636 : : bool first_probe = false;
1637 : :
1638 [ # # ]: 0 : if (!idpf_adapter_list_init) {
1639 : : rte_spinlock_init(&idpf_adapter_lock);
1640 : 0 : TAILQ_INIT(&idpf_adapter_list);
1641 : 0 : idpf_adapter_list_init = true;
1642 : : }
1643 : :
1644 : 0 : adapter = idpf_find_adapter_ext(pci_dev);
1645 [ # # ]: 0 : if (adapter == NULL) {
1646 : : first_probe = true;
1647 : 0 : adapter = rte_zmalloc("idpf_adapter_ext",
1648 : : sizeof(struct idpf_adapter_ext), 0);
1649 [ # # ]: 0 : if (adapter == NULL) {
1650 : 0 : PMD_INIT_LOG(ERR, "Failed to allocate adapter.");
1651 : 0 : return -ENOMEM;
1652 : : }
1653 : :
1654 : 0 : retval = idpf_adapter_ext_init(pci_dev, adapter);
1655 [ # # ]: 0 : if (retval != 0) {
1656 : 0 : PMD_INIT_LOG(ERR, "Failed to init adapter.");
1657 : 0 : return retval;
1658 : : }
1659 : :
1660 : : rte_spinlock_lock(&idpf_adapter_lock);
1661 : 0 : TAILQ_INSERT_TAIL(&idpf_adapter_list, adapter, next);
1662 : : rte_spinlock_unlock(&idpf_adapter_lock);
1663 : : }
1664 : :
1665 : 0 : retval = idpf_parse_devargs(pci_dev, adapter, &devargs);
1666 [ # # ]: 0 : if (retval != 0) {
1667 : 0 : PMD_INIT_LOG(ERR, "Failed to parse private devargs");
1668 : 0 : goto err;
1669 : : }
1670 : :
1671 [ # # ]: 0 : if (devargs.req_vport_nb == 0) {
1672 : : /* If no vport devarg, create vport 0 by default. */
1673 : 0 : vport_param.adapter = adapter;
1674 : 0 : vport_param.devarg_id = 0;
1675 : 0 : vport_param.idx = idpf_vport_idx_alloc(adapter);
1676 [ # # ]: 0 : if (vport_param.idx == IDPF_INVALID_VPORT_IDX) {
1677 : 0 : PMD_INIT_LOG(ERR, "No space for vport %u", vport_param.devarg_id);
1678 : 0 : return 0;
1679 : : }
1680 : 0 : snprintf(name, sizeof(name), "idpf_%s_vport_0",
1681 : : pci_dev->device.name);
1682 : 0 : retval = rte_eth_dev_create(&pci_dev->device, name,
1683 : : sizeof(struct idpf_vport),
1684 : : NULL, NULL, idpf_dev_vport_init,
1685 : : &vport_param);
1686 [ # # ]: 0 : if (retval != 0)
1687 : 0 : PMD_DRV_LOG(ERR, "Failed to create default vport 0");
1688 : : } else {
1689 [ # # ]: 0 : for (i = 0; i < devargs.req_vport_nb; i++) {
1690 : 0 : vport_param.adapter = adapter;
1691 : 0 : vport_param.devarg_id = devargs.req_vports[i];
1692 : 0 : vport_param.idx = idpf_vport_idx_alloc(adapter);
1693 [ # # ]: 0 : if (vport_param.idx == IDPF_INVALID_VPORT_IDX) {
1694 : 0 : PMD_INIT_LOG(ERR, "No space for vport %u", vport_param.devarg_id);
1695 : 0 : break;
1696 : : }
1697 : 0 : snprintf(name, sizeof(name), "idpf_%s_vport_%d",
1698 : : pci_dev->device.name,
1699 : : devargs.req_vports[i]);
1700 : 0 : retval = rte_eth_dev_create(&pci_dev->device, name,
1701 : : sizeof(struct idpf_vport),
1702 : : NULL, NULL, idpf_dev_vport_init,
1703 : : &vport_param);
1704 [ # # ]: 0 : if (retval != 0)
1705 : 0 : PMD_DRV_LOG(ERR, "Failed to create vport %d",
1706 : : vport_param.devarg_id);
1707 : : }
1708 : : }
1709 : :
1710 : : return 0;
1711 : :
1712 : : err:
1713 [ # # ]: 0 : if (first_probe) {
1714 : : rte_spinlock_lock(&idpf_adapter_lock);
1715 [ # # ]: 0 : TAILQ_REMOVE(&idpf_adapter_list, adapter, next);
1716 : : rte_spinlock_unlock(&idpf_adapter_lock);
1717 : 0 : idpf_adapter_ext_deinit(adapter);
1718 : 0 : rte_free(adapter);
1719 : : }
1720 : : return retval;
1721 : : }
1722 : :
1723 : : static int
1724 : 0 : idpf_pci_remove(struct rte_pci_device *pci_dev)
1725 : : {
1726 : 0 : struct idpf_adapter_ext *adapter = idpf_find_adapter_ext(pci_dev);
1727 : : uint16_t port_id;
1728 : :
1729 : : /* Ethdev created can be found RTE_ETH_FOREACH_DEV_OF through rte_device */
1730 [ # # ]: 0 : RTE_ETH_FOREACH_DEV_OF(port_id, &pci_dev->device) {
1731 : 0 : rte_eth_dev_close(port_id);
1732 : : }
1733 : :
1734 : : rte_spinlock_lock(&idpf_adapter_lock);
1735 [ # # ]: 0 : TAILQ_REMOVE(&idpf_adapter_list, adapter, next);
1736 : : rte_spinlock_unlock(&idpf_adapter_lock);
1737 : 0 : idpf_adapter_ext_deinit(adapter);
1738 : 0 : rte_free(adapter);
1739 : :
1740 : 0 : return 0;
1741 : : }
1742 : :
1743 : : static struct rte_pci_driver rte_idpf_pmd = {
1744 : : .id_table = pci_id_idpf_map,
1745 : : .drv_flags = RTE_PCI_DRV_NEED_MAPPING,
1746 : : .probe = idpf_pci_probe,
1747 : : .remove = idpf_pci_remove,
1748 : : };
1749 : :
1750 : : /**
1751 : : * Driver initialization routine.
1752 : : * Invoked once at EAL init time.
1753 : : * Register itself as the [Poll Mode] Driver of PCI devices.
1754 : : */
1755 : 276 : RTE_PMD_REGISTER_PCI(net_idpf, rte_idpf_pmd);
1756 : : RTE_PMD_REGISTER_PCI_TABLE(net_idpf, pci_id_idpf_map);
1757 : : RTE_PMD_REGISTER_KMOD_DEP(net_idpf, "* igb_uio | vfio-pci");
1758 : : RTE_PMD_REGISTER_PARAM_STRING(net_idpf,
1759 : : IDPF_TX_SINGLE_Q "=<0|1> "
1760 : : IDPF_RX_SINGLE_Q "=<0|1> "
1761 : : IDPF_VPORT "=[<begin>[-<end>][,<begin >[-<end>]][, ... ]]");
1762 : :
1763 [ - + ]: 276 : RTE_LOG_REGISTER_SUFFIX(idpf_logtype_init, init, NOTICE);
1764 [ - + ]: 276 : RTE_LOG_REGISTER_SUFFIX(idpf_logtype_driver, driver, NOTICE);
|
