Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2018 Advanced Micro Devices, Inc. All rights reserved.
3 : : * Copyright(c) 2018 Synopsys, Inc. All rights reserved.
4 : : */
5 : :
6 : : #include "axgbe_rxtx.h"
7 : : #include "axgbe_ethdev.h"
8 : : #include "axgbe_common.h"
9 : : #include "axgbe_phy.h"
10 : : #include "axgbe_regs.h"
11 : : #include "rte_time.h"
12 : :
13 : : #include "eal_filesystem.h"
14 : :
15 : : #include <rte_vect.h>
16 : :
17 : : #ifdef RTE_ARCH_X86
18 : : #include <cpuid.h>
19 : : #else
20 : : #define __cpuid(n, a, b, c, d)
21 : : #endif
22 : :
23 : : static int eth_axgbe_dev_init(struct rte_eth_dev *eth_dev);
24 : : static int axgbe_dev_configure(struct rte_eth_dev *dev);
25 : : static int axgbe_dev_start(struct rte_eth_dev *dev);
26 : : static int axgbe_dev_stop(struct rte_eth_dev *dev);
27 : : static void axgbe_dev_interrupt_handler(void *param);
28 : : static int axgbe_dev_close(struct rte_eth_dev *dev);
29 : : static int axgbe_dev_reset(struct rte_eth_dev *dev);
30 : : static int axgbe_dev_promiscuous_enable(struct rte_eth_dev *dev);
31 : : static int axgbe_dev_promiscuous_disable(struct rte_eth_dev *dev);
32 : : static int axgbe_dev_allmulticast_enable(struct rte_eth_dev *dev);
33 : : static int axgbe_dev_allmulticast_disable(struct rte_eth_dev *dev);
34 : : static int axgbe_dev_mac_addr_set(struct rte_eth_dev *dev,
35 : : struct rte_ether_addr *mac_addr);
36 : : static int axgbe_dev_mac_addr_add(struct rte_eth_dev *dev,
37 : : struct rte_ether_addr *mac_addr,
38 : : uint32_t index,
39 : : uint32_t vmdq);
40 : : static void axgbe_dev_mac_addr_remove(struct rte_eth_dev *dev, uint32_t index);
41 : : static int axgbe_dev_set_mc_addr_list(struct rte_eth_dev *dev,
42 : : struct rte_ether_addr *mc_addr_set,
43 : : uint32_t nb_mc_addr);
44 : : static int axgbe_dev_uc_hash_table_set(struct rte_eth_dev *dev,
45 : : struct rte_ether_addr *mac_addr,
46 : : uint8_t add);
47 : : static int axgbe_dev_uc_all_hash_table_set(struct rte_eth_dev *dev,
48 : : uint8_t add);
49 : : static int axgbe_dev_link_update(struct rte_eth_dev *dev,
50 : : int wait_to_complete);
51 : : static int axgbe_dev_get_regs(struct rte_eth_dev *dev,
52 : : struct rte_dev_reg_info *regs);
53 : : static int axgbe_dev_stats_get(struct rte_eth_dev *dev,
54 : : struct rte_eth_stats *stats,
55 : : struct eth_queue_stats *qstats);
56 : : static int axgbe_dev_stats_reset(struct rte_eth_dev *dev);
57 : : static int axgbe_dev_xstats_get(struct rte_eth_dev *dev,
58 : : struct rte_eth_xstat *stats,
59 : : unsigned int n);
60 : : static int
61 : : axgbe_dev_xstats_get_names(struct rte_eth_dev *dev,
62 : : struct rte_eth_xstat_name *xstats_names,
63 : : unsigned int size);
64 : : static int
65 : : axgbe_dev_xstats_get_by_id(struct rte_eth_dev *dev,
66 : : const uint64_t *ids,
67 : : uint64_t *values,
68 : : unsigned int n);
69 : : static int
70 : : axgbe_dev_xstats_get_names_by_id(struct rte_eth_dev *dev,
71 : : const uint64_t *ids,
72 : : struct rte_eth_xstat_name *xstats_names,
73 : : unsigned int size);
74 : : static int axgbe_dev_xstats_reset(struct rte_eth_dev *dev);
75 : : static int axgbe_dev_rss_reta_update(struct rte_eth_dev *dev,
76 : : struct rte_eth_rss_reta_entry64 *reta_conf,
77 : : uint16_t reta_size);
78 : : static int axgbe_dev_rss_reta_query(struct rte_eth_dev *dev,
79 : : struct rte_eth_rss_reta_entry64 *reta_conf,
80 : : uint16_t reta_size);
81 : : static int axgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
82 : : struct rte_eth_rss_conf *rss_conf);
83 : : static int axgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
84 : : struct rte_eth_rss_conf *rss_conf);
85 : : static int axgbe_dev_info_get(struct rte_eth_dev *dev,
86 : : struct rte_eth_dev_info *dev_info);
87 : : static int axgbe_flow_ctrl_get(struct rte_eth_dev *dev,
88 : : struct rte_eth_fc_conf *fc_conf);
89 : : static int axgbe_flow_ctrl_set(struct rte_eth_dev *dev,
90 : : struct rte_eth_fc_conf *fc_conf);
91 : : static int axgbe_priority_flow_ctrl_set(struct rte_eth_dev *dev,
92 : : struct rte_eth_pfc_conf *pfc_conf);
93 : : static void axgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
94 : : struct rte_eth_rxq_info *qinfo);
95 : : static void axgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
96 : : struct rte_eth_txq_info *qinfo);
97 : : const uint32_t *axgbe_dev_supported_ptypes_get(struct rte_eth_dev *dev,
98 : : size_t *no_of_elements);
99 : : static int axgb_mtu_set(struct rte_eth_dev *dev, uint16_t mtu);
100 : :
101 : : static int
102 : : axgbe_timesync_enable(struct rte_eth_dev *dev);
103 : : static int
104 : : axgbe_timesync_disable(struct rte_eth_dev *dev);
105 : : static int
106 : : axgbe_timesync_read_rx_timestamp(struct rte_eth_dev *dev,
107 : : struct timespec *timestamp, uint32_t flags);
108 : : static int
109 : : axgbe_timesync_read_tx_timestamp(struct rte_eth_dev *dev,
110 : : struct timespec *timestamp);
111 : : static int
112 : : axgbe_timesync_adjust_time(struct rte_eth_dev *dev, int64_t delta);
113 : : static int
114 : : axgbe_timesync_read_time(struct rte_eth_dev *dev,
115 : : struct timespec *timestamp);
116 : : static int
117 : : axgbe_timesync_write_time(struct rte_eth_dev *dev,
118 : : const struct timespec *timestamp);
119 : : static void
120 : : axgbe_set_tstamp_time(struct axgbe_port *pdata, unsigned int sec,
121 : : unsigned int nsec);
122 : : static void
123 : : axgbe_update_tstamp_addend(struct axgbe_port *pdata,
124 : : unsigned int addend);
125 : : static int
126 : : axgbe_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vid, int on);
127 : : static int axgbe_vlan_tpid_set(struct rte_eth_dev *dev,
128 : : enum rte_vlan_type vlan_type, uint16_t tpid);
129 : : static int axgbe_vlan_offload_set(struct rte_eth_dev *dev, int mask);
130 : :
131 : : struct axgbe_xstats {
132 : : char name[RTE_ETH_XSTATS_NAME_SIZE];
133 : : int offset;
134 : : };
135 : :
136 : : #define AXGMAC_MMC_STAT(_string, _var) \
137 : : { _string, \
138 : : offsetof(struct axgbe_mmc_stats, _var), \
139 : : }
140 : :
141 : : static const struct axgbe_xstats axgbe_xstats_strings[] = {
142 : : AXGMAC_MMC_STAT("tx_bytes", txoctetcount_gb),
143 : : AXGMAC_MMC_STAT("tx_packets", txframecount_gb),
144 : : AXGMAC_MMC_STAT("tx_unicast_packets", txunicastframes_gb),
145 : : AXGMAC_MMC_STAT("tx_broadcast_packets", txbroadcastframes_gb),
146 : : AXGMAC_MMC_STAT("tx_multicast_packets", txmulticastframes_gb),
147 : : AXGMAC_MMC_STAT("tx_vlan_packets", txvlanframes_g),
148 : : AXGMAC_MMC_STAT("tx_64_byte_packets", tx64octets_gb),
149 : : AXGMAC_MMC_STAT("tx_65_to_127_byte_packets", tx65to127octets_gb),
150 : : AXGMAC_MMC_STAT("tx_128_to_255_byte_packets", tx128to255octets_gb),
151 : : AXGMAC_MMC_STAT("tx_256_to_511_byte_packets", tx256to511octets_gb),
152 : : AXGMAC_MMC_STAT("tx_512_to_1023_byte_packets", tx512to1023octets_gb),
153 : : AXGMAC_MMC_STAT("tx_1024_to_max_byte_packets", tx1024tomaxoctets_gb),
154 : : AXGMAC_MMC_STAT("tx_underflow_errors", txunderflowerror),
155 : : AXGMAC_MMC_STAT("tx_pause_frames", txpauseframes),
156 : :
157 : : AXGMAC_MMC_STAT("rx_bytes", rxoctetcount_gb),
158 : : AXGMAC_MMC_STAT("rx_packets", rxframecount_gb),
159 : : AXGMAC_MMC_STAT("rx_unicast_packets", rxunicastframes_g),
160 : : AXGMAC_MMC_STAT("rx_broadcast_packets", rxbroadcastframes_g),
161 : : AXGMAC_MMC_STAT("rx_multicast_packets", rxmulticastframes_g),
162 : : AXGMAC_MMC_STAT("rx_vlan_packets", rxvlanframes_gb),
163 : : AXGMAC_MMC_STAT("rx_64_byte_packets", rx64octets_gb),
164 : : AXGMAC_MMC_STAT("rx_65_to_127_byte_packets", rx65to127octets_gb),
165 : : AXGMAC_MMC_STAT("rx_128_to_255_byte_packets", rx128to255octets_gb),
166 : : AXGMAC_MMC_STAT("rx_256_to_511_byte_packets", rx256to511octets_gb),
167 : : AXGMAC_MMC_STAT("rx_512_to_1023_byte_packets", rx512to1023octets_gb),
168 : : AXGMAC_MMC_STAT("rx_1024_to_max_byte_packets", rx1024tomaxoctets_gb),
169 : : AXGMAC_MMC_STAT("rx_undersize_packets", rxundersize_g),
170 : : AXGMAC_MMC_STAT("rx_oversize_packets", rxoversize_g),
171 : : AXGMAC_MMC_STAT("rx_crc_errors", rxcrcerror),
172 : : AXGMAC_MMC_STAT("rx_crc_errors_small_packets", rxrunterror),
173 : : AXGMAC_MMC_STAT("rx_crc_errors_giant_packets", rxjabbererror),
174 : : AXGMAC_MMC_STAT("rx_length_errors", rxlengtherror),
175 : : AXGMAC_MMC_STAT("rx_out_of_range_errors", rxoutofrangetype),
176 : : AXGMAC_MMC_STAT("rx_fifo_overflow_errors", rxfifooverflow),
177 : : AXGMAC_MMC_STAT("rx_watchdog_errors", rxwatchdogerror),
178 : : AXGMAC_MMC_STAT("rx_pause_frames", rxpauseframes),
179 : : };
180 : :
181 : : #define AXGBE_XSTATS_COUNT ARRAY_SIZE(axgbe_xstats_strings)
182 : :
183 : : /* The set of PCI devices this driver supports */
184 : : #define AMD_PCI_VENDOR_ID 0x1022
185 : :
186 : : #define Fam17h 0x17
187 : : #define Fam19h 0x19
188 : :
189 : : #define CPUID_VENDOR_AuthenticAMD_ebx 0x68747541
190 : : #define CPUID_VENDOR_AuthenticAMD_ecx 0x444d4163
191 : : #define CPUID_VENDOR_AuthenticAMD_edx 0x69746e65
192 : :
193 : : #define AMD_PCI_AXGBE_DEVICE_V2A 0x1458
194 : : #define AMD_PCI_AXGBE_DEVICE_V2B 0x1459
195 : :
196 : : static const struct rte_pci_id pci_id_axgbe_map[] = {
197 : : {RTE_PCI_DEVICE(AMD_PCI_VENDOR_ID, AMD_PCI_AXGBE_DEVICE_V2A)},
198 : : {RTE_PCI_DEVICE(AMD_PCI_VENDOR_ID, AMD_PCI_AXGBE_DEVICE_V2B)},
199 : : { .vendor_id = 0, },
200 : : };
201 : :
202 : : static struct axgbe_version_data axgbe_v2a = {
203 : : .init_function_ptrs_phy_impl = axgbe_init_function_ptrs_phy_v2,
204 : : .xpcs_access = AXGBE_XPCS_ACCESS_V2,
205 : : .mmc_64bit = 1,
206 : : .tx_max_fifo_size = 229376,
207 : : .rx_max_fifo_size = 229376,
208 : : .tx_tstamp_workaround = 1,
209 : : .ecc_support = 1,
210 : : .i2c_support = 1,
211 : : .an_cdr_workaround = 1,
212 : : .enable_rrc = 1,
213 : : };
214 : :
215 : : static struct axgbe_version_data axgbe_v2b = {
216 : : .init_function_ptrs_phy_impl = axgbe_init_function_ptrs_phy_v2,
217 : : .xpcs_access = AXGBE_XPCS_ACCESS_V2,
218 : : .mmc_64bit = 1,
219 : : .tx_max_fifo_size = 65536,
220 : : .rx_max_fifo_size = 65536,
221 : : .tx_tstamp_workaround = 1,
222 : : .ecc_support = 1,
223 : : .i2c_support = 1,
224 : : .an_cdr_workaround = 1,
225 : : .enable_rrc = 1,
226 : : };
227 : :
228 : : static const struct rte_eth_desc_lim rx_desc_lim = {
229 : : .nb_max = AXGBE_MAX_RING_DESC,
230 : : .nb_min = AXGBE_MIN_RING_DESC,
231 : : .nb_align = 8,
232 : : };
233 : :
234 : : static const struct rte_eth_desc_lim tx_desc_lim = {
235 : : .nb_max = AXGBE_MAX_RING_DESC,
236 : : .nb_min = AXGBE_MIN_RING_DESC,
237 : : .nb_align = 8,
238 : : };
239 : :
240 : : static const struct eth_dev_ops axgbe_eth_dev_ops = {
241 : : .dev_configure = axgbe_dev_configure,
242 : : .dev_start = axgbe_dev_start,
243 : : .dev_stop = axgbe_dev_stop,
244 : : .dev_close = axgbe_dev_close,
245 : : .dev_reset = axgbe_dev_reset,
246 : : .promiscuous_enable = axgbe_dev_promiscuous_enable,
247 : : .promiscuous_disable = axgbe_dev_promiscuous_disable,
248 : : .allmulticast_enable = axgbe_dev_allmulticast_enable,
249 : : .allmulticast_disable = axgbe_dev_allmulticast_disable,
250 : : .mac_addr_set = axgbe_dev_mac_addr_set,
251 : : .mac_addr_add = axgbe_dev_mac_addr_add,
252 : : .mac_addr_remove = axgbe_dev_mac_addr_remove,
253 : : .set_mc_addr_list = axgbe_dev_set_mc_addr_list,
254 : : .uc_hash_table_set = axgbe_dev_uc_hash_table_set,
255 : : .uc_all_hash_table_set = axgbe_dev_uc_all_hash_table_set,
256 : : .link_update = axgbe_dev_link_update,
257 : : .get_reg = axgbe_dev_get_regs,
258 : : .stats_get = axgbe_dev_stats_get,
259 : : .stats_reset = axgbe_dev_stats_reset,
260 : : .xstats_get = axgbe_dev_xstats_get,
261 : : .xstats_reset = axgbe_dev_xstats_reset,
262 : : .xstats_get_names = axgbe_dev_xstats_get_names,
263 : : .xstats_get_names_by_id = axgbe_dev_xstats_get_names_by_id,
264 : : .xstats_get_by_id = axgbe_dev_xstats_get_by_id,
265 : : .reta_update = axgbe_dev_rss_reta_update,
266 : : .reta_query = axgbe_dev_rss_reta_query,
267 : : .rss_hash_update = axgbe_dev_rss_hash_update,
268 : : .rss_hash_conf_get = axgbe_dev_rss_hash_conf_get,
269 : : .dev_infos_get = axgbe_dev_info_get,
270 : : .rx_queue_setup = axgbe_dev_rx_queue_setup,
271 : : .rx_queue_release = axgbe_dev_rx_queue_release,
272 : : .tx_queue_setup = axgbe_dev_tx_queue_setup,
273 : : .tx_queue_release = axgbe_dev_tx_queue_release,
274 : : .flow_ctrl_get = axgbe_flow_ctrl_get,
275 : : .flow_ctrl_set = axgbe_flow_ctrl_set,
276 : : .priority_flow_ctrl_set = axgbe_priority_flow_ctrl_set,
277 : : .rxq_info_get = axgbe_rxq_info_get,
278 : : .txq_info_get = axgbe_txq_info_get,
279 : : .dev_supported_ptypes_get = axgbe_dev_supported_ptypes_get,
280 : : .mtu_set = axgb_mtu_set,
281 : : .vlan_filter_set = axgbe_vlan_filter_set,
282 : : .vlan_tpid_set = axgbe_vlan_tpid_set,
283 : : .vlan_offload_set = axgbe_vlan_offload_set,
284 : : .timesync_enable = axgbe_timesync_enable,
285 : : .timesync_disable = axgbe_timesync_disable,
286 : : .timesync_read_rx_timestamp = axgbe_timesync_read_rx_timestamp,
287 : : .timesync_read_tx_timestamp = axgbe_timesync_read_tx_timestamp,
288 : : .timesync_adjust_time = axgbe_timesync_adjust_time,
289 : : .timesync_read_time = axgbe_timesync_read_time,
290 : : .timesync_write_time = axgbe_timesync_write_time,
291 : : .fw_version_get = axgbe_dev_fw_version_get,
292 : : };
293 : :
294 : : static int axgbe_phy_reset(struct axgbe_port *pdata)
295 : : {
296 : 0 : pdata->phy_link = -1;
297 : 0 : pdata->phy_speed = SPEED_UNKNOWN;
298 : 0 : return pdata->phy_if.phy_reset(pdata);
299 : : }
300 : :
301 : : /*
302 : : * Interrupt handler triggered by NIC for handling
303 : : * specific interrupt.
304 : : *
305 : : * @param handle
306 : : * Pointer to interrupt handle.
307 : : * @param param
308 : : * The address of parameter (struct rte_eth_dev *) registered before.
309 : : *
310 : : * @return
311 : : * void
312 : : */
313 : : static void
314 : 0 : axgbe_dev_interrupt_handler(void *param)
315 : : {
316 : : struct rte_eth_dev *dev = (struct rte_eth_dev *)param;
317 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
318 : : unsigned int dma_isr, dma_ch_isr;
319 : :
320 : 0 : pdata->phy_if.an_isr(pdata);
321 : : /*DMA related interrupts*/
322 : 0 : dma_isr = AXGMAC_IOREAD(pdata, DMA_ISR);
323 : 0 : PMD_DRV_LOG_LINE(DEBUG, "DMA_ISR=%#010x", dma_isr);
324 [ # # ]: 0 : if (dma_isr) {
325 [ # # ]: 0 : if (dma_isr & 1) {
326 : : dma_ch_isr =
327 : 0 : AXGMAC_DMA_IOREAD((struct axgbe_rx_queue *)
328 : : pdata->rx_queues[0],
329 : : DMA_CH_SR);
330 : 0 : PMD_DRV_LOG_LINE(DEBUG, "DMA_CH0_ISR=%#010x", dma_ch_isr);
331 : 0 : AXGMAC_DMA_IOWRITE((struct axgbe_rx_queue *)
332 : : pdata->rx_queues[0],
333 : : DMA_CH_SR, dma_ch_isr);
334 : : }
335 : : }
336 : : /* Unmask interrupts since disabled after generation */
337 : 0 : rte_intr_ack(pdata->pci_dev->intr_handle);
338 : 0 : }
339 : :
340 : : /*
341 : : * Configure device link speed and setup link.
342 : : * It returns 0 on success.
343 : : */
344 : : static int
345 : 0 : axgbe_dev_configure(struct rte_eth_dev *dev)
346 : : {
347 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
348 : : /* Checksum offload to hardware */
349 : 0 : pdata->rx_csum_enable = dev->data->dev_conf.rxmode.offloads &
350 : : RTE_ETH_RX_OFFLOAD_CHECKSUM;
351 : 0 : return 0;
352 : : }
353 : :
354 : : static int
355 : : axgbe_dev_rx_mq_config(struct rte_eth_dev *dev)
356 : : {
357 : : struct axgbe_port *pdata = dev->data->dev_private;
358 : :
359 : 0 : if (dev->data->dev_conf.rxmode.mq_mode == RTE_ETH_MQ_RX_RSS)
360 : 0 : pdata->rss_enable = 1;
361 [ # # ]: 0 : else if (dev->data->dev_conf.rxmode.mq_mode == RTE_ETH_MQ_RX_NONE)
362 : 0 : pdata->rss_enable = 0;
363 : : else
364 : : return -1;
365 : : return 0;
366 : : }
367 : :
368 : : static int
369 : 0 : axgbe_dev_start(struct rte_eth_dev *dev)
370 : : {
371 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
372 : : uint16_t i;
373 : : int ret;
374 : :
375 [ # # ]: 0 : dev->dev_ops = &axgbe_eth_dev_ops;
376 : :
377 : : PMD_INIT_FUNC_TRACE();
378 : :
379 : : /* Multiqueue RSS */
380 : : ret = axgbe_dev_rx_mq_config(dev);
381 : : if (ret) {
382 : 0 : PMD_DRV_LOG_LINE(ERR, "Unable to config RX MQ");
383 : 0 : return ret;
384 : : }
385 : : ret = axgbe_phy_reset(pdata);
386 [ # # ]: 0 : if (ret) {
387 : 0 : PMD_DRV_LOG_LINE(ERR, "phy reset failed");
388 : 0 : return ret;
389 : : }
390 : 0 : ret = pdata->hw_if.init(pdata);
391 [ # # ]: 0 : if (ret) {
392 : 0 : PMD_DRV_LOG_LINE(ERR, "dev_init failed");
393 : 0 : return ret;
394 : : }
395 : :
396 : : /* enable uio/vfio intr/eventfd mapping */
397 : 0 : rte_intr_enable(pdata->pci_dev->intr_handle);
398 : :
399 : : /* phy start*/
400 : 0 : pdata->phy_if.phy_start(pdata);
401 : 0 : axgbe_dev_enable_tx(dev);
402 : 0 : axgbe_dev_enable_rx(dev);
403 : :
404 : : rte_bit_relaxed_clear32(AXGBE_STOPPED, &pdata->dev_state);
405 : : rte_bit_relaxed_clear32(AXGBE_DOWN, &pdata->dev_state);
406 : :
407 : 0 : axgbe_set_rx_function(dev);
408 : 0 : axgbe_set_tx_function(dev);
409 : :
410 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++)
411 : 0 : dev->data->rx_queue_state[i] = RTE_ETH_QUEUE_STATE_STARTED;
412 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++)
413 : 0 : dev->data->tx_queue_state[i] = RTE_ETH_QUEUE_STATE_STARTED;
414 : :
415 : : return 0;
416 : : }
417 : :
418 : : /* Stop device: disable rx and tx functions to allow for reconfiguring. */
419 : : static int
420 : 0 : axgbe_dev_stop(struct rte_eth_dev *dev)
421 : : {
422 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
423 : :
424 : : PMD_INIT_FUNC_TRACE();
425 : :
426 : 0 : rte_intr_disable(pdata->pci_dev->intr_handle);
427 : :
428 [ # # ]: 0 : if (rte_bit_relaxed_get32(AXGBE_STOPPED, &pdata->dev_state))
429 : : return 0;
430 : :
431 : : rte_bit_relaxed_set32(AXGBE_STOPPED, &pdata->dev_state);
432 : 0 : axgbe_dev_disable_tx(dev);
433 : 0 : axgbe_dev_disable_rx(dev);
434 : :
435 : 0 : pdata->phy_if.phy_stop(pdata);
436 : 0 : pdata->hw_if.exit(pdata);
437 : 0 : memset(&dev->data->dev_link, 0, sizeof(struct rte_eth_link));
438 : : rte_bit_relaxed_set32(AXGBE_DOWN, &pdata->dev_state);
439 : :
440 : 0 : return 0;
441 : : }
442 : :
443 : : static int
444 : 0 : axgbe_dev_promiscuous_enable(struct rte_eth_dev *dev)
445 : : {
446 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
447 : :
448 : : PMD_INIT_FUNC_TRACE();
449 : :
450 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PR, 1);
451 : :
452 : 0 : return 0;
453 : : }
454 : :
455 : : static int
456 : 0 : axgbe_dev_promiscuous_disable(struct rte_eth_dev *dev)
457 : : {
458 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
459 : :
460 : : PMD_INIT_FUNC_TRACE();
461 : :
462 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PR, 0);
463 : :
464 : 0 : return 0;
465 : : }
466 : :
467 : : static int
468 : 0 : axgbe_dev_allmulticast_enable(struct rte_eth_dev *dev)
469 : : {
470 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
471 : :
472 : : PMD_INIT_FUNC_TRACE();
473 : :
474 [ # # ]: 0 : if (AXGMAC_IOREAD_BITS(pdata, MAC_PFR, PM))
475 : : return 0;
476 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PM, 1);
477 : :
478 : 0 : return 0;
479 : : }
480 : :
481 : : static int
482 : 0 : axgbe_dev_allmulticast_disable(struct rte_eth_dev *dev)
483 : : {
484 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
485 : :
486 : : PMD_INIT_FUNC_TRACE();
487 : :
488 [ # # ]: 0 : if (!AXGMAC_IOREAD_BITS(pdata, MAC_PFR, PM))
489 : : return 0;
490 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PM, 0);
491 : :
492 : 0 : return 0;
493 : : }
494 : :
495 : : static int
496 : 0 : axgbe_dev_mac_addr_set(struct rte_eth_dev *dev, struct rte_ether_addr *mac_addr)
497 : : {
498 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
499 : :
500 : : /* Set Default MAC Addr */
501 : 0 : axgbe_set_mac_addn_addr(pdata, (u8 *)mac_addr, 0);
502 : :
503 : 0 : return 0;
504 : : }
505 : :
506 : : static int
507 : 0 : axgbe_dev_mac_addr_add(struct rte_eth_dev *dev, struct rte_ether_addr *mac_addr,
508 : : uint32_t index, uint32_t pool __rte_unused)
509 : : {
510 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
511 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
512 : :
513 [ # # ]: 0 : if (index > hw_feat->addn_mac) {
514 : 0 : PMD_DRV_LOG_LINE(ERR, "Invalid Index %d", index);
515 : 0 : return -EINVAL;
516 : : }
517 : 0 : axgbe_set_mac_addn_addr(pdata, (u8 *)mac_addr, index);
518 : 0 : return 0;
519 : : }
520 : :
521 : : static int
522 : 0 : axgbe_dev_rss_reta_update(struct rte_eth_dev *dev,
523 : : struct rte_eth_rss_reta_entry64 *reta_conf,
524 : : uint16_t reta_size)
525 : : {
526 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
527 : : unsigned int i, idx, shift;
528 : : int ret;
529 : :
530 [ # # ]: 0 : if (!pdata->rss_enable) {
531 : 0 : PMD_DRV_LOG_LINE(ERR, "RSS not enabled");
532 : 0 : return -ENOTSUP;
533 : : }
534 : :
535 [ # # ]: 0 : if (reta_size == 0 || reta_size > AXGBE_RSS_MAX_TABLE_SIZE) {
536 : 0 : PMD_DRV_LOG_LINE(ERR, "reta_size %d is not supported", reta_size);
537 : 0 : return -EINVAL;
538 : : }
539 : :
540 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
541 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
542 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
543 [ # # ]: 0 : if ((reta_conf[idx].mask & (1ULL << shift)) == 0)
544 : 0 : continue;
545 : 0 : pdata->rss_table[i] = reta_conf[idx].reta[shift];
546 : : }
547 : :
548 : : /* Program the lookup table */
549 : 0 : ret = axgbe_write_rss_lookup_table(pdata);
550 : 0 : return ret;
551 : : }
552 : :
553 : : static int
554 : 0 : axgbe_dev_rss_reta_query(struct rte_eth_dev *dev,
555 : : struct rte_eth_rss_reta_entry64 *reta_conf,
556 : : uint16_t reta_size)
557 : : {
558 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
559 : : unsigned int i, idx, shift;
560 : :
561 [ # # ]: 0 : if (!pdata->rss_enable) {
562 : 0 : PMD_DRV_LOG_LINE(ERR, "RSS not enabled");
563 : 0 : return -ENOTSUP;
564 : : }
565 : :
566 [ # # ]: 0 : if (reta_size == 0 || reta_size > AXGBE_RSS_MAX_TABLE_SIZE) {
567 : 0 : PMD_DRV_LOG_LINE(ERR, "reta_size %d is not supported", reta_size);
568 : 0 : return -EINVAL;
569 : : }
570 : :
571 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
572 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
573 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
574 [ # # ]: 0 : if ((reta_conf[idx].mask & (1ULL << shift)) == 0)
575 : 0 : continue;
576 : 0 : reta_conf[idx].reta[shift] = pdata->rss_table[i];
577 : : }
578 : : return 0;
579 : : }
580 : :
581 : : static int
582 : 0 : axgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
583 : : struct rte_eth_rss_conf *rss_conf)
584 : : {
585 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
586 : : int ret;
587 : :
588 [ # # ]: 0 : if (!pdata->rss_enable) {
589 : 0 : PMD_DRV_LOG_LINE(ERR, "RSS not enabled");
590 : 0 : return -ENOTSUP;
591 : : }
592 : :
593 [ # # ]: 0 : if (rss_conf == NULL) {
594 : 0 : PMD_DRV_LOG_LINE(ERR, "rss_conf value isn't valid");
595 : 0 : return -EINVAL;
596 : : }
597 : :
598 [ # # ]: 0 : if (rss_conf->rss_key != NULL &&
599 [ # # ]: 0 : rss_conf->rss_key_len == AXGBE_RSS_HASH_KEY_SIZE) {
600 [ # # ]: 0 : rte_memcpy(pdata->rss_key, rss_conf->rss_key,
601 : : AXGBE_RSS_HASH_KEY_SIZE);
602 : : /* Program the hash key */
603 : 0 : ret = axgbe_write_rss_hash_key(pdata);
604 [ # # ]: 0 : if (ret != 0)
605 : : return ret;
606 : : }
607 : :
608 : 0 : pdata->rss_hf = rss_conf->rss_hf & AXGBE_RSS_OFFLOAD;
609 : :
610 [ # # ]: 0 : if (pdata->rss_hf & (RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_IPV6))
611 : 0 : AXGMAC_SET_BITS(pdata->rss_options, MAC_RSSCR, IP2TE, 1);
612 [ # # ]: 0 : if (pdata->rss_hf &
613 : : (RTE_ETH_RSS_NONFRAG_IPV4_TCP | RTE_ETH_RSS_NONFRAG_IPV6_TCP))
614 : 0 : AXGMAC_SET_BITS(pdata->rss_options, MAC_RSSCR, TCP4TE, 1);
615 [ # # ]: 0 : if (pdata->rss_hf &
616 : : (RTE_ETH_RSS_NONFRAG_IPV4_UDP | RTE_ETH_RSS_NONFRAG_IPV6_UDP))
617 : 0 : AXGMAC_SET_BITS(pdata->rss_options, MAC_RSSCR, UDP4TE, 1);
618 : :
619 : : /* Set the RSS options */
620 : 0 : AXGMAC_IOWRITE(pdata, MAC_RSSCR, pdata->rss_options);
621 : :
622 : 0 : return 0;
623 : : }
624 : :
625 : : static int
626 : 0 : axgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
627 : : struct rte_eth_rss_conf *rss_conf)
628 : : {
629 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
630 : :
631 [ # # ]: 0 : if (!pdata->rss_enable) {
632 : 0 : PMD_DRV_LOG_LINE(ERR, "RSS not enabled");
633 : 0 : return -ENOTSUP;
634 : : }
635 : :
636 [ # # ]: 0 : if (rss_conf == NULL) {
637 : 0 : PMD_DRV_LOG_LINE(ERR, "rss_conf value isn't valid");
638 : 0 : return -EINVAL;
639 : : }
640 : :
641 [ # # ]: 0 : if (rss_conf->rss_key != NULL &&
642 [ # # ]: 0 : rss_conf->rss_key_len >= AXGBE_RSS_HASH_KEY_SIZE) {
643 [ # # ]: 0 : rte_memcpy(rss_conf->rss_key, pdata->rss_key,
644 : : AXGBE_RSS_HASH_KEY_SIZE);
645 : : }
646 : 0 : rss_conf->rss_key_len = AXGBE_RSS_HASH_KEY_SIZE;
647 : 0 : rss_conf->rss_hf = pdata->rss_hf;
648 : 0 : return 0;
649 : : }
650 : :
651 : : static int
652 : 0 : axgbe_dev_reset(struct rte_eth_dev *dev)
653 : : {
654 : : int ret = 0;
655 : :
656 : 0 : ret = axgbe_dev_close(dev);
657 [ # # ]: 0 : if (ret)
658 : : return ret;
659 : :
660 : 0 : ret = eth_axgbe_dev_init(dev);
661 : :
662 : 0 : return ret;
663 : : }
664 : :
665 : : static void
666 : 0 : axgbe_dev_mac_addr_remove(struct rte_eth_dev *dev, uint32_t index)
667 : : {
668 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
669 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
670 : :
671 [ # # ]: 0 : if (index > hw_feat->addn_mac) {
672 : 0 : PMD_DRV_LOG_LINE(ERR, "Invalid Index %d", index);
673 : 0 : return;
674 : : }
675 : 0 : axgbe_set_mac_addn_addr(pdata, NULL, index);
676 : : }
677 : :
678 : : static int
679 : 0 : axgbe_dev_set_mc_addr_list(struct rte_eth_dev *dev,
680 : : struct rte_ether_addr *mc_addr_set,
681 : : uint32_t nb_mc_addr)
682 : : {
683 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
684 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
685 : : uint32_t index = 1; /* 0 is always default mac */
686 : : uint32_t i;
687 : :
688 [ # # ]: 0 : if (nb_mc_addr > hw_feat->addn_mac) {
689 : 0 : PMD_DRV_LOG_LINE(ERR, "Invalid Index %d", nb_mc_addr);
690 : 0 : return -EINVAL;
691 : : }
692 : :
693 : : /* clear unicast addresses */
694 [ # # ]: 0 : for (i = 1; i < hw_feat->addn_mac; i++) {
695 [ # # ]: 0 : if (rte_is_zero_ether_addr(&dev->data->mac_addrs[i]))
696 : 0 : continue;
697 : : memset(&dev->data->mac_addrs[i], 0,
698 : : sizeof(struct rte_ether_addr));
699 : : }
700 : :
701 [ # # ]: 0 : while (nb_mc_addr--)
702 : 0 : axgbe_set_mac_addn_addr(pdata, (u8 *)mc_addr_set++, index++);
703 : :
704 : : return 0;
705 : : }
706 : :
707 : : static int
708 : 0 : axgbe_dev_uc_hash_table_set(struct rte_eth_dev *dev,
709 : : struct rte_ether_addr *mac_addr, uint8_t add)
710 : : {
711 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
712 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
713 : :
714 [ # # ]: 0 : if (!hw_feat->hash_table_size) {
715 : 0 : PMD_DRV_LOG_LINE(ERR, "MAC Hash Table not supported");
716 : 0 : return -ENOTSUP;
717 : : }
718 : :
719 : 0 : axgbe_set_mac_hash_table(pdata, (u8 *)mac_addr, add);
720 : :
721 [ # # ]: 0 : if (pdata->uc_hash_mac_addr > 0) {
722 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 1);
723 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 1);
724 : : } else {
725 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 0);
726 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 0);
727 : : }
728 : : return 0;
729 : : }
730 : :
731 : : static int
732 : 0 : axgbe_dev_uc_all_hash_table_set(struct rte_eth_dev *dev, uint8_t add)
733 : : {
734 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
735 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
736 : : uint32_t index;
737 : :
738 [ # # ]: 0 : if (!hw_feat->hash_table_size) {
739 : 0 : PMD_DRV_LOG_LINE(ERR, "MAC Hash Table not supported");
740 : 0 : return -ENOTSUP;
741 : : }
742 : :
743 [ # # ]: 0 : for (index = 0; index < pdata->hash_table_count; index++) {
744 [ # # ]: 0 : if (add)
745 : 0 : pdata->uc_hash_table[index] = ~0;
746 : : else
747 : 0 : pdata->uc_hash_table[index] = 0;
748 : :
749 [ # # ]: 0 : PMD_DRV_LOG_LINE(DEBUG, "%s MAC hash table at Index %#x",
750 : : add ? "set" : "clear", index);
751 : :
752 : 0 : AXGMAC_IOWRITE(pdata, MAC_HTR(index),
753 : : pdata->uc_hash_table[index]);
754 : : }
755 : :
756 [ # # ]: 0 : if (add) {
757 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 1);
758 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 1);
759 : : } else {
760 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 0);
761 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 0);
762 : : }
763 : : return 0;
764 : : }
765 : :
766 : : /* return 0 means link status changed, -1 means not changed */
767 : : static int
768 : 0 : axgbe_dev_link_update(struct rte_eth_dev *dev,
769 : : int wait_to_complete __rte_unused)
770 : : {
771 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
772 : : struct rte_eth_link link;
773 : : int ret = 0;
774 : :
775 : : PMD_INIT_FUNC_TRACE();
776 : : rte_delay_ms(800);
777 : :
778 : 0 : pdata->phy_if.phy_status(pdata);
779 : :
780 : : memset(&link, 0, sizeof(struct rte_eth_link));
781 : 0 : link.link_duplex = pdata->phy.duplex;
782 : 0 : link.link_status = pdata->phy_link;
783 : 0 : link.link_speed = pdata->phy_speed;
784 [ # # ]: 0 : link.link_autoneg = !(dev->data->dev_conf.link_speeds &
785 : : RTE_ETH_LINK_SPEED_FIXED);
786 : : ret = rte_eth_linkstatus_set(dev, &link);
787 : : if (ret == 0)
788 : 0 : PMD_DRV_LOG_LINE(ERR, "Link status changed");
789 : :
790 : 0 : return ret;
791 : : }
792 : :
793 : : static int
794 : 0 : axgbe_dev_get_regs(struct rte_eth_dev *dev, struct rte_dev_reg_info *regs)
795 : : {
796 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
797 : :
798 [ # # ]: 0 : if (regs->data == NULL) {
799 : 0 : regs->length = axgbe_regs_get_count(pdata);
800 : 0 : regs->width = sizeof(uint32_t);
801 : 0 : return 0;
802 : : }
803 : :
804 : : /* Only full register dump is supported */
805 [ # # ]: 0 : if (regs->length &&
806 [ # # ]: 0 : regs->length != (uint32_t)axgbe_regs_get_count(pdata))
807 : : return -ENOTSUP;
808 : :
809 : 0 : regs->version = pdata->pci_dev->id.vendor_id << 16 |
810 : 0 : pdata->pci_dev->id.device_id;
811 : 0 : axgbe_regs_dump(pdata, regs->data);
812 : 0 : return 0;
813 : : }
814 : 0 : static void axgbe_read_mmc_stats(struct axgbe_port *pdata)
815 : : {
816 : : struct axgbe_mmc_stats *stats = &pdata->mmc_stats;
817 : :
818 : : /* Freeze counters */
819 : 0 : AXGMAC_IOWRITE_BITS(pdata, MMC_CR, MCF, 1);
820 : :
821 : : /* Tx counters */
822 : 0 : stats->txoctetcount_gb +=
823 : 0 : AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_GB_LO);
824 : 0 : stats->txoctetcount_gb +=
825 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_GB_HI) << 32);
826 : :
827 : 0 : stats->txframecount_gb +=
828 : 0 : AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_GB_LO);
829 : 0 : stats->txframecount_gb +=
830 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_GB_HI) << 32);
831 : :
832 : 0 : stats->txbroadcastframes_g +=
833 : 0 : AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_G_LO);
834 : 0 : stats->txbroadcastframes_g +=
835 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_G_HI) << 32);
836 : :
837 : 0 : stats->txmulticastframes_g +=
838 : 0 : AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_G_LO);
839 : 0 : stats->txmulticastframes_g +=
840 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_G_HI) << 32);
841 : :
842 : 0 : stats->tx64octets_gb +=
843 : 0 : AXGMAC_IOREAD(pdata, MMC_TX64OCTETS_GB_LO);
844 : 0 : stats->tx64octets_gb +=
845 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX64OCTETS_GB_HI) << 32);
846 : :
847 : 0 : stats->tx65to127octets_gb +=
848 : 0 : AXGMAC_IOREAD(pdata, MMC_TX65TO127OCTETS_GB_LO);
849 : 0 : stats->tx65to127octets_gb +=
850 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX65TO127OCTETS_GB_HI) << 32);
851 : :
852 : 0 : stats->tx128to255octets_gb +=
853 : 0 : AXGMAC_IOREAD(pdata, MMC_TX128TO255OCTETS_GB_LO);
854 : 0 : stats->tx128to255octets_gb +=
855 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX128TO255OCTETS_GB_HI) << 32);
856 : :
857 : 0 : stats->tx256to511octets_gb +=
858 : 0 : AXGMAC_IOREAD(pdata, MMC_TX256TO511OCTETS_GB_LO);
859 : 0 : stats->tx256to511octets_gb +=
860 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX256TO511OCTETS_GB_HI) << 32);
861 : :
862 : 0 : stats->tx512to1023octets_gb +=
863 : 0 : AXGMAC_IOREAD(pdata, MMC_TX512TO1023OCTETS_GB_LO);
864 : 0 : stats->tx512to1023octets_gb +=
865 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX512TO1023OCTETS_GB_HI) << 32);
866 : :
867 : 0 : stats->tx1024tomaxoctets_gb +=
868 : 0 : AXGMAC_IOREAD(pdata, MMC_TX1024TOMAXOCTETS_GB_LO);
869 : 0 : stats->tx1024tomaxoctets_gb +=
870 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX1024TOMAXOCTETS_GB_HI) << 32);
871 : :
872 : 0 : stats->txunicastframes_gb +=
873 : 0 : AXGMAC_IOREAD(pdata, MMC_TXUNICASTFRAMES_GB_LO);
874 : 0 : stats->txunicastframes_gb +=
875 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXUNICASTFRAMES_GB_HI) << 32);
876 : :
877 : 0 : stats->txmulticastframes_gb +=
878 : 0 : AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_GB_LO);
879 : 0 : stats->txmulticastframes_gb +=
880 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_GB_HI) << 32);
881 : :
882 : 0 : stats->txbroadcastframes_g +=
883 : 0 : AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_GB_LO);
884 : 0 : stats->txbroadcastframes_g +=
885 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_GB_HI) << 32);
886 : :
887 : 0 : stats->txunderflowerror +=
888 : 0 : AXGMAC_IOREAD(pdata, MMC_TXUNDERFLOWERROR_LO);
889 : 0 : stats->txunderflowerror +=
890 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXUNDERFLOWERROR_HI) << 32);
891 : :
892 : 0 : stats->txoctetcount_g +=
893 : 0 : AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_G_LO);
894 : 0 : stats->txoctetcount_g +=
895 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_G_HI) << 32);
896 : :
897 : 0 : stats->txframecount_g +=
898 : 0 : AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_G_LO);
899 : 0 : stats->txframecount_g +=
900 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_G_HI) << 32);
901 : :
902 : 0 : stats->txpauseframes +=
903 : 0 : AXGMAC_IOREAD(pdata, MMC_TXPAUSEFRAMES_LO);
904 : 0 : stats->txpauseframes +=
905 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXPAUSEFRAMES_HI) << 32);
906 : :
907 : 0 : stats->txvlanframes_g +=
908 : 0 : AXGMAC_IOREAD(pdata, MMC_TXVLANFRAMES_G_LO);
909 : 0 : stats->txvlanframes_g +=
910 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXVLANFRAMES_G_HI) << 32);
911 : :
912 : : /* Rx counters */
913 : 0 : stats->rxframecount_gb +=
914 : 0 : AXGMAC_IOREAD(pdata, MMC_RXFRAMECOUNT_GB_LO);
915 : 0 : stats->rxframecount_gb +=
916 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXFRAMECOUNT_GB_HI) << 32);
917 : :
918 : 0 : stats->rxoctetcount_gb +=
919 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_GB_LO);
920 : 0 : stats->rxoctetcount_gb +=
921 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_GB_HI) << 32);
922 : :
923 : 0 : stats->rxoctetcount_g +=
924 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_G_LO);
925 : 0 : stats->rxoctetcount_g +=
926 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_G_HI) << 32);
927 : :
928 : 0 : stats->rxbroadcastframes_g +=
929 : 0 : AXGMAC_IOREAD(pdata, MMC_RXBROADCASTFRAMES_G_LO);
930 : 0 : stats->rxbroadcastframes_g +=
931 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXBROADCASTFRAMES_G_HI) << 32);
932 : :
933 : 0 : stats->rxmulticastframes_g +=
934 : 0 : AXGMAC_IOREAD(pdata, MMC_RXMULTICASTFRAMES_G_LO);
935 : 0 : stats->rxmulticastframes_g +=
936 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXMULTICASTFRAMES_G_HI) << 32);
937 : :
938 : 0 : stats->rxcrcerror +=
939 : 0 : AXGMAC_IOREAD(pdata, MMC_RXCRCERROR_LO);
940 : 0 : stats->rxcrcerror +=
941 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXCRCERROR_HI) << 32);
942 : :
943 : 0 : stats->rxrunterror +=
944 : 0 : AXGMAC_IOREAD(pdata, MMC_RXRUNTERROR);
945 : :
946 : 0 : stats->rxjabbererror +=
947 : 0 : AXGMAC_IOREAD(pdata, MMC_RXJABBERERROR);
948 : :
949 : 0 : stats->rxundersize_g +=
950 : 0 : AXGMAC_IOREAD(pdata, MMC_RXUNDERSIZE_G);
951 : :
952 : 0 : stats->rxoversize_g +=
953 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOVERSIZE_G);
954 : :
955 : 0 : stats->rx64octets_gb +=
956 : 0 : AXGMAC_IOREAD(pdata, MMC_RX64OCTETS_GB_LO);
957 : 0 : stats->rx64octets_gb +=
958 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX64OCTETS_GB_HI) << 32);
959 : :
960 : 0 : stats->rx65to127octets_gb +=
961 : 0 : AXGMAC_IOREAD(pdata, MMC_RX65TO127OCTETS_GB_LO);
962 : 0 : stats->rx65to127octets_gb +=
963 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX65TO127OCTETS_GB_HI) << 32);
964 : :
965 : 0 : stats->rx128to255octets_gb +=
966 : 0 : AXGMAC_IOREAD(pdata, MMC_RX128TO255OCTETS_GB_LO);
967 : 0 : stats->rx128to255octets_gb +=
968 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX128TO255OCTETS_GB_HI) << 32);
969 : :
970 : 0 : stats->rx256to511octets_gb +=
971 : 0 : AXGMAC_IOREAD(pdata, MMC_RX256TO511OCTETS_GB_LO);
972 : 0 : stats->rx256to511octets_gb +=
973 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX256TO511OCTETS_GB_HI) << 32);
974 : :
975 : 0 : stats->rx512to1023octets_gb +=
976 : 0 : AXGMAC_IOREAD(pdata, MMC_RX512TO1023OCTETS_GB_LO);
977 : 0 : stats->rx512to1023octets_gb +=
978 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX512TO1023OCTETS_GB_HI) << 32);
979 : :
980 : 0 : stats->rx1024tomaxoctets_gb +=
981 : 0 : AXGMAC_IOREAD(pdata, MMC_RX1024TOMAXOCTETS_GB_LO);
982 : 0 : stats->rx1024tomaxoctets_gb +=
983 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX1024TOMAXOCTETS_GB_HI) << 32);
984 : :
985 : 0 : stats->rxunicastframes_g +=
986 : 0 : AXGMAC_IOREAD(pdata, MMC_RXUNICASTFRAMES_G_LO);
987 : 0 : stats->rxunicastframes_g +=
988 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXUNICASTFRAMES_G_HI) << 32);
989 : :
990 : 0 : stats->rxlengtherror +=
991 : 0 : AXGMAC_IOREAD(pdata, MMC_RXLENGTHERROR_LO);
992 : 0 : stats->rxlengtherror +=
993 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXLENGTHERROR_HI) << 32);
994 : :
995 : 0 : stats->rxoutofrangetype +=
996 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOUTOFRANGETYPE_LO);
997 : 0 : stats->rxoutofrangetype +=
998 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXOUTOFRANGETYPE_HI) << 32);
999 : :
1000 : 0 : stats->rxpauseframes +=
1001 : 0 : AXGMAC_IOREAD(pdata, MMC_RXPAUSEFRAMES_LO);
1002 : 0 : stats->rxpauseframes +=
1003 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXPAUSEFRAMES_HI) << 32);
1004 : :
1005 : 0 : stats->rxfifooverflow +=
1006 : 0 : AXGMAC_IOREAD(pdata, MMC_RXFIFOOVERFLOW_LO);
1007 : 0 : stats->rxfifooverflow +=
1008 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXFIFOOVERFLOW_HI) << 32);
1009 : :
1010 : 0 : stats->rxvlanframes_gb +=
1011 : 0 : AXGMAC_IOREAD(pdata, MMC_RXVLANFRAMES_GB_LO);
1012 : 0 : stats->rxvlanframes_gb +=
1013 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXVLANFRAMES_GB_HI) << 32);
1014 : :
1015 : 0 : stats->rxwatchdogerror +=
1016 : 0 : AXGMAC_IOREAD(pdata, MMC_RXWATCHDOGERROR);
1017 : :
1018 : : /* Un-freeze counters */
1019 : 0 : AXGMAC_IOWRITE_BITS(pdata, MMC_CR, MCF, 0);
1020 : 0 : }
1021 : :
1022 : : static int
1023 : 0 : axgbe_dev_xstats_get(struct rte_eth_dev *dev, struct rte_eth_xstat *stats,
1024 : : unsigned int n)
1025 : : {
1026 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1027 : : unsigned int i;
1028 : :
1029 [ # # ]: 0 : if (n < AXGBE_XSTATS_COUNT)
1030 : : return AXGBE_XSTATS_COUNT;
1031 : :
1032 : 0 : axgbe_read_mmc_stats(pdata);
1033 : :
1034 [ # # ]: 0 : for (i = 0; i < AXGBE_XSTATS_COUNT; i++) {
1035 : 0 : stats[i].id = i;
1036 : 0 : stats[i].value = *(u64 *)((uint8_t *)&pdata->mmc_stats +
1037 : 0 : axgbe_xstats_strings[i].offset);
1038 : : }
1039 : :
1040 : : return AXGBE_XSTATS_COUNT;
1041 : : }
1042 : :
1043 : : static int
1044 : 0 : axgbe_dev_xstats_get_names(__rte_unused struct rte_eth_dev *dev,
1045 : : struct rte_eth_xstat_name *xstats_names,
1046 : : unsigned int n)
1047 : : {
1048 : : unsigned int i;
1049 : :
1050 [ # # ]: 0 : if (n >= AXGBE_XSTATS_COUNT && xstats_names) {
1051 [ # # ]: 0 : for (i = 0; i < AXGBE_XSTATS_COUNT; ++i) {
1052 : 0 : snprintf(xstats_names[i].name,
1053 : : RTE_ETH_XSTATS_NAME_SIZE, "%s",
1054 : 0 : axgbe_xstats_strings[i].name);
1055 : : }
1056 : : }
1057 : :
1058 : 0 : return AXGBE_XSTATS_COUNT;
1059 : : }
1060 : :
1061 : : static int
1062 : 0 : axgbe_dev_xstats_get_by_id(struct rte_eth_dev *dev, const uint64_t *ids,
1063 : : uint64_t *values, unsigned int n)
1064 : : {
1065 : : unsigned int i;
1066 : : uint64_t values_copy[AXGBE_XSTATS_COUNT];
1067 : :
1068 [ # # ]: 0 : if (!ids) {
1069 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1070 : :
1071 [ # # ]: 0 : if (n < AXGBE_XSTATS_COUNT)
1072 : : return AXGBE_XSTATS_COUNT;
1073 : :
1074 : 0 : axgbe_read_mmc_stats(pdata);
1075 : :
1076 [ # # ]: 0 : for (i = 0; i < AXGBE_XSTATS_COUNT; i++) {
1077 : 0 : values[i] = *(u64 *)((uint8_t *)&pdata->mmc_stats +
1078 : 0 : axgbe_xstats_strings[i].offset);
1079 : : }
1080 : :
1081 : : return i;
1082 : : }
1083 : :
1084 : 0 : axgbe_dev_xstats_get_by_id(dev, NULL, values_copy, AXGBE_XSTATS_COUNT);
1085 : :
1086 [ # # ]: 0 : for (i = 0; i < n; i++) {
1087 [ # # ]: 0 : if (ids[i] >= AXGBE_XSTATS_COUNT) {
1088 : 0 : PMD_DRV_LOG_LINE(ERR, "id value isn't valid");
1089 : 0 : return -1;
1090 : : }
1091 : 0 : values[i] = values_copy[ids[i]];
1092 : : }
1093 : 0 : return n;
1094 : : }
1095 : :
1096 : : static int
1097 : 0 : axgbe_dev_xstats_get_names_by_id(struct rte_eth_dev *dev,
1098 : : const uint64_t *ids,
1099 : : struct rte_eth_xstat_name *xstats_names,
1100 : : unsigned int size)
1101 : : {
1102 : : struct rte_eth_xstat_name xstats_names_copy[AXGBE_XSTATS_COUNT];
1103 : : unsigned int i;
1104 : :
1105 [ # # ]: 0 : if (!ids)
1106 : 0 : return axgbe_dev_xstats_get_names(dev, xstats_names, size);
1107 : :
1108 : 0 : axgbe_dev_xstats_get_names(dev, xstats_names_copy, size);
1109 : :
1110 [ # # ]: 0 : for (i = 0; i < size; i++) {
1111 [ # # ]: 0 : if (ids[i] >= AXGBE_XSTATS_COUNT) {
1112 : 0 : PMD_DRV_LOG_LINE(ERR, "id value isn't valid");
1113 : 0 : return -1;
1114 : : }
1115 : 0 : strcpy(xstats_names[i].name, xstats_names_copy[ids[i]].name);
1116 : : }
1117 : 0 : return size;
1118 : : }
1119 : :
1120 : : static int
1121 : 0 : axgbe_dev_xstats_reset(struct rte_eth_dev *dev)
1122 : : {
1123 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1124 : 0 : struct axgbe_mmc_stats *stats = &pdata->mmc_stats;
1125 : :
1126 : : /* MMC registers are configured for reset on read */
1127 : 0 : axgbe_read_mmc_stats(pdata);
1128 : :
1129 : : /* Reset stats */
1130 : : memset(stats, 0, sizeof(*stats));
1131 : :
1132 : 0 : return 0;
1133 : : }
1134 : :
1135 : : static int
1136 : 0 : axgbe_dev_stats_get(struct rte_eth_dev *dev,
1137 : : struct rte_eth_stats *stats, struct eth_queue_stats *qstats)
1138 : : {
1139 : : struct axgbe_rx_queue *rxq;
1140 : : struct axgbe_tx_queue *txq;
1141 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1142 : : struct axgbe_mmc_stats *mmc_stats = &pdata->mmc_stats;
1143 : : unsigned int i;
1144 : :
1145 : 0 : axgbe_read_mmc_stats(pdata);
1146 : :
1147 : 0 : stats->imissed = mmc_stats->rxfifooverflow;
1148 : :
1149 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
1150 : 0 : rxq = dev->data->rx_queues[i];
1151 [ # # ]: 0 : if (rxq) {
1152 : 0 : stats->ipackets += rxq->pkts;
1153 : 0 : stats->ibytes += rxq->bytes;
1154 : 0 : stats->rx_nombuf += rxq->rx_mbuf_alloc_failed;
1155 : 0 : stats->ierrors += rxq->errors;
1156 : :
1157 [ # # ]: 0 : if (qstats != NULL && i < RTE_ETHDEV_QUEUE_STAT_CNTRS) {
1158 : 0 : qstats->q_ipackets[i] = rxq->pkts;
1159 : 0 : qstats->q_ibytes[i] = rxq->bytes;
1160 : 0 : qstats->q_errors[i] = rxq->errors + rxq->rx_mbuf_alloc_failed;
1161 : : }
1162 : : } else {
1163 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Rx queue not setup for port %d",
1164 : : dev->data->port_id);
1165 : : }
1166 : : }
1167 : :
1168 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++) {
1169 : 0 : txq = dev->data->tx_queues[i];
1170 [ # # ]: 0 : if (txq) {
1171 : 0 : stats->opackets += txq->pkts;
1172 : 0 : stats->obytes += txq->bytes;
1173 : 0 : stats->oerrors += txq->errors;
1174 : :
1175 [ # # ]: 0 : if (qstats != NULL && i < RTE_ETHDEV_QUEUE_STAT_CNTRS) {
1176 : 0 : qstats->q_opackets[i] = txq->pkts;
1177 : 0 : qstats->q_obytes[i] = txq->bytes;
1178 : : }
1179 : : } else {
1180 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Tx queue not setup for port %d",
1181 : : dev->data->port_id);
1182 : : }
1183 : : }
1184 : :
1185 : 0 : return 0;
1186 : : }
1187 : :
1188 : : static int
1189 : 0 : axgbe_dev_stats_reset(struct rte_eth_dev *dev)
1190 : : {
1191 : : struct axgbe_rx_queue *rxq;
1192 : : struct axgbe_tx_queue *txq;
1193 : : unsigned int i;
1194 : :
1195 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
1196 : 0 : rxq = dev->data->rx_queues[i];
1197 [ # # ]: 0 : if (rxq) {
1198 : 0 : rxq->pkts = 0;
1199 : 0 : rxq->bytes = 0;
1200 : 0 : rxq->errors = 0;
1201 : 0 : rxq->rx_mbuf_alloc_failed = 0;
1202 : : } else {
1203 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Rx queue not setup for port %d",
1204 : : dev->data->port_id);
1205 : : }
1206 : : }
1207 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++) {
1208 : 0 : txq = dev->data->tx_queues[i];
1209 [ # # ]: 0 : if (txq) {
1210 : 0 : txq->pkts = 0;
1211 : 0 : txq->bytes = 0;
1212 : 0 : txq->errors = 0;
1213 : : } else {
1214 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Tx queue not setup for port %d",
1215 : : dev->data->port_id);
1216 : : }
1217 : : }
1218 : :
1219 : 0 : return 0;
1220 : : }
1221 : :
1222 : : static int
1223 : 0 : axgbe_dev_info_get(struct rte_eth_dev *dev, struct rte_eth_dev_info *dev_info)
1224 : : {
1225 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1226 : :
1227 : 0 : dev_info->max_rx_queues = pdata->rx_ring_count;
1228 : 0 : dev_info->max_tx_queues = pdata->tx_ring_count;
1229 : 0 : dev_info->min_rx_bufsize = AXGBE_RX_MIN_BUF_SIZE;
1230 : 0 : dev_info->max_rx_pktlen = AXGBE_RX_MAX_BUF_SIZE;
1231 : 0 : dev_info->max_mac_addrs = pdata->hw_feat.addn_mac + 1;
1232 : 0 : dev_info->max_hash_mac_addrs = pdata->hw_feat.hash_table_size;
1233 : 0 : dev_info->speed_capa = RTE_ETH_LINK_SPEED_10G;
1234 : :
1235 : 0 : dev_info->rx_offload_capa =
1236 : : RTE_ETH_RX_OFFLOAD_VLAN_STRIP |
1237 : : RTE_ETH_RX_OFFLOAD_VLAN_FILTER |
1238 : : RTE_ETH_RX_OFFLOAD_VLAN_EXTEND |
1239 : : RTE_ETH_RX_OFFLOAD_IPV4_CKSUM |
1240 : : RTE_ETH_RX_OFFLOAD_UDP_CKSUM |
1241 : : RTE_ETH_RX_OFFLOAD_TCP_CKSUM |
1242 : : RTE_ETH_RX_OFFLOAD_SCATTER |
1243 : : RTE_ETH_RX_OFFLOAD_KEEP_CRC;
1244 : :
1245 : 0 : dev_info->tx_offload_capa =
1246 : : RTE_ETH_TX_OFFLOAD_VLAN_INSERT |
1247 : : RTE_ETH_TX_OFFLOAD_QINQ_INSERT |
1248 : : RTE_ETH_TX_OFFLOAD_IPV4_CKSUM |
1249 : : RTE_ETH_TX_OFFLOAD_MULTI_SEGS |
1250 : : RTE_ETH_TX_OFFLOAD_TCP_TSO |
1251 : : RTE_ETH_TX_OFFLOAD_UDP_CKSUM |
1252 : : RTE_ETH_TX_OFFLOAD_TCP_CKSUM;
1253 : :
1254 [ # # ]: 0 : if (pdata->hw_feat.rss) {
1255 : 0 : dev_info->flow_type_rss_offloads = AXGBE_RSS_OFFLOAD;
1256 : 0 : dev_info->reta_size = pdata->hw_feat.hash_table_size;
1257 : 0 : dev_info->hash_key_size = AXGBE_RSS_HASH_KEY_SIZE;
1258 : : }
1259 : :
1260 : 0 : dev_info->rx_desc_lim = rx_desc_lim;
1261 : 0 : dev_info->tx_desc_lim = tx_desc_lim;
1262 : :
1263 : 0 : dev_info->default_rxconf = (struct rte_eth_rxconf) {
1264 : : .rx_free_thresh = AXGBE_RX_FREE_THRESH,
1265 : : };
1266 : :
1267 : 0 : dev_info->default_txconf = (struct rte_eth_txconf) {
1268 : : .tx_free_thresh = AXGBE_TX_FREE_THRESH,
1269 : : };
1270 : :
1271 : 0 : return 0;
1272 : : }
1273 : :
1274 : : static int
1275 : 0 : axgbe_flow_ctrl_get(struct rte_eth_dev *dev, struct rte_eth_fc_conf *fc_conf)
1276 : : {
1277 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1278 : 0 : struct xgbe_fc_info fc = pdata->fc;
1279 : : unsigned int reg, reg_val = 0;
1280 : :
1281 : : reg = MAC_Q0TFCR;
1282 : 0 : reg_val = AXGMAC_IOREAD(pdata, reg);
1283 : 0 : fc.low_water[0] = AXGMAC_MTL_IOREAD_BITS(pdata, 0, MTL_Q_RQFCR, RFA);
1284 : 0 : fc.high_water[0] = AXGMAC_MTL_IOREAD_BITS(pdata, 0, MTL_Q_RQFCR, RFD);
1285 : 0 : fc.pause_time[0] = AXGMAC_GET_BITS(reg_val, MAC_Q0TFCR, PT);
1286 : : fc.autoneg = pdata->pause_autoneg;
1287 : :
1288 [ # # # # ]: 0 : if (pdata->rx_pause && pdata->tx_pause)
1289 : : fc.mode = RTE_ETH_FC_FULL;
1290 [ # # ]: 0 : else if (pdata->rx_pause)
1291 : : fc.mode = RTE_ETH_FC_RX_PAUSE;
1292 [ # # ]: 0 : else if (pdata->tx_pause)
1293 : : fc.mode = RTE_ETH_FC_TX_PAUSE;
1294 : : else
1295 : : fc.mode = RTE_ETH_FC_NONE;
1296 : :
1297 : 0 : fc_conf->high_water = (1024 + (fc.low_water[0] << 9)) / 1024;
1298 : 0 : fc_conf->low_water = (1024 + (fc.high_water[0] << 9)) / 1024;
1299 : 0 : fc_conf->pause_time = fc.pause_time[0];
1300 : 0 : fc_conf->send_xon = fc.send_xon;
1301 : 0 : fc_conf->mode = fc.mode;
1302 : :
1303 : 0 : return 0;
1304 : : }
1305 : :
1306 : : static int
1307 : 0 : axgbe_flow_ctrl_set(struct rte_eth_dev *dev, struct rte_eth_fc_conf *fc_conf)
1308 : : {
1309 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1310 : : struct xgbe_fc_info fc = pdata->fc;
1311 : : unsigned int reg, reg_val = 0;
1312 : : reg = MAC_Q0TFCR;
1313 : :
1314 : 0 : pdata->pause_autoneg = fc_conf->autoneg;
1315 : 0 : pdata->phy.pause_autoneg = pdata->pause_autoneg;
1316 : : fc.send_xon = fc_conf->send_xon;
1317 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, 0, MTL_Q_RQFCR, RFA,
1318 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * fc_conf->high_water));
1319 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, 0, MTL_Q_RQFCR, RFD,
1320 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * fc_conf->low_water));
1321 : 0 : AXGMAC_SET_BITS(reg_val, MAC_Q0TFCR, PT, fc_conf->pause_time);
1322 : 0 : AXGMAC_IOWRITE(pdata, reg, reg_val);
1323 : 0 : fc.mode = fc_conf->mode;
1324 : :
1325 [ # # ]: 0 : if (fc.mode == RTE_ETH_FC_FULL) {
1326 : 0 : pdata->tx_pause = 1;
1327 : 0 : pdata->rx_pause = 1;
1328 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_RX_PAUSE) {
1329 : 0 : pdata->tx_pause = 0;
1330 : 0 : pdata->rx_pause = 1;
1331 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_TX_PAUSE) {
1332 : 0 : pdata->tx_pause = 1;
1333 : 0 : pdata->rx_pause = 0;
1334 : : } else {
1335 : 0 : pdata->tx_pause = 0;
1336 : 0 : pdata->rx_pause = 0;
1337 : : }
1338 : :
1339 [ # # ]: 0 : if (pdata->tx_pause != (unsigned int)pdata->phy.tx_pause)
1340 : 0 : pdata->hw_if.config_tx_flow_control(pdata);
1341 : :
1342 [ # # ]: 0 : if (pdata->rx_pause != (unsigned int)pdata->phy.rx_pause)
1343 : 0 : pdata->hw_if.config_rx_flow_control(pdata);
1344 : :
1345 : 0 : pdata->hw_if.config_flow_control(pdata);
1346 : 0 : pdata->phy.tx_pause = pdata->tx_pause;
1347 : 0 : pdata->phy.rx_pause = pdata->rx_pause;
1348 : :
1349 : 0 : return 0;
1350 : : }
1351 : :
1352 : : static int
1353 : 0 : axgbe_priority_flow_ctrl_set(struct rte_eth_dev *dev,
1354 : : struct rte_eth_pfc_conf *pfc_conf)
1355 : : {
1356 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1357 : : struct xgbe_fc_info fc = pdata->fc;
1358 : : uint8_t tc_num;
1359 : :
1360 : 0 : tc_num = pdata->pfc_map[pfc_conf->priority];
1361 : :
1362 [ # # ]: 0 : if (pfc_conf->priority >= pdata->hw_feat.tc_cnt) {
1363 : 0 : PMD_INIT_LOG(ERR, "Max supported traffic class: %d",
1364 : : pdata->hw_feat.tc_cnt);
1365 : 0 : return -EINVAL;
1366 : : }
1367 : :
1368 : 0 : pdata->pause_autoneg = pfc_conf->fc.autoneg;
1369 : 0 : pdata->phy.pause_autoneg = pdata->pause_autoneg;
1370 : : fc.send_xon = pfc_conf->fc.send_xon;
1371 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, tc_num, MTL_Q_RQFCR, RFA,
1372 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * pfc_conf->fc.high_water));
1373 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, tc_num, MTL_Q_RQFCR, RFD,
1374 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * pfc_conf->fc.low_water));
1375 : :
1376 [ # # # # : 0 : switch (tc_num) {
# # # #
# ]
1377 : 0 : case 0:
1378 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1379 : : PSTC0, pfc_conf->fc.pause_time);
1380 : : break;
1381 : 0 : case 1:
1382 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1383 : : PSTC1, pfc_conf->fc.pause_time);
1384 : : break;
1385 : 0 : case 2:
1386 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1387 : : PSTC2, pfc_conf->fc.pause_time);
1388 : : break;
1389 : 0 : case 3:
1390 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1391 : : PSTC3, pfc_conf->fc.pause_time);
1392 : : break;
1393 : 0 : case 4:
1394 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1395 : : PSTC4, pfc_conf->fc.pause_time);
1396 : : break;
1397 : 0 : case 5:
1398 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1399 : : PSTC5, pfc_conf->fc.pause_time);
1400 : : break;
1401 : 0 : case 7:
1402 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1403 : : PSTC6, pfc_conf->fc.pause_time);
1404 : : break;
1405 : 0 : case 6:
1406 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1407 : : PSTC7, pfc_conf->fc.pause_time);
1408 : : break;
1409 : : }
1410 : :
1411 : 0 : fc.mode = pfc_conf->fc.mode;
1412 : :
1413 [ # # ]: 0 : if (fc.mode == RTE_ETH_FC_FULL) {
1414 : 0 : pdata->tx_pause = 1;
1415 : 0 : pdata->rx_pause = 1;
1416 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 1);
1417 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_RX_PAUSE) {
1418 : 0 : pdata->tx_pause = 0;
1419 : 0 : pdata->rx_pause = 1;
1420 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 1);
1421 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_TX_PAUSE) {
1422 : 0 : pdata->tx_pause = 1;
1423 : 0 : pdata->rx_pause = 0;
1424 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 0);
1425 : : } else {
1426 : 0 : pdata->tx_pause = 0;
1427 : 0 : pdata->rx_pause = 0;
1428 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 0);
1429 : : }
1430 : :
1431 [ # # ]: 0 : if (pdata->tx_pause != (unsigned int)pdata->phy.tx_pause)
1432 : 0 : pdata->hw_if.config_tx_flow_control(pdata);
1433 : :
1434 [ # # ]: 0 : if (pdata->rx_pause != (unsigned int)pdata->phy.rx_pause)
1435 : 0 : pdata->hw_if.config_rx_flow_control(pdata);
1436 : 0 : pdata->hw_if.config_flow_control(pdata);
1437 : 0 : pdata->phy.tx_pause = pdata->tx_pause;
1438 : 0 : pdata->phy.rx_pause = pdata->rx_pause;
1439 : :
1440 : 0 : return 0;
1441 : : }
1442 : :
1443 : : void
1444 : 0 : axgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
1445 : : struct rte_eth_rxq_info *qinfo)
1446 : : {
1447 : : struct axgbe_rx_queue *rxq;
1448 : :
1449 : 0 : rxq = dev->data->rx_queues[queue_id];
1450 : 0 : qinfo->mp = rxq->mb_pool;
1451 : 0 : qinfo->scattered_rx = dev->data->scattered_rx;
1452 : 0 : qinfo->nb_desc = rxq->nb_desc;
1453 : 0 : qinfo->conf.rx_free_thresh = rxq->free_thresh;
1454 : 0 : }
1455 : :
1456 : : void
1457 : 0 : axgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
1458 : : struct rte_eth_txq_info *qinfo)
1459 : : {
1460 : : struct axgbe_tx_queue *txq;
1461 : :
1462 : 0 : txq = dev->data->tx_queues[queue_id];
1463 : 0 : qinfo->nb_desc = txq->nb_desc;
1464 : 0 : qinfo->conf.tx_free_thresh = txq->free_thresh;
1465 : 0 : }
1466 : : const uint32_t *
1467 : 0 : axgbe_dev_supported_ptypes_get(struct rte_eth_dev *dev, size_t *no_of_elements)
1468 : : {
1469 : : static const uint32_t ptypes[] = {
1470 : : RTE_PTYPE_L2_ETHER,
1471 : : RTE_PTYPE_L2_ETHER_TIMESYNC,
1472 : : RTE_PTYPE_L2_ETHER_LLDP,
1473 : : RTE_PTYPE_L2_ETHER_ARP,
1474 : : RTE_PTYPE_L3_IPV4_EXT_UNKNOWN,
1475 : : RTE_PTYPE_L3_IPV6_EXT_UNKNOWN,
1476 : : RTE_PTYPE_L4_FRAG,
1477 : : RTE_PTYPE_L4_ICMP,
1478 : : RTE_PTYPE_L4_NONFRAG,
1479 : : RTE_PTYPE_L4_SCTP,
1480 : : RTE_PTYPE_L4_TCP,
1481 : : RTE_PTYPE_L4_UDP,
1482 : : RTE_PTYPE_TUNNEL_GRENAT,
1483 : : RTE_PTYPE_TUNNEL_IP,
1484 : : RTE_PTYPE_INNER_L2_ETHER,
1485 : : RTE_PTYPE_INNER_L2_ETHER_VLAN,
1486 : : RTE_PTYPE_INNER_L3_IPV4_EXT_UNKNOWN,
1487 : : RTE_PTYPE_INNER_L3_IPV6_EXT_UNKNOWN,
1488 : : RTE_PTYPE_INNER_L4_FRAG,
1489 : : RTE_PTYPE_INNER_L4_ICMP,
1490 : : RTE_PTYPE_INNER_L4_NONFRAG,
1491 : : RTE_PTYPE_INNER_L4_SCTP,
1492 : : RTE_PTYPE_INNER_L4_TCP,
1493 : : RTE_PTYPE_INNER_L4_UDP,
1494 : : };
1495 : :
1496 [ # # ]: 0 : if (dev->rx_pkt_burst == axgbe_recv_pkts) {
1497 : 0 : *no_of_elements = RTE_DIM(ptypes);
1498 : 0 : return ptypes;
1499 : : }
1500 : : return NULL;
1501 : : }
1502 : :
1503 : 0 : static int axgb_mtu_set(struct rte_eth_dev *dev, uint16_t mtu)
1504 : : {
1505 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1506 : : unsigned int val;
1507 : :
1508 : : /* mtu setting is forbidden if port is start */
1509 [ # # ]: 0 : if (dev->data->dev_started) {
1510 : 0 : PMD_DRV_LOG_LINE(ERR, "port %d must be stopped before configuration",
1511 : : dev->data->port_id);
1512 : 0 : return -EBUSY;
1513 : : }
1514 : 0 : val = mtu > RTE_ETHER_MTU ? 1 : 0;
1515 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RCR, JE, val);
1516 : :
1517 : 0 : return 0;
1518 : : }
1519 : :
1520 : : static void
1521 : 0 : axgbe_update_tstamp_time(struct axgbe_port *pdata,
1522 : : unsigned int sec, unsigned int nsec, int addsub)
1523 : : {
1524 : : unsigned int count = 100;
1525 : : uint32_t sub_val = 0;
1526 : : uint32_t sub_val_sec = 0xFFFFFFFF;
1527 : : uint32_t sub_val_nsec = 0x3B9ACA00;
1528 : :
1529 [ # # ]: 0 : if (addsub) {
1530 [ # # ]: 0 : if (sec)
1531 : 0 : sub_val = sub_val_sec - (sec - 1);
1532 : : else
1533 : : sub_val = sec;
1534 : :
1535 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, sub_val);
1536 : 0 : sub_val = sub_val_nsec - nsec;
1537 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, sub_val);
1538 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_STNUR, ADDSUB, 1);
1539 : : } else {
1540 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, sec);
1541 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_STNUR, ADDSUB, 0);
1542 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, nsec);
1543 : : }
1544 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSUPDT, 1);
1545 : : /* Wait for time update to complete */
1546 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSUPDT))
1547 : : rte_delay_ms(1);
1548 : 0 : }
1549 : :
1550 : : static inline uint64_t
1551 : : div_u64_rem(uint64_t dividend, uint32_t divisor, uint32_t *remainder)
1552 : : {
1553 : : *remainder = dividend % divisor;
1554 : 0 : return dividend / divisor;
1555 : : }
1556 : :
1557 : : static inline uint64_t
1558 : : div_u64(uint64_t dividend, uint32_t divisor)
1559 : : {
1560 : : uint32_t remainder;
1561 : : return div_u64_rem(dividend, divisor, &remainder);
1562 : : }
1563 : :
1564 : : static int
1565 : 0 : axgbe_adjfreq(struct axgbe_port *pdata, int64_t delta)
1566 : : {
1567 : : uint64_t adjust;
1568 : : uint32_t addend, diff;
1569 : : unsigned int neg_adjust = 0;
1570 : :
1571 [ # # ]: 0 : if (delta < 0) {
1572 : : neg_adjust = 1;
1573 : 0 : delta = -delta;
1574 : : }
1575 : 0 : adjust = (uint64_t)pdata->tstamp_addend;
1576 : 0 : adjust *= delta;
1577 : 0 : diff = (uint32_t)div_u64(adjust, 1000000000UL);
1578 [ # # ]: 0 : addend = (neg_adjust) ? pdata->tstamp_addend - diff :
1579 : : pdata->tstamp_addend + diff;
1580 : 0 : pdata->tstamp_addend = addend;
1581 : 0 : axgbe_update_tstamp_addend(pdata, addend);
1582 : 0 : return 0;
1583 : : }
1584 : :
1585 : : static int
1586 : 0 : axgbe_timesync_adjust_time(struct rte_eth_dev *dev, int64_t delta)
1587 : : {
1588 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1589 : : struct timespec timestamp_delta;
1590 : :
1591 : 0 : axgbe_adjfreq(pdata, delta);
1592 : 0 : pdata->systime_tc.nsec += delta;
1593 : :
1594 [ # # ]: 0 : if (delta < 0) {
1595 : 0 : delta = -delta;
1596 : 0 : timestamp_delta = rte_ns_to_timespec(delta);
1597 : 0 : axgbe_update_tstamp_time(pdata, timestamp_delta.tv_sec,
1598 : : timestamp_delta.tv_nsec, 1);
1599 : : } else {
1600 : : timestamp_delta = rte_ns_to_timespec(delta);
1601 : 0 : axgbe_update_tstamp_time(pdata, timestamp_delta.tv_sec,
1602 : : timestamp_delta.tv_nsec, 0);
1603 : : }
1604 : 0 : return 0;
1605 : : }
1606 : :
1607 : : static int
1608 : 0 : axgbe_timesync_read_time(struct rte_eth_dev *dev,
1609 : : struct timespec *timestamp)
1610 : : {
1611 : : uint64_t nsec;
1612 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1613 : :
1614 : 0 : nsec = AXGMAC_IOREAD(pdata, MAC_STSR);
1615 : 0 : nsec *= NSEC_PER_SEC;
1616 [ # # ]: 0 : nsec += AXGMAC_IOREAD(pdata, MAC_STNR);
1617 : 0 : *timestamp = rte_ns_to_timespec(nsec);
1618 : 0 : return 0;
1619 : : }
1620 : : static int
1621 : 0 : axgbe_timesync_write_time(struct rte_eth_dev *dev,
1622 : : const struct timespec *timestamp)
1623 : : {
1624 : : unsigned int count = 100;
1625 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1626 : :
1627 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, timestamp->tv_sec);
1628 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, timestamp->tv_nsec);
1629 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSUPDT, 1);
1630 : : /* Wait for time update to complete */
1631 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSUPDT))
1632 : : rte_delay_ms(1);
1633 [ # # ]: 0 : if (!count)
1634 : 0 : PMD_DRV_LOG_LINE(ERR, "Timed out update timestamp");
1635 : 0 : return 0;
1636 : : }
1637 : :
1638 : : static void
1639 : 0 : axgbe_update_tstamp_addend(struct axgbe_port *pdata,
1640 : : uint32_t addend)
1641 : : {
1642 : : unsigned int count = 100;
1643 : :
1644 : 0 : AXGMAC_IOWRITE(pdata, MAC_TSAR, addend);
1645 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSADDREG, 1);
1646 : :
1647 : : /* Wait for addend update to complete */
1648 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSADDREG))
1649 : : rte_delay_ms(1);
1650 [ # # ]: 0 : if (!count)
1651 : 0 : PMD_DRV_LOG_LINE(ERR, "Timed out updating timestamp addend register");
1652 : 0 : }
1653 : :
1654 : : static void
1655 : 0 : axgbe_set_tstamp_time(struct axgbe_port *pdata, unsigned int sec,
1656 : : unsigned int nsec)
1657 : : {
1658 : : unsigned int count = 100;
1659 : :
1660 : : /*System Time Sec Update*/
1661 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, sec);
1662 : : /*System Time nanoSec Update*/
1663 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, nsec);
1664 : : /*Initialize Timestamp*/
1665 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSINIT, 1);
1666 : :
1667 : : /* Wait for time update to complete */
1668 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSINIT))
1669 : : rte_delay_ms(1);
1670 [ # # ]: 0 : if (!count)
1671 : 0 : PMD_DRV_LOG_LINE(ERR, "Timed out initializing timestamp");
1672 : 0 : }
1673 : :
1674 : : static int
1675 : 0 : axgbe_timesync_enable(struct rte_eth_dev *dev)
1676 : : {
1677 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1678 : : unsigned int mac_tscr = 0;
1679 : : uint64_t dividend;
1680 : : struct timespec timestamp;
1681 : : uint64_t nsec;
1682 : :
1683 : : /* Set one nano-second accuracy */
1684 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSCTRLSSR, 1);
1685 : :
1686 : : /* Set fine timestamp update */
1687 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSCFUPDT, 1);
1688 : :
1689 : : /* Overwrite earlier timestamps */
1690 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TXTSSTSM, 1);
1691 : :
1692 : 0 : AXGMAC_IOWRITE(pdata, MAC_TSCR, mac_tscr);
1693 : :
1694 : : /* Enabling processing of ptp over eth pkt */
1695 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSIPENA, 1);
1696 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSVER2ENA, 1);
1697 : : /* Enable timestamp for all pkts*/
1698 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENALL, 1);
1699 : :
1700 : : /* enabling timestamp */
1701 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENA, 1);
1702 : 0 : AXGMAC_IOWRITE(pdata, MAC_TSCR, mac_tscr);
1703 : :
1704 : : /* Exit if timestamping is not enabled */
1705 : : if (!AXGMAC_GET_BITS(mac_tscr, MAC_TSCR, TSENA)) {
1706 : : PMD_DRV_LOG_LINE(ERR, "Exiting as timestamp is not enabled");
1707 : : return 0;
1708 : : }
1709 : :
1710 : : /* Sub-second Increment Value*/
1711 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_SSIR, SSINC, AXGBE_TSTAMP_SSINC);
1712 : : /* Sub-nanosecond Increment Value */
1713 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_SSIR, SNSINC, AXGBE_TSTAMP_SNSINC);
1714 : :
1715 : 0 : pdata->ptpclk_rate = AXGBE_V2_PTP_CLOCK_FREQ;
1716 : : dividend = 50000000;
1717 : : dividend <<= 32;
1718 : 0 : pdata->tstamp_addend = div_u64(dividend, pdata->ptpclk_rate);
1719 : :
1720 : 0 : axgbe_update_tstamp_addend(pdata, pdata->tstamp_addend);
1721 : 0 : axgbe_set_tstamp_time(pdata, 0, 0);
1722 : :
1723 : : /* Initialize the timecounter */
1724 : 0 : memset(&pdata->systime_tc, 0, sizeof(struct rte_timecounter));
1725 : :
1726 : 0 : pdata->systime_tc.cc_mask = AXGBE_CYCLECOUNTER_MASK;
1727 : : pdata->systime_tc.cc_shift = 0;
1728 : : pdata->systime_tc.nsec_mask = 0;
1729 : :
1730 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Initializing system time counter with realtime");
1731 : :
1732 : : /* Updating the counter once with clock real time */
1733 : 0 : clock_gettime(CLOCK_REALTIME, ×tamp);
1734 : : nsec = rte_timespec_to_ns(×tamp);
1735 : : nsec = rte_timecounter_update(&pdata->systime_tc, nsec);
1736 : 0 : axgbe_set_tstamp_time(pdata, timestamp.tv_sec, timestamp.tv_nsec);
1737 : : return 0;
1738 : : }
1739 : :
1740 : : static int
1741 : 0 : axgbe_timesync_disable(struct rte_eth_dev *dev)
1742 : : {
1743 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1744 : : unsigned int mac_tscr = 0;
1745 : :
1746 : : /*disable timestamp for all pkts*/
1747 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENALL, 0);
1748 : : /*disable the addened register*/
1749 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSADDREG, 0);
1750 : : /* disable timestamp update */
1751 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSCFUPDT, 0);
1752 : : /*disable time stamp*/
1753 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENA, 0);
1754 : 0 : return 0;
1755 : : }
1756 : :
1757 : : static int
1758 : 0 : axgbe_timesync_read_rx_timestamp(struct rte_eth_dev *dev,
1759 : : struct timespec *timestamp, uint32_t flags)
1760 : : {
1761 : : uint64_t nsec = 0;
1762 : : volatile union axgbe_rx_desc *desc;
1763 : : uint16_t idx, pmt;
1764 : 0 : struct axgbe_rx_queue *rxq = *dev->data->rx_queues;
1765 : :
1766 : 0 : idx = AXGBE_GET_DESC_IDX(rxq, rxq->cur);
1767 : 0 : desc = &rxq->desc[idx];
1768 : :
1769 [ # # ]: 0 : while (AXGMAC_GET_BITS_LE(desc->write.desc3, RX_NORMAL_DESC3, OWN))
1770 : : rte_delay_ms(1);
1771 [ # # ]: 0 : if (AXGMAC_GET_BITS_LE(desc->write.desc3, RX_NORMAL_DESC3, CTXT)) {
1772 [ # # ]: 0 : if (AXGMAC_GET_BITS_LE(desc->write.desc3, RX_CONTEXT_DESC3, TSA) &&
1773 [ # # ]: 0 : !AXGMAC_GET_BITS_LE(desc->write.desc3,
1774 : : RX_CONTEXT_DESC3, TSD)) {
1775 : 0 : pmt = AXGMAC_GET_BITS_LE(desc->write.desc3,
1776 : : RX_CONTEXT_DESC3, PMT);
1777 : 0 : nsec = rte_le_to_cpu_32(desc->write.desc1);
1778 : 0 : nsec *= NSEC_PER_SEC;
1779 : 0 : nsec += rte_le_to_cpu_32(desc->write.desc0);
1780 : : if (nsec != 0xffffffffffffffffULL) {
1781 [ # # ]: 0 : if (pmt == 0x01)
1782 : 0 : *timestamp = rte_ns_to_timespec(nsec);
1783 : 0 : PMD_DRV_LOG_LINE(DEBUG,
1784 : : "flags = 0x%x nsec = %"PRIu64,
1785 : : flags, nsec);
1786 : : }
1787 : : }
1788 : : }
1789 : :
1790 : 0 : return 0;
1791 : : }
1792 : :
1793 : : static int
1794 : 0 : axgbe_timesync_read_tx_timestamp(struct rte_eth_dev *dev,
1795 : : struct timespec *timestamp)
1796 : : {
1797 : : uint64_t nsec;
1798 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1799 : : unsigned int tx_snr, tx_ssr;
1800 : :
1801 : 0 : rte_delay_us(5);
1802 [ # # ]: 0 : if (pdata->vdata->tx_tstamp_workaround) {
1803 : 0 : tx_snr = AXGMAC_IOREAD(pdata, MAC_TXSNR);
1804 : 0 : tx_ssr = AXGMAC_IOREAD(pdata, MAC_TXSSR);
1805 : :
1806 : : } else {
1807 : 0 : tx_ssr = AXGMAC_IOREAD(pdata, MAC_TXSSR);
1808 : 0 : tx_snr = AXGMAC_IOREAD(pdata, MAC_TXSNR);
1809 : : }
1810 [ # # ]: 0 : if (AXGMAC_GET_BITS(tx_snr, MAC_TXSNR, TXTSSTSMIS)) {
1811 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Waiting for TXTSSTSMIS");
1812 : 0 : return 0;
1813 : : }
1814 : 0 : nsec = tx_ssr;
1815 : 0 : nsec *= NSEC_PER_SEC;
1816 : 0 : nsec += tx_snr;
1817 : 0 : PMD_DRV_LOG_LINE(DEBUG, "nsec = %"PRIu64" tx_ssr = %d tx_snr = %d",
1818 : : nsec, tx_ssr, tx_snr);
1819 : 0 : *timestamp = rte_ns_to_timespec(nsec);
1820 : 0 : return 0;
1821 : : }
1822 : :
1823 : : static int
1824 : 0 : axgbe_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vid, int on)
1825 : : {
1826 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1827 : : unsigned long vid_bit, vid_idx;
1828 : :
1829 : 0 : vid_bit = VLAN_TABLE_BIT(vid);
1830 : 0 : vid_idx = VLAN_TABLE_IDX(vid);
1831 : :
1832 [ # # ]: 0 : if (on) {
1833 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Set VLAN vid=%d for device = %s",
1834 : : vid, pdata->eth_dev->device->name);
1835 : 0 : pdata->active_vlans[vid_idx] |= vid_bit;
1836 : : } else {
1837 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Reset VLAN vid=%d for device = %s",
1838 : : vid, pdata->eth_dev->device->name);
1839 : 0 : pdata->active_vlans[vid_idx] &= ~vid_bit;
1840 : : }
1841 : 0 : pdata->hw_if.update_vlan_hash_table(pdata);
1842 : 0 : return 0;
1843 : : }
1844 : :
1845 : : static int
1846 : 0 : axgbe_vlan_tpid_set(struct rte_eth_dev *dev,
1847 : : enum rte_vlan_type vlan_type,
1848 : : uint16_t tpid)
1849 : : {
1850 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1851 : : uint32_t reg = 0;
1852 : : uint32_t qinq = 0;
1853 : :
1854 : 0 : qinq = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, EDVLP);
1855 : 0 : PMD_DRV_LOG_LINE(DEBUG, "EDVLP: qinq = 0x%x", qinq);
1856 : :
1857 [ # # # # : 0 : switch (vlan_type) {
# ]
1858 : 0 : case RTE_ETH_VLAN_TYPE_INNER:
1859 : 0 : PMD_DRV_LOG_LINE(DEBUG, "RTE_ETH_VLAN_TYPE_INNER");
1860 [ # # ]: 0 : if (qinq) {
1861 [ # # ]: 0 : if (tpid != 0x8100 && tpid != 0x88a8)
1862 : 0 : PMD_DRV_LOG_LINE(ERR,
1863 : : "tag supported 0x8100/0x88A8");
1864 : 0 : PMD_DRV_LOG_LINE(DEBUG, "qinq with inner tag");
1865 : :
1866 : : /*Enable Inner VLAN Tag */
1867 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, ERIVLT, 1);
1868 : 0 : reg = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, ERIVLT);
1869 : 0 : PMD_DRV_LOG_LINE(DEBUG, "bit ERIVLT = 0x%x", reg);
1870 : :
1871 : : } else {
1872 : 0 : PMD_DRV_LOG_LINE(ERR,
1873 : : "Inner type not supported in single tag");
1874 : : }
1875 : : break;
1876 : 0 : case RTE_ETH_VLAN_TYPE_OUTER:
1877 : 0 : PMD_DRV_LOG_LINE(DEBUG, "RTE_ETH_VLAN_TYPE_OUTER");
1878 [ # # ]: 0 : if (qinq) {
1879 : 0 : PMD_DRV_LOG_LINE(DEBUG, "double tagging is enabled");
1880 : : /*Enable outer VLAN tag*/
1881 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, ERIVLT, 0);
1882 : 0 : reg = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, ERIVLT);
1883 : 0 : PMD_DRV_LOG_LINE(DEBUG, "bit ERIVLT = 0x%x", reg);
1884 : :
1885 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANIR, CSVL, 1);
1886 : 0 : reg = AXGMAC_IOREAD_BITS(pdata, MAC_VLANIR, CSVL);
1887 : 0 : PMD_DRV_LOG_LINE(DEBUG, "bit CSVL = 0x%x", reg);
1888 : : } else {
1889 [ # # ]: 0 : if (tpid != 0x8100 && tpid != 0x88a8)
1890 : 0 : PMD_DRV_LOG_LINE(ERR,
1891 : : "tag supported 0x8100/0x88A8");
1892 : : }
1893 : : break;
1894 : 0 : case RTE_ETH_VLAN_TYPE_MAX:
1895 : 0 : PMD_DRV_LOG_LINE(ERR, "RTE_ETH_VLAN_TYPE_MAX");
1896 : 0 : break;
1897 : 0 : case RTE_ETH_VLAN_TYPE_UNKNOWN:
1898 : 0 : PMD_DRV_LOG_LINE(ERR, "RTE_ETH_VLAN_TYPE_UNKNOWN");
1899 : 0 : break;
1900 : : }
1901 : 0 : return 0;
1902 : : }
1903 : :
1904 : 0 : static void axgbe_vlan_extend_enable(struct axgbe_port *pdata)
1905 : : {
1906 : : int qinq = 0;
1907 : :
1908 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, EDVLP, 1);
1909 : 0 : qinq = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, EDVLP);
1910 : 0 : PMD_DRV_LOG_LINE(DEBUG, "vlan double tag enabled EDVLP:qinq=0x%x", qinq);
1911 : 0 : }
1912 : :
1913 : 0 : static void axgbe_vlan_extend_disable(struct axgbe_port *pdata)
1914 : : {
1915 : : int qinq = 0;
1916 : :
1917 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, EDVLP, 0);
1918 : 0 : qinq = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, EDVLP);
1919 : 0 : PMD_DRV_LOG_LINE(DEBUG, "vlan double tag disable EDVLP:qinq=0x%x", qinq);
1920 : 0 : }
1921 : :
1922 : : static int
1923 : 0 : axgbe_vlan_offload_set(struct rte_eth_dev *dev, int mask)
1924 : : {
1925 : 0 : struct rte_eth_rxmode *rxmode = &dev->data->dev_conf.rxmode;
1926 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1927 : :
1928 : : /* Indicate that VLAN Tx CTAGs come from context descriptors */
1929 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANIR, CSVL, 0);
1930 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANIR, VLTI, 1);
1931 : :
1932 [ # # ]: 0 : if (mask & RTE_ETH_VLAN_STRIP_MASK) {
1933 [ # # ]: 0 : if (rxmode->offloads & RTE_ETH_RX_OFFLOAD_VLAN_STRIP) {
1934 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Strip ON for device = %s",
1935 : : pdata->eth_dev->device->name);
1936 : 0 : pdata->hw_if.enable_rx_vlan_stripping(pdata);
1937 : : } else {
1938 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Strip OFF for device = %s",
1939 : : pdata->eth_dev->device->name);
1940 : 0 : pdata->hw_if.disable_rx_vlan_stripping(pdata);
1941 : : }
1942 : : }
1943 [ # # ]: 0 : if (mask & RTE_ETH_VLAN_FILTER_MASK) {
1944 [ # # ]: 0 : if (rxmode->offloads & RTE_ETH_RX_OFFLOAD_VLAN_FILTER) {
1945 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Filter ON for device = %s",
1946 : : pdata->eth_dev->device->name);
1947 : 0 : pdata->hw_if.enable_rx_vlan_filtering(pdata);
1948 : : } else {
1949 : 0 : PMD_DRV_LOG_LINE(DEBUG, "Filter OFF for device = %s",
1950 : : pdata->eth_dev->device->name);
1951 : 0 : pdata->hw_if.disable_rx_vlan_filtering(pdata);
1952 : : }
1953 : : }
1954 [ # # ]: 0 : if (mask & RTE_ETH_VLAN_EXTEND_MASK) {
1955 [ # # ]: 0 : if (rxmode->offloads & RTE_ETH_RX_OFFLOAD_VLAN_EXTEND) {
1956 : 0 : PMD_DRV_LOG_LINE(DEBUG, "enabling vlan extended mode");
1957 : 0 : axgbe_vlan_extend_enable(pdata);
1958 : : /* Set global registers with default ethertype*/
1959 : 0 : axgbe_vlan_tpid_set(dev, RTE_ETH_VLAN_TYPE_OUTER,
1960 : : RTE_ETHER_TYPE_VLAN);
1961 : 0 : axgbe_vlan_tpid_set(dev, RTE_ETH_VLAN_TYPE_INNER,
1962 : : RTE_ETHER_TYPE_VLAN);
1963 : : } else {
1964 : 0 : PMD_DRV_LOG_LINE(DEBUG, "disabling vlan extended mode");
1965 : 0 : axgbe_vlan_extend_disable(pdata);
1966 : : }
1967 : : }
1968 : 0 : return 0;
1969 : : }
1970 : :
1971 : 0 : static void axgbe_get_all_hw_features(struct axgbe_port *pdata)
1972 : : {
1973 : : unsigned int mac_hfr0, mac_hfr1, mac_hfr2, mac_hfr3;
1974 : 0 : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
1975 : :
1976 : 0 : mac_hfr0 = AXGMAC_IOREAD(pdata, MAC_HWF0R);
1977 : 0 : mac_hfr1 = AXGMAC_IOREAD(pdata, MAC_HWF1R);
1978 : 0 : mac_hfr2 = AXGMAC_IOREAD(pdata, MAC_HWF2R);
1979 : 0 : mac_hfr3 = AXGMAC_IOREAD(pdata, MAC_HWF3R);
1980 : :
1981 : : memset(hw_feat, 0, sizeof(*hw_feat));
1982 : :
1983 : 0 : hw_feat->version = AXGMAC_IOREAD(pdata, MAC_VR);
1984 : :
1985 : : /* Hardware feature register 0 */
1986 : 0 : hw_feat->gmii = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, GMIISEL);
1987 : 0 : hw_feat->vlhash = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, VLHASH);
1988 : 0 : hw_feat->sma = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, SMASEL);
1989 : 0 : hw_feat->rwk = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, RWKSEL);
1990 : 0 : hw_feat->mgk = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, MGKSEL);
1991 : 0 : hw_feat->mmc = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, MMCSEL);
1992 : 0 : hw_feat->aoe = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, ARPOFFSEL);
1993 : 0 : hw_feat->ts = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, TSSEL);
1994 : 0 : hw_feat->eee = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, EEESEL);
1995 : 0 : hw_feat->tx_coe = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, TXCOESEL);
1996 : 0 : hw_feat->rx_coe = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, RXCOESEL);
1997 : 0 : hw_feat->addn_mac = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R,
1998 : : ADDMACADRSEL);
1999 : 0 : hw_feat->ts_src = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, TSSTSSEL);
2000 : 0 : hw_feat->sa_vlan_ins = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, SAVLANINS);
2001 : :
2002 : : /* Hardware feature register 1 */
2003 : 0 : hw_feat->rx_fifo_size = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
2004 : : RXFIFOSIZE);
2005 : 0 : hw_feat->tx_fifo_size = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
2006 : : TXFIFOSIZE);
2007 : 0 : hw_feat->adv_ts_hi = AXGMAC_GET_BITS(mac_hfr1,
2008 : : MAC_HWF1R, ADVTHWORD);
2009 : 0 : hw_feat->dma_width = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, ADDR64);
2010 : 0 : hw_feat->dcb = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, DCBEN);
2011 : 0 : hw_feat->sph = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, SPHEN);
2012 : 0 : hw_feat->tso = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, TSOEN);
2013 : 0 : hw_feat->dma_debug = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, DBGMEMA);
2014 : 0 : hw_feat->rss = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, RSSEN);
2015 : 0 : hw_feat->tc_cnt = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, NUMTC);
2016 : 0 : hw_feat->hash_table_size = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
2017 : : HASHTBLSZ);
2018 : 0 : hw_feat->l3l4_filter_num = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
2019 : : L3L4FNUM);
2020 : :
2021 : : /* Hardware feature register 2 */
2022 : 0 : hw_feat->rx_q_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, RXQCNT);
2023 : 0 : hw_feat->tx_q_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, TXQCNT);
2024 : 0 : hw_feat->rx_ch_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, RXCHCNT);
2025 : 0 : hw_feat->tx_ch_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, TXCHCNT);
2026 : 0 : hw_feat->pps_out_num = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, PPSOUTNUM);
2027 : 0 : hw_feat->aux_snap_num = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R,
2028 : : AUXSNAPNUM);
2029 : :
2030 : : /* Hardware feature register 3 */
2031 : 0 : hw_feat->tx_q_vlan_tag_ins = AXGMAC_GET_BITS(mac_hfr3,
2032 : : MAC_HWF3R, CBTISEL);
2033 : 0 : hw_feat->no_of_vlan_extn = AXGMAC_GET_BITS(mac_hfr3,
2034 : : MAC_HWF3R, NRVF);
2035 : :
2036 : : /* Translate the Hash Table size into actual number */
2037 [ # # # # ]: 0 : switch (hw_feat->hash_table_size) {
2038 : : case 0:
2039 : : break;
2040 : 0 : case 1:
2041 : 0 : hw_feat->hash_table_size = 64;
2042 : 0 : break;
2043 : 0 : case 2:
2044 : 0 : hw_feat->hash_table_size = 128;
2045 : 0 : break;
2046 : 0 : case 3:
2047 : 0 : hw_feat->hash_table_size = 256;
2048 : 0 : break;
2049 : : }
2050 : :
2051 : : /* Translate the address width setting into actual number */
2052 [ # # # # ]: 0 : switch (hw_feat->dma_width) {
2053 : 0 : case 0:
2054 : 0 : hw_feat->dma_width = 32;
2055 : 0 : break;
2056 : 0 : case 1:
2057 : 0 : hw_feat->dma_width = 40;
2058 : 0 : break;
2059 : 0 : case 2:
2060 : 0 : hw_feat->dma_width = 48;
2061 : 0 : break;
2062 : 0 : default:
2063 : 0 : hw_feat->dma_width = 32;
2064 : : }
2065 : :
2066 : : /* The Queue, Channel and TC counts are zero based so increment them
2067 : : * to get the actual number
2068 : : */
2069 : 0 : hw_feat->rx_q_cnt++;
2070 : 0 : hw_feat->tx_q_cnt++;
2071 : 0 : hw_feat->rx_ch_cnt++;
2072 : 0 : hw_feat->tx_ch_cnt++;
2073 : 0 : hw_feat->tc_cnt++;
2074 : :
2075 : : /* Translate the fifo sizes into actual numbers */
2076 : 0 : hw_feat->rx_fifo_size = 1 << (hw_feat->rx_fifo_size + 7);
2077 : 0 : hw_feat->tx_fifo_size = 1 << (hw_feat->tx_fifo_size + 7);
2078 : 0 : }
2079 : :
2080 : 0 : static void axgbe_init_all_fptrs(struct axgbe_port *pdata)
2081 : : {
2082 : 0 : axgbe_init_function_ptrs_dev(&pdata->hw_if);
2083 : 0 : axgbe_init_function_ptrs_phy(&pdata->phy_if);
2084 : 0 : axgbe_init_function_ptrs_i2c(&pdata->i2c_if);
2085 : 0 : pdata->vdata->init_function_ptrs_phy_impl(&pdata->phy_if);
2086 : 0 : }
2087 : :
2088 : 0 : static void axgbe_set_counts(struct axgbe_port *pdata)
2089 : : {
2090 : : /* Set all the function pointers */
2091 : 0 : axgbe_init_all_fptrs(pdata);
2092 : :
2093 : : /* Populate the hardware features */
2094 : 0 : axgbe_get_all_hw_features(pdata);
2095 : :
2096 : : /* Set default max values if not provided */
2097 [ # # ]: 0 : if (!pdata->tx_max_channel_count)
2098 : 0 : pdata->tx_max_channel_count = pdata->hw_feat.tx_ch_cnt;
2099 [ # # ]: 0 : if (!pdata->rx_max_channel_count)
2100 : 0 : pdata->rx_max_channel_count = pdata->hw_feat.rx_ch_cnt;
2101 : :
2102 [ # # ]: 0 : if (!pdata->tx_max_q_count)
2103 : 0 : pdata->tx_max_q_count = pdata->hw_feat.tx_q_cnt;
2104 [ # # ]: 0 : if (!pdata->rx_max_q_count)
2105 : 0 : pdata->rx_max_q_count = pdata->hw_feat.rx_q_cnt;
2106 : :
2107 : : /* Calculate the number of Tx and Rx rings to be created
2108 : : * -Tx (DMA) Channels map 1-to-1 to Tx Queues so set
2109 : : * the number of Tx queues to the number of Tx channels
2110 : : * enabled
2111 : : * -Rx (DMA) Channels do not map 1-to-1 so use the actual
2112 : : * number of Rx queues or maximum allowed
2113 : : */
2114 : 0 : pdata->tx_ring_count = RTE_MIN(pdata->hw_feat.tx_ch_cnt,
2115 : : pdata->tx_max_channel_count);
2116 : 0 : pdata->tx_ring_count = RTE_MIN(pdata->tx_ring_count,
2117 : : pdata->tx_max_q_count);
2118 : :
2119 : 0 : pdata->tx_q_count = pdata->tx_ring_count;
2120 : :
2121 : 0 : pdata->rx_ring_count = RTE_MIN(pdata->hw_feat.rx_ch_cnt,
2122 : : pdata->rx_max_channel_count);
2123 : :
2124 : 0 : pdata->rx_q_count = RTE_MIN(pdata->hw_feat.rx_q_cnt,
2125 : : pdata->rx_max_q_count);
2126 : 0 : }
2127 : :
2128 : : static void axgbe_default_config(struct axgbe_port *pdata)
2129 : : {
2130 : 0 : pdata->pblx8 = DMA_PBL_X8_ENABLE;
2131 : 0 : pdata->tx_sf_mode = MTL_TSF_ENABLE;
2132 : 0 : pdata->tx_threshold = MTL_TX_THRESHOLD_64;
2133 : 0 : pdata->tx_pbl = DMA_PBL_32;
2134 : 0 : pdata->tx_osp_mode = DMA_OSP_ENABLE;
2135 : 0 : pdata->rx_sf_mode = MTL_RSF_ENABLE;
2136 : 0 : pdata->rx_threshold = MTL_RX_THRESHOLD_64;
2137 : 0 : pdata->rx_pbl = DMA_PBL_32;
2138 : 0 : pdata->pause_autoneg = 1;
2139 : 0 : pdata->tx_pause = 0;
2140 : 0 : pdata->rx_pause = 0;
2141 : 0 : pdata->phy_speed = SPEED_UNKNOWN;
2142 : 0 : pdata->power_down = 0;
2143 : : }
2144 : :
2145 : : /* Used in dev_start by primary process and then
2146 : : * in dev_init by secondary process when attaching to an existing ethdev.
2147 : : */
2148 : : void
2149 : 0 : axgbe_set_tx_function(struct rte_eth_dev *dev)
2150 : : {
2151 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
2152 : :
2153 : 0 : dev->tx_pkt_burst = &axgbe_xmit_pkts;
2154 : :
2155 [ # # ]: 0 : if (pdata->multi_segs_tx)
2156 : 0 : dev->tx_pkt_burst = &axgbe_xmit_pkts_seg;
2157 : : #ifdef RTE_ARCH_X86
2158 : 0 : struct axgbe_tx_queue *txq = dev->data->tx_queues[0];
2159 [ # # # # ]: 0 : if (!txq->vector_disable &&
2160 : 0 : rte_vect_get_max_simd_bitwidth() >= RTE_VECT_SIMD_128)
2161 : 0 : dev->tx_pkt_burst = &axgbe_xmit_pkts_vec;
2162 : : #endif
2163 : 0 : }
2164 : :
2165 : : void
2166 : 0 : axgbe_set_rx_function(struct rte_eth_dev *dev)
2167 : : {
2168 : 0 : struct rte_eth_dev_data *dev_data = dev->data;
2169 : : uint16_t max_pkt_len;
2170 : : struct axgbe_port *pdata;
2171 : :
2172 : 0 : pdata = dev->data->dev_private;
2173 : 0 : max_pkt_len = dev_data->mtu + RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN;
2174 [ # # ]: 0 : if ((dev_data->dev_conf.rxmode.offloads & RTE_ETH_RX_OFFLOAD_SCATTER) ||
2175 [ # # ]: 0 : max_pkt_len > pdata->rx_buf_size)
2176 : 0 : dev_data->scattered_rx = 1;
2177 : : /* Scatter Rx handling */
2178 [ # # ]: 0 : if (dev_data->scattered_rx)
2179 : 0 : dev->rx_pkt_burst = ð_axgbe_recv_scattered_pkts;
2180 : : else
2181 : 0 : dev->rx_pkt_burst = &axgbe_recv_pkts;
2182 : 0 : }
2183 : :
2184 : : /*
2185 : : * It returns 0 on success.
2186 : : */
2187 : : static int
2188 : 0 : eth_axgbe_dev_init(struct rte_eth_dev *eth_dev)
2189 : : {
2190 : : PMD_INIT_FUNC_TRACE();
2191 : : struct axgbe_port *pdata;
2192 : : struct rte_pci_device *pci_dev;
2193 : : uint32_t reg, mac_lo, mac_hi;
2194 : : uint32_t len;
2195 : : int ret;
2196 : :
2197 : : unsigned int eax = 0, ebx = 0, ecx = 0, edx = 0;
2198 : : unsigned char cpu_family = 0, cpu_model = 0;
2199 : :
2200 : 0 : eth_dev->dev_ops = &axgbe_eth_dev_ops;
2201 : :
2202 : 0 : eth_dev->rx_descriptor_status = axgbe_dev_rx_descriptor_status;
2203 : 0 : eth_dev->tx_descriptor_status = axgbe_dev_tx_descriptor_status;
2204 : :
2205 : 0 : eth_dev->tx_pkt_burst = &axgbe_xmit_pkts;
2206 : 0 : eth_dev->rx_pkt_burst = &axgbe_recv_pkts;
2207 : :
2208 : : /*
2209 : : * For secondary processes, we don't initialise any further as primary
2210 : : * has already done this work.
2211 : : */
2212 [ # # ]: 0 : if (rte_eal_process_type() != RTE_PROC_PRIMARY) {
2213 : 0 : axgbe_set_tx_function(eth_dev);
2214 : 0 : axgbe_set_rx_function(eth_dev);
2215 : 0 : return 0;
2216 : : }
2217 : :
2218 : 0 : eth_dev->data->dev_flags |= RTE_ETH_DEV_AUTOFILL_QUEUE_XSTATS;
2219 : :
2220 [ # # ]: 0 : pdata = eth_dev->data->dev_private;
2221 : : /* initial state */
2222 : : rte_bit_relaxed_set32(AXGBE_DOWN, &pdata->dev_state);
2223 : : rte_bit_relaxed_set32(AXGBE_STOPPED, &pdata->dev_state);
2224 : 0 : pdata->eth_dev = eth_dev;
2225 : :
2226 : 0 : pci_dev = RTE_DEV_TO_PCI(eth_dev->device);
2227 : 0 : pdata->pci_dev = pci_dev;
2228 : :
2229 : 0 : pdata->xgmac_regs =
2230 : 0 : (void *)pci_dev->mem_resource[AXGBE_AXGMAC_BAR].addr;
2231 : 0 : pdata->xprop_regs = (void *)((uint8_t *)pdata->xgmac_regs
2232 : : + AXGBE_MAC_PROP_OFFSET);
2233 : 0 : pdata->xi2c_regs = (void *)((uint8_t *)pdata->xgmac_regs
2234 : : + AXGBE_I2C_CTRL_OFFSET);
2235 : 0 : pdata->xpcs_regs = (void *)pci_dev->mem_resource[AXGBE_XPCS_BAR].addr;
2236 : :
2237 : : /* version specific driver data*/
2238 [ # # ]: 0 : if (pci_dev->id.device_id == AMD_PCI_AXGBE_DEVICE_V2A)
2239 : 0 : pdata->vdata = &axgbe_v2a;
2240 : : else
2241 : 0 : pdata->vdata = &axgbe_v2b;
2242 : :
2243 : : /*
2244 : : * Use CPUID to get Family and model ID to identify the CPU
2245 : : */
2246 : 0 : __cpuid(0x0, eax, ebx, ecx, edx);
2247 : :
2248 : 0 : if (ebx == CPUID_VENDOR_AuthenticAMD_ebx &&
2249 [ # # # # ]: 0 : edx == CPUID_VENDOR_AuthenticAMD_edx &&
2250 : : ecx == CPUID_VENDOR_AuthenticAMD_ecx) {
2251 : : int unknown_cpu = 0;
2252 : : eax = 0, ebx = 0, ecx = 0, edx = 0;
2253 : :
2254 : 0 : __cpuid(0x1, eax, ebx, ecx, edx);
2255 : :
2256 : 0 : cpu_family = ((GET_BITS(eax, 8, 4)) + (GET_BITS(eax, 20, 8)));
2257 : 0 : cpu_model = ((GET_BITS(eax, 4, 4)) | (((GET_BITS(eax, 16, 4)) << 4) & 0xF0));
2258 : :
2259 [ # # # ]: 0 : switch (cpu_family) {
2260 : 0 : case Fam17h:
2261 : : /* V1000/R1000 */
2262 [ # # ]: 0 : if (cpu_model >= 0x10 && cpu_model <= 0x1F) {
2263 : 0 : pdata->xpcs_window_def_reg = PCS_V2_RV_WINDOW_DEF;
2264 : 0 : pdata->xpcs_window_sel_reg = PCS_V2_RV_WINDOW_SELECT;
2265 : : /* EPYC 3000 */
2266 [ # # ]: 0 : } else if (cpu_model >= 0x01 && cpu_model <= 0x0F) {
2267 : 0 : pdata->xpcs_window_def_reg = PCS_V2_WINDOW_DEF;
2268 : 0 : pdata->xpcs_window_sel_reg = PCS_V2_WINDOW_SELECT;
2269 : : } else {
2270 : : unknown_cpu = 1;
2271 : : }
2272 : : break;
2273 : 0 : case Fam19h:
2274 : : /* V3000 (Yellow Carp) */
2275 [ # # ]: 0 : if (cpu_model >= 0x44 && cpu_model <= 0x47) {
2276 : 0 : pdata->xpcs_window_def_reg = PCS_V2_YC_WINDOW_DEF;
2277 : 0 : pdata->xpcs_window_sel_reg = PCS_V2_YC_WINDOW_SELECT;
2278 : :
2279 : : /* Yellow Carp devices do not need cdr workaround */
2280 : 0 : pdata->vdata->an_cdr_workaround = 0;
2281 : :
2282 : : /* Yellow Carp devices do not need rrc */
2283 : 0 : pdata->vdata->enable_rrc = 0;
2284 : : } else {
2285 : : unknown_cpu = 1;
2286 : : }
2287 : : break;
2288 : : default:
2289 : : unknown_cpu = 1;
2290 : : break;
2291 : : }
2292 : : if (unknown_cpu) {
2293 : 0 : PMD_DRV_LOG_LINE(ERR, "Unknown CPU family, no supported axgbe device found");
2294 : 0 : return -ENODEV;
2295 : : }
2296 : : }
2297 : :
2298 : : /* Configure the PCS indirect addressing support */
2299 : 0 : reg = XPCS32_IOREAD(pdata, pdata->xpcs_window_def_reg);
2300 : 0 : pdata->xpcs_window = XPCS_GET_BITS(reg, PCS_V2_WINDOW_DEF, OFFSET);
2301 : 0 : pdata->xpcs_window <<= 6;
2302 : 0 : pdata->xpcs_window_size = XPCS_GET_BITS(reg, PCS_V2_WINDOW_DEF, SIZE);
2303 : 0 : pdata->xpcs_window_size = 1 << (pdata->xpcs_window_size + 7);
2304 : 0 : pdata->xpcs_window_mask = pdata->xpcs_window_size - 1;
2305 : :
2306 : 0 : PMD_INIT_LOG(DEBUG,
2307 : : "xpcs window :%x, size :%x, mask :%x ", pdata->xpcs_window,
2308 : : pdata->xpcs_window_size, pdata->xpcs_window_mask);
2309 : 0 : XP_IOWRITE(pdata, XP_INT_EN, 0x1fffff);
2310 : :
2311 : : /* Retrieve the MAC address */
2312 : 0 : mac_lo = XP_IOREAD(pdata, XP_MAC_ADDR_LO);
2313 : 0 : mac_hi = XP_IOREAD(pdata, XP_MAC_ADDR_HI);
2314 : 0 : pdata->mac_addr.addr_bytes[0] = mac_lo & 0xff;
2315 : 0 : pdata->mac_addr.addr_bytes[1] = (mac_lo >> 8) & 0xff;
2316 : 0 : pdata->mac_addr.addr_bytes[2] = (mac_lo >> 16) & 0xff;
2317 : 0 : pdata->mac_addr.addr_bytes[3] = (mac_lo >> 24) & 0xff;
2318 : 0 : pdata->mac_addr.addr_bytes[4] = mac_hi & 0xff;
2319 : 0 : pdata->mac_addr.addr_bytes[5] = (mac_hi >> 8) & 0xff;
2320 : :
2321 : : len = RTE_ETHER_ADDR_LEN * AXGBE_MAX_MAC_ADDRS;
2322 : 0 : eth_dev->data->mac_addrs = rte_zmalloc("axgbe_mac_addr", len, 0);
2323 : :
2324 [ # # ]: 0 : if (!eth_dev->data->mac_addrs) {
2325 : 0 : PMD_INIT_LOG(ERR,
2326 : : "Failed to alloc %u bytes needed to "
2327 : : "store MAC addresses", len);
2328 : 0 : return -ENOMEM;
2329 : : }
2330 : :
2331 : : /* Allocate memory for storing hash filter MAC addresses */
2332 : : len = RTE_ETHER_ADDR_LEN * AXGBE_MAX_HASH_MAC_ADDRS;
2333 : 0 : eth_dev->data->hash_mac_addrs = rte_zmalloc("axgbe_hash_mac_addr",
2334 : : len, 0);
2335 : :
2336 [ # # ]: 0 : if (eth_dev->data->hash_mac_addrs == NULL) {
2337 : 0 : PMD_INIT_LOG(ERR,
2338 : : "Failed to allocate %d bytes needed to "
2339 : : "store MAC addresses", len);
2340 : 0 : return -ENOMEM;
2341 : : }
2342 : :
2343 : : if (!rte_is_valid_assigned_ether_addr(&pdata->mac_addr))
2344 : 0 : rte_eth_random_addr(pdata->mac_addr.addr_bytes);
2345 : :
2346 : : /* Copy the permanent MAC address */
2347 : 0 : rte_ether_addr_copy(&pdata->mac_addr, ð_dev->data->mac_addrs[0]);
2348 : :
2349 : : /* Clock settings */
2350 : 0 : pdata->sysclk_rate = AXGBE_V2_DMA_CLOCK_FREQ;
2351 : 0 : pdata->ptpclk_rate = AXGBE_V2_PTP_CLOCK_FREQ;
2352 : :
2353 : : /* Set the DMA coherency values */
2354 : 0 : pdata->coherent = 1;
2355 : 0 : pdata->axdomain = AXGBE_DMA_OS_AXDOMAIN;
2356 : 0 : pdata->arcache = AXGBE_DMA_OS_ARCACHE;
2357 : 0 : pdata->awcache = AXGBE_DMA_OS_AWCACHE;
2358 : :
2359 : : /* Read the port property registers */
2360 : 0 : pdata->pp0 = XP_IOREAD(pdata, XP_PROP_0);
2361 : 0 : pdata->pp1 = XP_IOREAD(pdata, XP_PROP_1);
2362 : 0 : pdata->pp2 = XP_IOREAD(pdata, XP_PROP_2);
2363 : 0 : pdata->pp3 = XP_IOREAD(pdata, XP_PROP_3);
2364 : 0 : pdata->pp4 = XP_IOREAD(pdata, XP_PROP_4);
2365 : :
2366 : : /* Set the maximum channels and queues */
2367 : 0 : pdata->tx_max_channel_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_TX_DMA);
2368 : 0 : pdata->rx_max_channel_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_RX_DMA);
2369 : 0 : pdata->tx_max_q_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_TX_QUEUES);
2370 : 0 : pdata->rx_max_q_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_RX_QUEUES);
2371 : :
2372 : : /* Set the hardware channel and queue counts */
2373 : 0 : axgbe_set_counts(pdata);
2374 : :
2375 : : /* Set the maximum fifo amounts */
2376 : 0 : pdata->tx_max_fifo_size = XP_GET_BITS(pdata->pp2, XP_PROP_2, TX_FIFO_SIZE);
2377 : 0 : pdata->tx_max_fifo_size *= 16384;
2378 : 0 : pdata->tx_max_fifo_size = RTE_MIN(pdata->tx_max_fifo_size,
2379 : : pdata->vdata->tx_max_fifo_size);
2380 : 0 : pdata->rx_max_fifo_size = XP_GET_BITS(pdata->pp2, XP_PROP_2, RX_FIFO_SIZE);
2381 : 0 : pdata->rx_max_fifo_size *= 16384;
2382 : 0 : pdata->rx_max_fifo_size = RTE_MIN(pdata->rx_max_fifo_size,
2383 : : pdata->vdata->rx_max_fifo_size);
2384 : : /* Issue software reset to DMA */
2385 : 0 : ret = pdata->hw_if.exit(pdata);
2386 [ # # ]: 0 : if (ret)
2387 : 0 : PMD_DRV_LOG_LINE(ERR, "hw_if->exit EBUSY error");
2388 : :
2389 : : /* Set default configuration data */
2390 : : axgbe_default_config(pdata);
2391 : :
2392 : : /* Set default max values if not provided */
2393 [ # # ]: 0 : if (!pdata->tx_max_fifo_size)
2394 : 0 : pdata->tx_max_fifo_size = pdata->hw_feat.tx_fifo_size;
2395 [ # # ]: 0 : if (!pdata->rx_max_fifo_size)
2396 : 0 : pdata->rx_max_fifo_size = pdata->hw_feat.rx_fifo_size;
2397 : :
2398 : 0 : pdata->tx_desc_count = AXGBE_MAX_RING_DESC;
2399 : 0 : pdata->rx_desc_count = AXGBE_MAX_RING_DESC;
2400 : 0 : pthread_mutex_init(&pdata->xpcs_mutex, NULL);
2401 : 0 : pthread_mutex_init(&pdata->i2c_mutex, NULL);
2402 : 0 : pthread_mutex_init(&pdata->an_mutex, NULL);
2403 : 0 : pthread_mutex_init(&pdata->phy_mutex, NULL);
2404 : :
2405 : 0 : ret = pdata->phy_if.phy_init(pdata);
2406 [ # # ]: 0 : if (ret) {
2407 : 0 : rte_free(eth_dev->data->mac_addrs);
2408 : 0 : eth_dev->data->mac_addrs = NULL;
2409 : 0 : return ret;
2410 : : }
2411 : :
2412 : 0 : rte_intr_callback_register(pci_dev->intr_handle,
2413 : : axgbe_dev_interrupt_handler,
2414 : : (void *)eth_dev);
2415 : 0 : PMD_INIT_LOG(DEBUG, "port %d vendorID=0x%x deviceID=0x%x",
2416 : : eth_dev->data->port_id, pci_dev->id.vendor_id,
2417 : : pci_dev->id.device_id);
2418 : :
2419 : 0 : return 0;
2420 : : }
2421 : :
2422 : : static int
2423 : 0 : axgbe_dev_close(struct rte_eth_dev *eth_dev)
2424 : : {
2425 : : struct rte_pci_device *pci_dev;
2426 : : struct axgbe_port *pdata;
2427 : :
2428 : : PMD_INIT_FUNC_TRACE();
2429 : :
2430 [ # # ]: 0 : if (rte_eal_process_type() != RTE_PROC_PRIMARY)
2431 : : return 0;
2432 : :
2433 : 0 : pdata = eth_dev->data->dev_private;
2434 : 0 : pci_dev = RTE_DEV_TO_PCI(eth_dev->device);
2435 : 0 : axgbe_dev_clear_queues(eth_dev);
2436 : :
2437 : : /* disable uio intr before callback unregister */
2438 : 0 : rte_intr_disable(pci_dev->intr_handle);
2439 : 0 : rte_intr_callback_unregister(pci_dev->intr_handle,
2440 : : axgbe_dev_interrupt_handler,
2441 : : (void *)eth_dev);
2442 : :
2443 : : /* Disable all interrupts in the hardware */
2444 : 0 : XP_IOWRITE(pdata, XP_INT_EN, 0x0);
2445 : :
2446 : 0 : return 0;
2447 : : }
2448 : :
2449 : 0 : static int eth_axgbe_pci_probe(struct rte_pci_driver *pci_drv __rte_unused,
2450 : : struct rte_pci_device *pci_dev)
2451 : : {
2452 : 0 : return rte_eth_dev_pci_generic_probe(pci_dev,
2453 : : sizeof(struct axgbe_port), eth_axgbe_dev_init);
2454 : : }
2455 : :
2456 : 0 : static int eth_axgbe_pci_remove(struct rte_pci_device *pci_dev)
2457 : : {
2458 : 0 : return rte_eth_dev_pci_generic_remove(pci_dev, axgbe_dev_close);
2459 : : }
2460 : :
2461 : : static struct rte_pci_driver rte_axgbe_pmd = {
2462 : : .id_table = pci_id_axgbe_map,
2463 : : .drv_flags = RTE_PCI_DRV_NEED_MAPPING,
2464 : : .probe = eth_axgbe_pci_probe,
2465 : : .remove = eth_axgbe_pci_remove,
2466 : : };
2467 : :
2468 : 253 : RTE_PMD_REGISTER_PCI(net_axgbe, rte_axgbe_pmd);
2469 : : RTE_PMD_REGISTER_PCI_TABLE(net_axgbe, pci_id_axgbe_map);
2470 : : RTE_PMD_REGISTER_KMOD_DEP(net_axgbe, "* igb_uio | uio_pci_generic | vfio-pci");
2471 [ - + ]: 253 : RTE_LOG_REGISTER_SUFFIX(axgbe_logtype_init, init, NOTICE);
2472 [ - + ]: 253 : RTE_LOG_REGISTER_SUFFIX(axgbe_logtype_driver, driver, NOTICE);
|
