LCOV - code coverage report
Current view: top level - drivers/net/cnxk - cnxk_ethdev.c (source / functions) Hit Total Coverage
Test: Code coverage Lines: 0 998 0.0 %
Date: 2024-04-01 19:00:53 Functions: 0 39 0.0 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 0 560 0.0 %

           Branch data     Line data    Source code
       1                 :            : /* SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  * Copyright(C) 2021 Marvell.
       3                 :            :  */
       4                 :            : #include <cnxk_ethdev.h>
       5                 :            : 
       6                 :            : #include <rte_eventdev.h>
       7                 :            : 
       8                 :            : #define CNXK_NIX_CQ_INL_CLAMP_MAX (64UL * 1024UL)
       9                 :            : 
      10                 :            : static inline uint64_t
      11                 :            : nix_get_rx_offload_capa(struct cnxk_eth_dev *dev)
      12                 :            : {
      13                 :            :         uint64_t capa = CNXK_NIX_RX_OFFLOAD_CAPA;
      14                 :            : 
      15         [ #  # ]:          0 :         if (roc_nix_is_vf_or_sdp(&dev->nix) ||
      16         [ #  # ]:          0 :             dev->npc.switch_header_type == ROC_PRIV_FLAGS_HIGIG)
      17                 :            :                 capa &= ~RTE_ETH_RX_OFFLOAD_TIMESTAMP;
      18                 :            : 
      19                 :            :         return capa;
      20                 :            : }
      21                 :            : 
      22                 :            : static inline uint64_t
      23                 :            : nix_get_tx_offload_capa(struct cnxk_eth_dev *dev)
      24                 :            : {
      25                 :            :         RTE_SET_USED(dev);
      26                 :            :         return CNXK_NIX_TX_OFFLOAD_CAPA;
      27                 :            : }
      28                 :            : 
      29                 :            : static inline uint32_t
      30                 :          0 : nix_get_speed_capa(struct cnxk_eth_dev *dev)
      31                 :            : {
      32                 :            :         uint32_t speed_capa;
      33                 :            : 
      34                 :            :         /* Auto negotiation disabled */
      35                 :            :         speed_capa = RTE_ETH_LINK_SPEED_FIXED;
      36   [ #  #  #  # ]:          0 :         if (!roc_nix_is_vf_or_sdp(&dev->nix) && !roc_nix_is_lbk(&dev->nix)) {
      37                 :            :                 speed_capa |= RTE_ETH_LINK_SPEED_1G | RTE_ETH_LINK_SPEED_10G |
      38                 :            :                               RTE_ETH_LINK_SPEED_25G | RTE_ETH_LINK_SPEED_40G |
      39                 :            :                               RTE_ETH_LINK_SPEED_50G | RTE_ETH_LINK_SPEED_100G;
      40                 :            :         }
      41                 :            : 
      42                 :          0 :         return speed_capa;
      43                 :            : }
      44                 :            : 
      45                 :            : static uint32_t
      46         [ #  # ]:          0 : nix_inl_cq_sz_clamp_up(struct roc_nix *nix, struct rte_mempool *mp,
      47                 :            :                        uint32_t nb_desc)
      48                 :            : {
      49                 :            :         struct roc_nix_rq *inl_rq;
      50                 :            :         uint64_t limit;
      51                 :            : 
      52                 :            :         /* For CN10KB and above, LBP needs minimum CQ size */
      53         [ #  # ]:          0 :         if (!roc_errata_cpt_hang_on_x2p_bp())
      54                 :          0 :                 return RTE_MAX(nb_desc, (uint32_t)4096);
      55                 :            : 
      56                 :            :         /* CQ should be able to hold all buffers in first pass RQ's aura
      57                 :            :          * this RQ's aura.
      58                 :            :          */
      59                 :          0 :         inl_rq = roc_nix_inl_dev_rq(nix);
      60                 :            :         if (!inl_rq) {
      61                 :            :                 /* This itself is going to be inline RQ's aura */
      62                 :            :                 limit = roc_npa_aura_op_limit_get(mp->pool_id);
      63                 :            :         } else {
      64                 :            :                 limit = roc_npa_aura_op_limit_get(inl_rq->aura_handle);
      65                 :            :                 /* Also add this RQ's aura if it is different */
      66                 :            :                 if (inl_rq->aura_handle != mp->pool_id)
      67                 :            :                         limit += roc_npa_aura_op_limit_get(mp->pool_id);
      68                 :            :         }
      69                 :          0 :         nb_desc = PLT_MAX(limit + 1, nb_desc);
      70         [ #  # ]:          0 :         if (nb_desc > CNXK_NIX_CQ_INL_CLAMP_MAX) {
      71                 :          0 :                 plt_warn("Could not setup CQ size to accommodate"
      72                 :            :                          " all buffers in related auras (%" PRIu64 ")",
      73                 :            :                          limit);
      74                 :            :                 nb_desc = CNXK_NIX_CQ_INL_CLAMP_MAX;
      75                 :            :         }
      76                 :            :         return nb_desc;
      77                 :            : }
      78                 :            : 
      79                 :            : int
      80                 :          0 : cnxk_nix_inb_mode_set(struct cnxk_eth_dev *dev, bool use_inl_dev)
      81                 :            : {
      82                 :          0 :         struct roc_nix *nix = &dev->nix;
      83                 :            : 
      84                 :          0 :         plt_nix_dbg("Security sessions(%u) still active, inl=%u!!!",
      85                 :            :                     dev->inb.nb_sess, !!dev->inb.inl_dev);
      86                 :            : 
      87                 :            :         /* Change the mode */
      88                 :          0 :         dev->inb.inl_dev = use_inl_dev;
      89                 :            : 
      90                 :            :         /* Update RoC for NPC rule insertion */
      91                 :          0 :         roc_nix_inb_mode_set(nix, use_inl_dev);
      92                 :            : 
      93                 :            :         /* Setup lookup mem */
      94                 :          0 :         return cnxk_nix_lookup_mem_sa_base_set(dev);
      95                 :            : }
      96                 :            : 
      97                 :            : static int
      98                 :          0 : nix_security_setup(struct cnxk_eth_dev *dev)
      99                 :            : {
     100                 :          0 :         struct roc_nix *nix = &dev->nix;
     101                 :            :         int i, rc = 0;
     102                 :            : 
     103         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
     104                 :            :                 /* Setup minimum SA table when inline device is used */
     105         [ #  # ]:          0 :                 nix->ipsec_in_min_spi = dev->inb.no_inl_dev ? dev->inb.min_spi : 0;
     106         [ #  # ]:          0 :                 nix->ipsec_in_max_spi = dev->inb.no_inl_dev ? dev->inb.max_spi : 1;
     107                 :            : 
     108                 :            :                 /* Setup Inline Inbound */
     109                 :          0 :                 rc = roc_nix_inl_inb_init(nix);
     110         [ #  # ]:          0 :                 if (rc) {
     111                 :          0 :                         plt_err("Failed to initialize nix inline inb, rc=%d",
     112                 :            :                                 rc);
     113                 :          0 :                         return rc;
     114                 :            :                 }
     115                 :            : 
     116                 :            :                 /* By default pick using inline device for poll mode.
     117                 :            :                  * Will be overridden when event mode rq's are setup.
     118                 :            :                  */
     119                 :          0 :                 cnxk_nix_inb_mode_set(dev, !dev->inb.no_inl_dev);
     120                 :            : 
     121                 :            :                 /* Allocate memory to be used as dptr for CPT ucode
     122                 :            :                  * WRITE_SA op.
     123                 :            :                  */
     124                 :          0 :                 dev->inb.sa_dptr =
     125                 :          0 :                         plt_zmalloc(ROC_NIX_INL_OT_IPSEC_INB_HW_SZ, 0);
     126         [ #  # ]:          0 :                 if (!dev->inb.sa_dptr) {
     127                 :          0 :                         plt_err("Couldn't allocate memory for SA dptr");
     128                 :            :                         rc = -ENOMEM;
     129                 :          0 :                         goto cleanup;
     130                 :            :                 }
     131                 :            :         }
     132                 :            : 
     133         [ #  # ]:          0 :         if (dev->tx_offloads & RTE_ETH_TX_OFFLOAD_SECURITY ||
     134         [ #  # ]:          0 :             dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
     135                 :            :                 struct plt_bitmap *bmap;
     136                 :            :                 size_t bmap_sz;
     137                 :            :                 void *mem;
     138                 :            : 
     139                 :            :                 /* Setup enough descriptors for all tx queues */
     140                 :          0 :                 nix->outb_nb_desc = dev->outb.nb_desc;
     141                 :          0 :                 nix->outb_nb_crypto_qs = dev->outb.nb_crypto_qs;
     142                 :            : 
     143                 :            :                 /* Setup Inline Outbound */
     144                 :          0 :                 rc = roc_nix_inl_outb_init(nix);
     145         [ #  # ]:          0 :                 if (rc) {
     146                 :          0 :                         plt_err("Failed to initialize nix inline outb, rc=%d",
     147                 :            :                                 rc);
     148                 :          0 :                         goto sa_dptr_free;
     149                 :            :                 }
     150                 :            : 
     151                 :          0 :                 dev->outb.lf_base = roc_nix_inl_outb_lf_base_get(nix);
     152                 :            : 
     153                 :            :                 /* Skip the rest if DEV_TX_OFFLOAD_SECURITY is not enabled */
     154         [ #  # ]:          0 :                 if (!(dev->tx_offloads & RTE_ETH_TX_OFFLOAD_SECURITY))
     155                 :            :                         return 0;
     156                 :            : 
     157                 :            :                 /* Allocate memory to be used as dptr for CPT ucode
     158                 :            :                  * WRITE_SA op.
     159                 :            :                  */
     160                 :          0 :                 dev->outb.sa_dptr =
     161                 :          0 :                         plt_zmalloc(ROC_NIX_INL_OT_IPSEC_OUTB_HW_SZ, 0);
     162         [ #  # ]:          0 :                 if (!dev->outb.sa_dptr) {
     163                 :          0 :                         plt_err("Couldn't allocate memory for SA dptr");
     164                 :            :                         rc = -ENOMEM;
     165                 :          0 :                         goto sa_dptr_free;
     166                 :            :                 }
     167                 :            : 
     168                 :            :                 rc = -ENOMEM;
     169                 :            :                 /* Allocate a bitmap to alloc and free sa indexes */
     170                 :          0 :                 bmap_sz = plt_bitmap_get_memory_footprint(dev->outb.max_sa);
     171                 :          0 :                 mem = plt_zmalloc(bmap_sz, PLT_CACHE_LINE_SIZE);
     172         [ #  # ]:          0 :                 if (mem == NULL) {
     173                 :          0 :                         plt_err("Outbound SA bmap alloc failed");
     174                 :            : 
     175                 :          0 :                         rc |= roc_nix_inl_outb_fini(nix);
     176                 :          0 :                         goto sa_dptr_free;
     177                 :            :                 }
     178                 :            : 
     179                 :            :                 rc = -EIO;
     180                 :          0 :                 bmap = plt_bitmap_init(dev->outb.max_sa, mem, bmap_sz);
     181         [ #  # ]:          0 :                 if (!bmap) {
     182                 :          0 :                         plt_err("Outbound SA bmap init failed");
     183                 :            : 
     184                 :          0 :                         rc |= roc_nix_inl_outb_fini(nix);
     185                 :          0 :                         plt_free(mem);
     186                 :          0 :                         goto sa_dptr_free;
     187                 :            :                 }
     188                 :            : 
     189         [ #  # ]:          0 :                 for (i = 0; i < dev->outb.max_sa; i++)
     190                 :          0 :                         plt_bitmap_set(bmap, i);
     191                 :            : 
     192                 :          0 :                 dev->outb.sa_base = roc_nix_inl_outb_sa_base_get(nix);
     193                 :          0 :                 dev->outb.sa_bmap_mem = mem;
     194                 :          0 :                 dev->outb.sa_bmap = bmap;
     195                 :            : 
     196                 :          0 :                 dev->outb.fc_sw_mem = plt_zmalloc(dev->outb.nb_crypto_qs *
     197                 :            :                                                           RTE_CACHE_LINE_SIZE,
     198                 :            :                                                   RTE_CACHE_LINE_SIZE);
     199         [ #  # ]:          0 :                 if (!dev->outb.fc_sw_mem) {
     200                 :          0 :                         plt_err("Outbound fc sw mem alloc failed");
     201                 :          0 :                         goto sa_bmap_free;
     202                 :            :                 }
     203                 :            : 
     204                 :          0 :                 dev->outb.cpt_eng_caps = roc_nix_inl_eng_caps_get(nix);
     205                 :            :         }
     206                 :            :         return 0;
     207                 :            : 
     208                 :            : sa_bmap_free:
     209                 :          0 :         plt_free(dev->outb.sa_bmap_mem);
     210                 :          0 : sa_dptr_free:
     211         [ #  # ]:          0 :         if (dev->inb.sa_dptr)
     212                 :          0 :                 plt_free(dev->inb.sa_dptr);
     213         [ #  # ]:          0 :         if (dev->outb.sa_dptr)
     214                 :          0 :                 plt_free(dev->outb.sa_dptr);
     215                 :          0 : cleanup:
     216         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY)
     217                 :          0 :                 rc |= roc_nix_inl_inb_fini(nix);
     218                 :            :         return rc;
     219                 :            : }
     220                 :            : 
     221                 :            : static int
     222                 :          0 : nix_meter_fini(struct cnxk_eth_dev *dev)
     223                 :            : {
     224                 :            :         struct cnxk_meter_node *next_mtr = NULL;
     225                 :          0 :         struct roc_nix_bpf_objs profs = {0};
     226                 :            :         struct cnxk_meter_node *mtr = NULL;
     227                 :            :         struct cnxk_mtr *fms = &dev->mtr;
     228                 :          0 :         struct roc_nix *nix = &dev->nix;
     229                 :            :         struct roc_nix_rq *rq;
     230                 :            :         uint32_t i;
     231                 :            :         int rc = 0;
     232                 :            : 
     233         [ #  # ]:          0 :         RTE_TAILQ_FOREACH_SAFE(mtr, fms, next, next_mtr) {
     234         [ #  # ]:          0 :                 for (i = 0; i < mtr->rq_num; i++) {
     235                 :          0 :                         rq = &dev->rqs[mtr->rq_id[i]];
     236                 :          0 :                         rc |= roc_nix_bpf_ena_dis(nix, mtr->bpf_id, rq, false);
     237                 :            :                 }
     238                 :            : 
     239                 :          0 :                 profs.level = mtr->level;
     240                 :          0 :                 profs.count = 1;
     241                 :          0 :                 profs.ids[0] = mtr->bpf_id;
     242                 :          0 :                 rc = roc_nix_bpf_free(nix, &profs, 1);
     243                 :            : 
     244         [ #  # ]:          0 :                 if (rc)
     245                 :          0 :                         return rc;
     246                 :            : 
     247         [ #  # ]:          0 :                 TAILQ_REMOVE(fms, mtr, next);
     248                 :          0 :                 plt_free(mtr);
     249                 :            :         }
     250                 :            :         return 0;
     251                 :            : }
     252                 :            : 
     253                 :            : static int
     254                 :          0 : nix_security_release(struct cnxk_eth_dev *dev)
     255                 :            : {
     256                 :          0 :         struct rte_eth_dev *eth_dev = dev->eth_dev;
     257                 :            :         struct cnxk_eth_sec_sess *eth_sec, *tvar;
     258                 :          0 :         struct roc_nix *nix = &dev->nix;
     259                 :            :         int rc, ret = 0;
     260                 :            : 
     261                 :            :         /* Cleanup Inline inbound */
     262         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
     263                 :            :                 /* Destroy inbound sessions */
     264                 :            :                 tvar = NULL;
     265         [ #  # ]:          0 :                 RTE_TAILQ_FOREACH_SAFE(eth_sec, &dev->inb.list, entry, tvar)
     266                 :          0 :                         cnxk_eth_sec_ops.session_destroy(eth_dev,
     267                 :            :                                                          eth_sec->sess);
     268                 :            : 
     269                 :            :                 /* Clear lookup mem */
     270                 :          0 :                 cnxk_nix_lookup_mem_sa_base_clear(dev);
     271                 :            : 
     272                 :          0 :                 rc = roc_nix_inl_inb_fini(nix);
     273         [ #  # ]:          0 :                 if (rc)
     274                 :          0 :                         plt_err("Failed to cleanup nix inline inb, rc=%d", rc);
     275                 :            :                 ret |= rc;
     276                 :            : 
     277                 :          0 :                 cnxk_nix_lookup_mem_metapool_clear(dev);
     278                 :            : 
     279         [ #  # ]:          0 :                 if (dev->inb.sa_dptr) {
     280                 :          0 :                         plt_free(dev->inb.sa_dptr);
     281                 :          0 :                         dev->inb.sa_dptr = NULL;
     282                 :            :                 }
     283                 :            :         }
     284                 :            : 
     285                 :            :         /* Cleanup Inline outbound */
     286         [ #  # ]:          0 :         if (dev->tx_offloads & RTE_ETH_TX_OFFLOAD_SECURITY ||
     287         [ #  # ]:          0 :             dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
     288                 :            :                 /* Destroy outbound sessions */
     289                 :            :                 tvar = NULL;
     290         [ #  # ]:          0 :                 RTE_TAILQ_FOREACH_SAFE(eth_sec, &dev->outb.list, entry, tvar)
     291                 :          0 :                         cnxk_eth_sec_ops.session_destroy(eth_dev,
     292                 :            :                                                          eth_sec->sess);
     293                 :            : 
     294                 :          0 :                 rc = roc_nix_inl_outb_fini(nix);
     295         [ #  # ]:          0 :                 if (rc)
     296                 :          0 :                         plt_err("Failed to cleanup nix inline outb, rc=%d", rc);
     297                 :          0 :                 ret |= rc;
     298                 :            : 
     299                 :            :                 plt_bitmap_free(dev->outb.sa_bmap);
     300                 :          0 :                 plt_free(dev->outb.sa_bmap_mem);
     301                 :          0 :                 dev->outb.sa_bmap = NULL;
     302                 :          0 :                 dev->outb.sa_bmap_mem = NULL;
     303         [ #  # ]:          0 :                 if (dev->outb.sa_dptr) {
     304                 :          0 :                         plt_free(dev->outb.sa_dptr);
     305                 :          0 :                         dev->outb.sa_dptr = NULL;
     306                 :            :                 }
     307                 :            : 
     308                 :          0 :                 plt_free(dev->outb.fc_sw_mem);
     309                 :          0 :                 dev->outb.fc_sw_mem = NULL;
     310                 :            :         }
     311                 :            : 
     312                 :          0 :         dev->inb.inl_dev = false;
     313                 :          0 :         roc_nix_inb_mode_set(nix, false);
     314                 :          0 :         dev->nb_rxq_sso = 0;
     315                 :          0 :         dev->inb.nb_sess = 0;
     316                 :          0 :         dev->outb.nb_sess = 0;
     317                 :          0 :         return ret;
     318                 :            : }
     319                 :            : 
     320                 :            : static void
     321                 :          0 : nix_enable_mseg_on_jumbo(struct cnxk_eth_rxq_sp *rxq)
     322                 :            : {
     323                 :            :         struct rte_pktmbuf_pool_private *mbp_priv;
     324                 :            :         struct rte_eth_dev *eth_dev;
     325                 :            :         struct cnxk_eth_dev *dev;
     326                 :            :         uint32_t buffsz;
     327                 :            : 
     328                 :          0 :         dev = rxq->dev;
     329                 :          0 :         eth_dev = dev->eth_dev;
     330                 :            : 
     331                 :            :         /* Get rx buffer size */
     332         [ #  # ]:          0 :         mbp_priv = rte_mempool_get_priv(rxq->qconf.mp);
     333                 :          0 :         buffsz = mbp_priv->mbuf_data_room_size - RTE_PKTMBUF_HEADROOM;
     334                 :            : 
     335         [ #  # ]:          0 :         if (eth_dev->data->mtu + (uint32_t)CNXK_NIX_L2_OVERHEAD > buffsz) {
     336                 :          0 :                 dev->rx_offloads |= RTE_ETH_RX_OFFLOAD_SCATTER;
     337                 :          0 :                 dev->tx_offloads |= RTE_ETH_TX_OFFLOAD_MULTI_SEGS;
     338                 :            :         }
     339                 :          0 : }
     340                 :            : 
     341                 :            : int
     342                 :          0 : nix_recalc_mtu(struct rte_eth_dev *eth_dev)
     343                 :            : {
     344                 :          0 :         struct rte_eth_dev_data *data = eth_dev->data;
     345                 :            :         struct cnxk_eth_rxq_sp *rxq;
     346                 :            :         int rc;
     347                 :            : 
     348                 :          0 :         rxq = ((struct cnxk_eth_rxq_sp *)data->rx_queues[0]) - 1;
     349                 :            :         /* Setup scatter mode if needed by jumbo */
     350                 :          0 :         nix_enable_mseg_on_jumbo(rxq);
     351                 :            : 
     352                 :          0 :         rc = cnxk_nix_mtu_set(eth_dev, data->mtu);
     353         [ #  # ]:          0 :         if (rc)
     354                 :          0 :                 plt_err("Failed to set default MTU size, rc=%d", rc);
     355                 :            : 
     356                 :          0 :         return rc;
     357                 :            : }
     358                 :            : 
     359                 :            : static int
     360                 :          0 : nix_init_flow_ctrl_config(struct rte_eth_dev *eth_dev)
     361                 :            : {
     362                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
     363                 :            :         enum roc_nix_fc_mode fc_mode = ROC_NIX_FC_FULL;
     364                 :            :         struct cnxk_fc_cfg *fc = &dev->fc_cfg;
     365                 :            :         int rc;
     366                 :            : 
     367   [ #  #  #  # ]:          0 :         if (roc_nix_is_vf_or_sdp(&dev->nix) && !roc_nix_is_lbk(&dev->nix))
     368                 :            :                 return 0;
     369                 :            : 
     370                 :            :         /* To avoid Link credit deadlock on Ax, disable Tx FC if it's enabled */
     371         [ #  # ]:          0 :         if (roc_model_is_cn96_ax() &&
     372         [ #  # ]:          0 :             dev->npc.switch_header_type != ROC_PRIV_FLAGS_HIGIG)
     373                 :            :                 fc_mode = ROC_NIX_FC_TX;
     374                 :            : 
     375                 :            :         /* By default enable flow control */
     376                 :          0 :         rc = roc_nix_fc_mode_set(&dev->nix, fc_mode);
     377         [ #  # ]:          0 :         if (rc)
     378                 :            :                 return rc;
     379                 :            : 
     380         [ #  # ]:          0 :         fc->mode = (fc_mode == ROC_NIX_FC_FULL) ? RTE_ETH_FC_FULL : RTE_ETH_FC_TX_PAUSE;
     381                 :          0 :         fc->rx_pause = (fc->mode == RTE_ETH_FC_FULL) || (fc->mode == RTE_ETH_FC_RX_PAUSE);
     382                 :          0 :         fc->tx_pause = (fc->mode == RTE_ETH_FC_FULL) || (fc->mode == RTE_ETH_FC_TX_PAUSE);
     383                 :          0 :         return rc;
     384                 :            : }
     385                 :            : 
     386                 :            : static int
     387                 :          0 : nix_update_flow_ctrl_config(struct rte_eth_dev *eth_dev)
     388                 :            : {
     389                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
     390                 :            :         struct cnxk_fc_cfg *fc = &dev->fc_cfg;
     391                 :          0 :         struct rte_eth_fc_conf fc_cfg = {0};
     392                 :            : 
     393   [ #  #  #  # ]:          0 :         if (roc_nix_is_sdp(&dev->nix) || roc_nix_is_esw(&dev->nix))
     394                 :          0 :                 return 0;
     395                 :            : 
     396                 :            :         /* Don't do anything if PFC is enabled */
     397         [ #  # ]:          0 :         if (dev->pfc_cfg.rx_pause_en || dev->pfc_cfg.tx_pause_en)
     398                 :            :                 return 0;
     399                 :            : 
     400         [ #  # ]:          0 :         fc_cfg.mode = fc->mode;
     401                 :            : 
     402                 :            :         /* To avoid Link credit deadlock on Ax, disable Tx FC if it's enabled */
     403         [ #  # ]:          0 :         if (roc_model_is_cn96_ax() &&
     404         [ #  # ]:          0 :             dev->npc.switch_header_type != ROC_PRIV_FLAGS_HIGIG &&
     405         [ #  # ]:          0 :             (fc_cfg.mode == RTE_ETH_FC_FULL || fc_cfg.mode == RTE_ETH_FC_RX_PAUSE)) {
     406                 :          0 :                 fc_cfg.mode =
     407                 :          0 :                                 (fc_cfg.mode == RTE_ETH_FC_FULL ||
     408                 :            :                                 fc_cfg.mode == RTE_ETH_FC_TX_PAUSE) ?
     409         [ #  # ]:          0 :                                 RTE_ETH_FC_TX_PAUSE : RTE_ETH_FC_NONE;
     410                 :            :         }
     411                 :            : 
     412                 :          0 :         return cnxk_nix_flow_ctrl_set(eth_dev, &fc_cfg);
     413                 :            : }
     414                 :            : 
     415                 :            : uint64_t
     416                 :          0 : cnxk_nix_rxq_mbuf_setup(struct cnxk_eth_dev *dev)
     417                 :            : {
     418                 :          0 :         uint16_t port_id = dev->eth_dev->data->port_id;
     419                 :            :         struct rte_mbuf mb_def;
     420                 :            :         uint64_t *tmp;
     421                 :            : 
     422                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_mbuf, data_off) % 8 != 0);
     423                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_mbuf, refcnt) -
     424                 :            :                                  offsetof(struct rte_mbuf, data_off) !=
     425                 :            :                          2);
     426                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_mbuf, nb_segs) -
     427                 :            :                                  offsetof(struct rte_mbuf, data_off) !=
     428                 :            :                          4);
     429                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_mbuf, port) -
     430                 :            :                                  offsetof(struct rte_mbuf, data_off) !=
     431                 :            :                          6);
     432                 :          0 :         mb_def.nb_segs = 1;
     433                 :          0 :         mb_def.data_off = RTE_PKTMBUF_HEADROOM +
     434                 :          0 :                           (dev->ptp_en * CNXK_NIX_TIMESYNC_RX_OFFSET);
     435                 :          0 :         mb_def.port = port_id;
     436                 :            :         rte_mbuf_refcnt_set(&mb_def, 1);
     437                 :            : 
     438                 :            :         /* Prevent compiler reordering: rearm_data covers previous fields */
     439                 :          0 :         rte_compiler_barrier();
     440                 :            :         tmp = (uint64_t *)&mb_def.rearm_data;
     441                 :            : 
     442                 :          0 :         return *tmp;
     443                 :            : }
     444                 :            : 
     445                 :            : static inline uint8_t
     446                 :            : nix_sq_max_sqe_sz(struct cnxk_eth_dev *dev)
     447                 :            : {
     448                 :            :         /*
     449                 :            :          * Maximum three segments can be supported with W8, Choose
     450                 :            :          * NIX_MAXSQESZ_W16 for multi segment offload.
     451                 :            :          */
     452                 :          0 :         if (dev->tx_offloads & RTE_ETH_TX_OFFLOAD_MULTI_SEGS)
     453                 :            :                 return NIX_MAXSQESZ_W16;
     454                 :            :         else
     455                 :          0 :                 return NIX_MAXSQESZ_W8;
     456                 :            : }
     457                 :            : 
     458                 :            : int
     459         [ #  # ]:          0 : cnxk_nix_tx_queue_setup(struct rte_eth_dev *eth_dev, uint16_t qid,
     460                 :            :                         uint16_t nb_desc, uint16_t fp_tx_q_sz,
     461                 :            :                         const struct rte_eth_txconf *tx_conf)
     462                 :            : {
     463                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
     464                 :          0 :         const struct eth_dev_ops *dev_ops = eth_dev->dev_ops;
     465                 :            :         struct roc_nix *nix = &dev->nix;
     466                 :            :         struct cnxk_eth_txq_sp *txq_sp;
     467                 :            :         struct roc_nix_cq *cq;
     468                 :            :         struct roc_nix_sq *sq;
     469                 :            :         size_t txq_sz;
     470                 :            :         int rc;
     471                 :            : 
     472                 :            :         /* Free memory prior to re-allocation if needed. */
     473         [ #  # ]:          0 :         if (eth_dev->data->tx_queues[qid] != NULL) {
     474                 :          0 :                 plt_nix_dbg("Freeing memory prior to re-allocation %d", qid);
     475                 :          0 :                 dev_ops->tx_queue_release(eth_dev, qid);
     476                 :          0 :                 eth_dev->data->tx_queues[qid] = NULL;
     477                 :            :         }
     478                 :            : 
     479                 :            :         /* When Tx Security offload is enabled, increase tx desc count by
     480                 :            :          * max possible outbound desc count.
     481                 :            :          */
     482         [ #  # ]:          0 :         if (dev->tx_offloads & RTE_ETH_TX_OFFLOAD_SECURITY)
     483                 :          0 :                 nb_desc += dev->outb.nb_desc;
     484                 :            : 
     485                 :            :         /* Setup ROC SQ */
     486                 :          0 :         sq = &dev->sqs[qid];
     487                 :          0 :         sq->qid = qid;
     488         [ #  # ]:          0 :         sq->nb_desc = nb_desc;
     489                 :          0 :         sq->max_sqe_sz = nix_sq_max_sqe_sz(dev);
     490         [ #  # ]:          0 :         if (sq->nb_desc >= CNXK_NIX_DEF_SQ_COUNT)
     491                 :          0 :                 sq->fc_hyst_bits = 0x1;
     492                 :            : 
     493         [ #  # ]:          0 :         if (nix->tx_compl_ena) {
     494                 :          0 :                 sq->cqid = sq->qid + dev->nb_rxq;
     495                 :          0 :                 sq->cq_ena = 1;
     496                 :          0 :                 cq = &dev->cqs[sq->cqid];
     497                 :          0 :                 cq->qid = sq->cqid;
     498                 :          0 :                 cq->nb_desc = nb_desc;
     499                 :          0 :                 rc = roc_nix_cq_init(&dev->nix, cq);
     500         [ #  # ]:          0 :                 if (rc) {
     501                 :          0 :                         plt_err("Failed to init cq=%d, rc=%d", cq->qid, rc);
     502                 :          0 :                         return rc;
     503                 :            :                 }
     504                 :            :         }
     505                 :            : 
     506                 :          0 :         rc = roc_nix_sq_init(&dev->nix, sq);
     507         [ #  # ]:          0 :         if (rc) {
     508                 :          0 :                 plt_err("Failed to init sq=%d, rc=%d", qid, rc);
     509                 :          0 :                 return rc;
     510                 :            :         }
     511                 :            : 
     512                 :            :         rc = -ENOMEM;
     513                 :          0 :         txq_sz = sizeof(struct cnxk_eth_txq_sp) + fp_tx_q_sz;
     514                 :          0 :         txq_sp = plt_zmalloc(txq_sz, PLT_CACHE_LINE_SIZE);
     515         [ #  # ]:          0 :         if (!txq_sp) {
     516                 :          0 :                 plt_err("Failed to alloc tx queue mem");
     517                 :          0 :                 rc |= roc_nix_sq_fini(sq);
     518                 :          0 :                 return rc;
     519                 :            :         }
     520                 :            : 
     521                 :          0 :         txq_sp->dev = dev;
     522                 :          0 :         txq_sp->qid = qid;
     523                 :          0 :         txq_sp->qconf.conf.tx = *tx_conf;
     524                 :            :         /* Queue config should reflect global offloads */
     525                 :          0 :         txq_sp->qconf.conf.tx.offloads = dev->tx_offloads;
     526                 :          0 :         txq_sp->qconf.nb_desc = nb_desc;
     527                 :            : 
     528                 :          0 :         plt_nix_dbg("sq=%d fc=%p offload=0x%" PRIx64 " lmt_addr=%p"
     529                 :            :                     " nb_sqb_bufs=%d sqes_per_sqb_log2=%d",
     530                 :            :                     qid, sq->fc, dev->tx_offloads, sq->lmt_addr,
     531                 :            :                     sq->nb_sqb_bufs, sq->sqes_per_sqb_log2);
     532                 :            : 
     533                 :            :         /* Store start of fast path area */
     534                 :          0 :         eth_dev->data->tx_queues[qid] = txq_sp + 1;
     535                 :          0 :         eth_dev->data->tx_queue_state[qid] = RTE_ETH_QUEUE_STATE_STOPPED;
     536                 :          0 :         return 0;
     537                 :            : }
     538                 :            : 
     539                 :            : void
     540                 :          0 : cnxk_nix_tx_queue_release(struct rte_eth_dev *eth_dev, uint16_t qid)
     541                 :            : {
     542                 :          0 :         void *txq = eth_dev->data->tx_queues[qid];
     543                 :            :         struct cnxk_eth_txq_sp *txq_sp;
     544                 :            :         struct cnxk_eth_dev *dev;
     545                 :            :         struct roc_nix_sq *sq;
     546                 :            :         int rc;
     547                 :            : 
     548         [ #  # ]:          0 :         if (!txq)
     549                 :            :                 return;
     550                 :            : 
     551                 :            :         txq_sp = cnxk_eth_txq_to_sp(txq);
     552                 :            : 
     553                 :          0 :         dev = txq_sp->dev;
     554                 :            : 
     555                 :          0 :         plt_nix_dbg("Releasing txq %u", qid);
     556                 :            : 
     557                 :            :         /* Cleanup ROC SQ */
     558                 :          0 :         sq = &dev->sqs[qid];
     559                 :          0 :         rc = roc_nix_sq_fini(sq);
     560         [ #  # ]:          0 :         if (rc)
     561                 :          0 :                 plt_err("Failed to cleanup sq, rc=%d", rc);
     562                 :            : 
     563                 :            :         /* Finally free */
     564                 :          0 :         plt_free(txq_sp);
     565                 :            : }
     566                 :            : 
     567                 :            : static int
     568                 :          0 : cnxk_nix_process_rx_conf(const struct rte_eth_rxconf *rx_conf,
     569                 :            :                          struct rte_mempool **lpb_pool,
     570                 :            :                          struct rte_mempool **spb_pool)
     571                 :            : {
     572                 :            :         struct rte_mempool *pool0;
     573                 :            :         struct rte_mempool *pool1;
     574                 :          0 :         struct rte_mempool **mp = rx_conf->rx_mempools;
     575                 :            :         const char *platform_ops;
     576                 :            :         struct rte_mempool_ops *ops;
     577                 :            : 
     578         [ #  # ]:          0 :         if (*lpb_pool ||
     579         [ #  # ]:          0 :             rx_conf->rx_nmempool != CNXK_NIX_NUM_POOLS_MAX) {
     580                 :          0 :                 plt_err("invalid arguments");
     581                 :          0 :                 return -EINVAL;
     582                 :            :         }
     583                 :            : 
     584   [ #  #  #  #  :          0 :         if (mp == NULL || mp[0] == NULL || mp[1] == NULL) {
                   #  # ]
     585                 :          0 :                 plt_err("invalid memory pools\n");
     586                 :          0 :                 return -EINVAL;
     587                 :            :         }
     588                 :            : 
     589                 :            :         pool0 = mp[0];
     590                 :            :         pool1 = mp[1];
     591                 :            : 
     592         [ #  # ]:          0 :         if (pool0->elt_size > pool1->elt_size) {
     593                 :          0 :                 *lpb_pool = pool0;
     594                 :          0 :                 *spb_pool = pool1;
     595                 :            : 
     596                 :            :         } else {
     597                 :          0 :                 *lpb_pool = pool1;
     598                 :          0 :                 *spb_pool = pool0;
     599                 :            :         }
     600                 :            : 
     601         [ #  # ]:          0 :         if ((*spb_pool)->pool_id == 0) {
     602                 :          0 :                 plt_err("Invalid pool_id");
     603                 :          0 :                 return -EINVAL;
     604                 :            :         }
     605                 :            : 
     606                 :          0 :         platform_ops = rte_mbuf_platform_mempool_ops();
     607         [ #  # ]:          0 :         ops = rte_mempool_get_ops((*spb_pool)->ops_index);
     608         [ #  # ]:          0 :         if (strncmp(ops->name, platform_ops, RTE_MEMPOOL_OPS_NAMESIZE)) {
     609                 :          0 :                 plt_err("mempool ops should be of cnxk_npa type");
     610                 :          0 :                 return -EINVAL;
     611                 :            :         }
     612                 :            : 
     613                 :          0 :         plt_info("spb_pool:%s lpb_pool:%s lpb_len:%u spb_len:%u\n", (*spb_pool)->name,
     614                 :            :                  (*lpb_pool)->name, (*lpb_pool)->elt_size, (*spb_pool)->elt_size);
     615                 :            : 
     616                 :          0 :         return 0;
     617                 :            : }
     618                 :            : 
     619                 :            : int
     620         [ #  # ]:          0 : cnxk_nix_rx_queue_setup(struct rte_eth_dev *eth_dev, uint16_t qid,
     621                 :            :                         uint32_t nb_desc, uint16_t fp_rx_q_sz,
     622                 :            :                         const struct rte_eth_rxconf *rx_conf,
     623                 :            :                         struct rte_mempool *mp)
     624                 :            : {
     625                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
     626                 :          0 :         struct roc_nix *nix = &dev->nix;
     627                 :            :         struct cnxk_eth_rxq_sp *rxq_sp;
     628                 :            :         struct rte_mempool_ops *ops;
     629                 :            :         const char *platform_ops;
     630                 :            :         struct roc_nix_rq *rq;
     631                 :            :         struct roc_nix_cq *cq;
     632                 :            :         uint16_t first_skip;
     633                 :            :         uint16_t wqe_skip;
     634                 :            :         int rc = -EINVAL;
     635                 :            :         size_t rxq_sz;
     636                 :          0 :         struct rte_mempool *lpb_pool = mp;
     637                 :          0 :         struct rte_mempool *spb_pool = NULL;
     638                 :            : 
     639                 :            :         /* Sanity checks */
     640         [ #  # ]:          0 :         if (rx_conf->rx_deferred_start == 1) {
     641                 :          0 :                 plt_err("Deferred Rx start is not supported");
     642                 :          0 :                 goto fail;
     643                 :            :         }
     644                 :            : 
     645         [ #  # ]:          0 :         if (rx_conf->rx_nmempool > 0) {
     646                 :          0 :                 rc = cnxk_nix_process_rx_conf(rx_conf, &lpb_pool, &spb_pool);
     647         [ #  # ]:          0 :                 if (rc)
     648                 :          0 :                         goto fail;
     649                 :            :         }
     650                 :            : 
     651                 :          0 :         platform_ops = rte_mbuf_platform_mempool_ops();
     652                 :            :         /* This driver needs cnxk_npa mempool ops to work */
     653         [ #  # ]:          0 :         ops = rte_mempool_get_ops(lpb_pool->ops_index);
     654         [ #  # ]:          0 :         if (strncmp(ops->name, platform_ops, RTE_MEMPOOL_OPS_NAMESIZE)) {
     655                 :          0 :                 plt_err("mempool ops should be of cnxk_npa type");
     656                 :          0 :                 goto fail;
     657                 :            :         }
     658                 :            : 
     659         [ #  # ]:          0 :         if (lpb_pool->pool_id == 0) {
     660                 :          0 :                 plt_err("Invalid pool_id");
     661                 :          0 :                 goto fail;
     662                 :            :         }
     663                 :            : 
     664                 :            :         /* Free memory prior to re-allocation if needed */
     665         [ #  # ]:          0 :         if (eth_dev->data->rx_queues[qid] != NULL) {
     666                 :          0 :                 const struct eth_dev_ops *dev_ops = eth_dev->dev_ops;
     667                 :            : 
     668                 :          0 :                 plt_nix_dbg("Freeing memory prior to re-allocation %d", qid);
     669                 :          0 :                 dev_ops->rx_queue_release(eth_dev, qid);
     670                 :          0 :                 eth_dev->data->rx_queues[qid] = NULL;
     671                 :            :         }
     672                 :            : 
     673                 :            :         /* Its a no-op when inline device is not used */
     674         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY ||
     675         [ #  # ]:          0 :             dev->tx_offloads & RTE_ETH_TX_OFFLOAD_SECURITY)
     676                 :          0 :                 roc_nix_inl_dev_xaq_realloc(lpb_pool->pool_id);
     677                 :            : 
     678                 :            :         /* Increase CQ size to Aura size to avoid CQ overflow and
     679                 :            :          * then CPT buffer leak.
     680                 :            :          */
     681         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY)
     682                 :          0 :                 nb_desc = nix_inl_cq_sz_clamp_up(nix, lpb_pool, nb_desc);
     683                 :            : 
     684                 :            :         /* Setup ROC CQ */
     685                 :          0 :         cq = &dev->cqs[qid];
     686                 :          0 :         cq->qid = qid;
     687                 :          0 :         cq->nb_desc = nb_desc;
     688                 :          0 :         rc = roc_nix_cq_init(&dev->nix, cq);
     689         [ #  # ]:          0 :         if (rc) {
     690                 :          0 :                 plt_err("Failed to init roc cq for rq=%d, rc=%d", qid, rc);
     691                 :          0 :                 goto fail;
     692                 :            :         }
     693                 :            : 
     694                 :            :         /* Setup ROC RQ */
     695                 :          0 :         rq = &dev->rqs[qid];
     696                 :          0 :         rq->qid = qid;
     697                 :          0 :         rq->cqid = cq->qid;
     698                 :          0 :         rq->aura_handle = lpb_pool->pool_id;
     699                 :          0 :         rq->flow_tag_width = 32;
     700         [ #  # ]:          0 :         rq->sso_ena = false;
     701                 :            : 
     702                 :            :         /* Calculate first mbuf skip */
     703                 :            :         first_skip = (sizeof(struct rte_mbuf));
     704                 :            :         first_skip += RTE_PKTMBUF_HEADROOM;
     705                 :          0 :         first_skip += rte_pktmbuf_priv_size(lpb_pool);
     706                 :          0 :         rq->first_skip = first_skip;
     707                 :          0 :         rq->later_skip = sizeof(struct rte_mbuf) + rte_pktmbuf_priv_size(lpb_pool);
     708         [ #  # ]:          0 :         rq->lpb_size = lpb_pool->elt_size;
     709         [ #  # ]:          0 :         if (roc_errata_nix_no_meta_aura())
     710                 :          0 :                 rq->lpb_drop_ena = !(dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY);
     711                 :            : 
     712                 :            :         /* Enable Inline IPSec on RQ, will not be used for Poll mode */
     713   [ #  #  #  # ]:          0 :         if (roc_nix_inl_inb_is_enabled(nix) && !dev->inb.inl_dev) {
     714                 :          0 :                 rq->ipsech_ena = true;
     715                 :            :                 /* WQE skip is needed when poll mode is enabled in CN10KA_B0 and above
     716                 :            :                  * for Inline IPsec traffic to CQ without inline device.
     717                 :            :                  */
     718                 :            :                 wqe_skip = RTE_ALIGN_CEIL(sizeof(struct rte_mbuf), ROC_CACHE_LINE_SZ);
     719                 :            :                 wqe_skip = wqe_skip / ROC_CACHE_LINE_SZ;
     720                 :          0 :                 rq->wqe_skip = wqe_skip;
     721                 :            :         }
     722                 :            : 
     723         [ #  # ]:          0 :         if (spb_pool) {
     724                 :          0 :                 rq->spb_ena = 1;
     725                 :          0 :                 rq->spb_aura_handle = spb_pool->pool_id;
     726                 :          0 :                 rq->spb_size = spb_pool->elt_size;
     727                 :            :         }
     728                 :            : 
     729                 :          0 :         rc = roc_nix_rq_init(&dev->nix, rq, !!eth_dev->data->dev_started);
     730         [ #  # ]:          0 :         if (rc) {
     731                 :          0 :                 plt_err("Failed to init roc rq for rq=%d, rc=%d", qid, rc);
     732                 :          0 :                 goto cq_fini;
     733                 :            :         }
     734                 :            : 
     735                 :            :         /* Allocate and setup fast path rx queue */
     736                 :            :         rc = -ENOMEM;
     737                 :          0 :         rxq_sz = sizeof(struct cnxk_eth_rxq_sp) + fp_rx_q_sz;
     738                 :          0 :         rxq_sp = plt_zmalloc(rxq_sz, PLT_CACHE_LINE_SIZE);
     739         [ #  # ]:          0 :         if (!rxq_sp) {
     740                 :          0 :                 plt_err("Failed to alloc rx queue for rq=%d", qid);
     741                 :          0 :                 goto rq_fini;
     742                 :            :         }
     743                 :            : 
     744                 :            :         /* Setup slow path fields */
     745                 :          0 :         rxq_sp->dev = dev;
     746                 :          0 :         rxq_sp->qid = qid;
     747                 :          0 :         rxq_sp->qconf.conf.rx = *rx_conf;
     748                 :            :         /* Queue config should reflect global offloads */
     749                 :          0 :         rxq_sp->qconf.conf.rx.offloads = dev->rx_offloads;
     750                 :          0 :         rxq_sp->qconf.nb_desc = nb_desc;
     751                 :          0 :         rxq_sp->qconf.mp = lpb_pool;
     752                 :          0 :         rxq_sp->tc = 0;
     753                 :          0 :         rxq_sp->tx_pause = (dev->fc_cfg.mode == RTE_ETH_FC_FULL ||
     754                 :            :                             dev->fc_cfg.mode == RTE_ETH_FC_TX_PAUSE);
     755                 :            : 
     756         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
     757                 :            :                 /* Pass a tagmask used to handle error packets in inline device.
     758                 :            :                  * Ethdev rq's tag_mask field will be overwritten later
     759                 :            :                  * when sso is setup.
     760                 :            :                  */
     761                 :          0 :                 rq->tag_mask =
     762                 :            :                         0x0FF00000 | ((uint32_t)RTE_EVENT_TYPE_ETHDEV << 28);
     763                 :            : 
     764                 :            :                 /* Setup rq reference for inline dev if present */
     765                 :          0 :                 rc = roc_nix_inl_dev_rq_get(rq, !!eth_dev->data->dev_started);
     766         [ #  # ]:          0 :                 if (rc)
     767                 :          0 :                         goto free_mem;
     768                 :            :         }
     769                 :            : 
     770                 :          0 :         plt_nix_dbg("rq=%d pool=%s nb_desc=%d->%d", qid, lpb_pool->name, nb_desc,
     771                 :            :                     cq->nb_desc);
     772                 :            : 
     773                 :            :         /* Store start of fast path area */
     774                 :          0 :         eth_dev->data->rx_queues[qid] = rxq_sp + 1;
     775                 :          0 :         eth_dev->data->rx_queue_state[qid] = RTE_ETH_QUEUE_STATE_STOPPED;
     776                 :            : 
     777                 :            :         /* Calculating delta and freq mult between PTP HI clock and tsc.
     778                 :            :          * These are needed in deriving raw clock value from tsc counter.
     779                 :            :          * read_clock eth op returns raw clock value.
     780                 :            :          */
     781   [ #  #  #  # ]:          0 :         if ((dev->rx_offloads & RTE_ETH_RX_OFFLOAD_TIMESTAMP) || dev->ptp_en) {
     782                 :          0 :                 rc = cnxk_nix_tsc_convert(dev);
     783         [ #  # ]:          0 :                 if (rc) {
     784                 :          0 :                         plt_err("Failed to calculate delta and freq mult");
     785                 :          0 :                         goto rq_fini;
     786                 :            :                 }
     787                 :            :         }
     788                 :            : 
     789                 :            :         return 0;
     790                 :            : free_mem:
     791                 :          0 :         plt_free(rxq_sp);
     792                 :          0 : rq_fini:
     793                 :          0 :         rc |= roc_nix_rq_fini(rq);
     794                 :          0 : cq_fini:
     795                 :          0 :         rc |= roc_nix_cq_fini(cq);
     796                 :            : fail:
     797                 :            :         return rc;
     798                 :            : }
     799                 :            : 
     800                 :            : static void
     801                 :          0 : cnxk_nix_rx_queue_release(struct rte_eth_dev *eth_dev, uint16_t qid)
     802                 :            : {
     803                 :          0 :         void *rxq = eth_dev->data->rx_queues[qid];
     804                 :            :         struct cnxk_eth_rxq_sp *rxq_sp;
     805                 :            :         struct cnxk_eth_dev *dev;
     806                 :            :         struct roc_nix_rq *rq;
     807                 :            :         struct roc_nix_cq *cq;
     808                 :            :         int rc;
     809                 :            : 
     810         [ #  # ]:          0 :         if (!rxq)
     811                 :            :                 return;
     812                 :            : 
     813                 :            :         rxq_sp = cnxk_eth_rxq_to_sp(rxq);
     814                 :          0 :         dev = rxq_sp->dev;
     815                 :          0 :         rq = &dev->rqs[qid];
     816                 :            : 
     817                 :          0 :         plt_nix_dbg("Releasing rxq %u", qid);
     818                 :            : 
     819                 :            :         /* Release rq reference for inline dev if present */
     820         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY)
     821                 :          0 :                 roc_nix_inl_dev_rq_put(rq);
     822                 :            : 
     823                 :            :         /* Cleanup ROC RQ */
     824                 :          0 :         rc = roc_nix_rq_fini(rq);
     825         [ #  # ]:          0 :         if (rc)
     826                 :          0 :                 plt_err("Failed to cleanup rq, rc=%d", rc);
     827                 :            : 
     828                 :            :         /* Cleanup ROC CQ */
     829                 :          0 :         cq = &dev->cqs[qid];
     830                 :          0 :         rc = roc_nix_cq_fini(cq);
     831         [ #  # ]:          0 :         if (rc)
     832                 :          0 :                 plt_err("Failed to cleanup cq, rc=%d", rc);
     833                 :            : 
     834                 :            :         /* Finally free fast path area */
     835                 :          0 :         plt_free(rxq_sp);
     836                 :            : }
     837                 :            : 
     838                 :            : uint32_t
     839                 :          0 : cnxk_rss_ethdev_to_nix(struct cnxk_eth_dev *dev, uint64_t ethdev_rss,
     840                 :            :                        uint8_t rss_level)
     841                 :            : {
     842                 :          0 :         uint32_t flow_key_type[RSS_MAX_LEVELS][6] = {
     843                 :            :                 {FLOW_KEY_TYPE_IPV4, FLOW_KEY_TYPE_IPV6, FLOW_KEY_TYPE_TCP,
     844                 :            :                  FLOW_KEY_TYPE_UDP, FLOW_KEY_TYPE_SCTP, FLOW_KEY_TYPE_ETH_DMAC},
     845                 :            :                 {FLOW_KEY_TYPE_INNR_IPV4, FLOW_KEY_TYPE_INNR_IPV6,
     846                 :            :                  FLOW_KEY_TYPE_INNR_TCP, FLOW_KEY_TYPE_INNR_UDP,
     847                 :            :                  FLOW_KEY_TYPE_INNR_SCTP, FLOW_KEY_TYPE_INNR_ETH_DMAC},
     848                 :            :                 {FLOW_KEY_TYPE_IPV4 | FLOW_KEY_TYPE_INNR_IPV4,
     849                 :            :                  FLOW_KEY_TYPE_IPV6 | FLOW_KEY_TYPE_INNR_IPV6,
     850                 :            :                  FLOW_KEY_TYPE_TCP | FLOW_KEY_TYPE_INNR_TCP,
     851                 :            :                  FLOW_KEY_TYPE_UDP | FLOW_KEY_TYPE_INNR_UDP,
     852                 :            :                  FLOW_KEY_TYPE_SCTP | FLOW_KEY_TYPE_INNR_SCTP,
     853                 :            :                  FLOW_KEY_TYPE_ETH_DMAC | FLOW_KEY_TYPE_INNR_ETH_DMAC}
     854                 :            :         };
     855                 :            :         uint32_t flowkey_cfg = 0;
     856                 :            : 
     857                 :          0 :         dev->ethdev_rss_hf = ethdev_rss;
     858                 :            : 
     859         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_L2_PAYLOAD &&
     860         [ #  # ]:          0 :             dev->npc.switch_header_type == ROC_PRIV_FLAGS_LEN_90B) {
     861                 :            :                 flowkey_cfg |= FLOW_KEY_TYPE_CH_LEN_90B;
     862                 :            :         }
     863                 :            : 
     864         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_C_VLAN)
     865                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_VLAN;
     866                 :            : 
     867         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_L3_SRC_ONLY)
     868                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_L3_SRC;
     869                 :            : 
     870         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_L3_DST_ONLY)
     871                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_L3_DST;
     872                 :            : 
     873         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_L4_SRC_ONLY)
     874                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_L4_SRC;
     875                 :            : 
     876         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_L4_DST_ONLY)
     877                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_L4_DST;
     878                 :            : 
     879         [ #  # ]:          0 :         if (ethdev_rss & RSS_IPV4_ENABLE)
     880                 :          0 :                 flowkey_cfg |= flow_key_type[rss_level][RSS_IPV4_INDEX];
     881                 :            : 
     882         [ #  # ]:          0 :         if (ethdev_rss & RSS_IPV6_ENABLE)
     883                 :          0 :                 flowkey_cfg |= flow_key_type[rss_level][RSS_IPV6_INDEX];
     884                 :            : 
     885         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_TCP)
     886                 :          0 :                 flowkey_cfg |= flow_key_type[rss_level][RSS_TCP_INDEX];
     887                 :            : 
     888         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_UDP)
     889                 :          0 :                 flowkey_cfg |= flow_key_type[rss_level][RSS_UDP_INDEX];
     890                 :            : 
     891         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_SCTP)
     892                 :          0 :                 flowkey_cfg |= flow_key_type[rss_level][RSS_SCTP_INDEX];
     893                 :            : 
     894         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_L2_PAYLOAD)
     895                 :          0 :                 flowkey_cfg |= flow_key_type[rss_level][RSS_DMAC_INDEX];
     896                 :            : 
     897         [ #  # ]:          0 :         if (ethdev_rss & RSS_IPV6_EX_ENABLE)
     898                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_IPV6_EXT;
     899                 :            : 
     900         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_PORT)
     901                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_PORT;
     902                 :            : 
     903         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_NVGRE)
     904                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_NVGRE;
     905                 :            : 
     906         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_VXLAN)
     907                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_VXLAN;
     908                 :            : 
     909         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_GENEVE)
     910                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_GENEVE;
     911                 :            : 
     912         [ #  # ]:          0 :         if (ethdev_rss & RTE_ETH_RSS_GTPU)
     913                 :          0 :                 flowkey_cfg |= FLOW_KEY_TYPE_GTPU;
     914                 :            : 
     915                 :          0 :         return flowkey_cfg;
     916                 :            : }
     917                 :            : 
     918                 :            : static int
     919                 :          0 : nix_rxchan_cfg_disable(struct cnxk_eth_dev *dev)
     920                 :            : {
     921                 :          0 :         struct roc_nix *nix = &dev->nix;
     922                 :            :         struct roc_nix_fc_cfg fc_cfg;
     923                 :            :         int rc;
     924                 :            : 
     925         [ #  # ]:          0 :         if (!roc_nix_is_lbk(nix))
     926                 :            :                 return 0;
     927                 :            : 
     928                 :            :         memset(&fc_cfg, 0, sizeof(struct roc_nix_fc_cfg));
     929                 :            :         fc_cfg.type = ROC_NIX_FC_RXCHAN_CFG;
     930                 :            :         fc_cfg.rxchan_cfg.enable = false;
     931                 :          0 :         rc = roc_nix_fc_config_set(nix, &fc_cfg);
     932         [ #  # ]:          0 :         if (rc) {
     933                 :          0 :                 plt_err("Failed to setup flow control, rc=%d(%s)", rc, roc_error_msg_get(rc));
     934                 :          0 :                 return rc;
     935                 :            :         }
     936                 :            :         return 0;
     937                 :            : }
     938                 :            : 
     939                 :            : static void
     940                 :          0 : nix_free_queue_mem(struct cnxk_eth_dev *dev)
     941                 :            : {
     942                 :          0 :         plt_free(dev->rqs);
     943                 :          0 :         plt_free(dev->cqs);
     944                 :          0 :         plt_free(dev->sqs);
     945                 :          0 :         dev->rqs = NULL;
     946                 :          0 :         dev->cqs = NULL;
     947                 :          0 :         dev->sqs = NULL;
     948                 :          0 : }
     949                 :            : 
     950                 :            : static int
     951                 :          0 : nix_ingress_policer_setup(struct cnxk_eth_dev *dev)
     952                 :            : {
     953                 :          0 :         struct rte_eth_dev *eth_dev = dev->eth_dev;
     954                 :            :         int rc = 0;
     955                 :            : 
     956                 :          0 :         TAILQ_INIT(&dev->mtr_profiles);
     957                 :          0 :         TAILQ_INIT(&dev->mtr_policy);
     958                 :          0 :         TAILQ_INIT(&dev->mtr);
     959                 :            : 
     960         [ #  # ]:          0 :         if (eth_dev->dev_ops->mtr_ops_get == NULL)
     961                 :            :                 return rc;
     962                 :            : 
     963                 :          0 :         return nix_mtr_capabilities_init(eth_dev);
     964                 :            : }
     965                 :            : 
     966                 :            : static int
     967                 :          0 : nix_rss_default_setup(struct cnxk_eth_dev *dev)
     968                 :            : {
     969                 :          0 :         struct rte_eth_dev *eth_dev = dev->eth_dev;
     970                 :            :         uint8_t rss_hash_level;
     971                 :            :         uint32_t flowkey_cfg;
     972                 :            :         uint64_t rss_hf;
     973                 :            : 
     974                 :          0 :         rss_hf = eth_dev->data->dev_conf.rx_adv_conf.rss_conf.rss_hf;
     975                 :          0 :         rss_hash_level = RTE_ETH_RSS_LEVEL(rss_hf);
     976         [ #  # ]:          0 :         if (rss_hash_level)
     977                 :          0 :                 rss_hash_level -= 1;
     978                 :            : 
     979                 :          0 :         flowkey_cfg = cnxk_rss_ethdev_to_nix(dev, rss_hf, rss_hash_level);
     980                 :          0 :         return roc_nix_rss_default_setup(&dev->nix, flowkey_cfg);
     981                 :            : }
     982                 :            : 
     983                 :            : static int
     984         [ #  # ]:          0 : nix_store_queue_cfg_and_then_release(struct rte_eth_dev *eth_dev)
     985                 :            : {
     986                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
     987                 :          0 :         const struct eth_dev_ops *dev_ops = eth_dev->dev_ops;
     988                 :            :         struct cnxk_eth_qconf *tx_qconf = NULL;
     989                 :            :         struct cnxk_eth_qconf *rx_qconf = NULL;
     990                 :            :         struct cnxk_eth_rxq_sp *rxq_sp;
     991                 :            :         struct cnxk_eth_txq_sp *txq_sp;
     992                 :            :         int i, nb_rxq, nb_txq;
     993                 :            :         void **txq, **rxq;
     994                 :            : 
     995                 :          0 :         nb_rxq = RTE_MIN(dev->nb_rxq, eth_dev->data->nb_rx_queues);
     996                 :          0 :         nb_txq = RTE_MIN(dev->nb_txq, eth_dev->data->nb_tx_queues);
     997                 :            : 
     998                 :          0 :         tx_qconf = malloc(nb_txq * sizeof(*tx_qconf));
     999         [ #  # ]:          0 :         if (tx_qconf == NULL) {
    1000                 :          0 :                 plt_err("Failed to allocate memory for tx_qconf");
    1001                 :          0 :                 goto fail;
    1002                 :            :         }
    1003                 :            : 
    1004                 :          0 :         rx_qconf = malloc(nb_rxq * sizeof(*rx_qconf));
    1005         [ #  # ]:          0 :         if (rx_qconf == NULL) {
    1006                 :          0 :                 plt_err("Failed to allocate memory for rx_qconf");
    1007                 :          0 :                 goto fail;
    1008                 :            :         }
    1009                 :            : 
    1010                 :          0 :         txq = eth_dev->data->tx_queues;
    1011         [ #  # ]:          0 :         for (i = 0; i < nb_txq; i++) {
    1012         [ #  # ]:          0 :                 if (txq[i] == NULL) {
    1013                 :          0 :                         tx_qconf[i].valid = false;
    1014                 :          0 :                         plt_info("txq[%d] is already released", i);
    1015                 :          0 :                         continue;
    1016                 :            :                 }
    1017                 :            :                 txq_sp = cnxk_eth_txq_to_sp(txq[i]);
    1018                 :          0 :                 memcpy(&tx_qconf[i], &txq_sp->qconf, sizeof(*tx_qconf));
    1019                 :          0 :                 tx_qconf[i].valid = true;
    1020                 :          0 :                 dev_ops->tx_queue_release(eth_dev, i);
    1021                 :          0 :                 eth_dev->data->tx_queues[i] = NULL;
    1022                 :            :         }
    1023                 :            : 
    1024                 :          0 :         rxq = eth_dev->data->rx_queues;
    1025         [ #  # ]:          0 :         for (i = 0; i < nb_rxq; i++) {
    1026         [ #  # ]:          0 :                 if (rxq[i] == NULL) {
    1027                 :          0 :                         rx_qconf[i].valid = false;
    1028                 :          0 :                         plt_info("rxq[%d] is already released", i);
    1029                 :          0 :                         continue;
    1030                 :            :                 }
    1031                 :            :                 rxq_sp = cnxk_eth_rxq_to_sp(rxq[i]);
    1032                 :          0 :                 memcpy(&rx_qconf[i], &rxq_sp->qconf, sizeof(*rx_qconf));
    1033                 :          0 :                 rx_qconf[i].valid = true;
    1034                 :          0 :                 dev_ops->rx_queue_release(eth_dev, i);
    1035                 :          0 :                 eth_dev->data->rx_queues[i] = NULL;
    1036                 :            :         }
    1037                 :            : 
    1038                 :          0 :         dev->tx_qconf = tx_qconf;
    1039                 :          0 :         dev->rx_qconf = rx_qconf;
    1040                 :          0 :         return 0;
    1041                 :            : 
    1042                 :          0 : fail:
    1043                 :          0 :         free(tx_qconf);
    1044                 :            :         free(rx_qconf);
    1045                 :          0 :         return -ENOMEM;
    1046                 :            : }
    1047                 :            : 
    1048                 :            : static int
    1049                 :          0 : nix_restore_queue_cfg(struct rte_eth_dev *eth_dev)
    1050                 :            : {
    1051                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1052                 :          0 :         const struct eth_dev_ops *dev_ops = eth_dev->dev_ops;
    1053                 :          0 :         struct cnxk_eth_qconf *tx_qconf = dev->tx_qconf;
    1054                 :          0 :         struct cnxk_eth_qconf *rx_qconf = dev->rx_qconf;
    1055                 :            :         int rc, i, nb_rxq, nb_txq;
    1056                 :            : 
    1057                 :          0 :         nb_rxq = RTE_MIN(dev->nb_rxq, eth_dev->data->nb_rx_queues);
    1058                 :          0 :         nb_txq = RTE_MIN(dev->nb_txq, eth_dev->data->nb_tx_queues);
    1059                 :            : 
    1060                 :            :         rc = -ENOMEM;
    1061                 :            :         /* Setup tx & rx queues with previous configuration so
    1062                 :            :          * that the queues can be functional in cases like ports
    1063                 :            :          * are started without re configuring queues.
    1064                 :            :          *
    1065                 :            :          * Usual re config sequence is like below:
    1066                 :            :          * port_configure() {
    1067                 :            :          *      if(reconfigure) {
    1068                 :            :          *              queue_release()
    1069                 :            :          *              queue_setup()
    1070                 :            :          *      }
    1071                 :            :          *      queue_configure() {
    1072                 :            :          *              queue_release()
    1073                 :            :          *              queue_setup()
    1074                 :            :          *      }
    1075                 :            :          * }
    1076                 :            :          * port_start()
    1077                 :            :          *
    1078                 :            :          * In some application's control path, queue_configure() would
    1079                 :            :          * NOT be invoked for TXQs/RXQs in port_configure().
    1080                 :            :          * In such cases, queues can be functional after start as the
    1081                 :            :          * queues are already setup in port_configure().
    1082                 :            :          */
    1083         [ #  # ]:          0 :         for (i = 0; i < nb_txq; i++) {
    1084         [ #  # ]:          0 :                 if (!tx_qconf[i].valid)
    1085                 :          0 :                         continue;
    1086                 :          0 :                 rc = dev_ops->tx_queue_setup(eth_dev, i, tx_qconf[i].nb_desc, 0,
    1087                 :          0 :                                              &tx_qconf[i].conf.tx);
    1088         [ #  # ]:          0 :                 if (rc) {
    1089                 :          0 :                         plt_err("Failed to setup tx queue rc=%d", rc);
    1090         [ #  # ]:          0 :                         for (i -= 1; i >= 0; i--)
    1091                 :          0 :                                 dev_ops->tx_queue_release(eth_dev, i);
    1092                 :          0 :                         goto fail;
    1093                 :            :                 }
    1094                 :            :         }
    1095                 :            : 
    1096                 :          0 :         free(tx_qconf);
    1097                 :            :         tx_qconf = NULL;
    1098                 :            : 
    1099         [ #  # ]:          0 :         for (i = 0; i < nb_rxq; i++) {
    1100         [ #  # ]:          0 :                 if (!rx_qconf[i].valid)
    1101                 :          0 :                         continue;
    1102                 :          0 :                 rc = dev_ops->rx_queue_setup(eth_dev, i, rx_qconf[i].nb_desc, 0,
    1103                 :          0 :                                              &rx_qconf[i].conf.rx,
    1104                 :            :                                              rx_qconf[i].mp);
    1105         [ #  # ]:          0 :                 if (rc) {
    1106                 :          0 :                         plt_err("Failed to setup rx queue rc=%d", rc);
    1107         [ #  # ]:          0 :                         for (i -= 1; i >= 0; i--)
    1108                 :          0 :                                 dev_ops->rx_queue_release(eth_dev, i);
    1109                 :          0 :                         goto tx_queue_release;
    1110                 :            :                 }
    1111                 :            :         }
    1112                 :            : 
    1113                 :          0 :         free(rx_qconf);
    1114                 :            :         rx_qconf = NULL;
    1115                 :            : 
    1116                 :          0 :         return 0;
    1117                 :            : 
    1118                 :            : tx_queue_release:
    1119         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_tx_queues; i++)
    1120                 :          0 :                 dev_ops->tx_queue_release(eth_dev, i);
    1121                 :          0 : fail:
    1122                 :          0 :         free(tx_qconf);
    1123                 :          0 :         free(rx_qconf);
    1124                 :            : 
    1125                 :          0 :         return rc;
    1126                 :            : }
    1127                 :            : 
    1128                 :            : static void
    1129                 :            : nix_set_nop_rxtx_function(struct rte_eth_dev *eth_dev)
    1130                 :            : {
    1131                 :            :         /* These dummy functions are required for supporting
    1132                 :            :          * some applications which reconfigure queues without
    1133                 :            :          * stopping tx burst and rx burst threads.
    1134                 :            :          * When the queues context is saved, txq/rxqs are released
    1135                 :            :          * which caused app crash since rx/tx burst is still
    1136                 :            :          * on different lcores
    1137                 :            :          */
    1138                 :          0 :         eth_dev->tx_pkt_burst = rte_eth_pkt_burst_dummy;
    1139                 :          0 :         eth_dev->rx_pkt_burst = rte_eth_pkt_burst_dummy;
    1140                 :            :         rte_mb();
    1141                 :            : }
    1142                 :            : 
    1143                 :            : static int
    1144                 :          0 : nix_lso_tun_fmt_update(struct cnxk_eth_dev *dev)
    1145                 :            : {
    1146                 :            :         uint8_t udp_tun[ROC_NIX_LSO_TUN_MAX];
    1147                 :            :         uint8_t tun[ROC_NIX_LSO_TUN_MAX];
    1148                 :          0 :         struct roc_nix *nix = &dev->nix;
    1149                 :            :         int rc;
    1150                 :            : 
    1151                 :          0 :         rc = roc_nix_lso_fmt_get(nix, udp_tun, tun);
    1152         [ #  # ]:          0 :         if (rc)
    1153                 :            :                 return rc;
    1154                 :            : 
    1155                 :          0 :         dev->lso_tun_fmt = ((uint64_t)tun[ROC_NIX_LSO_TUN_V4V4] |
    1156                 :          0 :                             (uint64_t)tun[ROC_NIX_LSO_TUN_V4V6] << 8 |
    1157                 :          0 :                             (uint64_t)tun[ROC_NIX_LSO_TUN_V6V4] << 16 |
    1158                 :          0 :                             (uint64_t)tun[ROC_NIX_LSO_TUN_V6V6] << 24);
    1159                 :            : 
    1160                 :          0 :         dev->lso_tun_fmt |= ((uint64_t)udp_tun[ROC_NIX_LSO_TUN_V4V4] << 32 |
    1161                 :          0 :                              (uint64_t)udp_tun[ROC_NIX_LSO_TUN_V4V6] << 40 |
    1162                 :          0 :                              (uint64_t)udp_tun[ROC_NIX_LSO_TUN_V6V4] << 48 |
    1163                 :          0 :                              (uint64_t)udp_tun[ROC_NIX_LSO_TUN_V6V6] << 56);
    1164                 :          0 :         return 0;
    1165                 :            : }
    1166                 :            : 
    1167                 :            : static int
    1168                 :          0 : nix_lso_fmt_setup(struct cnxk_eth_dev *dev)
    1169                 :            : {
    1170                 :          0 :         struct roc_nix *nix = &dev->nix;
    1171                 :            :         int rc;
    1172                 :            : 
    1173                 :            :         /* Nothing much to do if offload is not enabled */
    1174         [ #  # ]:          0 :         if (!(dev->tx_offloads &
    1175                 :            :               (RTE_ETH_TX_OFFLOAD_TCP_TSO | RTE_ETH_TX_OFFLOAD_VXLAN_TNL_TSO |
    1176                 :            :                RTE_ETH_TX_OFFLOAD_GENEVE_TNL_TSO | RTE_ETH_TX_OFFLOAD_GRE_TNL_TSO)))
    1177                 :            :                 return 0;
    1178                 :            : 
    1179                 :            :         /* Setup LSO formats in AF. Its a no-op if other ethdev has
    1180                 :            :          * already set it up
    1181                 :            :          */
    1182                 :          0 :         rc = roc_nix_lso_fmt_setup(nix);
    1183         [ #  # ]:          0 :         if (rc)
    1184                 :            :                 return rc;
    1185                 :            : 
    1186                 :          0 :         return nix_lso_tun_fmt_update(dev);
    1187                 :            : }
    1188                 :            : 
    1189                 :            : int
    1190                 :          0 : cnxk_nix_configure(struct rte_eth_dev *eth_dev)
    1191                 :            : {
    1192                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1193                 :            :         struct rte_eth_dev_data *data = eth_dev->data;
    1194                 :            :         struct rte_eth_conf *conf = &data->dev_conf;
    1195                 :            :         struct rte_eth_rxmode *rxmode = &conf->rxmode;
    1196                 :            :         struct rte_eth_txmode *txmode = &conf->txmode;
    1197                 :            :         char ea_fmt[RTE_ETHER_ADDR_FMT_SIZE];
    1198                 :          0 :         struct roc_nix_fc_cfg fc_cfg = {0};
    1199                 :          0 :         struct roc_nix *nix = &dev->nix;
    1200                 :            :         uint16_t nb_rxq, nb_txq, nb_cq;
    1201                 :            :         struct rte_ether_addr *ea;
    1202                 :            :         uint64_t rx_cfg;
    1203                 :            :         void *qs;
    1204                 :            :         int rc;
    1205                 :            : 
    1206                 :            :         rc = -EINVAL;
    1207                 :            : 
    1208                 :            :         /* Sanity checks */
    1209         [ #  # ]:          0 :         if (rte_eal_has_hugepages() == 0) {
    1210                 :          0 :                 plt_err("Huge page is not configured");
    1211                 :          0 :                 goto fail_configure;
    1212                 :            :         }
    1213                 :            : 
    1214         [ #  # ]:          0 :         if (conf->dcb_capability_en == 1) {
    1215                 :          0 :                 plt_err("dcb enable is not supported");
    1216                 :          0 :                 goto fail_configure;
    1217                 :            :         }
    1218                 :            : 
    1219         [ #  # ]:          0 :         if (rxmode->mq_mode != RTE_ETH_MQ_RX_NONE &&
    1220                 :            :             rxmode->mq_mode != RTE_ETH_MQ_RX_RSS) {
    1221                 :          0 :                 plt_err("Unsupported mq rx mode %d", rxmode->mq_mode);
    1222                 :          0 :                 goto fail_configure;
    1223                 :            :         }
    1224                 :            : 
    1225         [ #  # ]:          0 :         if (txmode->mq_mode != RTE_ETH_MQ_TX_NONE) {
    1226                 :          0 :                 plt_err("Unsupported mq tx mode %d", txmode->mq_mode);
    1227                 :          0 :                 goto fail_configure;
    1228                 :            :         }
    1229                 :            : 
    1230                 :            :         /* Free the resources allocated from the previous configure */
    1231         [ #  # ]:          0 :         if (dev->configured == 1) {
    1232                 :            :                 /* Unregister queue irq's */
    1233                 :          0 :                 roc_nix_unregister_queue_irqs(nix);
    1234                 :            : 
    1235                 :            :                 /* Unregister CQ irqs if present */
    1236         [ #  # ]:          0 :                 if (eth_dev->data->dev_conf.intr_conf.rxq)
    1237                 :          0 :                         roc_nix_unregister_cq_irqs(nix);
    1238                 :            : 
    1239                 :            :                 /* Set no-op functions */
    1240                 :            :                 nix_set_nop_rxtx_function(eth_dev);
    1241                 :            :                 /* Store queue config for later */
    1242                 :          0 :                 rc = nix_store_queue_cfg_and_then_release(eth_dev);
    1243         [ #  # ]:          0 :                 if (rc)
    1244                 :          0 :                         goto fail_configure;
    1245                 :            : 
    1246                 :            :                 /* Disable and free rte_meter entries */
    1247                 :          0 :                 rc = nix_meter_fini(dev);
    1248         [ #  # ]:          0 :                 if (rc)
    1249                 :          0 :                         goto fail_configure;
    1250                 :            : 
    1251                 :            :                 /* Cleanup security support */
    1252                 :          0 :                 rc = nix_security_release(dev);
    1253         [ #  # ]:          0 :                 if (rc)
    1254                 :          0 :                         goto fail_configure;
    1255                 :            : 
    1256                 :          0 :                 roc_nix_tm_fini(nix);
    1257                 :          0 :                 nix_rxchan_cfg_disable(dev);
    1258                 :          0 :                 roc_nix_lf_free(nix);
    1259                 :            :         }
    1260                 :            : 
    1261                 :          0 :         dev->rx_offloads = rxmode->offloads;
    1262                 :          0 :         dev->tx_offloads = txmode->offloads;
    1263                 :            : 
    1264                 :            :         /* Prepare rx cfg */
    1265                 :            :         rx_cfg = ROC_NIX_LF_RX_CFG_DIS_APAD;
    1266         [ #  # ]:          0 :         if (dev->rx_offloads &
    1267                 :            :             (RTE_ETH_RX_OFFLOAD_TCP_CKSUM | RTE_ETH_RX_OFFLOAD_UDP_CKSUM)) {
    1268                 :            :                 rx_cfg |= ROC_NIX_LF_RX_CFG_CSUM_OL4;
    1269                 :            :                 rx_cfg |= ROC_NIX_LF_RX_CFG_CSUM_IL4;
    1270                 :            :         }
    1271         [ #  # ]:          0 :         rx_cfg |= (ROC_NIX_LF_RX_CFG_DROP_RE | ROC_NIX_LF_RX_CFG_L2_LEN_ERR |
    1272                 :            :                    ROC_NIX_LF_RX_CFG_LEN_IL4 | ROC_NIX_LF_RX_CFG_LEN_IL3 |
    1273                 :            :                    ROC_NIX_LF_RX_CFG_LEN_OL4 | ROC_NIX_LF_RX_CFG_LEN_OL3);
    1274                 :            : 
    1275                 :            :         rx_cfg &= (ROC_NIX_LF_RX_CFG_RX_ERROR_MASK);
    1276                 :            : 
    1277         [ #  # ]:          0 :         if (roc_feature_nix_has_drop_re_mask())
    1278                 :          0 :                 rx_cfg |= (ROC_NIX_RE_CRC8_PCH | ROC_NIX_RE_MACSEC);
    1279                 :            : 
    1280         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
    1281                 :          0 :                 rx_cfg |= ROC_NIX_LF_RX_CFG_IP6_UDP_OPT;
    1282                 :            :                 /* Disable drop re if rx offload security is enabled and
    1283                 :            :                  * platform does not support it.
    1284                 :            :                  */
    1285         [ #  # ]:          0 :                 if (dev->ipsecd_drop_re_dis)
    1286                 :          0 :                         rx_cfg &= ~(ROC_NIX_LF_RX_CFG_DROP_RE);
    1287                 :            :         }
    1288                 :            : 
    1289                 :          0 :         nb_rxq = RTE_MAX(data->nb_rx_queues, 1);
    1290                 :          0 :         nb_txq = RTE_MAX(data->nb_tx_queues, 1);
    1291                 :            : 
    1292         [ #  # ]:          0 :         if (roc_nix_is_lbk(nix))
    1293                 :          0 :                 nix->enable_loop = eth_dev->data->dev_conf.lpbk_mode;
    1294                 :            : 
    1295                 :          0 :         nix->tx_compl_ena = dev->tx_compl_ena;
    1296                 :            : 
    1297                 :            :         /* Alloc a nix lf */
    1298                 :          0 :         rc = roc_nix_lf_alloc(nix, nb_rxq, nb_txq, rx_cfg);
    1299         [ #  # ]:          0 :         if (rc) {
    1300                 :          0 :                 plt_err("Failed to init nix_lf rc=%d", rc);
    1301                 :          0 :                 goto fail_configure;
    1302                 :            :         }
    1303                 :            : 
    1304         [ #  # ]:          0 :         if (!roc_nix_is_vf_or_sdp(nix)) {
    1305                 :            :                 /* Sync same MAC address to CGX/RPM table */
    1306                 :          0 :                 rc = roc_nix_mac_addr_set(nix, dev->mac_addr);
    1307         [ #  # ]:          0 :                 if (rc) {
    1308                 :          0 :                         plt_err("Failed to set mac addr, rc=%d", rc);
    1309                 :          0 :                         goto fail_configure;
    1310                 :            :                 }
    1311                 :            :         }
    1312                 :            : 
    1313                 :            :         /* Check if ptp is enable in PF owning this VF*/
    1314   [ #  #  #  # ]:          0 :         if (!roc_nix_is_pf(nix) && (!roc_nix_is_sdp(nix)))
    1315                 :          0 :                 dev->ptp_en = roc_nix_ptp_is_enable(nix);
    1316                 :            : 
    1317                 :          0 :         dev->npc.channel = roc_nix_get_base_chan(nix);
    1318                 :            : 
    1319                 :          0 :         nb_rxq = data->nb_rx_queues;
    1320                 :          0 :         nb_txq = data->nb_tx_queues;
    1321                 :            :         nb_cq = nb_rxq;
    1322         [ #  # ]:          0 :         if (nix->tx_compl_ena)
    1323                 :          0 :                 nb_cq += nb_txq;
    1324                 :            :         rc = -ENOMEM;
    1325         [ #  # ]:          0 :         if (nb_rxq) {
    1326                 :            :                 /* Allocate memory for roc rq's and cq's */
    1327                 :          0 :                 qs = plt_zmalloc(sizeof(struct roc_nix_rq) * nb_rxq, 0);
    1328         [ #  # ]:          0 :                 if (!qs) {
    1329                 :          0 :                         plt_err("Failed to alloc rqs");
    1330                 :          0 :                         goto free_nix_lf;
    1331                 :            :                 }
    1332                 :          0 :                 dev->rqs = qs;
    1333                 :            :         }
    1334                 :            : 
    1335         [ #  # ]:          0 :         if (nb_txq) {
    1336                 :            :                 /* Allocate memory for roc sq's */
    1337                 :          0 :                 qs = plt_zmalloc(sizeof(struct roc_nix_sq) * nb_txq, 0);
    1338         [ #  # ]:          0 :                 if (!qs) {
    1339                 :          0 :                         plt_err("Failed to alloc sqs");
    1340                 :          0 :                         goto free_nix_lf;
    1341                 :            :                 }
    1342                 :          0 :                 dev->sqs = qs;
    1343                 :            :         }
    1344                 :            : 
    1345         [ #  # ]:          0 :         if (nb_cq) {
    1346                 :          0 :                 qs = plt_zmalloc(sizeof(struct roc_nix_cq) * nb_cq, 0);
    1347         [ #  # ]:          0 :                 if (!qs) {
    1348                 :          0 :                         plt_err("Failed to alloc cqs");
    1349                 :          0 :                         goto free_nix_lf;
    1350                 :            :                 }
    1351                 :          0 :                 dev->cqs = qs;
    1352                 :            :         }
    1353                 :            : 
    1354                 :            :         /* Re-enable NIX LF error interrupts */
    1355                 :          0 :         roc_nix_err_intr_ena_dis(nix, true);
    1356                 :          0 :         roc_nix_ras_intr_ena_dis(nix, true);
    1357                 :            : 
    1358         [ #  # ]:          0 :         if (nix->rx_ptp_ena &&
    1359         [ #  # ]:          0 :             dev->npc.switch_header_type == ROC_PRIV_FLAGS_HIGIG) {
    1360                 :          0 :                 plt_err("Both PTP and switch header enabled");
    1361                 :          0 :                 goto free_nix_lf;
    1362                 :            :         }
    1363                 :            : 
    1364                 :          0 :         rc = roc_nix_switch_hdr_set(nix, dev->npc.switch_header_type,
    1365                 :          0 :                                     dev->npc.pre_l2_size_offset,
    1366                 :          0 :                                     dev->npc.pre_l2_size_offset_mask,
    1367                 :          0 :                                     dev->npc.pre_l2_size_shift_dir);
    1368         [ #  # ]:          0 :         if (rc) {
    1369                 :          0 :                 plt_err("Failed to enable switch type nix_lf rc=%d", rc);
    1370                 :          0 :                 goto free_nix_lf;
    1371                 :            :         }
    1372                 :            : 
    1373                 :            :         /* Setup LSO if needed */
    1374                 :          0 :         rc = nix_lso_fmt_setup(dev);
    1375         [ #  # ]:          0 :         if (rc) {
    1376                 :          0 :                 plt_err("Failed to setup nix lso format fields, rc=%d", rc);
    1377                 :          0 :                 goto free_nix_lf;
    1378                 :            :         }
    1379                 :            : 
    1380                 :            :         /* Configure RSS */
    1381                 :          0 :         rc = nix_rss_default_setup(dev);
    1382         [ #  # ]:          0 :         if (rc) {
    1383                 :          0 :                 plt_err("Failed to configure rss rc=%d", rc);
    1384                 :          0 :                 goto free_nix_lf;
    1385                 :            :         }
    1386                 :            : 
    1387                 :            :         /* Init the default TM scheduler hierarchy */
    1388                 :          0 :         rc = roc_nix_tm_init(nix);
    1389         [ #  # ]:          0 :         if (rc) {
    1390                 :          0 :                 plt_err("Failed to init traffic manager, rc=%d", rc);
    1391                 :          0 :                 goto free_nix_lf;
    1392                 :            :         }
    1393                 :            : 
    1394                 :          0 :         rc = nix_ingress_policer_setup(dev);
    1395         [ #  # ]:          0 :         if (rc) {
    1396                 :          0 :                 plt_err("Failed to setup ingress policer rc=%d", rc);
    1397                 :          0 :                 goto free_nix_lf;
    1398                 :            :         }
    1399                 :            : 
    1400                 :          0 :         rc = roc_nix_tm_hierarchy_enable(nix, ROC_NIX_TM_DEFAULT, false);
    1401         [ #  # ]:          0 :         if (rc) {
    1402                 :          0 :                 plt_err("Failed to enable default tm hierarchy, rc=%d", rc);
    1403                 :          0 :                 goto tm_fini;
    1404                 :            :         }
    1405                 :            : 
    1406                 :            :         /* Register queue IRQs */
    1407                 :          0 :         rc = roc_nix_register_queue_irqs(nix);
    1408         [ #  # ]:          0 :         if (rc) {
    1409                 :          0 :                 plt_err("Failed to register queue interrupts rc=%d", rc);
    1410                 :          0 :                 goto tm_fini;
    1411                 :            :         }
    1412                 :            : 
    1413                 :            :         /* Register cq IRQs */
    1414         [ #  # ]:          0 :         if (eth_dev->data->dev_conf.intr_conf.rxq) {
    1415         [ #  # ]:          0 :                 if (eth_dev->data->nb_rx_queues > dev->nix.cints) {
    1416                 :          0 :                         plt_err("Rx interrupt cannot be enabled, rxq > %d",
    1417                 :            :                                 dev->nix.cints);
    1418                 :          0 :                         goto q_irq_fini;
    1419                 :            :                 }
    1420                 :            :                 /* Rx interrupt feature cannot work with vector mode because,
    1421                 :            :                  * vector mode does not process packets unless min 4 pkts are
    1422                 :            :                  * received, while cq interrupts are generated even for 1 pkt
    1423                 :            :                  * in the CQ.
    1424                 :            :                  */
    1425                 :          0 :                 dev->scalar_ena = true;
    1426                 :            : 
    1427                 :          0 :                 rc = roc_nix_register_cq_irqs(nix);
    1428         [ #  # ]:          0 :                 if (rc) {
    1429                 :          0 :                         plt_err("Failed to register CQ interrupts rc=%d", rc);
    1430                 :          0 :                         goto q_irq_fini;
    1431                 :            :                 }
    1432                 :            :         }
    1433                 :            : 
    1434         [ #  # ]:          0 :         if (roc_nix_is_lbk(nix))
    1435                 :          0 :                 goto skip_lbk_setup;
    1436                 :            : 
    1437                 :            :         /* Configure loop back mode */
    1438                 :          0 :         rc = roc_nix_mac_loopback_enable(nix,
    1439                 :          0 :                                          eth_dev->data->dev_conf.lpbk_mode);
    1440         [ #  # ]:          0 :         if (rc) {
    1441                 :          0 :                 plt_err("Failed to configure cgx loop back mode rc=%d", rc);
    1442                 :          0 :                 goto cq_fini;
    1443                 :            :         }
    1444                 :            : 
    1445                 :          0 : skip_lbk_setup:
    1446                 :            :         /* Setup Inline security support */
    1447                 :          0 :         rc = nix_security_setup(dev);
    1448         [ #  # ]:          0 :         if (rc)
    1449                 :          0 :                 goto cq_fini;
    1450                 :            : 
    1451                 :            :         /* Init flow control configuration */
    1452         [ #  # ]:          0 :         if (!roc_nix_is_esw(nix)) {
    1453                 :          0 :                 fc_cfg.type = ROC_NIX_FC_RXCHAN_CFG;
    1454                 :          0 :                 fc_cfg.rxchan_cfg.enable = true;
    1455                 :          0 :                 rc = roc_nix_fc_config_set(nix, &fc_cfg);
    1456         [ #  # ]:          0 :                 if (rc) {
    1457                 :          0 :                         plt_err("Failed to initialize flow control rc=%d", rc);
    1458                 :          0 :                         goto cq_fini;
    1459                 :            :                 }
    1460                 :            :         }
    1461                 :            : 
    1462                 :            :         /* Update flow control configuration to PMD */
    1463                 :          0 :         rc = nix_init_flow_ctrl_config(eth_dev);
    1464         [ #  # ]:          0 :         if (rc) {
    1465                 :          0 :                 plt_err("Failed to initialize flow control rc=%d", rc);
    1466                 :          0 :                 goto cq_fini;
    1467                 :            :         }
    1468                 :            : 
    1469                 :            :         /*
    1470                 :            :          * Restore queue config when reconfigure followed by
    1471                 :            :          * reconfigure and no queue configure invoked from application case.
    1472                 :            :          */
    1473         [ #  # ]:          0 :         if (dev->configured == 1) {
    1474                 :          0 :                 rc = nix_restore_queue_cfg(eth_dev);
    1475         [ #  # ]:          0 :                 if (rc)
    1476                 :          0 :                         goto sec_release;
    1477                 :            :         }
    1478                 :            : 
    1479                 :            :         /* Update the mac address */
    1480                 :          0 :         ea = eth_dev->data->mac_addrs;
    1481         [ #  # ]:          0 :         memcpy(ea, dev->mac_addr, RTE_ETHER_ADDR_LEN);
    1482         [ #  # ]:          0 :         if (rte_is_zero_ether_addr(ea))
    1483                 :          0 :                 rte_eth_random_addr((uint8_t *)ea);
    1484                 :            : 
    1485                 :          0 :         rte_ether_format_addr(ea_fmt, RTE_ETHER_ADDR_FMT_SIZE, ea);
    1486                 :            : 
    1487                 :          0 :         plt_nix_dbg("Configured port%d mac=%s nb_rxq=%d nb_txq=%d"
    1488                 :            :                     " rx_offloads=0x%" PRIx64 " tx_offloads=0x%" PRIx64 "",
    1489                 :            :                     eth_dev->data->port_id, ea_fmt, nb_rxq, nb_txq,
    1490                 :            :                     dev->rx_offloads, dev->tx_offloads);
    1491                 :            : 
    1492                 :            :         /* All good */
    1493                 :          0 :         dev->configured = 1;
    1494                 :          0 :         dev->nb_rxq = data->nb_rx_queues;
    1495                 :          0 :         dev->nb_txq = data->nb_tx_queues;
    1496                 :          0 :         return 0;
    1497                 :            : 
    1498                 :            : sec_release:
    1499                 :          0 :         rc |= nix_security_release(dev);
    1500                 :          0 : cq_fini:
    1501                 :          0 :         roc_nix_unregister_cq_irqs(nix);
    1502                 :          0 : q_irq_fini:
    1503                 :          0 :         roc_nix_unregister_queue_irqs(nix);
    1504                 :          0 : tm_fini:
    1505                 :          0 :         roc_nix_tm_fini(nix);
    1506                 :          0 : free_nix_lf:
    1507                 :          0 :         nix_free_queue_mem(dev);
    1508                 :          0 :         rc |= nix_rxchan_cfg_disable(dev);
    1509                 :          0 :         rc |= roc_nix_lf_free(nix);
    1510                 :          0 : fail_configure:
    1511                 :          0 :         dev->configured = 0;
    1512                 :          0 :         return rc;
    1513                 :            : }
    1514                 :            : 
    1515                 :            : int
    1516         [ #  # ]:          0 : cnxk_nix_tx_queue_start(struct rte_eth_dev *eth_dev, uint16_t qid)
    1517                 :            : {
    1518                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1519                 :            :         struct rte_eth_dev_data *data = eth_dev->data;
    1520                 :          0 :         struct roc_nix_sq *sq = &dev->sqs[qid];
    1521                 :            :         int rc = -EINVAL;
    1522                 :            : 
    1523         [ #  # ]:          0 :         if (data->tx_queue_state[qid] == RTE_ETH_QUEUE_STATE_STARTED)
    1524                 :            :                 return 0;
    1525                 :            : 
    1526                 :          0 :         rc = roc_nix_sq_ena_dis(sq, true);
    1527         [ #  # ]:          0 :         if (rc) {
    1528                 :          0 :                 plt_err("Failed to enable sq aura fc, txq=%u, rc=%d", qid, rc);
    1529                 :          0 :                 goto done;
    1530                 :            :         }
    1531                 :            : 
    1532                 :          0 :         data->tx_queue_state[qid] = RTE_ETH_QUEUE_STATE_STARTED;
    1533                 :            : done:
    1534                 :            :         return rc;
    1535                 :            : }
    1536                 :            : 
    1537                 :            : int
    1538         [ #  # ]:          0 : cnxk_nix_tx_queue_stop(struct rte_eth_dev *eth_dev, uint16_t qid)
    1539                 :            : {
    1540                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1541                 :            :         struct rte_eth_dev_data *data = eth_dev->data;
    1542                 :          0 :         struct roc_nix_sq *sq = &dev->sqs[qid];
    1543                 :            :         int rc;
    1544                 :            : 
    1545         [ #  # ]:          0 :         if (data->tx_queue_state[qid] == RTE_ETH_QUEUE_STATE_STOPPED)
    1546                 :            :                 return 0;
    1547                 :            : 
    1548                 :          0 :         rc = roc_nix_sq_ena_dis(sq, false);
    1549         [ #  # ]:          0 :         if (rc) {
    1550                 :          0 :                 plt_err("Failed to disable sqb aura fc, txq=%u, rc=%d", qid,
    1551                 :            :                         rc);
    1552                 :          0 :                 goto done;
    1553                 :            :         }
    1554                 :            : 
    1555                 :          0 :         data->tx_queue_state[qid] = RTE_ETH_QUEUE_STATE_STOPPED;
    1556                 :            : done:
    1557                 :            :         return rc;
    1558                 :            : }
    1559                 :            : 
    1560                 :            : static int
    1561         [ #  # ]:          0 : cnxk_nix_rx_queue_start(struct rte_eth_dev *eth_dev, uint16_t qid)
    1562                 :            : {
    1563                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1564                 :            :         struct rte_eth_dev_data *data = eth_dev->data;
    1565                 :          0 :         struct roc_nix_rq *rq = &dev->rqs[qid];
    1566                 :            :         int rc;
    1567                 :            : 
    1568         [ #  # ]:          0 :         if (data->rx_queue_state[qid] == RTE_ETH_QUEUE_STATE_STARTED)
    1569                 :            :                 return 0;
    1570                 :            : 
    1571                 :          0 :         rc = roc_nix_rq_ena_dis(rq, true);
    1572         [ #  # ]:          0 :         if (rc) {
    1573                 :          0 :                 plt_err("Failed to enable rxq=%u, rc=%d", qid, rc);
    1574                 :          0 :                 goto done;
    1575                 :            :         }
    1576                 :            : 
    1577                 :          0 :         data->rx_queue_state[qid] = RTE_ETH_QUEUE_STATE_STARTED;
    1578                 :            : done:
    1579                 :            :         return rc;
    1580                 :            : }
    1581                 :            : 
    1582                 :            : static int
    1583         [ #  # ]:          0 : cnxk_nix_rx_queue_stop(struct rte_eth_dev *eth_dev, uint16_t qid)
    1584                 :            : {
    1585                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1586                 :            :         struct rte_eth_dev_data *data = eth_dev->data;
    1587                 :          0 :         struct roc_nix_rq *rq = &dev->rqs[qid];
    1588                 :            :         int rc;
    1589                 :            : 
    1590         [ #  # ]:          0 :         if (data->rx_queue_state[qid] == RTE_ETH_QUEUE_STATE_STOPPED)
    1591                 :            :                 return 0;
    1592                 :            : 
    1593                 :          0 :         rc = roc_nix_rq_ena_dis(rq, false);
    1594         [ #  # ]:          0 :         if (rc) {
    1595                 :          0 :                 plt_err("Failed to disable rxq=%u, rc=%d", qid, rc);
    1596                 :          0 :                 goto done;
    1597                 :            :         }
    1598                 :            : 
    1599                 :          0 :         data->rx_queue_state[qid] = RTE_ETH_QUEUE_STATE_STOPPED;
    1600                 :            : done:
    1601                 :            :         return rc;
    1602                 :            : }
    1603                 :            : 
    1604                 :            : static int
    1605                 :          0 : cnxk_nix_dev_stop(struct rte_eth_dev *eth_dev)
    1606                 :            : {
    1607                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1608                 :          0 :         const struct eth_dev_ops *dev_ops = eth_dev->dev_ops;
    1609                 :            :         struct rte_mbuf *rx_pkts[32];
    1610                 :            :         struct rte_eth_link link;
    1611                 :            :         int count, i, j, rc;
    1612                 :            :         void *rxq;
    1613                 :            : 
    1614                 :            :         /* Disable all the NPC entries */
    1615                 :          0 :         rc = roc_npc_mcam_enable_all_entries(&dev->npc, 0);
    1616         [ #  # ]:          0 :         if (rc)
    1617                 :            :                 return rc;
    1618                 :            : 
    1619                 :            :         /* Stop link change events */
    1620         [ #  # ]:          0 :         if (!roc_nix_is_vf_or_sdp(&dev->nix))
    1621                 :          0 :                 roc_nix_mac_link_event_start_stop(&dev->nix, false);
    1622                 :            : 
    1623                 :            :         /* Disable Rx via NPC */
    1624                 :          0 :         roc_nix_npc_rx_ena_dis(&dev->nix, false);
    1625                 :            : 
    1626                 :          0 :         roc_nix_inl_outb_soft_exp_poll_switch(&dev->nix, false);
    1627                 :            : 
    1628                 :            :         /* Stop inline device RQ first */
    1629         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY)
    1630                 :          0 :                 roc_nix_inl_rq_ena_dis(&dev->nix, false);
    1631                 :            : 
    1632                 :            :         /* Stop rx queues and free up pkts pending */
    1633         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_rx_queues; i++) {
    1634                 :          0 :                 rc = dev_ops->rx_queue_stop(eth_dev, i);
    1635         [ #  # ]:          0 :                 if (rc)
    1636                 :          0 :                         continue;
    1637                 :            : 
    1638                 :          0 :                 rxq = eth_dev->data->rx_queues[i];
    1639                 :          0 :                 count = dev->rx_pkt_burst_no_offload(rxq, rx_pkts, 32);
    1640         [ #  # ]:          0 :                 while (count) {
    1641         [ #  # ]:          0 :                         for (j = 0; j < count; j++)
    1642                 :          0 :                                 rte_pktmbuf_free(rx_pkts[j]);
    1643                 :          0 :                         count = dev->rx_pkt_burst_no_offload(rxq, rx_pkts, 32);
    1644                 :            :                 }
    1645                 :            :         }
    1646                 :            : 
    1647                 :            :         /* Stop tx queues  */
    1648         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_tx_queues; i++)
    1649                 :          0 :                 dev_ops->tx_queue_stop(eth_dev, i);
    1650                 :            : 
    1651                 :            :         /* Bring down link status internally */
    1652                 :            :         memset(&link, 0, sizeof(link));
    1653                 :          0 :         rte_eth_linkstatus_set(eth_dev, &link);
    1654                 :            : 
    1655                 :          0 :         return 0;
    1656                 :            : }
    1657                 :            : 
    1658                 :            : int
    1659         [ #  # ]:          0 : cnxk_nix_dev_start(struct rte_eth_dev *eth_dev)
    1660                 :            : {
    1661                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1662                 :            :         int rc, i;
    1663                 :            : 
    1664   [ #  #  #  # ]:          0 :         if (eth_dev->data->nb_rx_queues != 0 && !dev->ptp_en) {
    1665                 :          0 :                 rc = nix_recalc_mtu(eth_dev);
    1666         [ #  # ]:          0 :                 if (rc)
    1667                 :            :                         return rc;
    1668                 :            :         }
    1669                 :            : 
    1670                 :            :         /* Start rx queues */
    1671         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_rx_queues; i++) {
    1672                 :          0 :                 rc = cnxk_nix_rx_queue_start(eth_dev, i);
    1673         [ #  # ]:          0 :                 if (rc)
    1674                 :          0 :                         return rc;
    1675                 :            :         }
    1676                 :            : 
    1677         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SECURITY) {
    1678                 :          0 :                 rc = roc_nix_inl_rq_ena_dis(&dev->nix, true);
    1679         [ #  # ]:          0 :                 if (rc) {
    1680                 :          0 :                         plt_err("Failed to enable Inline device RQ, rc=%d", rc);
    1681                 :          0 :                         return rc;
    1682                 :            :                 }
    1683                 :            :         }
    1684                 :            : 
    1685                 :            :         /* Start tx queues  */
    1686         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_tx_queues; i++) {
    1687                 :          0 :                 rc = cnxk_nix_tx_queue_start(eth_dev, i);
    1688         [ #  # ]:          0 :                 if (rc)
    1689                 :          0 :                         return rc;
    1690                 :            :         }
    1691                 :            : 
    1692                 :            :         /* Update Flow control configuration */
    1693                 :          0 :         rc = nix_update_flow_ctrl_config(eth_dev);
    1694         [ #  # ]:          0 :         if (rc) {
    1695                 :          0 :                 plt_err("Failed to enable flow control. error code(%d)", rc);
    1696                 :          0 :                 return rc;
    1697                 :            :         }
    1698                 :            : 
    1699                 :            :         /* Enable Rx in NPC */
    1700                 :          0 :         rc = roc_nix_npc_rx_ena_dis(&dev->nix, true);
    1701         [ #  # ]:          0 :         if (rc) {
    1702                 :          0 :                 plt_err("Failed to enable NPC rx %d", rc);
    1703                 :          0 :                 return rc;
    1704                 :            :         }
    1705                 :            : 
    1706                 :          0 :         rc = roc_npc_mcam_enable_all_entries(&dev->npc, 1);
    1707         [ #  # ]:          0 :         if (rc) {
    1708                 :          0 :                 plt_err("Failed to enable NPC entries %d", rc);
    1709                 :          0 :                 return rc;
    1710                 :            :         }
    1711                 :            : 
    1712                 :          0 :         cnxk_nix_toggle_flag_link_cfg(dev, true);
    1713                 :            : 
    1714                 :            :         /* Start link change events */
    1715         [ #  # ]:          0 :         if (!roc_nix_is_vf_or_sdp(&dev->nix)) {
    1716                 :          0 :                 rc = roc_nix_mac_link_event_start_stop(&dev->nix, true);
    1717         [ #  # ]:          0 :                 if (rc) {
    1718                 :          0 :                         plt_err("Failed to start cgx link event %d", rc);
    1719                 :          0 :                         goto rx_disable;
    1720                 :            :                 }
    1721                 :            :         }
    1722                 :            : 
    1723                 :            :         /* Enable PTP if it is requested by the user or already
    1724                 :            :          * enabled on PF owning this VF
    1725                 :            :          */
    1726         [ #  # ]:          0 :         memset(&dev->tstamp, 0, sizeof(struct cnxk_timesync_info));
    1727   [ #  #  #  # ]:          0 :         if ((dev->rx_offloads & RTE_ETH_RX_OFFLOAD_TIMESTAMP) || dev->ptp_en)
    1728                 :          0 :                 cnxk_eth_dev_ops.timesync_enable(eth_dev);
    1729                 :            :         else
    1730                 :          0 :                 cnxk_eth_dev_ops.timesync_disable(eth_dev);
    1731                 :            : 
    1732         [ #  # ]:          0 :         if (dev->rx_offloads & RTE_ETH_RX_OFFLOAD_TIMESTAMP) {
    1733                 :          0 :                 rc = rte_mbuf_dyn_rx_timestamp_register
    1734                 :            :                         (&dev->tstamp.tstamp_dynfield_offset,
    1735                 :            :                          &dev->tstamp.rx_tstamp_dynflag);
    1736         [ #  # ]:          0 :                 if (rc != 0) {
    1737                 :          0 :                         plt_err("Failed to register Rx timestamp field/flag");
    1738                 :          0 :                         goto rx_disable;
    1739                 :            :                 }
    1740                 :            :         }
    1741                 :            : 
    1742                 :          0 :         cnxk_nix_toggle_flag_link_cfg(dev, false);
    1743                 :            : 
    1744                 :          0 :         roc_nix_inl_outb_soft_exp_poll_switch(&dev->nix, true);
    1745                 :            : 
    1746                 :          0 :         return 0;
    1747                 :            : 
    1748                 :          0 : rx_disable:
    1749                 :          0 :         roc_nix_npc_rx_ena_dis(&dev->nix, false);
    1750                 :          0 :         cnxk_nix_toggle_flag_link_cfg(dev, false);
    1751                 :          0 :         return rc;
    1752                 :            : }
    1753                 :            : 
    1754                 :            : static int cnxk_nix_dev_reset(struct rte_eth_dev *eth_dev);
    1755                 :            : static int cnxk_nix_dev_close(struct rte_eth_dev *eth_dev);
    1756                 :            : 
    1757                 :            : /* CNXK platform independent eth dev ops */
    1758                 :            : struct eth_dev_ops cnxk_eth_dev_ops = {
    1759                 :            :         .mtu_set = cnxk_nix_mtu_set,
    1760                 :            :         .mac_addr_add = cnxk_nix_mac_addr_add,
    1761                 :            :         .mac_addr_remove = cnxk_nix_mac_addr_del,
    1762                 :            :         .mac_addr_set = cnxk_nix_mac_addr_set,
    1763                 :            :         .dev_infos_get = cnxk_nix_info_get,
    1764                 :            :         .link_update = cnxk_nix_link_update,
    1765                 :            :         .tx_queue_release = cnxk_nix_tx_queue_release,
    1766                 :            :         .rx_queue_release = cnxk_nix_rx_queue_release,
    1767                 :            :         .dev_stop = cnxk_nix_dev_stop,
    1768                 :            :         .dev_close = cnxk_nix_dev_close,
    1769                 :            :         .dev_reset = cnxk_nix_dev_reset,
    1770                 :            :         .tx_queue_start = cnxk_nix_tx_queue_start,
    1771                 :            :         .rx_queue_start = cnxk_nix_rx_queue_start,
    1772                 :            :         .rx_queue_stop = cnxk_nix_rx_queue_stop,
    1773                 :            :         .dev_supported_ptypes_get = cnxk_nix_supported_ptypes_get,
    1774                 :            :         .promiscuous_enable = cnxk_nix_promisc_enable,
    1775                 :            :         .promiscuous_disable = cnxk_nix_promisc_disable,
    1776                 :            :         .allmulticast_enable = cnxk_nix_allmulticast_enable,
    1777                 :            :         .allmulticast_disable = cnxk_nix_allmulticast_disable,
    1778                 :            :         .rx_burst_mode_get = cnxk_nix_rx_burst_mode_get,
    1779                 :            :         .tx_burst_mode_get = cnxk_nix_tx_burst_mode_get,
    1780                 :            :         .flow_ctrl_get = cnxk_nix_flow_ctrl_get,
    1781                 :            :         .flow_ctrl_set = cnxk_nix_flow_ctrl_set,
    1782                 :            :         .priority_flow_ctrl_queue_config =
    1783                 :            :                                 cnxk_nix_priority_flow_ctrl_queue_config,
    1784                 :            :         .priority_flow_ctrl_queue_info_get =
    1785                 :            :                                 cnxk_nix_priority_flow_ctrl_queue_info_get,
    1786                 :            :         .dev_set_link_up = cnxk_nix_set_link_up,
    1787                 :            :         .dev_set_link_down = cnxk_nix_set_link_down,
    1788                 :            :         .get_module_info = cnxk_nix_get_module_info,
    1789                 :            :         .get_module_eeprom = cnxk_nix_get_module_eeprom,
    1790                 :            :         .rx_queue_intr_enable = cnxk_nix_rx_queue_intr_enable,
    1791                 :            :         .rx_queue_intr_disable = cnxk_nix_rx_queue_intr_disable,
    1792                 :            :         .pool_ops_supported = cnxk_nix_pool_ops_supported,
    1793                 :            :         .queue_stats_mapping_set = cnxk_nix_queue_stats_mapping,
    1794                 :            :         .stats_get = cnxk_nix_stats_get,
    1795                 :            :         .stats_reset = cnxk_nix_stats_reset,
    1796                 :            :         .xstats_get = cnxk_nix_xstats_get,
    1797                 :            :         .xstats_get_names = cnxk_nix_xstats_get_names,
    1798                 :            :         .xstats_reset = cnxk_nix_xstats_reset,
    1799                 :            :         .xstats_get_by_id = cnxk_nix_xstats_get_by_id,
    1800                 :            :         .xstats_get_names_by_id = cnxk_nix_xstats_get_names_by_id,
    1801                 :            :         .fw_version_get = cnxk_nix_fw_version_get,
    1802                 :            :         .rxq_info_get = cnxk_nix_rxq_info_get,
    1803                 :            :         .txq_info_get = cnxk_nix_txq_info_get,
    1804                 :            :         .tx_done_cleanup = cnxk_nix_tx_done_cleanup,
    1805                 :            :         .flow_ops_get = cnxk_nix_flow_ops_get,
    1806                 :            :         .get_reg = cnxk_nix_dev_get_reg,
    1807                 :            :         .timesync_read_rx_timestamp = cnxk_nix_timesync_read_rx_timestamp,
    1808                 :            :         .timesync_read_tx_timestamp = cnxk_nix_timesync_read_tx_timestamp,
    1809                 :            :         .timesync_read_time = cnxk_nix_timesync_read_time,
    1810                 :            :         .timesync_write_time = cnxk_nix_timesync_write_time,
    1811                 :            :         .timesync_adjust_time = cnxk_nix_timesync_adjust_time,
    1812                 :            :         .read_clock = cnxk_nix_read_clock,
    1813                 :            :         .reta_update = cnxk_nix_reta_update,
    1814                 :            :         .reta_query = cnxk_nix_reta_query,
    1815                 :            :         .rss_hash_update = cnxk_nix_rss_hash_update,
    1816                 :            :         .rss_hash_conf_get = cnxk_nix_rss_hash_conf_get,
    1817                 :            :         .set_mc_addr_list = cnxk_nix_mc_addr_list_configure,
    1818                 :            :         .set_queue_rate_limit = cnxk_nix_tm_set_queue_rate_limit,
    1819                 :            :         .tm_ops_get = cnxk_nix_tm_ops_get,
    1820                 :            :         .mtr_ops_get = cnxk_nix_mtr_ops_get,
    1821                 :            :         .eth_dev_priv_dump  = cnxk_nix_eth_dev_priv_dump,
    1822                 :            :         .cman_info_get = cnxk_nix_cman_info_get,
    1823                 :            :         .cman_config_init = cnxk_nix_cman_config_init,
    1824                 :            :         .cman_config_set = cnxk_nix_cman_config_set,
    1825                 :            :         .cman_config_get = cnxk_nix_cman_config_get,
    1826                 :            :         .eth_tx_descriptor_dump = cnxk_nix_tx_descriptor_dump,
    1827                 :            : };
    1828                 :            : 
    1829                 :            : void
    1830                 :          0 : cnxk_eth_dev_q_err_cb(struct roc_nix *nix, void *data)
    1831                 :            : {
    1832                 :            :         struct cnxk_eth_dev *dev = (struct cnxk_eth_dev *)nix;
    1833                 :          0 :         struct rte_eth_dev *eth_dev = dev->eth_dev;
    1834                 :            : 
    1835                 :            :         /* Set the flag and execute application callbacks */
    1836                 :          0 :         rte_eth_dev_callback_process(eth_dev, RTE_ETH_EVENT_INTR_RESET, data);
    1837                 :          0 : }
    1838                 :            : 
    1839                 :            : static int
    1840                 :          0 : cnxk_eth_dev_init(struct rte_eth_dev *eth_dev)
    1841                 :            : {
    1842                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    1843                 :            :         struct rte_security_ctx *sec_ctx;
    1844                 :          0 :         struct roc_nix *nix = &dev->nix;
    1845                 :            :         struct rte_pci_device *pci_dev;
    1846                 :            :         int rc, max_entries;
    1847                 :            : 
    1848                 :          0 :         eth_dev->dev_ops = &cnxk_eth_dev_ops;
    1849                 :          0 :         eth_dev->rx_queue_count = cnxk_nix_rx_queue_count;
    1850                 :          0 :         eth_dev->rx_descriptor_status = cnxk_nix_rx_descriptor_status;
    1851                 :          0 :         eth_dev->tx_descriptor_status = cnxk_nix_tx_descriptor_status;
    1852                 :            : 
    1853                 :            :         /* Alloc security context */
    1854                 :          0 :         sec_ctx = plt_zmalloc(sizeof(struct rte_security_ctx), 0);
    1855         [ #  # ]:          0 :         if (!sec_ctx)
    1856                 :            :                 return -ENOMEM;
    1857                 :          0 :         sec_ctx->device = eth_dev;
    1858                 :          0 :         sec_ctx->ops = &cnxk_eth_sec_ops;
    1859                 :          0 :         sec_ctx->flags = RTE_SEC_CTX_F_FAST_SET_MDATA;
    1860                 :          0 :         eth_dev->security_ctx = sec_ctx;
    1861                 :            : 
    1862                 :            :         /* For secondary processes, the primary has done all the work */
    1863         [ #  # ]:          0 :         if (rte_eal_process_type() != RTE_PROC_PRIMARY)
    1864                 :            :                 return 0;
    1865                 :            : 
    1866                 :          0 :         pci_dev = RTE_ETH_DEV_TO_PCI(eth_dev);
    1867                 :          0 :         rte_eth_copy_pci_info(eth_dev, pci_dev);
    1868                 :            : 
    1869                 :            :         /* Parse devargs string */
    1870                 :          0 :         rc = cnxk_ethdev_parse_devargs(eth_dev->device->devargs, dev);
    1871         [ #  # ]:          0 :         if (rc) {
    1872                 :          0 :                 plt_err("Failed to parse devargs rc=%d", rc);
    1873                 :          0 :                 goto error;
    1874                 :            :         }
    1875                 :            : 
    1876                 :            :         /* Initialize base roc nix */
    1877                 :          0 :         nix->pci_dev = pci_dev;
    1878                 :          0 :         nix->hw_vlan_ins = true;
    1879         [ #  # ]:          0 :         nix->port_id = eth_dev->data->port_id;
    1880         [ #  # ]:          0 :         if (roc_feature_nix_has_own_meta_aura())
    1881                 :          0 :                 nix->local_meta_aura_ena = true;
    1882                 :          0 :         rc = roc_nix_dev_init(nix);
    1883         [ #  # ]:          0 :         if (rc) {
    1884                 :          0 :                 plt_err("Failed to initialize roc nix rc=%d", rc);
    1885                 :          0 :                 goto error;
    1886                 :            :         }
    1887                 :            : 
    1888                 :            :         /* Register up msg callbacks */
    1889                 :          0 :         roc_nix_mac_link_cb_register(nix, cnxk_eth_dev_link_status_cb);
    1890                 :            : 
    1891                 :            :         /* Register up msg callbacks */
    1892                 :          0 :         roc_nix_mac_link_info_get_cb_register(nix,
    1893                 :            :                                               cnxk_eth_dev_link_status_get_cb);
    1894                 :            : 
    1895                 :            :         /* Register up msg callbacks */
    1896                 :          0 :         roc_nix_q_err_cb_register(nix, cnxk_eth_dev_q_err_cb);
    1897                 :            : 
    1898                 :            :         /* Register callback for inline meta pool create */
    1899                 :          0 :         roc_nix_inl_meta_pool_cb_register(cnxk_nix_inl_meta_pool_cb);
    1900                 :            : 
    1901                 :            :         /* Register callback for inline meta pool create 1:N pool:aura */
    1902                 :          0 :         roc_nix_inl_custom_meta_pool_cb_register(cnxk_nix_inl_custom_meta_pool_cb);
    1903                 :            : 
    1904                 :          0 :         dev->eth_dev = eth_dev;
    1905                 :          0 :         dev->configured = 0;
    1906                 :          0 :         dev->ptype_disable = 0;
    1907                 :          0 :         dev->proto = RTE_MTR_COLOR_IN_PROTO_OUTER_VLAN;
    1908                 :            : 
    1909                 :          0 :         TAILQ_INIT(&dev->inb.list);
    1910                 :          0 :         TAILQ_INIT(&dev->outb.list);
    1911                 :            :         rte_spinlock_init(&dev->inb.lock);
    1912                 :            :         rte_spinlock_init(&dev->outb.lock);
    1913                 :            : 
    1914                 :            :         /* For vfs, returned max_entries will be 0. but to keep default mac
    1915                 :            :          * address, one entry must be allocated. so setting up to 1.
    1916                 :            :          */
    1917         [ #  # ]:          0 :         if (roc_nix_is_vf_or_sdp(nix))
    1918                 :            :                 max_entries = 1;
    1919                 :            :         else
    1920                 :          0 :                 max_entries = roc_nix_mac_max_entries_get(nix);
    1921                 :            : 
    1922         [ #  # ]:          0 :         if (max_entries <= 0) {
    1923                 :          0 :                 plt_err("Failed to get max entries for mac addr");
    1924                 :            :                 rc = -ENOTSUP;
    1925                 :          0 :                 goto dev_fini;
    1926                 :            :         }
    1927                 :            : 
    1928                 :          0 :         eth_dev->data->mac_addrs =
    1929                 :          0 :                 rte_zmalloc("mac_addr", max_entries * RTE_ETHER_ADDR_LEN, 0);
    1930         [ #  # ]:          0 :         if (eth_dev->data->mac_addrs == NULL) {
    1931                 :          0 :                 plt_err("Failed to allocate memory for mac addr");
    1932                 :            :                 rc = -ENOMEM;
    1933                 :          0 :                 goto dev_fini;
    1934                 :            :         }
    1935                 :            : 
    1936                 :          0 :         dev->dmac_idx_map = rte_zmalloc("dmac_idx_map", max_entries * sizeof(int), 0);
    1937         [ #  # ]:          0 :         if (dev->dmac_idx_map == NULL) {
    1938                 :          0 :                 plt_err("Failed to allocate memory for dmac idx map");
    1939                 :            :                 rc = -ENOMEM;
    1940                 :          0 :                 goto free_mac_addrs;
    1941                 :            :         }
    1942                 :            : 
    1943                 :          0 :         dev->max_mac_entries = max_entries;
    1944                 :          0 :         dev->dmac_filter_count = 1;
    1945                 :            : 
    1946                 :            :         /* Get mac address */
    1947                 :          0 :         rc = roc_nix_npc_mac_addr_get(nix, dev->mac_addr);
    1948         [ #  # ]:          0 :         if (rc) {
    1949                 :          0 :                 plt_err("Failed to get mac addr, rc=%d", rc);
    1950                 :          0 :                 goto free_mac_addrs;
    1951                 :            :         }
    1952                 :            : 
    1953                 :            :         /* Update the mac address */
    1954                 :          0 :         memcpy(eth_dev->data->mac_addrs, dev->mac_addr, RTE_ETHER_ADDR_LEN);
    1955                 :            : 
    1956                 :            :         /* Union of all capabilities supported by CNXK.
    1957                 :            :          * Platform specific capabilities will be
    1958                 :            :          * updated later.
    1959                 :            :          */
    1960                 :          0 :         dev->rx_offload_capa = nix_get_rx_offload_capa(dev);
    1961                 :          0 :         dev->tx_offload_capa = nix_get_tx_offload_capa(dev);
    1962                 :          0 :         dev->speed_capa = nix_get_speed_capa(dev);
    1963                 :            : 
    1964                 :            :         /* Initialize roc npc */
    1965                 :          0 :         dev->npc.roc_nix = nix;
    1966                 :          0 :         rc = roc_npc_init(&dev->npc);
    1967         [ #  # ]:          0 :         if (rc)
    1968                 :          0 :                 goto free_mac_addrs;
    1969                 :            : 
    1970         [ #  # ]:          0 :         if (roc_feature_nix_has_macsec()) {
    1971                 :          0 :                 rc = cnxk_mcs_dev_init(dev, 0);
    1972         [ #  # ]:          0 :                 if (rc) {
    1973                 :          0 :                         plt_err("Failed to init MCS");
    1974                 :          0 :                         goto free_mac_addrs;
    1975                 :            :                 }
    1976                 :          0 :                 dev->rx_offload_capa |= RTE_ETH_RX_OFFLOAD_MACSEC_STRIP;
    1977                 :          0 :                 dev->tx_offload_capa |= RTE_ETH_TX_OFFLOAD_MACSEC_INSERT;
    1978                 :            : 
    1979                 :          0 :                 TAILQ_INIT(&dev->mcs_list);
    1980                 :            :         }
    1981                 :            : 
    1982                 :            :         /* Reserve a switch domain for eswitch device */
    1983         [ #  # ]:          0 :         if (pci_dev->id.device_id == PCI_DEVID_CNXK_RVU_ESWITCH_VF) {
    1984                 :          0 :                 eth_dev->data->dev_flags |= RTE_ETH_DEV_REPRESENTOR;
    1985                 :          0 :                 rc = rte_eth_switch_domain_alloc(&dev->switch_domain_id);
    1986         [ #  # ]:          0 :                 if (rc) {
    1987                 :          0 :                         plt_err("Failed to alloc switch domain: %d", rc);
    1988                 :          0 :                         goto free_mac_addrs;
    1989                 :            :                 }
    1990                 :            :         }
    1991                 :            : 
    1992                 :          0 :         plt_nix_dbg("Port=%d pf=%d vf=%d ver=%s hwcap=0x%" PRIx64 " rxoffload_capa=0x%" PRIx64
    1993                 :            :                     " txoffload_capa=0x%" PRIx64,
    1994                 :            :                     eth_dev->data->port_id, roc_nix_get_pf(nix), roc_nix_get_vf(nix),
    1995                 :            :                     CNXK_ETH_DEV_PMD_VERSION, dev->hwcap, dev->rx_offload_capa,
    1996                 :            :                     dev->tx_offload_capa);
    1997                 :          0 :         return 0;
    1998                 :            : 
    1999                 :          0 : free_mac_addrs:
    2000                 :          0 :         rte_free(eth_dev->data->mac_addrs);
    2001                 :          0 :         rte_free(dev->dmac_idx_map);
    2002                 :          0 : dev_fini:
    2003                 :          0 :         roc_nix_dev_fini(nix);
    2004                 :          0 : error:
    2005                 :          0 :         plt_err("Failed to init nix eth_dev rc=%d", rc);
    2006                 :          0 :         return rc;
    2007                 :            : }
    2008                 :            : 
    2009                 :            : static int
    2010                 :          0 : cnxk_eth_dev_uninit(struct rte_eth_dev *eth_dev, bool reset)
    2011                 :            : {
    2012                 :            :         struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
    2013                 :          0 :         const struct eth_dev_ops *dev_ops = eth_dev->dev_ops;
    2014                 :            :         struct cnxk_pfc_cfg *pfc_cfg = &dev->pfc_cfg;
    2015                 :            :         struct cnxk_fc_cfg *fc_cfg = &dev->fc_cfg;
    2016                 :            :         struct rte_eth_pfc_queue_conf pfc_conf;
    2017                 :          0 :         struct roc_nix *nix = &dev->nix;
    2018                 :            :         struct rte_eth_fc_conf fc_conf;
    2019                 :            :         int rc, i;
    2020                 :            : 
    2021                 :          0 :         plt_free(eth_dev->security_ctx);
    2022                 :          0 :         eth_dev->security_ctx = NULL;
    2023                 :            : 
    2024                 :            :         /* Nothing to be done for secondary processes */
    2025         [ #  # ]:          0 :         if (rte_eal_process_type() != RTE_PROC_PRIMARY)
    2026                 :            :                 return 0;
    2027                 :            : 
    2028                 :            :         /* Disable switch hdr pkind */
    2029                 :          0 :         roc_nix_switch_hdr_set(&dev->nix, 0, 0, 0, 0);
    2030                 :            : 
    2031                 :            :         /* Clear the flag since we are closing down */
    2032                 :          0 :         dev->configured = 0;
    2033                 :            : 
    2034                 :          0 :         roc_nix_npc_rx_ena_dis(nix, false);
    2035                 :            : 
    2036                 :            :         /* Restore 802.3 Flow control configuration */
    2037                 :            :         memset(&pfc_conf, 0, sizeof(struct rte_eth_pfc_queue_conf));
    2038                 :            :         memset(&fc_conf, 0, sizeof(struct rte_eth_fc_conf));
    2039         [ #  # ]:          0 :         if (fc_cfg->rx_pause || fc_cfg->tx_pause) {
    2040                 :            :                 fc_conf.mode = RTE_ETH_FC_NONE;
    2041                 :          0 :                 rc = cnxk_nix_flow_ctrl_set(eth_dev, &fc_conf);
    2042         [ #  # ]:          0 :                 if (rc < 0)
    2043                 :          0 :                         plt_err("Failed to reset control flow. error code(%d)",
    2044                 :            :                                         rc);
    2045                 :            :         }
    2046   [ #  #  #  # ]:          0 :         if (pfc_cfg->rx_pause_en || pfc_cfg->tx_pause_en) {
    2047         [ #  # ]:          0 :                 for (i = 0; i < RTE_MAX(eth_dev->data->nb_rx_queues,
    2048                 :            :                                         eth_dev->data->nb_tx_queues);
    2049                 :          0 :                      i++) {
    2050                 :          0 :                         pfc_conf.mode = RTE_ETH_FC_NONE;
    2051                 :          0 :                         pfc_conf.rx_pause.tc = ROC_NIX_PFC_CLASS_INVALID;
    2052                 :          0 :                         pfc_conf.rx_pause.tx_qid = i;
    2053                 :          0 :                         pfc_conf.tx_pause.tc = ROC_NIX_PFC_CLASS_INVALID;
    2054                 :          0 :                         pfc_conf.tx_pause.rx_qid = i;
    2055                 :          0 :                         rc = cnxk_nix_priority_flow_ctrl_queue_config(eth_dev,
    2056                 :            :                                         &pfc_conf);
    2057         [ #  # ]:          0 :                         if (rc && rc != -ENOTSUP)
    2058                 :          0 :                                 plt_err("Failed to reset PFC. error code(%d)", rc);
    2059                 :            :                 }
    2060                 :            :         }
    2061                 :            : 
    2062                 :            :         /* Free switch domain ID reserved for eswitch device */
    2063   [ #  #  #  # ]:          0 :         if ((eth_dev->data->dev_flags & RTE_ETH_DEV_REPRESENTOR) &&
    2064                 :          0 :             rte_eth_switch_domain_free(dev->switch_domain_id))
    2065                 :          0 :                 plt_err("Failed to free switch domain");
    2066                 :            : 
    2067                 :            :         /* Disable and free rte_meter entries */
    2068                 :          0 :         nix_meter_fini(dev);
    2069                 :            : 
    2070                 :            :         /* Disable and free rte_flow entries */
    2071                 :          0 :         roc_npc_fini(&dev->npc);
    2072                 :            : 
    2073                 :            :         /* Disable link status events */
    2074                 :          0 :         roc_nix_mac_link_event_start_stop(nix, false);
    2075                 :            : 
    2076                 :            :         /* Unregister the link update op, this is required to stop VFs from
    2077                 :            :          * receiving link status updates on exit path.
    2078                 :            :          */
    2079                 :          0 :         roc_nix_mac_link_cb_unregister(nix);
    2080                 :            : 
    2081                 :            :         /* Free up SQs */
    2082         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_tx_queues; i++) {
    2083                 :          0 :                 dev_ops->tx_queue_release(eth_dev, i);
    2084                 :          0 :                 eth_dev->data->tx_queues[i] = NULL;
    2085                 :            :         }
    2086                 :          0 :         eth_dev->data->nb_tx_queues = 0;
    2087                 :            : 
    2088                 :            :         /* Free up RQ's and CQ's */
    2089         [ #  # ]:          0 :         for (i = 0; i < eth_dev->data->nb_rx_queues; i++) {
    2090                 :          0 :                 dev_ops->rx_queue_release(eth_dev, i);
    2091                 :          0 :                 eth_dev->data->rx_queues[i] = NULL;
    2092                 :            :         }
    2093         [ #  # ]:          0 :         eth_dev->data->nb_rx_queues = 0;
    2094                 :            : 
    2095         [ #  # ]:          0 :         if (roc_feature_nix_has_macsec())
    2096                 :          0 :                 cnxk_mcs_dev_fini(dev);
    2097                 :            : 
    2098                 :            :         /* Free security resources */
    2099                 :          0 :         nix_security_release(dev);
    2100                 :            : 
    2101                 :            :         /* Free tm resources */
    2102                 :          0 :         roc_nix_tm_fini(nix);
    2103                 :            : 
    2104                 :            :         /* Unregister queue irqs */
    2105                 :          0 :         roc_nix_unregister_queue_irqs(nix);
    2106                 :            : 
    2107                 :            :         /* Unregister cq irqs */
    2108         [ #  # ]:          0 :         if (eth_dev->data->dev_conf.intr_conf.rxq)
    2109                 :          0 :                 roc_nix_unregister_cq_irqs(nix);
    2110                 :            : 
    2111                 :            :         /* Free ROC RQ's, SQ's and CQ's memory */
    2112                 :          0 :         nix_free_queue_mem(dev);
    2113                 :            : 
    2114                 :            :         /* free nix bpid */
    2115                 :          0 :         rc = nix_rxchan_cfg_disable(dev);
    2116         [ #  # ]:          0 :         if (rc)
    2117                 :          0 :                 plt_err("Failed to free nix bpid, rc=%d", rc);
    2118                 :            : 
    2119                 :            :         /* Free nix lf resources */
    2120                 :          0 :         rc = roc_nix_lf_free(nix);
    2121         [ #  # ]:          0 :         if (rc)
    2122                 :          0 :                 plt_err("Failed to free nix lf, rc=%d", rc);
    2123                 :            : 
    2124                 :          0 :         rte_free(dev->dmac_idx_map);
    2125                 :          0 :         dev->dmac_idx_map = NULL;
    2126                 :            : 
    2127                 :          0 :         rte_free(eth_dev->data->mac_addrs);
    2128                 :          0 :         eth_dev->data->mac_addrs = NULL;
    2129                 :            : 
    2130                 :          0 :         rc = roc_nix_dev_fini(nix);
    2131                 :            :         /* Can be freed later by PMD if NPA LF is in use */
    2132         [ #  # ]:          0 :         if (rc == -EAGAIN) {
    2133         [ #  # ]:          0 :                 if (!reset)
    2134                 :          0 :                         eth_dev->data->dev_private = NULL;
    2135                 :          0 :                 return 0;
    2136         [ #  # ]:          0 :         } else if (rc) {
    2137                 :          0 :                 plt_err("Failed in nix dev fini, rc=%d", rc);
    2138                 :            :         }
    2139                 :            : 
    2140                 :            :         return rc;
    2141                 :            : }
    2142                 :            : 
    2143                 :            : static int
    2144                 :          0 : cnxk_nix_dev_close(struct rte_eth_dev *eth_dev)
    2145                 :            : {
    2146                 :          0 :         cnxk_eth_dev_uninit(eth_dev, false);
    2147                 :          0 :         return 0;
    2148                 :            : }
    2149                 :            : 
    2150                 :            : static int
    2151                 :          0 : cnxk_nix_dev_reset(struct rte_eth_dev *eth_dev)
    2152                 :            : {
    2153                 :            :         int rc;
    2154                 :            : 
    2155                 :          0 :         rc = cnxk_eth_dev_uninit(eth_dev, true);
    2156         [ #  # ]:          0 :         if (rc)
    2157                 :            :                 return rc;
    2158                 :            : 
    2159                 :          0 :         return cnxk_eth_dev_init(eth_dev);
    2160                 :            : }
    2161                 :            : 
    2162                 :            : int
    2163                 :          0 : cnxk_nix_remove(struct rte_pci_device *pci_dev)
    2164                 :            : {
    2165                 :            :         struct rte_eth_dev *eth_dev;
    2166                 :            :         struct roc_nix *nix;
    2167                 :            :         int rc = -EINVAL;
    2168                 :            : 
    2169                 :          0 :         eth_dev = rte_eth_dev_allocated(pci_dev->device.name);
    2170         [ #  # ]:          0 :         if (eth_dev) {
    2171                 :            :                 /* Cleanup eth dev */
    2172                 :          0 :                 rc = cnxk_eth_dev_uninit(eth_dev, false);
    2173         [ #  # ]:          0 :                 if (rc)
    2174                 :            :                         return rc;
    2175                 :            : 
    2176                 :          0 :                 rte_eth_dev_release_port(eth_dev);
    2177                 :            :         }
    2178                 :            : 
    2179                 :            :         /* Nothing to be done for secondary processes */
    2180         [ #  # ]:          0 :         if (rte_eal_process_type() != RTE_PROC_PRIMARY)
    2181                 :            :                 return 0;
    2182                 :            : 
    2183                 :            :         /* Check if this device is hosting common resource */
    2184                 :          0 :         nix = roc_idev_npa_nix_get();
    2185   [ #  #  #  # ]:          0 :         if (!nix || nix->pci_dev != pci_dev)
    2186                 :            :                 return 0;
    2187                 :            : 
    2188                 :            :         /* Try nix fini now */
    2189                 :          0 :         rc = roc_nix_dev_fini(nix);
    2190         [ #  # ]:          0 :         if (rc == -EAGAIN) {
    2191                 :          0 :                 plt_info("%s: common resource in use by other devices",
    2192                 :            :                          pci_dev->name);
    2193                 :          0 :                 goto exit;
    2194         [ #  # ]:          0 :         } else if (rc) {
    2195                 :          0 :                 plt_err("Failed in nix dev fini, rc=%d", rc);
    2196                 :          0 :                 goto exit;
    2197                 :            :         }
    2198                 :            : 
    2199                 :            :         /* Free device pointer as rte_ethdev does not have it anymore */
    2200                 :          0 :         rte_free(nix);
    2201                 :            : exit:
    2202                 :            :         return rc;
    2203                 :            : }
    2204                 :            : 
    2205                 :            : int
    2206                 :          0 : cnxk_nix_probe(struct rte_pci_driver *pci_drv, struct rte_pci_device *pci_dev)
    2207                 :            : {
    2208                 :            :         int rc;
    2209                 :            : 
    2210                 :            :         RTE_SET_USED(pci_drv);
    2211                 :            : 
    2212                 :          0 :         rc = rte_eth_dev_pci_generic_probe(pci_dev, sizeof(struct cnxk_eth_dev),
    2213                 :            :                                            cnxk_eth_dev_init);
    2214                 :            : 
    2215                 :            :         /* On error on secondary, recheck if port exists in primary or
    2216                 :            :          * in mid of detach state.
    2217                 :            :          */
    2218   [ #  #  #  # ]:          0 :         if (rte_eal_process_type() != RTE_PROC_PRIMARY && rc)
    2219         [ #  # ]:          0 :                 if (!rte_eth_dev_allocated(pci_dev->device.name))
    2220                 :          0 :                         return 0;
    2221                 :            :         return rc;
    2222                 :            : }

Generated by: LCOV version 1.14