Branch data     Line data    Source code

       1                 :            : /* SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  * Copyright(c) 2014-2023 Broadcom
       3                 :            :  * All rights reserved.
       4                 :            :  */
       5                 :            : 
       6                 :            : #ifndef _BNXT_H_
       7                 :            : #define _BNXT_H_
       8                 :            : 
       9                 :            : #include <inttypes.h>
      10                 :            : #include <stdbool.h>
      11                 :            : #include <pthread.h>
      12                 :            : #include <sys/queue.h>
      13                 :            : 
      14                 :            : #include <rte_pci.h>
      15                 :            : #include <bus_pci_driver.h>
      16                 :            : #include <ethdev_driver.h>
      17                 :            : #include <rte_memory.h>
      18                 :            : #include <rte_lcore.h>
      19                 :            : #include <rte_spinlock.h>
      20                 :            : #include <rte_time.h>
      21                 :            : #include <rte_eal_paging.h>
      22                 :            : 
      23                 :            : #include "bnxt_cpr.h"
      24                 :            : #include "bnxt_util.h"
      25                 :            : 
      26                 :            : #include "tf_core.h"
      27                 :            : #include "tfc.h"
      28                 :            : #include "bnxt_ulp.h"
      29                 :            : #include "bnxt_tf_common.h"
      30                 :            : #include "bnxt_mpc.h"
      31                 :            : #include "bnxt_vnic.h"
      32                 :            : 
      33                 :            : /* Vendor ID */
      34                 :            : #define PCI_VENDOR_ID_BROADCOM          0x14E4
      35                 :            : 
      36                 :            : /* Device IDs */
      37                 :            : #define BROADCOM_DEV_ID_STRATUS_NIC_VF1 0x1606
      38                 :            : #define BROADCOM_DEV_ID_STRATUS_NIC_VF2 0x1609
      39                 :            : #define BROADCOM_DEV_ID_STRATUS_NIC     0x1614
      40                 :            : #define BROADCOM_DEV_ID_57414_VF        0x16c1
      41                 :            : #define BROADCOM_DEV_ID_57304_VF        0x16cb
      42                 :            : #define BROADCOM_DEV_ID_57417_MF        0x16cc
      43                 :            : #define BROADCOM_DEV_ID_NS2             0x16cd
      44                 :            : #define BROADCOM_DEV_ID_57406_VF        0x16d3
      45                 :            : #define BROADCOM_DEV_ID_57412           0x16d6
      46                 :            : #define BROADCOM_DEV_ID_57414           0x16d7
      47                 :            : #define BROADCOM_DEV_ID_57416_RJ45      0x16d8
      48                 :            : #define BROADCOM_DEV_ID_57417_RJ45      0x16d9
      49                 :            : #define BROADCOM_DEV_ID_5741X_VF        0x16dc
      50                 :            : #define BROADCOM_DEV_ID_57412_MF        0x16de
      51                 :            : #define BROADCOM_DEV_ID_57317_RJ45      0x16e0
      52                 :            : #define BROADCOM_DEV_ID_5731X_VF        0x16e1
      53                 :            : #define BROADCOM_DEV_ID_57417_SFP       0x16e2
      54                 :            : #define BROADCOM_DEV_ID_57416_SFP       0x16e3
      55                 :            : #define BROADCOM_DEV_ID_57317_SFP       0x16e4
      56                 :            : #define BROADCOM_DEV_ID_57407_MF        0x16ea
      57                 :            : #define BROADCOM_DEV_ID_57414_MF        0x16ec
      58                 :            : #define BROADCOM_DEV_ID_57416_MF        0x16ee
      59                 :            : #define BROADCOM_DEV_ID_57508           0x1750
      60                 :            : #define BROADCOM_DEV_ID_57504           0x1751
      61                 :            : #define BROADCOM_DEV_ID_57502           0x1752
      62                 :            : #define BROADCOM_DEV_ID_57508_MF1       0x1800
      63                 :            : #define BROADCOM_DEV_ID_57504_MF1       0x1801
      64                 :            : #define BROADCOM_DEV_ID_57502_MF1       0x1802
      65                 :            : #define BROADCOM_DEV_ID_57508_MF2       0x1803
      66                 :            : #define BROADCOM_DEV_ID_57504_MF2       0x1804
      67                 :            : #define BROADCOM_DEV_ID_57502_MF2       0x1805
      68                 :            : #define BROADCOM_DEV_ID_57500_VF1       0x1806
      69                 :            : #define BROADCOM_DEV_ID_57500_VF2       0x1807
      70                 :            : #define BROADCOM_DEV_ID_58802           0xd802
      71                 :            : #define BROADCOM_DEV_ID_58804           0xd804
      72                 :            : #define BROADCOM_DEV_ID_58808           0x16f0
      73                 :            : #define BROADCOM_DEV_ID_58802_VF        0xd800
      74                 :            : #define BROADCOM_DEV_ID_58812           0xd812
      75                 :            : #define BROADCOM_DEV_ID_58814           0xd814
      76                 :            : #define BROADCOM_DEV_ID_58818           0xd818
      77                 :            : #define BROADCOM_DEV_ID_58818_VF        0xd82e
      78                 :            : #define BROADCOM_DEV_ID_57608           0x1760
      79                 :            : #define BROADCOM_DEV_ID_57604           0x1761
      80                 :            : #define BROADCOM_DEV_ID_57602           0x1762
      81                 :            : #define BROADCOM_DEV_ID_57601           0x1763
      82                 :            : #define BROADCOM_DEV_ID_5760X_VF        0x1819
      83                 :            : 
      84                 :            : #define BROADCOM_DEV_957508_N2100       0x5208
      85                 :            : #define BROADCOM_DEV_957414_N225        0x4145
      86                 :            : 
      87                 :            : #define HWRM_SPEC_CODE_1_8_3            0x10803
      88                 :            : #define HWRM_VERSION_1_9_1              0x10901
      89                 :            : #define HWRM_VERSION_1_9_2              0x10903
      90                 :            : #define HWRM_VERSION_1_10_2_13          0x10a020d
      91                 :            : /* Minimum spec version that supports AUTONEG_PAUSE bit in auto_pause field */
      92                 :            : #define HWRM_SPEC_CODE_AUTONEG_PAUSE    0x10201
      93                 :            : 
      94                 :            : #define BNXT_MAX_MTU            9574
      95                 :            : #define BNXT_NUM_VLANS          2
      96                 :            : #define BNXT_MAX_PKT_LEN        (BNXT_MAX_MTU + RTE_ETHER_HDR_LEN +\
      97                 :            :                                  RTE_ETHER_CRC_LEN +\
      98                 :            :                                  (BNXT_NUM_VLANS * RTE_VLAN_HLEN))
      99                 :            : /* FW adds extra 4 bytes for FCS */
     100                 :            : #define BNXT_VNIC_MRU(mtu)\
     101                 :            :         ((mtu) + RTE_ETHER_HDR_LEN + RTE_VLAN_HLEN * BNXT_NUM_VLANS)
     102                 :            : #define BNXT_VF_RSV_NUM_RSS_CTX 1
     103                 :            : #define BNXT_VF_RSV_NUM_L2_CTX  4
     104                 :            : /* TODO: For now, do not support VMDq/RFS on VFs. */
     105                 :            : #define BNXT_VF_RSV_NUM_VNIC    1
     106                 :            : #define BNXT_MAX_LED            4
     107                 :            : #define BNXT_MIN_RING_DESC      16
     108                 :            : #define BNXT_MAX_TX_RING_DESC   4096
     109                 :            : #define BNXT_MAX_RX_RING_DESC   8192
     110                 :            : #define BNXT_DB_SIZE            0x80
     111                 :            : 
     112                 :            : #define TPA_MAX_AGGS            64
     113                 :            : #define TPA_MAX_AGGS_TH         1024
     114                 :            : 
     115                 :            : #define TPA_MAX_NUM_SEGS        32
     116                 :            : #define TPA_MAX_SEGS_TH         8 /* 32 segments in 4-segment units */
     117                 :            : #define TPA_MAX_SEGS            5 /* 32 segments in log2 units */
     118                 :            : 
     119                 :            : #define BNXT_TPA_MAX_AGGS(bp) \
     120                 :            :         (BNXT_CHIP_P5_P7(bp) ? TPA_MAX_AGGS_TH : \
     121                 :            :                              TPA_MAX_AGGS)
     122                 :            : 
     123                 :            : #define BNXT_TPA_MAX_SEGS(bp) \
     124                 :            :         (BNXT_CHIP_P5_P7(bp) ? TPA_MAX_SEGS_TH : \
     125                 :            :                               TPA_MAX_SEGS)
     126                 :            : 
     127                 :            : #define BNXT_TPA_MAX_PAGES      65536
     128                 :            : 
     129                 :            : /*
     130                 :            :  * Define the number of async completion rings to be used. Set to zero for
     131                 :            :  * configurations in which the maximum number of packet completion rings
     132                 :            :  * for packet completions is desired or when async completion handling
     133                 :            :  * cannot be interrupt-driven.
     134                 :            :  */
     135                 :            : #ifdef RTE_EXEC_ENV_FREEBSD
     136                 :            : /* In FreeBSD OS, nic_uio driver does not support interrupts */
     137                 :            : #define BNXT_NUM_ASYNC_CPR(bp) 0U
     138                 :            : #else
     139                 :            : #define BNXT_NUM_ASYNC_CPR(bp) 1U
     140                 :            : #endif
     141                 :            : 
     142                 :            : #define BNXT_MISC_VEC_ID               RTE_INTR_VEC_ZERO_OFFSET
     143                 :            : #define BNXT_RX_VEC_START              RTE_INTR_VEC_RXTX_OFFSET
     144                 :            : 
     145                 :            : /* Chimp Communication Channel */
     146                 :            : #define GRCPF_REG_CHIMP_CHANNEL_OFFSET          0x0
     147                 :            : #define GRCPF_REG_CHIMP_COMM_TRIGGER            0x100
     148                 :            : /* Kong Communication Channel */
     149                 :            : #define GRCPF_REG_KONG_CHANNEL_OFFSET           0xA00
     150                 :            : #define GRCPF_REG_KONG_COMM_TRIGGER             0xB00
     151                 :            : 
     152                 :            : #define BNXT_INT_LAT_TMR_MIN                    75
     153                 :            : #define BNXT_INT_LAT_TMR_MAX                    150
     154                 :            : #define BNXT_NUM_CMPL_AGGR_INT                  36
     155                 :            : #define BNXT_CMPL_AGGR_DMA_TMR                  37
     156                 :            : #define BNXT_NUM_CMPL_DMA_AGGR                  36
     157                 :            : #define BNXT_CMPL_AGGR_DMA_TMR_DURING_INT       50
     158                 :            : #define BNXT_NUM_CMPL_DMA_AGGR_DURING_INT       12
     159                 :            : #define BNXT_DEVICE_SERIAL_NUM_SIZE             8
     160                 :            : 
     161                 :            : #define BNXT_DEFAULT_VNIC_STATE_MASK                    \
     162                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_DEF_VNIC_STATE_MASK
     163                 :            : #define BNXT_DEFAULT_VNIC_STATE_SFT                     \
     164                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_DEF_VNIC_STATE_SFT
     165                 :            : #define BNXT_DEFAULT_VNIC_ALLOC                         \
     166                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_DEF_VNIC_STATE_DEF_VNIC_ALLOC
     167                 :            : #define BNXT_DEFAULT_VNIC_FREE                          \
     168                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_DEF_VNIC_STATE_DEF_VNIC_FREE
     169                 :            : #define BNXT_DEFAULT_VNIC_CHANGE_PF_ID_MASK             \
     170                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_PF_ID_MASK
     171                 :            : #define BNXT_DEFAULT_VNIC_CHANGE_PF_ID_SFT              \
     172                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_PF_ID_SFT
     173                 :            : #define BNXT_DEFAULT_VNIC_CHANGE_VF_ID_MASK             \
     174                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_VF_ID_MASK
     175                 :            : #define BNXT_DEFAULT_VNIC_CHANGE_VF_ID_SFT              \
     176                 :            :         HWRM_ASYNC_EVENT_CMPL_DEFAULT_VNIC_CHANGE_EVENT_DATA1_VF_ID_SFT
     177                 :            : 
     178                 :            : #define BNXT_EVENT_ERROR_REPORT_TYPE(data1)                             \
     179                 :            :         (((data1) &                                                 \
     180                 :            :           HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_MASK)  >>\
     181                 :            :          HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_SFT)
     182                 :            : 
     183                 :            : #define BNXT_HWRM_CMD_TO_FORWARD(cmd)   \
     184                 :            :                 (bp->pf->vf_req_fwd[(cmd) / 32] |= (1 << ((cmd) % 32)))
     185                 :            : 
     186                 :            : #define BNXT_NTOHS              rte_be_to_cpu_16
     187                 :            : 
     188                 :            : struct bnxt_led_info {
     189                 :            :         uint8_t      num_leds;
     190                 :            :         uint8_t      led_id;
     191                 :            :         uint8_t      led_type;
     192                 :            :         uint8_t      led_group_id;
     193                 :            :         uint8_t      unused;
     194                 :            :         uint16_t  led_state_caps;
     195                 :            : #define BNXT_LED_ALT_BLINK_CAP(x)       ((x) &  \
     196                 :            :         rte_cpu_to_le_16(HWRM_PORT_LED_QCFG_OUTPUT_LED0_STATE_BLINKALT))
     197                 :            : 
     198                 :            :         uint16_t  led_color_caps;
     199                 :            : };
     200                 :            : 
     201                 :            : struct bnxt_led_cfg {
     202                 :            :         uint8_t led_id;
     203                 :            :         uint8_t led_state;
     204                 :            :         uint8_t led_color;
     205                 :            :         uint8_t unused;
     206                 :            :         uint16_t led_blink_on;
     207                 :            :         uint16_t led_blink_off;
     208                 :            :         uint8_t led_group_id;
     209                 :            :         uint8_t rsvd;
     210                 :            : };
     211                 :            : 
     212                 :            : #define BNXT_LED_DFLT_ENA                               \
     213                 :            :         (HWRM_PORT_LED_CFG_INPUT_ENABLES_LED0_ID |             \
     214                 :            :          HWRM_PORT_LED_CFG_INPUT_ENABLES_LED0_STATE |          \
     215                 :            :          HWRM_PORT_LED_CFG_INPUT_ENABLES_LED0_BLINK_ON |       \
     216                 :            :          HWRM_PORT_LED_CFG_INPUT_ENABLES_LED0_BLINK_OFF |      \
     217                 :            :          HWRM_PORT_LED_CFG_INPUT_ENABLES_LED0_GROUP_ID)
     218                 :            : 
     219                 :            : #define BNXT_LED_DFLT_ENA_SHIFT         6
     220                 :            : 
     221                 :            : #define BNXT_LED_DFLT_ENABLES(x)                        \
     222                 :            :         rte_cpu_to_le_32(BNXT_LED_DFLT_ENA << (BNXT_LED_DFLT_ENA_SHIFT * (x)))
     223                 :            : 
     224                 :            : struct __rte_packed_begin bnxt_vlan_table_entry {
     225                 :            :         uint16_t                tpid;
     226                 :            :         uint16_t                vid;
     227                 :            : } __rte_packed_end;
     228                 :            : 
     229                 :            : struct __rte_packed_begin bnxt_vlan_antispoof_table_entry {
     230                 :            :         uint16_t                tpid;
     231                 :            :         uint16_t                vid;
     232                 :            :         uint16_t                mask;
     233                 :            : } __rte_packed_end;
     234                 :            : 
     235                 :            : struct bnxt_child_vf_info {
     236                 :            :         void                    *req_buf;
     237                 :            :         struct bnxt_vlan_table_entry    *vlan_table;
     238                 :            :         struct bnxt_vlan_antispoof_table_entry  *vlan_as_table;
     239                 :            :         STAILQ_HEAD(, bnxt_filter_info) filter;
     240                 :            :         uint32_t                func_cfg_flags;
     241                 :            :         uint32_t                l2_rx_mask;
     242                 :            :         uint16_t                fid;
     243                 :            :         uint16_t                max_tx_rate;
     244                 :            :         uint16_t                dflt_vlan;
     245                 :            :         uint16_t                vlan_count;
     246                 :            :         uint8_t                 mac_spoof_en;
     247                 :            :         uint8_t                 vlan_spoof_en;
     248                 :            :         bool                    random_mac;
     249                 :            :         bool                    persist_stats;
     250                 :            : };
     251                 :            : 
     252                 :            : struct bnxt_parent_info {
     253                 :            : #define BNXT_PF_FID_INVALID     0xFFFF
     254                 :            :         uint16_t                fid;
     255                 :            :         uint16_t                vnic;
     256                 :            :         uint16_t                port_id;
     257                 :            :         uint8_t                 mac_addr[RTE_ETHER_ADDR_LEN];
     258                 :            : };
     259                 :            : 
     260                 :            : struct bnxt_pf_info {
     261                 :            : #define BNXT_FIRST_PF_FID       1
     262                 :            : #define BNXT_MAX_VFS(bp)        ((bp)->pf->max_vfs)
     263                 :            : #define BNXT_MAX_VF_REPS_P4     64
     264                 :            : #define BNXT_MAX_VF_REPS_P5     256
     265                 :            : #define BNXT_MAX_VF_REPS_P7     128
     266                 :            : #define BNXT_MAX_VF_REPS(bp) \
     267                 :            :                                 (BNXT_CHIP_P5(bp) ? BNXT_MAX_VF_REPS_P5 : \
     268                 :            :                                 BNXT_CHIP_P7(bp) ? BNXT_MAX_VF_REPS_P7 : \
     269                 :            :                                 BNXT_MAX_VF_REPS_P4)
     270                 :            : #define BNXT_TOTAL_VFS(bp)      ((bp)->pf->total_vfs)
     271                 :            : #define BNXT_FIRST_VF_FID       128
     272                 :            : #define BNXT_PF_RINGS_USED(bp)  bnxt_get_num_queues(bp)
     273                 :            : #define BNXT_PF_RINGS_AVAIL(bp) ((bp)->pf->max_cp_rings - \
     274                 :            :                                  BNXT_PF_RINGS_USED(bp))
     275                 :            :         uint16_t                port_id;
     276                 :            :         uint16_t                first_vf_id;
     277                 :            :         uint16_t                active_vfs;
     278                 :            :         uint16_t                max_vfs;
     279                 :            :         uint16_t                total_vfs; /* Total VFs possible.
     280                 :            :                                             * Not necessarily enabled.
     281                 :            :                                             */
     282                 :            :         uint32_t                func_cfg_flags;
     283                 :            :         void                    *vf_req_buf;
     284                 :            :         rte_iova_t              vf_req_buf_dma_addr;
     285                 :            :         uint32_t                vf_req_fwd[8];
     286                 :            :         uint16_t                total_vnics;
     287                 :            :         struct bnxt_child_vf_info       *vf_info;
     288                 :            : #define BNXT_EVB_MODE_NONE      0
     289                 :            : #define BNXT_EVB_MODE_VEB       1
     290                 :            : #define BNXT_EVB_MODE_VEPA      2
     291                 :            :         uint8_t                 evb_mode;
     292                 :            : };
     293                 :            : 
     294                 :            : /* Max wait time for link up is 10s and link down is 500ms */
     295                 :            : #define BNXT_MAX_LINK_WAIT_CNT  200
     296                 :            : #define BNXT_MIN_LINK_WAIT_CNT  10
     297                 :            : #define BNXT_LINK_WAIT_INTERVAL 50
     298                 :            : struct bnxt_link_info {
     299                 :            :         uint32_t                phy_flags;
     300                 :            :         uint8_t                 mac_type;
     301                 :            :         uint8_t                 phy_link_status;
     302                 :            :         uint8_t                 loop_back;
     303                 :            :         uint8_t                 link_up;
     304                 :            :         uint8_t                 duplex;
     305                 :            :         uint8_t                 pause;
     306                 :            :         uint8_t                 force_pause;
     307                 :            :         uint8_t                 auto_pause;
     308                 :            :         uint8_t                 auto_mode;
     309                 :            : #define PHY_VER_LEN             3
     310                 :            :         uint8_t                 phy_ver[PHY_VER_LEN];
     311                 :            :         uint16_t                link_speed;
     312                 :            :         uint16_t                support_speeds;
     313                 :            :         uint16_t                auto_link_speed;
     314                 :            :         uint16_t                force_link_speed;
     315                 :            :         uint16_t                auto_link_speed_mask;
     316                 :            :         uint32_t                preemphasis;
     317                 :            :         uint8_t                 phy_type;
     318                 :            :         uint8_t                 media_type;
     319                 :            :         uint16_t                support_auto_speeds;
     320                 :            :         uint8_t                 link_signal_mode;
     321                 :            :         uint16_t                force_pam4_link_speed;
     322                 :            :         uint16_t                support_pam4_speeds;
     323                 :            :         uint16_t                auto_pam4_link_speed_mask;
     324                 :            :         uint16_t                support_pam4_auto_speeds;
     325                 :            :         uint8_t                 req_signal_mode;
     326                 :            :         uint8_t                 module_status;
     327                 :            :         /* P7 speeds2 fields */
     328                 :            :         bool                    support_speeds_v2;
     329                 :            :         uint16_t                supported_speeds2_force_mode;
     330                 :            :         uint16_t                supported_speeds2_auto_mode;
     331                 :            :         uint16_t                support_speeds2;
     332                 :            :         uint16_t                force_link_speeds2;
     333                 :            :         uint16_t                auto_link_speeds2;
     334                 :            :         uint16_t                cfg_auto_link_speeds2_mask;
     335                 :            :         uint8_t                 active_lanes;
     336                 :            :         uint8_t                 option_flags;
     337                 :            :         uint16_t                pmd_speed_lanes;
     338                 :            :         /* Bitmask tracking which autoneg modes are active */
     339                 :            :         uint8_t                 autoneg;
     340                 :            : #define BNXT_AUTONEG_SPEED              1 /* speed autoneg enabled */
     341                 :            : #define BNXT_AUTONEG_FLOW_CTRL          2 /* pause/flow-ctrl autoneg enabled */
     342                 :            :         /* True after autoneg->forced FC transition; cleared once set_pause
     343                 :            :          * sends the combined pause+link HWRM request successfully.
     344                 :            :          */
     345                 :            :         bool                    link_reconfig_needed;
     346                 :            : };
     347                 :            : 
     348                 :            : #define BNXT_COS_QUEUE_COUNT    8
     349                 :            : struct bnxt_cos_queue_info {
     350                 :            :         uint8_t id;
     351                 :            :         uint8_t profile;
     352                 :            :         uint8_t profile_type;
     353                 :            : };
     354                 :            : 
     355                 :            : struct rte_flow {
     356                 :            :         STAILQ_ENTRY(rte_flow) next;
     357                 :            :         struct bnxt_filter_info *filter;
     358                 :            :         struct bnxt_vnic_info   *vnic;
     359                 :            : };
     360                 :            : 
     361                 :            : #define BNXT_PTP_RX_PND_CNT             10
     362                 :            : #define BNXT_PTP_FLAGS_PATH_TX          0x0
     363                 :            : #define BNXT_PTP_FLAGS_PATH_RX          0x1
     364                 :            : #define BNXT_PTP_FLAGS_CURRENT_TIME     0x2
     365                 :            : #define BNXT_PTP_CURRENT_TIME_MASK      0xFFFF00000000ULL
     366                 :            : 
     367                 :            : struct bnxt_ptp_cfg {
     368                 :            : #define BNXT_GRCPF_REG_WINDOW_BASE_OUT  0x400
     369                 :            : #define BNXT_GRCPF_REG_SYNC_TIME        0x480
     370                 :            : #define BNXT_CYCLECOUNTER_MASK   0xffffffffffffffffULL
     371                 :            :         struct rte_timecounter      tc;
     372                 :            :         struct rte_timecounter      tx_tstamp_tc;
     373                 :            :         struct rte_timecounter      rx_tstamp_tc;
     374                 :            :         struct bnxt             *bp;
     375                 :            : #define BNXT_MAX_TX_TS  1
     376                 :            :         uint16_t                        rxctl;
     377                 :            : #define BNXT_PTP_MSG_SYNC                       BIT(0)
     378                 :            : #define BNXT_PTP_MSG_DELAY_REQ                  BIT(1)
     379                 :            : #define BNXT_PTP_MSG_PDELAY_REQ                 BIT(2)
     380                 :            : #define BNXT_PTP_MSG_PDELAY_RESP                BIT(3)
     381                 :            : #define BNXT_PTP_MSG_FOLLOW_UP                  BIT(8)
     382                 :            : #define BNXT_PTP_MSG_DELAY_RESP                 BIT(9)
     383                 :            : #define BNXT_PTP_MSG_PDELAY_RESP_FOLLOW_UP      BIT(10)
     384                 :            : #define BNXT_PTP_MSG_ANNOUNCE                   BIT(11)
     385                 :            : #define BNXT_PTP_MSG_SIGNALING                  BIT(12)
     386                 :            : #define BNXT_PTP_MSG_MANAGEMENT                 BIT(13)
     387                 :            : #define BNXT_PTP_MSG_EVENTS             (BNXT_PTP_MSG_SYNC |            \
     388                 :            :                                          BNXT_PTP_MSG_DELAY_REQ |       \
     389                 :            :                                          BNXT_PTP_MSG_PDELAY_REQ |      \
     390                 :            :                                          BNXT_PTP_MSG_PDELAY_RESP)
     391                 :            :         uint8_t                 tx_tstamp_en:1;
     392                 :            :         int                     rx_filter;
     393                 :            :         uint8_t                 filter_all;
     394                 :            : 
     395                 :            : #define BNXT_PTP_RX_TS_L        0
     396                 :            : #define BNXT_PTP_RX_TS_H        1
     397                 :            : #define BNXT_PTP_RX_SEQ         2
     398                 :            : #define BNXT_PTP_RX_FIFO        3
     399                 :            : #define BNXT_PTP_RX_FIFO_PENDING 0x1
     400                 :            : #define BNXT_PTP_RX_FIFO_ADV    4
     401                 :            : #define BNXT_PTP_RX_REGS        5
     402                 :            : 
     403                 :            : #define BNXT_PTP_TX_TS_L        0
     404                 :            : #define BNXT_PTP_TX_TS_H        1
     405                 :            : #define BNXT_PTP_TX_SEQ         2
     406                 :            : #define BNXT_PTP_TX_FIFO        3
     407                 :            : #define BNXT_PTP_TX_FIFO_EMPTY   0x2
     408                 :            : #define BNXT_PTP_TX_REGS        4
     409                 :            :         uint32_t                        rx_regs[BNXT_PTP_RX_REGS];
     410                 :            :         uint32_t                        rx_mapped_regs[BNXT_PTP_RX_REGS];
     411                 :            :         uint32_t                        tx_regs[BNXT_PTP_TX_REGS];
     412                 :            :         uint32_t                        tx_mapped_regs[BNXT_PTP_TX_REGS];
     413                 :            : 
     414                 :            :         /* On P5, the Rx timestamp is present in the Rx completion record */
     415                 :            :         uint64_t                        rx_timestamp;
     416                 :            :         /* Dynamic mbuf field for passing Rx timestamp. */
     417                 :            :         int                             mb_rx_timestamp_offset;
     418                 :            :         /* Dynamic mbuf flag for indicating Rx timestamp. */
     419                 :            :         uint64_t                        mb_rx_timestamp_flag;
     420                 :            :         uint64_t                        current_time;
     421                 :            :         uint64_t                        old_time;
     422                 :            :         rte_spinlock_t                  ptp_lock;
     423                 :            :         /* On P7, the Tx timestamp is present in the Tx completion record */
     424                 :            :         uint64_t                        tx_timestamp;
     425                 :            : };
     426                 :            : 
     427                 :            : struct bnxt_coal {
     428                 :            :         uint16_t                        num_cmpl_aggr_int;
     429                 :            :         uint16_t                        num_cmpl_dma_aggr;
     430                 :            :         uint16_t                        num_cmpl_dma_aggr_during_int;
     431                 :            :         uint16_t                        int_lat_tmr_max;
     432                 :            :         uint16_t                        int_lat_tmr_min;
     433                 :            :         uint16_t                        cmpl_aggr_dma_tmr;
     434                 :            :         uint16_t                        cmpl_aggr_dma_tmr_during_int;
     435                 :            : };
     436                 :            : 
     437                 :            : /* 64-bit doorbell */
     438                 :            : #define DBR_EPOCH_MASK                          0x01000000UL
     439                 :            : #define DBR_EPOCH_SFT                           24
     440                 :            : #define DBR_XID_SFT                             32
     441                 :            : #define DBR_PATH_L2                             (0x1ULL << 56)
     442                 :            : #define DBR_VALID                               (0x1ULL << 58)
     443                 :            : #define DBR_TYPE_SQ                             (0x0ULL << 60)
     444                 :            : #define DBR_TYPE_SRQ                            (0x2ULL << 60)
     445                 :            : #define DBR_TYPE_CQ                             (0x4ULL << 60)
     446                 :            : #define DBR_TYPE_CQ_ARMALL                      (0x6ULL << 60)
     447                 :            : #define DBR_TYPE_NQ                             (0xaULL << 60)
     448                 :            : #define DBR_TYPE_NQ_ARM                         (0xbULL << 60)
     449                 :            : #define DBR_TYPE_NQ_MASK                        (0xeULL << 60)
     450                 :            : 
     451                 :            : #define DB_PF_OFFSET                    0x10000
     452                 :            : #define DB_VF_OFFSET                    0x4000
     453                 :            : 
     454                 :            : #define BNXT_PRIVILEGED_DPI             0
     455                 :            : #define BNXT_RESERVED_DPI_ONE           1
     456                 :            : #define BNXT_RESERVED_DPI_TWO           2
     457                 :            : #define BNXT_DEFAULT_DB_PAGE_SIZE       4096
     458                 :            : 
     459                 :            : #define BNXT_KB_TO_BYTES(kb)            ((kb) * 1024)
     460                 :            : 
     461                 :            : #define BNXT_RSS_TBL_SIZE_P5            512U
     462                 :            : #define BNXT_RSS_ENTRIES_PER_CTX_P5     64
     463                 :            : #define BNXT_MAX_RSS_CTXTS_P5 \
     464                 :            :         (BNXT_RSS_TBL_SIZE_P5 / BNXT_RSS_ENTRIES_PER_CTX_P5)
     465                 :            : 
     466                 :            : #define BNXT_MAX_QUEUE                  8
     467                 :            : #define BNXT_MAX_TQM_SP_RINGS           1
     468                 :            : #define BNXT_MAX_TQM_FP_LEGACY_RINGS    8
     469                 :            : #define BNXT_MAX_TQM_FP_RINGS           9
     470                 :            : #define BNXT_MAX_TQM_LEGACY_RINGS       \
     471                 :            :         (BNXT_MAX_TQM_SP_RINGS + BNXT_MAX_TQM_FP_LEGACY_RINGS)
     472                 :            : #define BNXT_MAX_TQM_RINGS              \
     473                 :            :         (BNXT_MAX_TQM_SP_RINGS + BNXT_MAX_TQM_FP_RINGS)
     474                 :            : #define BNXT_BACKING_STORE_CFG_LEGACY_LEN       256
     475                 :            : #define BNXT_BACKING_STORE_CFG_LEN      \
     476                 :            :         sizeof(struct hwrm_func_backing_store_cfg_input)
     477                 :            : #define BNXT_PAGE_SHFT 12
     478                 :            : #define BNXT_PAGE_SIZE (1 << BNXT_PAGE_SHFT)
     479                 :            : #define MAX_CTX_PAGES  (BNXT_PAGE_SIZE / 8)
     480                 :            : 
     481                 :            : #define BNXT_RTE_MEMZONE_FLAG  (RTE_MEMZONE_1GB | RTE_MEMZONE_IOVA_CONTIG)
     482                 :            : 
     483                 :            : #define PTU_PTE_VALID             0x1UL
     484                 :            : #define PTU_PTE_LAST              0x2UL
     485                 :            : #define PTU_PTE_NEXT_TO_LAST      0x4UL
     486                 :            : 
     487                 :            : #define BNXT_CTX_MIN            1
     488                 :            : #define BNXT_CTX_INV            0xffff
     489                 :            : 
     490                 :            : #define BNXT_CTX_INIT_VALID(flags)      \
     491                 :            :         ((flags) &                  \
     492                 :            :          HWRM_FUNC_BACKING_STORE_QCAPS_V2_OUTPUT_FLAGS_ENABLE_CTX_KIND_INIT)
     493                 :            : 
     494                 :            : struct bnxt_ring_mem_info {
     495                 :            :         int                             nr_pages;
     496                 :            :         int                             page_size;
     497                 :            :         uint32_t                        flags;
     498                 :            : #define BNXT_RMEM_VALID_PTE_FLAG        1
     499                 :            : #define BNXT_RMEM_RING_PTE_FLAG         2
     500                 :            : #define BNXT_RMEM_USE_FULL_PAGE_FLAG    4
     501                 :            : 
     502                 :            :         void                            **pg_arr;
     503                 :            :         rte_iova_t                      *dma_arr;
     504                 :            :         const struct rte_memzone        *mz;
     505                 :            : 
     506                 :            :         uint64_t                        *pg_tbl;
     507                 :            :         rte_iova_t                      pg_tbl_map;
     508                 :            :         const struct rte_memzone        *pg_tbl_mz;
     509                 :            : 
     510                 :            :         int                             vmem_size;
     511                 :            :         void                            **vmem;
     512                 :            : };
     513                 :            : 
     514                 :            : struct bnxt_ctx_pg_info {
     515                 :            :         uint32_t        entries;
     516                 :            :         void            **ctx_pg_arr;
     517                 :            :         rte_iova_t      *ctx_dma_arr;
     518                 :            :         struct bnxt_ring_mem_info ring_mem;
     519                 :            : };
     520                 :            : 
     521                 :            : struct bnxt_ctx_mem {
     522                 :            :         uint16_t        type;
     523                 :            :         uint16_t        entry_size;
     524                 :            :         uint32_t        flags;
     525                 :            : #define BNXT_CTX_MEM_TYPE_VALID \
     526                 :            :         HWRM_FUNC_BACKING_STORE_QCAPS_V2_OUTPUT_FLAGS_TYPE_VALID
     527                 :            :         uint32_t        instance_bmap;
     528                 :            :         uint8_t         init_value;
     529                 :            :         uint8_t         entry_multiple;
     530                 :            :         uint16_t        init_offset;
     531                 :            : #define BNXT_CTX_INIT_INVALID_OFFSET    0xffff
     532                 :            :         uint32_t        max_entries;
     533                 :            :         uint32_t        min_entries;
     534                 :            :         uint8_t         last:1;
     535                 :            :         uint8_t         split_entry_cnt;
     536                 :            : #define BNXT_MAX_SPLIT_ENTRY    4
     537                 :            :         union {
     538                 :            :                 struct {
     539                 :            :                         uint32_t        qp_l2_entries;
     540                 :            :                         uint32_t        qp_qp1_entries;
     541                 :            :                         uint32_t        qp_fast_qpmd_entries;
     542                 :            :                 };
     543                 :            :                 uint32_t        srq_l2_entries;
     544                 :            :                 uint32_t        cq_l2_entries;
     545                 :            :                 uint32_t        vnic_entries;
     546                 :            :                 struct {
     547                 :            :                         uint32_t        mrav_av_entries;
     548                 :            :                         uint32_t        mrav_num_entries_units;
     549                 :            :                 };
     550                 :            :                 uint32_t        split[BNXT_MAX_SPLIT_ENTRY];
     551                 :            :         };
     552                 :            :         struct bnxt_ctx_pg_info *pg_info;
     553                 :            : };
     554                 :            : 
     555                 :            : #define BNXT_CTX_FLAG_INITED    0x01
     556                 :            : 
     557                 :            : struct bnxt_ctx_mem_info {
     558                 :            :         struct bnxt_ctx_mem     *ctx_arr;
     559                 :            :         uint32_t        supported_types;
     560                 :            :         uint32_t        flags;
     561                 :            :         uint16_t        types;
     562                 :            :         uint8_t         tqm_fp_rings_count;
     563                 :            : 
     564                 :            :         /* The following are used for V1 */
     565                 :            :         uint32_t        qp_max_entries;
     566                 :            :         uint16_t        qp_min_qp1_entries;
     567                 :            :         uint16_t        qp_max_l2_entries;
     568                 :            :         uint16_t        qp_entry_size;
     569                 :            :         uint16_t        srq_max_l2_entries;
     570                 :            :         uint32_t        srq_max_entries;
     571                 :            :         uint16_t        srq_entry_size;
     572                 :            :         uint16_t        cq_max_l2_entries;
     573                 :            :         uint32_t        cq_max_entries;
     574                 :            :         uint16_t        cq_entry_size;
     575                 :            :         uint16_t        vnic_max_vnic_entries;
     576                 :            :         uint16_t        vnic_max_ring_table_entries;
     577                 :            :         uint16_t        vnic_entry_size;
     578                 :            :         uint32_t        stat_max_entries;
     579                 :            :         uint16_t        stat_entry_size;
     580                 :            :         uint16_t        tqm_entry_size;
     581                 :            :         uint32_t        tqm_min_entries_per_ring;
     582                 :            :         uint32_t        tqm_max_entries_per_ring;
     583                 :            :         uint32_t        mrav_max_entries;
     584                 :            :         uint16_t        mrav_entry_size;
     585                 :            :         uint16_t        tim_entry_size;
     586                 :            :         uint32_t        tim_max_entries;
     587                 :            :         uint8_t         tqm_entries_multiple;
     588                 :            :         uint8_t         mpc_tqm_entries_multiple;
     589                 :            :         uint32_t        mpc_tqm_max_num_entries;
     590                 :            :         uint32_t        mpc_tqm_min_num_entries;
     591                 :            :         uint32_t        instance_bit_map; /* MPC TQM:  TE_CFA(2), RE_CFA (3) */
     592                 :            :         uint16_t        mpc_tqm_entry_size;
     593                 :            :         uint8_t         ctx_init_value;
     594                 :            :         uint8_t         ctx_init_offset;
     595                 :            : 
     596                 :            :         struct bnxt_ctx_pg_info qp_mem;
     597                 :            :         struct bnxt_ctx_pg_info srq_mem;
     598                 :            :         struct bnxt_ctx_pg_info cq_mem;
     599                 :            :         struct bnxt_ctx_pg_info vnic_mem;
     600                 :            :         struct bnxt_ctx_pg_info stat_mem;
     601                 :            :         struct bnxt_ctx_pg_info *tqm_mem[BNXT_MAX_TQM_RINGS];
     602                 :            : #define BNXT_MAX_BMAP           0x5
     603                 :            :         struct bnxt_ctx_pg_info *mpc_tqm_mem[BNXT_MAX_BMAP];
     604                 :            : };
     605                 :            : 
     606                 :            : struct bnxt_ctx_mem_buf_info {
     607                 :            :         void            *va;
     608                 :            :         rte_iova_t      dma;
     609                 :            :         uint16_t        ctx_id;
     610                 :            :         size_t          size;
     611                 :            : };
     612                 :            : 
     613                 :            : /* Maximum Firmware Reset bail out value in milliseconds */
     614                 :            : #define BNXT_MAX_FW_RESET_TIMEOUT       6000
     615                 :            : /* Minimum time required for the firmware readiness in milliseconds */
     616                 :            : #define BNXT_MIN_FW_READY_TIMEOUT       2000
     617                 :            : /* Frequency for the firmware readiness check in milliseconds */
     618                 :            : #define BNXT_FW_READY_WAIT_INTERVAL     100
     619                 :            : 
     620                 :            : #define US_PER_MS                       1000
     621                 :            : #define NS_PER_US                       1000
     622                 :            : 
     623                 :            : struct bnxt_error_recovery_info {
     624                 :            :         /* All units in milliseconds */
     625                 :            :         uint32_t        driver_polling_freq;
     626                 :            :         uint32_t        primary_func_wait_period;
     627                 :            :         uint32_t        normal_func_wait_period;
     628                 :            :         uint32_t        primary_func_wait_period_after_reset;
     629                 :            :         uint32_t        max_bailout_time_after_reset;
     630                 :            : #define BNXT_FW_STATUS_REG              0
     631                 :            : #define BNXT_FW_HEARTBEAT_CNT_REG       1
     632                 :            : #define BNXT_FW_RECOVERY_CNT_REG        2
     633                 :            : #define BNXT_FW_RESET_INPROG_REG        3
     634                 :            : #define BNXT_FW_STATUS_REG_CNT          4
     635                 :            :         uint32_t        status_regs[BNXT_FW_STATUS_REG_CNT];
     636                 :            :         uint32_t        mapped_status_regs[BNXT_FW_STATUS_REG_CNT];
     637                 :            :         uint32_t        reset_inprogress_reg_mask;
     638                 :            : #define BNXT_NUM_RESET_REG      16
     639                 :            :         uint8_t         reg_array_cnt;
     640                 :            :         uint32_t        reset_reg[BNXT_NUM_RESET_REG];
     641                 :            :         uint32_t        reset_reg_val[BNXT_NUM_RESET_REG];
     642                 :            :         uint8_t         delay_after_reset[BNXT_NUM_RESET_REG];
     643                 :            : #define BNXT_FLAG_ERROR_RECOVERY_HOST   BIT(0)
     644                 :            : #define BNXT_FLAG_ERROR_RECOVERY_CO_CPU BIT(1)
     645                 :            : #define BNXT_FLAG_PRIMARY_FUNC          BIT(2)
     646                 :            : #define BNXT_FLAG_RECOVERY_ENABLED      BIT(3)
     647                 :            :         uint32_t        flags;
     648                 :            : 
     649                 :            :         uint32_t        last_heart_beat;
     650                 :            :         uint32_t        last_reset_counter;
     651                 :            : };
     652                 :            : 
     653                 :            : /* Frequency for the FUNC_DRV_IF_CHANGE retry in milliseconds */
     654                 :            : #define BNXT_IF_CHANGE_RETRY_INTERVAL   50
     655                 :            : /* Maximum retry count for FUNC_DRV_IF_CHANGE */
     656                 :            : #define BNXT_IF_CHANGE_RETRY_COUNT      40
     657                 :            : 
     658                 :            : struct bnxt_mark_info {
     659                 :            :         uint32_t        mark_id;
     660                 :            :         bool            valid;
     661                 :            : };
     662                 :            : 
     663                 :            : struct bnxt_rep_info {
     664                 :            :         struct rte_eth_dev      *vfr_eth_dev;
     665                 :            :         pthread_mutex_t         vfr_start_lock;
     666                 :            :         bool                    conduit_valid;
     667                 :            : };
     668                 :            : 
     669                 :            : /* address space location of register */
     670                 :            : #define BNXT_FW_STATUS_REG_TYPE_MASK    3
     671                 :            : /* register is located in PCIe config space */
     672                 :            : #define BNXT_FW_STATUS_REG_TYPE_CFG     0
     673                 :            : /* register is located in GRC address space */
     674                 :            : #define BNXT_FW_STATUS_REG_TYPE_GRC     1
     675                 :            : /* register is located in BAR0  */
     676                 :            : #define BNXT_FW_STATUS_REG_TYPE_BAR0    2
     677                 :            : /* register is located in BAR1  */
     678                 :            : #define BNXT_FW_STATUS_REG_TYPE_BAR1    3
     679                 :            : 
     680                 :            : #define BNXT_FW_STATUS_REG_TYPE(reg)    ((reg) & BNXT_FW_STATUS_REG_TYPE_MASK)
     681                 :            : #define BNXT_FW_STATUS_REG_OFF(reg)     ((reg) & ~BNXT_FW_STATUS_REG_TYPE_MASK)
     682                 :            : 
     683                 :            : #define BNXT_GRCP_WINDOW_2_BASE         0x2000
     684                 :            : #define BNXT_GRCP_WINDOW_3_BASE         0x3000
     685                 :            : 
     686                 :            : #define BNXT_GRCP_BASE_MASK             0xfffff000
     687                 :            : #define BNXT_GRCP_OFFSET_MASK           0x00000ffc
     688                 :            : 
     689                 :            : #define BNXT_FW_STATUS_HEALTHY          0x8000
     690                 :            : #define BNXT_FW_STATUS_SHUTDOWN         0x100000
     691                 :            : 
     692                 :            : #define BNXT_HWRM_SHORT_REQ_LEN         sizeof(struct hwrm_short_input)
     693                 :            : 
     694                 :            : struct bnxt_flow_stat_info {
     695                 :            :         uint16_t                max_fc;
     696                 :            :         uint16_t                flow_count;
     697                 :            :         struct bnxt_ctx_mem_buf_info rx_fc_in_tbl;
     698                 :            :         struct bnxt_ctx_mem_buf_info rx_fc_out_tbl;
     699                 :            :         struct bnxt_ctx_mem_buf_info tx_fc_in_tbl;
     700                 :            :         struct bnxt_ctx_mem_buf_info tx_fc_out_tbl;
     701                 :            : };
     702                 :            : 
     703                 :            : struct bnxt_ring_stats {
     704                 :            :         /* Number of transmitted unicast packets */
     705                 :            :         uint64_t        tx_ucast_pkts;
     706                 :            :         /* Number of transmitted multicast packets */
     707                 :            :         uint64_t        tx_mcast_pkts;
     708                 :            :         /* Number of transmitted broadcast packets */
     709                 :            :         uint64_t        tx_bcast_pkts;
     710                 :            :         /* Number of packets discarded in transmit path */
     711                 :            :         uint64_t        tx_discard_pkts;
     712                 :            :         /* Number of packets in transmit path with error */
     713                 :            :         uint64_t        tx_error_pkts;
     714                 :            :         /* Number of transmitted bytes for unicast traffic */
     715                 :            :         uint64_t        tx_ucast_bytes;
     716                 :            :         /* Number of transmitted bytes for multicast traffic */
     717                 :            :         uint64_t        tx_mcast_bytes;
     718                 :            :         /* Number of transmitted bytes for broadcast traffic */
     719                 :            :         uint64_t        tx_bcast_bytes;
     720                 :            :         /* Number of received unicast packets */
     721                 :            :         uint64_t        rx_ucast_pkts;
     722                 :            :         /* Number of received multicast packets */
     723                 :            :         uint64_t        rx_mcast_pkts;
     724                 :            :         /* Number of received broadcast packets */
     725                 :            :         uint64_t        rx_bcast_pkts;
     726                 :            :         /* Number of packets discarded in receive path */
     727                 :            :         uint64_t        rx_discard_pkts;
     728                 :            :         /* Number of packets in receive path with errors */
     729                 :            :         uint64_t        rx_error_pkts;
     730                 :            :         /* Number of received bytes for unicast traffic */
     731                 :            :         uint64_t        rx_ucast_bytes;
     732                 :            :         /* Number of received bytes for multicast traffic */
     733                 :            :         uint64_t        rx_mcast_bytes;
     734                 :            :         /* Number of received bytes for broadcast traffic */
     735                 :            :         uint64_t        rx_bcast_bytes;
     736                 :            :         /* Number of aggregated unicast packets */
     737                 :            :         uint64_t        rx_agg_pkts;
     738                 :            :         /* Number of aggregated unicast bytes */
     739                 :            :         uint64_t        rx_agg_bytes;
     740                 :            :         /* Number of aggregation events */
     741                 :            :         uint64_t        rx_agg_events;
     742                 :            :         /* Number of aborted aggregations */
     743                 :            :         uint64_t        rx_agg_aborts;
     744                 :            : };
     745                 :            : 
     746                 :            : struct bnxt_ring_stats_ext {
     747                 :            :         /* Number of received unicast packets */
     748                 :            :         uint64_t        rx_ucast_pkts;
     749                 :            :         /* Number of received multicast packets */
     750                 :            :         uint64_t        rx_mcast_pkts;
     751                 :            :         /* Number of received broadcast packets */
     752                 :            :         uint64_t        rx_bcast_pkts;
     753                 :            :         /* Number of discarded packets on receive path */
     754                 :            :         uint64_t        rx_discard_pkts;
     755                 :            :         /* Number of packets on receive path with error */
     756                 :            :         uint64_t        rx_error_pkts;
     757                 :            :         /* Number of received bytes for unicast traffic */
     758                 :            :         uint64_t        rx_ucast_bytes;
     759                 :            :         /* Number of received bytes for multicast traffic */
     760                 :            :         uint64_t        rx_mcast_bytes;
     761                 :            :         /* Number of received bytes for broadcast traffic */
     762                 :            :         uint64_t        rx_bcast_bytes;
     763                 :            :         /* Number of transmitted unicast packets */
     764                 :            :         uint64_t        tx_ucast_pkts;
     765                 :            :         /* Number of transmitted multicast packets */
     766                 :            :         uint64_t        tx_mcast_pkts;
     767                 :            :         /* Number of transmitted broadcast packets */
     768                 :            :         uint64_t        tx_bcast_pkts;
     769                 :            :         /* Number of packets on transmit path with error */
     770                 :            :         uint64_t        tx_error_pkts;
     771                 :            :         /* Number of discarded packets on transmit path */
     772                 :            :         uint64_t        tx_discard_pkts;
     773                 :            :         /* Number of transmitted bytes for unicast traffic */
     774                 :            :         uint64_t        tx_ucast_bytes;
     775                 :            :         /* Number of transmitted bytes for multicast traffic */
     776                 :            :         uint64_t        tx_mcast_bytes;
     777                 :            :         /* Number of transmitted bytes for broadcast traffic */
     778                 :            :         uint64_t        tx_bcast_bytes;
     779                 :            :         /* Number of TPA eligible packets */
     780                 :            :         uint64_t        rx_tpa_eligible_pkt;
     781                 :            :         /* Number of TPA eligible bytes */
     782                 :            :         uint64_t        rx_tpa_eligible_bytes;
     783                 :            :         /* Number of TPA packets */
     784                 :            :         uint64_t        rx_tpa_pkt;
     785                 :            :         /* Number of TPA bytes */
     786                 :            :         uint64_t        rx_tpa_bytes;
     787                 :            :         /* Number of TPA errors */
     788                 :            :         uint64_t        rx_tpa_errors;
     789                 :            :         /* Number of TPA events */
     790                 :            :         uint64_t        rx_tpa_events;
     791                 :            : };
     792                 :            : 
     793                 :            : enum bnxt_session_type {
     794                 :            :         BNXT_SESSION_TYPE_REGULAR = 0,
     795                 :            :         BNXT_SESSION_TYPE_SHARED_COMMON,
     796                 :            :         BNXT_SESSION_TYPE_SHARED_WC,
     797                 :            :         BNXT_SESSION_TYPE_LAST
     798                 :            : };
     799                 :            : 
     800                 :            : #define BNXT_MAX_BUFFER_SPLIT_SEGS              2
     801                 :            : #define BNXT_MULTI_POOL_BUF_SPLIT_CAP           1
     802                 :            : #define BNXT_BUF_SPLIT_OFFSET_CAP               1
     803                 :            : #define BNXT_BUF_SPLIT_ALIGN_CAP                0
     804                 :            : 
     805                 :            : struct bnxt {
     806                 :            :         void                            *bar0;
     807                 :            : 
     808                 :            :         struct rte_eth_dev              *eth_dev;
     809                 :            :         struct rte_pci_device           *pdev;
     810                 :            :         void                            *doorbell_base;
     811                 :            :         int                             legacy_db_size;
     812                 :            : 
     813                 :            :         uint32_t                flags;
     814                 :            : #define BNXT_FLAG_REGISTERED            BIT(0)
     815                 :            : #define BNXT_FLAG_VF                    BIT(1)
     816                 :            : #define BNXT_FLAG_PORT_STATS            BIT(2)
     817                 :            : #define BNXT_FLAG_JUMBO                 BIT(3)
     818                 :            : #define BNXT_FLAG_SHORT_CMD             BIT(4)
     819                 :            : #define BNXT_FLAG_PTP_SUPPORTED         BIT(6)
     820                 :            : #define BNXT_FLAG_MULTI_HOST            BIT(7)
     821                 :            : #define BNXT_FLAG_EXT_RX_PORT_STATS     BIT(8)
     822                 :            : #define BNXT_FLAG_EXT_TX_PORT_STATS     BIT(9)
     823                 :            : #define BNXT_FLAG_KONG_MB_EN            BIT(10)
     824                 :            : #define BNXT_FLAG_TRUSTED_VF_EN         BIT(11)
     825                 :            : #define BNXT_FLAG_DFLT_VNIC_SET         BIT(12)
     826                 :            : #define BNXT_FLAG_CHIP_P5               BIT(13)
     827                 :            : #define BNXT_FLAG_STINGRAY              BIT(14)
     828                 :            : #define BNXT_FLAG_FW_RESET              BIT(15)
     829                 :            : #define BNXT_FLAG_FATAL_ERROR           BIT(16)
     830                 :            : #define BNXT_FLAG_IF_CHANGE_HOT_FW_RESET_DONE   BIT(17)
     831                 :            : #define BNXT_FLAG_FW_HEALTH_CHECK_SCHEDULED     BIT(18)
     832                 :            : #define BNXT_FLAG_EXT_STATS_SUPPORTED           BIT(19)
     833                 :            : #define BNXT_FLAG_NEW_RM                        BIT(20)
     834                 :            : #define BNXT_FLAG_NPAR_PF                       BIT(21)
     835                 :            : #define BNXT_FLAG_FW_CAP_ONE_STEP_TX_TS         BIT(22)
     836                 :            : #define BNXT_FLAG_FC_THREAD                     BIT(23)
     837                 :            : #define BNXT_FLAG_RX_VECTOR_PKT_MODE            BIT(24)
     838                 :            : #define BNXT_FLAG_FLOW_XSTATS_EN                BIT(25)
     839                 :            : #define BNXT_FLAG_DFLT_MAC_SET                  BIT(26)
     840                 :            : #define BNXT_FLAG_GFID_ENABLE                   BIT(27)
     841                 :            : #define BNXT_FLAG_CHIP_P7                       BIT(28)
     842                 :            : #define BNXT_FLAG_FW_TIMEDOUT                   BIT(29)
     843                 :            : #define BNXT_FLAG_RFS_NEEDS_VNIC                BIT(30)
     844                 :            : #define BNXT_FLAG_FLOW_CFA_RFS_RING_TBL_IDX_V2  BIT(31)
     845                 :            : #define BNXT_RFS_NEEDS_VNIC(bp) ((bp)->flags & BNXT_FLAG_RFS_NEEDS_VNIC)
     846                 :            : #define BNXT_PF(bp)             (!((bp)->flags & BNXT_FLAG_VF))
     847                 :            : #define BNXT_VF(bp)             ((bp)->flags & BNXT_FLAG_VF)
     848                 :            : #define BNXT_NPAR(bp)           ((bp)->flags & BNXT_FLAG_NPAR_PF)
     849                 :            : #define BNXT_MH(bp)             ((bp)->flags & BNXT_FLAG_MULTI_HOST)
     850                 :            : #define BNXT_SINGLE_PF(bp)      (BNXT_PF(bp) && !BNXT_NPAR(bp) && !BNXT_MH(bp))
     851                 :            : #define BNXT_USE_CHIMP_MB       0 //For non-CFA commands, everything uses Chimp.
     852                 :            : #define BNXT_USE_KONG(bp)       ((bp)->flags & BNXT_FLAG_KONG_MB_EN)
     853                 :            : #define BNXT_VF_IS_TRUSTED(bp)  ((bp)->flags & BNXT_FLAG_TRUSTED_VF_EN)
     854                 :            : #define BNXT_CHIP_P5(bp)        ((bp)->flags & BNXT_FLAG_CHIP_P5)
     855                 :            : #define BNXT_CHIP_P7(bp)        ((bp)->flags & BNXT_FLAG_CHIP_P7)
     856                 :            : #define BNXT_CHIP_P5_P7(bp)     (BNXT_CHIP_P5(bp) || BNXT_CHIP_P7(bp))
     857                 :            : #define BNXT_STINGRAY(bp)       ((bp)->flags & BNXT_FLAG_STINGRAY)
     858                 :            : #define BNXT_HAS_NQ(bp)         BNXT_CHIP_P5_P7(bp)
     859                 :            : #define BNXT_HAS_RING_GRPS(bp)  (!BNXT_CHIP_P5_P7(bp))
     860                 :            : #define BNXT_FLOW_XSTATS_EN(bp) ((bp)->flags & BNXT_FLAG_FLOW_XSTATS_EN)
     861                 :            : #define BNXT_HAS_DFLT_MAC_SET(bp)       ((bp)->flags & BNXT_FLAG_DFLT_MAC_SET)
     862                 :            : #define BNXT_GFID_ENABLED(bp)   ((bp)->flags & BNXT_FLAG_GFID_ENABLE)
     863                 :            : #define BNXT_P7_MAX_NQ_RING_CNT 512
     864                 :            : #define BNXT_P7_CQ_MAX_L2_ENT   8192
     865                 :            : 
     866                 :            :         uint32_t                        flags2;
     867                 :            : #define BNXT_FLAGS2_PTP_TIMESYNC_ENABLED        BIT(0)
     868                 :            : #define BNXT_FLAGS2_PTP_ALARM_SCHEDULED         BIT(1)
     869                 :            : #define BNXT_P5_PTP_TIMESYNC_ENABLED(bp)        \
     870                 :            :         ((bp)->flags2 & BNXT_FLAGS2_PTP_TIMESYNC_ENABLED)
     871                 :            : #define BNXT_FLAGS2_TESTPMD_EN                  BIT(3)
     872                 :            : #define BNXT_TESTPMD_EN(bp)                     \
     873                 :            :         ((bp)->flags2 & BNXT_FLAGS2_TESTPMD_EN)
     874                 :            : 
     875                 :            :         uint16_t                multi_host_pf_pci_id;
     876                 :            :         uint16_t                chip_num;
     877                 :            : #define BNXT_FLAGS2_MULTIROOT_EN                BIT(4)
     878                 :            : #define BNXT_MULTIROOT_EN(bp)                   \
     879                 :            :         ((bp)->flags2 & BNXT_FLAGS2_MULTIROOT_EN)
     880                 :            : 
     881                 :            : #define BNXT_FLAGS2_COMPRESSED_RX_CQE           BIT(5)
     882                 :            : #define BNXT_FLAGS2_REP_MODE                    BIT(7)
     883                 :            : #define BNXT_REP_MODE_EN(bp)                    \
     884                 :            :         ((bp)->flags2 & BNXT_FLAGS2_REP_MODE)
     885                 :            : 
     886                 :            :         uint32_t                fw_cap;
     887                 :            : #define BNXT_FW_CAP_HOT_RESET           BIT(0)
     888                 :            : #define BNXT_FW_CAP_IF_CHANGE           BIT(1)
     889                 :            : #define BNXT_FW_CAP_ERROR_RECOVERY      BIT(2)
     890                 :            : #define BNXT_FW_CAP_ERR_RECOVER_RELOAD  BIT(3)
     891                 :            : #define BNXT_FW_CAP_HCOMM_FW_STATUS     BIT(4)
     892                 :            : #define BNXT_FW_CAP_ADV_FLOW_MGMT       BIT(5)
     893                 :            : #define BNXT_FW_CAP_ADV_FLOW_COUNTERS   BIT(6)
     894                 :            : #define BNXT_FW_CAP_LINK_ADMIN          BIT(7)
     895                 :            : #define BNXT_FW_CAP_TRUFLOW_EN          BIT(8)
     896                 :            : #define BNXT_FW_CAP_VLAN_TX_INSERT      BIT(9)
     897                 :            : #define BNXT_FW_CAP_TX_COAL_CMPL        BIT(10)
     898                 :            : #define BNXT_FW_CAP_RX_ALL_PKT_TS       BIT(11)
     899                 :            : #define BNXT_FW_CAP_BACKING_STORE_V2    BIT(12)
     900                 :            : #define BNXT_FW_CAP_TIMED_TX_PACING     BIT(15)
     901                 :            : #define BNXT_FW_CAP_RX_RATE_PROFILE     BIT(17)
     902                 :            : #define BNXT_FW_CAP_MULTI_DB            BIT(18)
     903                 :            : #define BNXT_FW_BACKING_STORE_V2_EN(bp) \
     904                 :            :         ((bp)->fw_cap & BNXT_FW_CAP_BACKING_STORE_V2)
     905                 :            : #define BNXT_FW_BACKING_STORE_V1_EN(bp) \
     906                 :            :         (BNXT_CHIP_P5_P7((bp)) && \
     907                 :            :          (bp)->hwrm_spec_code >= HWRM_VERSION_1_9_2 && \
     908                 :            :          !BNXT_VF((bp)))
     909                 :            : #define BNXT_FW_CAP_UDP_GSO             BIT(13)
     910                 :            : #define BNXT_FW_CAP_TX_TS_CMP           BIT(16)
     911                 :            : #define BNXT_TRUFLOW_EN(bp)     ((bp)->fw_cap & BNXT_FW_CAP_TRUFLOW_EN &&\
     912                 :            :                                  (bp)->app_id != 0xFF)
     913                 :            : 
     914                 :            :         pthread_mutex_t         flow_lock;
     915                 :            : 
     916                 :            :         uint32_t                vnic_cap_flags;
     917                 :            : #define BNXT_VNIC_CAP_COS_CLASSIFY      BIT(0)
     918                 :            : #define BNXT_VNIC_CAP_OUTER_RSS         BIT(1)
     919                 :            : #define BNXT_VNIC_CAP_RX_CMPL_V2        BIT(2)
     920                 :            : #define BNXT_VNIC_CAP_VLAN_RX_STRIP     BIT(3)
     921                 :            : #define BNXT_RX_VLAN_STRIP_EN(bp)       ((bp)->vnic_cap_flags & BNXT_VNIC_CAP_VLAN_RX_STRIP)
     922                 :            : #define BNXT_VNIC_CAP_OUTER_RSS_TRUSTED_VF      BIT(4)
     923                 :            : #define BNXT_VNIC_CAP_XOR_MODE          BIT(5)
     924                 :            : #define BNXT_VNIC_CAP_CHKSM_MODE        BIT(6)
     925                 :            : #define BNXT_VNIC_CAP_IPV6_FLOW_LABEL_MODE      BIT(7)
     926                 :            : #define BNXT_VNIC_CAP_L2_CQE_MODE       BIT(8)
     927                 :            : #define BNXT_VNIC_CAP_AH_SPI4_CAP       BIT(9)
     928                 :            : #define BNXT_VNIC_CAP_AH_SPI6_CAP       BIT(10)
     929                 :            : #define BNXT_VNIC_CAP_ESP_SPI4_CAP      BIT(11)
     930                 :            : #define BNXT_VNIC_CAP_ESP_SPI6_CAP      BIT(12)
     931                 :            : #define BNXT_VNIC_CAP_AH_SPI_CAP        (BNXT_VNIC_CAP_AH_SPI4_CAP | BNXT_VNIC_CAP_AH_SPI6_CAP)
     932                 :            : #define BNXT_VNIC_CAP_ESP_SPI_CAP       (BNXT_VNIC_CAP_ESP_SPI4_CAP | BNXT_VNIC_CAP_ESP_SPI6_CAP)
     933                 :            : #define BNXT_VNIC_CAP_VNIC_TUNNEL_TPA   BIT(13)
     934                 :            : 
     935                 :            :         unsigned int            rx_nr_rings;
     936                 :            :         unsigned int            rx_cp_nr_rings;
     937                 :            :         unsigned int            rx_num_qs_per_vnic;
     938                 :            :         struct bnxt_rx_queue **rx_queues;
     939                 :            :         const void              *rx_mem_zone;
     940                 :            :         struct rx_port_stats    *hw_rx_port_stats;
     941                 :            :         rte_iova_t              hw_rx_port_stats_map;
     942                 :            :         struct rx_port_stats_ext    *hw_rx_port_stats_ext;
     943                 :            :         rte_iova_t              hw_rx_port_stats_ext_map;
     944                 :            :         uint16_t                fw_rx_port_stats_ext_size;
     945                 :            : 
     946                 :            :         unsigned int            tx_nr_rings;
     947                 :            :         unsigned int            tx_cp_nr_rings;
     948                 :            :         struct bnxt_tx_queue **tx_queues;
     949                 :            :         const void              *tx_mem_zone;
     950                 :            :         struct tx_port_stats    *hw_tx_port_stats;
     951                 :            :         rte_iova_t              hw_tx_port_stats_map;
     952                 :            :         struct tx_port_stats_ext    *hw_tx_port_stats_ext;
     953                 :            :         rte_iova_t              hw_tx_port_stats_ext_map;
     954                 :            :         uint16_t                fw_tx_port_stats_ext_size;
     955                 :            : 
     956                 :            :         /* Default completion ring */
     957                 :            :         struct bnxt_cp_ring_info        *async_cp_ring;
     958                 :            :         struct bnxt_cp_ring_info        *rxtx_nq_ring;
     959                 :            :         uint32_t                max_ring_grps;
     960                 :            :         struct bnxt_ring_grp_info       *grp_info;
     961                 :            : 
     962                 :            :         uint16_t                        nr_vnics;
     963                 :            : 
     964                 :            :         struct bnxt_vnic_info   *vnic_info;
     965                 :            :         STAILQ_HEAD(, bnxt_vnic_info)   free_vnic_list;
     966                 :            :         const struct rte_memzone *vnic_rss_mz;
     967                 :            : 
     968                 :            :         struct bnxt_filter_info *filter_info;
     969                 :            :         STAILQ_HEAD(, bnxt_filter_info) free_filter_list;
     970                 :            : 
     971                 :            :         struct bnxt_irq         *irq_tbl;
     972                 :            : 
     973                 :            :         uint8_t                 mac_addr[RTE_ETHER_ADDR_LEN];
     974                 :            : 
     975                 :            :         uint16_t                        chimp_cmd_seq;
     976                 :            :         uint16_t                        kong_cmd_seq;
     977                 :            :         void                            *hwrm_cmd_resp_addr;
     978                 :            :         rte_iova_t                      hwrm_cmd_resp_dma_addr;
     979                 :            :         void                            *hwrm_short_cmd_req_addr;
     980                 :            :         rte_iova_t                      hwrm_short_cmd_req_dma_addr;
     981                 :            :         rte_spinlock_t                  hwrm_lock;
     982                 :            :         /* synchronize between dev_configure_op and int handler */
     983                 :            :         pthread_mutex_t                 def_cp_lock;
     984                 :            :         /* synchronize between dev_start_op and async evt handler
     985                 :            :          * Locking sequence in async evt handler will be
     986                 :            :          * def_cp_lock
     987                 :            :          * health_check_lock
     988                 :            :          */
     989                 :            :         pthread_mutex_t                 health_check_lock;
     990                 :            :         /* synchronize between dev_stop/dev_close_op and
     991                 :            :          * error recovery thread triggered as part of
     992                 :            :          * HWRM_ASYNC_EVENT_CMPL_EVENT_ID_RESET_NOTIFY
     993                 :            :          */
     994                 :            :         pthread_mutex_t                 err_recovery_lock;
     995                 :            :         uint16_t                        max_req_len;
     996                 :            :         uint16_t                        max_resp_len;
     997                 :            :         uint16_t                        hwrm_max_ext_req_len;
     998                 :            : 
     999                 :            :          /* default command timeout value of 500ms */
    1000                 :            : #define DFLT_HWRM_CMD_TIMEOUT           500000
    1001                 :            : #define PCI_FUNC_RESET_WAIT_TIMEOUT     1500000
    1002                 :            :          /* short command timeout value of 50ms */
    1003                 :            : #define SHORT_HWRM_CMD_TIMEOUT          50000
    1004                 :            :         /* default HWRM request timeout value */
    1005                 :            :         uint32_t                        hwrm_cmd_timeout;
    1006                 :            : 
    1007                 :            :         struct bnxt_link_info           *link_info;
    1008                 :            :         struct bnxt_cos_queue_info      *rx_cos_queue;
    1009                 :            :         struct bnxt_cos_queue_info      *tx_cos_queue;
    1010                 :            :         uint8_t                 tx_cosq_id[BNXT_COS_QUEUE_COUNT];
    1011                 :            :         uint8_t                 rx_cosq_cnt;
    1012                 :            :         uint8_t                 max_tc;
    1013                 :            :         uint8_t                 max_lltc;
    1014                 :            :         uint8_t                 max_q;
    1015                 :            : 
    1016                 :            :         uint16_t                fw_fid;
    1017                 :            :         uint16_t                max_rsscos_ctx;
    1018                 :            :         uint16_t                max_cp_rings;
    1019                 :            :         uint16_t                max_tx_rings;
    1020                 :            :         uint16_t                max_rx_rings;
    1021                 :            : #define MAX_STINGRAY_RINGS              236U
    1022                 :            : #define BNXT_MAX_VF_REP_RINGS   8U
    1023                 :            : 
    1024                 :            :         uint16_t                max_nq_rings;
    1025                 :            :         uint16_t                max_l2_ctx;
    1026                 :            :         uint16_t                max_rx_em_flows;
    1027                 :            :         uint16_t                max_vnics;
    1028                 :            : #define BNXT_MAX_VNICS_COS_CLASSIFY     8
    1029                 :            :         uint16_t                max_stat_ctx;
    1030                 :            :         uint16_t                max_tpa_v2;
    1031                 :            :         uint16_t                first_vf_id;
    1032                 :            :         uint16_t                vlan;
    1033                 :            : #define BNXT_OUTER_TPID_MASK    0x0000ffff
    1034                 :            : #define BNXT_OUTER_TPID_BD_MASK 0xffff0000
    1035                 :            : #define BNXT_OUTER_TPID_BD_SHFT 16
    1036                 :            :         uint32_t                outer_tpid_bd;
    1037                 :            :         struct bnxt_pf_info     *pf;
    1038                 :            :         struct bnxt_parent_info *parent;
    1039                 :            :         uint8_t                 port_cnt;
    1040                 :            :         uint8_t                 vxlan_port_cnt;
    1041                 :            :         uint8_t                 geneve_port_cnt;
    1042                 :            :         uint8_t                 ecpri_port_cnt;
    1043                 :            :         uint8_t                 l2_etype_tunnel_cnt;
    1044                 :            :         uint16_t                vxlan_port;
    1045                 :            :         uint16_t                vxlan_ip_port;
    1046                 :            :         uint16_t                geneve_port;
    1047                 :            :         uint16_t                ecpri_port;
    1048                 :            :         uint16_t                vxlan_fw_dst_port_id;
    1049                 :            :         uint16_t                geneve_fw_dst_port_id;
    1050                 :            :         uint16_t                ecpri_fw_dst_port_id;
    1051                 :            : #define BNXT_L2_ETYPE_TUNNEL_ID 0xFFFF /* CUSTOM L2 ENCAP - VF representors */
    1052                 :            :         uint16_t                l2_etype_tunnel_id;
    1053                 :            :         uint16_t                ecpri_upar_in_use;
    1054                 :            :         uint8_t                 l2_etype_upar_in_use;
    1055                 :            :         uint8_t                 vxlan_ip_upar_in_use;
    1056                 :            :         uint32_t                fw_ver;
    1057                 :            :         uint32_t                hwrm_spec_code;
    1058                 :            : 
    1059                 :            :         struct bnxt_led_info    *leds;
    1060                 :            :         uint8_t                 ieee_1588;
    1061                 :            :         struct bnxt_ptp_cfg     *ptp_cfg;
    1062                 :            :         uint8_t                 ptp_all_rx_tstamp;
    1063                 :            :         uint16_t                vf_resv_strategy;
    1064                 :            :         struct bnxt_ctx_mem_info        *ctx;
    1065                 :            : 
    1066                 :            :         uint16_t                fw_reset_min_msecs;
    1067                 :            :         uint16_t                fw_reset_max_msecs;
    1068                 :            :         uint16_t                switch_domain_id;
    1069                 :            :         uint16_t                num_reps;
    1070                 :            :         struct bnxt_rep_info    *rep_info;
    1071                 :            :         uint16_t                *cfa_code_map;
    1072                 :            :         /* Device Serial Number */
    1073                 :            :         uint8_t                 dsn[BNXT_DEVICE_SERIAL_NUM_SIZE];
    1074                 :            :         /* Struct to hold adapter error recovery related info */
    1075                 :            :         struct bnxt_error_recovery_info *recovery_info;
    1076                 :            : #define BNXT_MARK_TABLE_SZ      (sizeof(struct bnxt_mark_info)  * 64 * 1024)
    1077                 :            : /* TCAM and EM should be 16-bit only. Other modes not supported. */
    1078                 :            : #define BNXT_FLOW_ID_MASK       0x0000ffff
    1079                 :            :         struct bnxt_mark_info   *mark_table;
    1080                 :            : 
    1081                 :            : #define BNXT_SVIF_INVALID       0xFFFF
    1082                 :            :         uint16_t                func_svif;
    1083                 :            :         uint16_t                port_svif;
    1084                 :            : 
    1085                 :            :         struct tf               tfp[BNXT_SESSION_TYPE_LAST];
    1086                 :            :         struct tfc              tfcp;
    1087                 :            :         struct bnxt_ulp_context *ulp_ctx;
    1088                 :            :         struct bnxt_flow_stat_info *flow_stat;
    1089                 :            :         uint16_t                max_num_kflows;
    1090                 :            :         uint8_t                 app_id;
    1091                 :            :         uint8_t                 app_instance_id;
    1092                 :            :         uint32_t                tx_cfa_action;
    1093                 :            :         struct bnxt_ring_stats  *prev_rx_ring_stats;
    1094                 :            :         struct bnxt_ring_stats  *prev_tx_ring_stats;
    1095                 :            :         struct bnxt_ring_stats_ext      *prev_rx_ring_stats_ext;
    1096                 :            :         struct bnxt_ring_stats_ext      *prev_tx_ring_stats_ext;
    1097                 :            :         struct bnxt_vnic_queue_db vnic_queue_db;
    1098                 :            : 
    1099                 :            :         struct bnxt_mpc         *mpc;
    1100                 :            : #define BNXT_MAX_MC_ADDRS       ((bp)->max_mcast_addr)
    1101                 :            :         struct rte_ether_addr   *mcast_addr_list;
    1102                 :            :         rte_iova_t              mc_list_dma_addr;
    1103                 :            :         uint32_t                nb_mc_addr;
    1104                 :            : #define BNXT_DFLT_MAX_MC_ADDR   16 /* for compatibility with older firmware */
    1105                 :            :         uint32_t                max_mcast_addr; /* maximum number of mcast filters supported */
    1106                 :            : 
    1107                 :            :         struct rte_eth_rss_conf rss_conf; /* RSS configuration. */
    1108                 :            :         uint16_t                tunnel_disable_flag; /* tunnel stateless offloads status */
    1109                 :            :         uint8_t                 chip_rev;
    1110                 :            :         uint16_t                l2_db_multi_page_size_kb;       /* Multi-L2 DB BAR size in KB */
    1111                 :            :         uint16_t                db_page_size;                   /* DB page size (typically 4KB) */
    1112                 :            :         uint8_t                 nq_dpi_start;                   /* Starting DPI for NQ rings */
    1113                 :            :         uint8_t                 nq_dpi_count;                   /* Number of DPI pages for NQ */
    1114                 :            :         uint8_t                 nq_dpi_counter;                 /* Round-robin counter for NQ DPI */
    1115                 :            : };
    1116                 :            : 
    1117                 :            : static
    1118                 :          0 : inline uint16_t bnxt_max_rings(struct bnxt *bp)
    1119                 :            : {
    1120                 :          0 :         uint16_t max_tx_rings = bp->max_tx_rings;
    1121                 :          0 :         uint16_t max_rx_rings = bp->max_rx_rings;
    1122                 :          0 :         uint16_t max_cp_rings = bp->max_cp_rings;
    1123                 :            :         uint16_t max_rings;
    1124                 :            : 
    1125                 :            :         /* For the sake of symmetry:
    1126                 :            :          * max Tx rings == max Rx rings, one stat ctx for each.
    1127                 :            :          */
    1128         [ #  # ]:          0 :         if (BNXT_STINGRAY(bp)) {
    1129                 :          0 :                 max_rx_rings = RTE_MIN(RTE_MIN(max_rx_rings / 2U,
    1130                 :            :                                                MAX_STINGRAY_RINGS),
    1131                 :            :                                        bp->max_stat_ctx / 2U);
    1132                 :            :         } else {
    1133                 :          0 :                 max_rx_rings = RTE_MIN(max_rx_rings / 2U,
    1134                 :            :                                        bp->max_stat_ctx / 2U);
    1135                 :            :         }
    1136                 :            : 
    1137                 :            :         /*
    1138                 :            :          * RSS table size in P5 is 512.
    1139                 :            :          * Cap max Rx rings to the same value for RSS.
    1140                 :            :          */
    1141         [ #  # ]:          0 :         if (BNXT_CHIP_P5_P7(bp))
    1142                 :          0 :                 max_rx_rings = RTE_MIN(max_rx_rings, BNXT_RSS_TBL_SIZE_P5);
    1143                 :            : 
    1144                 :          0 :         max_tx_rings = RTE_MIN(max_tx_rings, max_rx_rings);
    1145         [ #  # ]:          0 :         if (max_cp_rings > BNXT_NUM_ASYNC_CPR(bp))
    1146                 :          0 :                 max_cp_rings -= BNXT_NUM_ASYNC_CPR(bp);
    1147                 :          0 :         max_rings = RTE_MIN(max_cp_rings / 2U, max_tx_rings);
    1148                 :            : 
    1149                 :          0 :         return max_rings;
    1150                 :            : }
    1151                 :            : 
    1152                 :            : static inline bool
    1153                 :            : bnxt_compressed_rx_cqe_mode_enabled(struct bnxt *bp)
    1154                 :            : {
    1155   [ #  #  #  #  :          0 :         if (bp->vnic_cap_flags & BNXT_VNIC_CAP_L2_CQE_MODE &&
                   #  # ]
    1156   [ #  #  #  #  :          0 :                 bp->flags2 & BNXT_FLAGS2_COMPRESSED_RX_CQE &&
                   #  # ]
    1157   [ #  #  #  #  :          0 :                 !bp->num_reps && !bp->ieee_1588)
          #  #  #  #  #  
                #  #  # ]
    1158                 :            :                 return true;
    1159                 :            : 
    1160                 :            :         return false;
    1161                 :            : }
    1162                 :            : 
    1163                 :            : #define BNXT_FC_TIMER   1 /* Timer freq in Sec Flow Counters */
    1164                 :            : 
    1165                 :            : /**
    1166                 :            :  * Structure to store private data for each VF representor instance
    1167                 :            :  */
    1168                 :            : struct bnxt_representor {
    1169                 :            :         uint16_t                switch_domain_id;
    1170                 :            :         uint16_t                vf_id;
    1171                 :            : #define BNXT_REP_IS_PF          BIT(0)
    1172                 :            : #define BNXT_REP_Q_R2F_VALID            BIT(1)
    1173                 :            : #define BNXT_REP_Q_F2R_VALID            BIT(2)
    1174                 :            : #define BNXT_REP_FC_R2F_VALID           BIT(3)
    1175                 :            : #define BNXT_REP_FC_F2R_VALID           BIT(4)
    1176                 :            : #define BNXT_REP_BASED_PF_VALID         BIT(5)
    1177                 :            :         uint32_t                flags;
    1178                 :            :         uint16_t                fw_fid;
    1179                 :            : #define BNXT_DFLT_VNIC_ID_INVALID       0xFFFF
    1180                 :            :         uint16_t                dflt_vnic_id;
    1181                 :            :         uint16_t                svif;
    1182                 :            :         uint32_t                vfr_tx_cfa_action;
    1183                 :            :         uint8_t                 parent_pf_idx; /* Logical PF index */
    1184                 :            :         uint32_t                dpdk_port_id;
    1185                 :            :         uint32_t                rep_based_pf;
    1186                 :            :         uint8_t                 rep_q_r2f;
    1187                 :            :         uint8_t                 rep_q_f2r;
    1188                 :            :         uint8_t                 rep_fc_r2f;
    1189                 :            :         uint8_t                 rep_fc_f2r;
    1190                 :            :         /* Private data store of associated PF/Trusted VF */
    1191                 :            :         struct rte_eth_dev      *parent_dev;
    1192                 :            :         uint8_t                 mac_addr[RTE_ETHER_ADDR_LEN];
    1193                 :            :         uint8_t                 dflt_mac_addr[RTE_ETHER_ADDR_LEN];
    1194                 :            :         struct bnxt_rx_queue    **rx_queues;
    1195                 :            :         unsigned int            rx_nr_rings;
    1196                 :            :         unsigned int            tx_nr_rings;
    1197                 :            :         uint64_t                tx_pkts[BNXT_MAX_VF_REP_RINGS];
    1198                 :            :         uint64_t                tx_bytes[BNXT_MAX_VF_REP_RINGS];
    1199                 :            :         uint64_t                rx_pkts[BNXT_MAX_VF_REP_RINGS];
    1200                 :            :         uint64_t                rx_bytes[BNXT_MAX_VF_REP_RINGS];
    1201                 :            :         uint64_t                rx_drop_pkts[BNXT_MAX_VF_REP_RINGS];
    1202                 :            :         uint64_t                rx_drop_bytes[BNXT_MAX_VF_REP_RINGS];
    1203                 :            : };
    1204                 :            : 
    1205                 :            : #define BNXT_REP_PF(vfr_bp)             ((vfr_bp)->flags & BNXT_REP_IS_PF)
    1206                 :            : #define BNXT_REP_BASED_PF(vfr_bp)       \
    1207                 :            :                 ((vfr_bp)->flags & BNXT_REP_BASED_PF_VALID)
    1208                 :            : 
    1209                 :            : struct bnxt_vf_rep_tx_queue {
    1210                 :            :         struct bnxt_tx_queue *txq;
    1211                 :            :         struct bnxt_representor *bp;
    1212                 :            : };
    1213                 :            : 
    1214                 :            : #define I2C_DEV_ADDR_A0                 0xa0
    1215                 :            : #define I2C_DEV_ADDR_A2                 0xa2
    1216                 :            : #define SFF_DIAG_SUPPORT_OFFSET         0x5c
    1217                 :            : #define SFF_MODULE_ID_SFP               0x3
    1218                 :            : #define SFF_MODULE_ID_QSFP              0xc
    1219                 :            : #define SFF_MODULE_ID_QSFP_PLUS         0xd
    1220                 :            : #define SFF_MODULE_ID_QSFP28            0x11
    1221                 :            : #define SFF8636_FLATMEM_OFFSET          0x2
    1222                 :            : #define SFF8636_FLATMEM_MASK            0x4
    1223                 :            : #define SFF8636_OPT_PAGES_OFFSET        0xc3
    1224                 :            : #define SFF8636_PAGE1_MASK              0x40
    1225                 :            : #define SFF8636_PAGE2_MASK              0x80
    1226                 :            : #define BNXT_MAX_PHY_I2C_RESP_SIZE      64
    1227                 :            : 
    1228                 :            : int bnxt_mtu_set_op(struct rte_eth_dev *eth_dev, uint16_t new_mtu);
    1229                 :            : int bnxt_link_update(struct rte_eth_dev *eth_dev, int wait_to_complete,
    1230                 :            :                      bool exp_link_status);
    1231                 :            : int bnxt_rcv_msg_from_vf(struct bnxt *bp, uint16_t vf_id, void *msg);
    1232                 :            : int is_bnxt_in_error(struct bnxt *bp);
    1233                 :            : 
    1234                 :            : int bnxt_map_fw_health_status_regs(struct bnxt *bp);
    1235                 :            : uint32_t bnxt_read_fw_status_reg(struct bnxt *bp, uint32_t index);
    1236                 :            : void bnxt_schedule_fw_health_check(struct bnxt *bp);
    1237                 :            : 
    1238                 :            : bool is_bnxt_supported(struct rte_eth_dev *dev);
    1239                 :            : bool bnxt_stratus_device(struct bnxt *bp);
    1240                 :            : void bnxt_print_link_info(struct rte_eth_dev *eth_dev);
    1241                 :            : uint16_t bnxt_rss_ctxts(const struct bnxt *bp);
    1242                 :            : uint16_t bnxt_rss_hash_tbl_size(const struct bnxt *bp);
    1243                 :            : int bnxt_link_update_op(struct rte_eth_dev *eth_dev,
    1244                 :            :                         int wait_to_complete);
    1245                 :            : int
    1246                 :            : bnxt_udp_tunnel_port_del_op(struct rte_eth_dev *eth_dev,
    1247                 :            :                             struct rte_eth_udp_tunnel *udp_tunnel);
    1248                 :            : int
    1249                 :            : bnxt_udp_tunnel_port_add_op(struct rte_eth_dev *eth_dev,
    1250                 :            :                             struct rte_eth_udp_tunnel *udp_tunnel);
    1251                 :            : 
    1252                 :            : extern const struct rte_flow_ops bnxt_flow_ops;
    1253                 :            : extern const struct rte_flow_ops bnxt_flow_meter_ops;
    1254                 :            : 
    1255                 :            : #define bnxt_acquire_flow_lock(bp) \
    1256                 :            :         pthread_mutex_lock(&(bp)->flow_lock)
    1257                 :            : 
    1258                 :            : #define bnxt_release_flow_lock(bp) \
    1259                 :            :         pthread_mutex_unlock(&(bp)->flow_lock)
    1260                 :            : 
    1261                 :            : #define BNXT_VALID_VNIC_OR_RET(bp, vnic_id) do { \
    1262                 :            :         if ((vnic_id) >= (bp)->max_vnics) { \
    1263                 :            :                 rte_flow_error_set(error, \
    1264                 :            :                                 EINVAL, \
    1265                 :            :                                 RTE_FLOW_ERROR_TYPE_ATTR_GROUP, \
    1266                 :            :                                 NULL, \
    1267                 :            :                                 "Group id is invalid!"); \
    1268                 :            :                 rc = -rte_errno; \
    1269                 :            :                 goto ret; \
    1270                 :            :         } \
    1271                 :            : } while (0)
    1272                 :            : 
    1273                 :            : #define BNXT_ETH_DEV_IS_REPRESENTOR(eth_dev)    \
    1274                 :            :         ((eth_dev)->data->dev_flags & RTE_ETH_DEV_REPRESENTOR)
    1275                 :            : 
    1276                 :            : extern int bnxt_logtype_driver;
    1277                 :            : #define RTE_LOGTYPE_BNXT bnxt_logtype_driver
    1278                 :            : #define PMD_DRV_LOG_LINE(level, ...) \
    1279                 :            :         RTE_LOG_LINE_PREFIX(level, BNXT, "%s(): ", __func__, __VA_ARGS__)
    1280                 :            : 
    1281                 :            : #define BNXT_LINK_SPEEDS_V2_OPTIONS(f) \
    1282                 :            :         ((f) & HWRM_PORT_PHY_QCFG_OUTPUT_OPTION_FLAGS_SPEEDS2_SUPPORTED)
    1283                 :            : #define BNXT_LINK_SPEEDS_V2_VF(bp) (BNXT_VF((bp)) && ((bp)->link_info->option_flags))
    1284                 :            : #define BNXT_LINK_SPEEDS_V2(bp) (((bp)->link_info) && (((bp)->link_info->support_speeds_v2) || \
    1285                 :            :                                                        BNXT_LINK_SPEEDS_V2_VF((bp))))
    1286                 :            : #define BNXT_MAX_SPEED_LANES 8
    1287                 :            : #define BNXT_SUPPORTS_TPA(bp)  (!BNXT_CHIP_P5_P7(bp) || (bp)->max_tpa_v2)
    1288                 :            : extern const struct rte_flow_ops bnxt_ulp_rte_flow_ops;
    1289                 :            : int32_t bnxt_ulp_port_init(struct bnxt *bp);
    1290                 :            : void bnxt_ulp_port_deinit(struct bnxt *bp);
    1291                 :            : int32_t bnxt_ulp_create_df_rules(struct bnxt *bp);
    1292                 :            : void bnxt_ulp_destroy_df_rules(struct bnxt *bp, bool global);
    1293                 :            : int32_t
    1294                 :            : bnxt_ulp_create_vfr_default_rules(struct rte_eth_dev *vfr_ethdev);
    1295                 :            : int32_t
    1296                 :            : bnxt_ulp_delete_vfr_default_rules(struct bnxt_representor *vfr);
    1297                 :            : int bnxt_rep_dev_start_op(struct rte_eth_dev *eth_dev);
    1298                 :            : 
    1299                 :            : void bnxt_cancel_fc_thread(struct bnxt *bp);
    1300                 :            : void bnxt_flow_cnt_alarm_cb(void *arg);
    1301                 :            : int bnxt_flow_stats_req(struct bnxt *bp);
    1302                 :            : int bnxt_flow_stats_cnt(struct bnxt *bp);
    1303                 :            : uint32_t bnxt_get_speed_capabilities(struct bnxt *bp);
    1304                 :            : int bnxt_flow_ops_get_op(struct rte_eth_dev *dev,
    1305                 :            :                          const struct rte_flow_ops **ops);
    1306                 :            : int bnxt_dev_start_op(struct rte_eth_dev *eth_dev);
    1307                 :            : int bnxt_dev_stop_op(struct rte_eth_dev *eth_dev);
    1308                 :            : void bnxt_handle_vf_cfg_change(void *arg);
    1309                 :            : int bnxt_flow_meter_ops_get(struct rte_eth_dev *eth_dev, void *arg);
    1310                 :            : struct bnxt_vnic_info *bnxt_get_default_vnic(struct bnxt *bp);
    1311                 :            : uint64_t bnxt_eth_rss_support(struct bnxt *bp);
    1312                 :            : uint16_t bnxt_parse_eth_link_speed_v2(struct bnxt *bp);
    1313                 :            : struct bnxt *bnxt_pmd_get_bp(uint16_t port);
    1314                 :            : #endif