Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(C) 2021 Marvell.
3 : : */
4 : :
5 : : #ifndef _CNXK_CRYPTODEV_OPS_H_
6 : : #define _CNXK_CRYPTODEV_OPS_H_
7 : :
8 : : #include <cryptodev_pmd.h>
9 : : #include <rte_event_crypto_adapter.h>
10 : :
11 : : #include "hw/cpt.h"
12 : :
13 : : #include "roc_constants.h"
14 : : #include "roc_cpt.h"
15 : : #include "roc_cpt_sg.h"
16 : : #include "roc_errata.h"
17 : : #include "roc_se.h"
18 : :
19 : : /* Space for ctrl_word(8B), IV(48B), passthrough alignment(8B) */
20 : : #define CNXK_CPT_MIN_HEADROOM_REQ 64
21 : : #define CNXK_CPT_MIN_TAILROOM_REQ 102
22 : :
23 : : /* Default command timeout in seconds */
24 : : #define DEFAULT_COMMAND_TIMEOUT 4
25 : :
26 : : #define MOD_INC(i, l) ((i) == (l - 1) ? (i) = 0 : (i)++)
27 : :
28 : : /* Macros to form words in CPT instruction */
29 : : #define CNXK_CPT_INST_W2(tag, tt, grp, rvu_pf_func) \
30 : : ((tag) | ((uint64_t)(tt) << 32) | ((uint64_t)(grp) << 34) | \
31 : : ((uint64_t)(rvu_pf_func) << 48))
32 : : #define CNXK_CPT_INST_W3(qord, wqe_ptr) \
33 : : (qord | ((uintptr_t)(wqe_ptr) >> 3) << 3)
34 : :
35 : : struct cpt_qp_meta_info {
36 : : struct rte_mempool *pool;
37 : : int mlen;
38 : : };
39 : :
40 : : #define CPT_OP_FLAGS_METABUF (1 << 1)
41 : : #define CPT_OP_FLAGS_AUTH_VERIFY (1 << 0)
42 : : #define CPT_OP_FLAGS_IPSEC_DIR_INBOUND (1 << 2)
43 : : #define CPT_OP_FLAGS_IPSEC_INB_REPLAY (1 << 3)
44 : :
45 : : struct cpt_inflight_req {
46 : : union cpt_res_s res;
47 : : union {
48 : : void *opaque;
49 : : struct rte_crypto_op *cop;
50 : : struct rte_event_vector *vec;
51 : : };
52 : : void *mdata;
53 : : uint8_t op_flags;
54 : : void *qp;
55 : : } __rte_aligned(ROC_ALIGN);
56 : :
57 : : PLT_STATIC_ASSERT(sizeof(struct cpt_inflight_req) == ROC_CACHE_LINE_SZ);
58 : :
59 : : struct pending_queue {
60 : : /** Array of pending requests */
61 : : struct cpt_inflight_req *req_queue;
62 : : /** Head of the queue to be used for enqueue */
63 : : uint64_t head;
64 : : /** Tail of the queue to be used for dequeue */
65 : : uint64_t tail;
66 : : /** Pending queue mask */
67 : : uint64_t pq_mask;
68 : : /** Timeout to track h/w being unresponsive */
69 : : uint64_t time_out;
70 : : };
71 : :
72 : : struct crypto_adpter_info {
73 : : bool enabled;
74 : : /**< Set if queue pair is added to crypto adapter */
75 : : struct rte_mempool *req_mp;
76 : : /**< CPT inflight request mempool */
77 : : uint16_t vector_sz;
78 : : /** Maximum number of cops to combine into single vector */
79 : : struct rte_mempool *vector_mp;
80 : : /** Pool for allocating rte_event_vector */
81 : : };
82 : :
83 : : struct cnxk_cpt_qp {
84 : : struct roc_cpt_lf lf;
85 : : /**< Crypto LF */
86 : : struct pending_queue pend_q;
87 : : /**< Pending queue */
88 : : struct roc_cpt_lmtline lmtline;
89 : : /**< Lmtline information */
90 : : struct cpt_qp_meta_info meta_info;
91 : : /**< Metabuf info required to support operations on the queue pair */
92 : : struct crypto_adpter_info ca;
93 : : /**< Crypto adapter related info */
94 : : struct rte_mempool *sess_mp;
95 : : /**< Session mempool */
96 : : };
97 : :
98 : : int cnxk_cpt_dev_config(struct rte_cryptodev *dev,
99 : : struct rte_cryptodev_config *conf);
100 : :
101 : : int cnxk_cpt_dev_start(struct rte_cryptodev *dev);
102 : :
103 : : void cnxk_cpt_dev_stop(struct rte_cryptodev *dev);
104 : :
105 : : int cnxk_cpt_dev_close(struct rte_cryptodev *dev);
106 : :
107 : : void cnxk_cpt_dev_info_get(struct rte_cryptodev *dev,
108 : : struct rte_cryptodev_info *info);
109 : :
110 : : int cnxk_cpt_queue_pair_setup(struct rte_cryptodev *dev, uint16_t qp_id,
111 : : const struct rte_cryptodev_qp_conf *conf,
112 : : int socket_id __rte_unused);
113 : :
114 : : int cnxk_cpt_queue_pair_release(struct rte_cryptodev *dev, uint16_t qp_id);
115 : :
116 : : unsigned int cnxk_cpt_sym_session_get_size(struct rte_cryptodev *dev);
117 : :
118 : : int cnxk_cpt_sym_session_configure(struct rte_cryptodev *dev, struct rte_crypto_sym_xform *xform,
119 : : struct rte_cryptodev_sym_session *sess);
120 : :
121 : : int sym_session_configure(struct roc_cpt *roc_cpt, struct rte_crypto_sym_xform *xform,
122 : : struct rte_cryptodev_sym_session *sess, bool is_session_less);
123 : :
124 : : void cnxk_cpt_sym_session_clear(struct rte_cryptodev *dev, struct rte_cryptodev_sym_session *sess);
125 : :
126 : : void sym_session_clear(struct rte_cryptodev_sym_session *sess, bool is_session_less);
127 : :
128 : : unsigned int cnxk_ae_session_size_get(struct rte_cryptodev *dev __rte_unused);
129 : :
130 : : void cnxk_ae_session_clear(struct rte_cryptodev *dev,
131 : : struct rte_cryptodev_asym_session *sess);
132 : : int cnxk_ae_session_cfg(struct rte_cryptodev *dev,
133 : : struct rte_crypto_asym_xform *xform,
134 : : struct rte_cryptodev_asym_session *sess);
135 : : void cnxk_cpt_dump_on_err(struct cnxk_cpt_qp *qp);
136 : : int cnxk_cpt_queue_pair_event_error_query(struct rte_cryptodev *dev, uint16_t qp_id);
137 : :
138 : : static __rte_always_inline void
139 : : pending_queue_advance(uint64_t *index, const uint64_t mask)
140 : : {
141 : 0 : *index = (*index + 1) & mask;
142 : : }
143 : :
144 : : static __rte_always_inline void
145 : : pending_queue_retreat(uint64_t *index, const uint64_t mask, uint64_t nb_entry)
146 : : {
147 : 0 : *index = (*index - nb_entry) & mask;
148 : 0 : }
149 : :
150 : : static __rte_always_inline uint64_t
151 : : pending_queue_infl_cnt(uint64_t head, uint64_t tail, const uint64_t mask)
152 : : {
153 : : /*
154 : : * Mask is nb_desc - 1. Add nb_desc to head and mask to account for
155 : : * cases when tail > head, which happens during wrap around.
156 : : */
157 [ # # # # : 0 : return ((head + mask + 1) - tail) & mask;
# # # # ]
158 : : }
159 : :
160 : : static __rte_always_inline uint64_t
161 : : pending_queue_free_cnt(uint64_t head, uint64_t tail, const uint64_t mask)
162 : : {
163 : : /* mask is nb_desc - 1 */
164 : : return mask - pending_queue_infl_cnt(head, tail, mask);
165 : : }
166 : :
167 : : static __rte_always_inline void *
168 : : alloc_op_meta(struct roc_se_buf_ptr *buf, int32_t len, struct rte_mempool *cpt_meta_pool,
169 : : struct cpt_inflight_req *infl_req)
170 : : {
171 : : uint8_t *mdata;
172 : :
173 [ # # # # : 0 : if (unlikely(rte_mempool_get(cpt_meta_pool, (void **)&mdata) < 0))
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # ]
174 : : return NULL;
175 : :
176 : : if (likely(buf)) {
177 : 0 : buf->vaddr = mdata;
178 : 0 : buf->size = len;
179 : : }
180 : :
181 : 0 : infl_req->mdata = mdata;
182 [ # # # # : 0 : infl_req->op_flags |= CPT_OP_FLAGS_METABUF;
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# ]
183 : :
184 : 0 : return mdata;
185 : : }
186 : :
187 : : static __rte_always_inline bool
188 : : hw_ctx_cache_enable(void)
189 : : {
190 [ # # # # : 0 : return roc_errata_cpt_hang_on_mixed_ctx_val() || roc_model_is_cn10ka_b0() ||
# # # # #
# # # # #
# # # # #
# # # #
# ]
191 : : roc_model_is_cn10kb_a0();
192 : : }
193 : : #endif /* _CNXK_CRYPTODEV_OPS_H_ */
|