Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(C) 2021 Marvell.
3 : : */
4 : :
5 : : #include <cryptodev_pmd.h>
6 : : #include <rte_esp.h>
7 : : #include <rte_ip.h>
8 : : #include <rte_malloc.h>
9 : : #include <rte_security.h>
10 : : #include <rte_security_driver.h>
11 : : #include <rte_udp.h>
12 : :
13 : : #include "cn10k_cryptodev_ops.h"
14 : : #include "cn10k_cryptodev_sec.h"
15 : : #include "cn10k_ipsec.h"
16 : : #include "cnxk_cryptodev.h"
17 : : #include "cnxk_cryptodev_ops.h"
18 : : #include "cnxk_ipsec.h"
19 : : #include "cnxk_security.h"
20 : :
21 : : #include "roc_api.h"
22 : :
23 : : static int
24 : 0 : cn10k_ipsec_outb_sa_create(struct roc_cpt *roc_cpt, struct roc_cpt_lf *lf,
25 : : struct rte_security_ipsec_xform *ipsec_xfrm,
26 : : struct rte_crypto_sym_xform *crypto_xfrm,
27 : : struct cn10k_sec_session *sec_sess)
28 : : {
29 : : union roc_ot_ipsec_outb_param1 param1;
30 : : struct roc_ot_ipsec_outb_sa *sa_dptr;
31 : : struct cnxk_ipsec_outb_rlens rlens;
32 : : struct cn10k_ipsec_sa *sa;
33 : : union cpt_inst_w4 inst_w4;
34 : : void *out_sa;
35 : : int ret = 0;
36 : :
37 : : sa = &sec_sess->sa;
38 : 0 : out_sa = &sa->out_sa;
39 : :
40 : : /* Allocate memory to be used as dptr for CPT ucode WRITE_SA op */
41 : 0 : sa_dptr = plt_zmalloc(sizeof(struct roc_ot_ipsec_outb_sa), 8);
42 [ # # ]: 0 : if (sa_dptr == NULL) {
43 : 0 : plt_err("Couldn't allocate memory for SA dptr");
44 : 0 : return -ENOMEM;
45 : : }
46 : :
47 : : /* Translate security parameters to SA */
48 : 0 : ret = cnxk_ot_ipsec_outb_sa_fill(sa_dptr, ipsec_xfrm, crypto_xfrm);
49 [ # # ]: 0 : if (ret) {
50 : 0 : plt_err("Could not fill outbound session parameters");
51 : 0 : goto sa_dptr_free;
52 : : }
53 : :
54 : 0 : sec_sess->inst.w7 = cnxk_cpt_sec_inst_w7_get(roc_cpt, out_sa);
55 : :
56 : : #ifdef LA_IPSEC_DEBUG
57 : : /* Use IV from application in debug mode */
58 : : if (ipsec_xfrm->options.iv_gen_disable == 1) {
59 : : sa_dptr->w2.s.iv_src = ROC_IE_OT_SA_IV_SRC_FROM_SA;
60 : : if (crypto_xfrm->type == RTE_CRYPTO_SYM_XFORM_AEAD) {
61 : : sec_sess->iv_offset = crypto_xfrm->aead.iv.offset;
62 : : sec_sess->iv_length = crypto_xfrm->aead.iv.length;
63 : : } else if (crypto_xfrm->type == RTE_CRYPTO_SYM_XFORM_CIPHER) {
64 : : sec_sess->iv_offset = crypto_xfrm->cipher.iv.offset;
65 : : sec_sess->iv_length = crypto_xfrm->cipher.iv.length;
66 : : } else {
67 : : sec_sess->iv_offset = crypto_xfrm->auth.iv.offset;
68 : : sec_sess->iv_length = crypto_xfrm->auth.iv.length;
69 : : }
70 : : }
71 : : #else
72 [ # # ]: 0 : if (ipsec_xfrm->options.iv_gen_disable != 0) {
73 : 0 : plt_err("Application provided IV not supported");
74 : : ret = -ENOTSUP;
75 : 0 : goto sa_dptr_free;
76 : : }
77 : : #endif
78 : :
79 : 0 : sec_sess->ipsec.is_outbound = 1;
80 : :
81 : : /* Get Rlen calculation data */
82 : 0 : ret = cnxk_ipsec_outb_rlens_get(&rlens, ipsec_xfrm, crypto_xfrm);
83 [ # # ]: 0 : if (ret)
84 : 0 : goto sa_dptr_free;
85 : :
86 : 0 : sec_sess->max_extended_len = rlens.max_extended_len;
87 : :
88 : : /* pre-populate CPT INST word 4 */
89 : 0 : inst_w4.u64 = 0;
90 : 0 : inst_w4.s.opcode_major = ROC_IE_OT_MAJOR_OP_PROCESS_OUTBOUND_IPSEC | ROC_IE_OT_INPLACE_BIT;
91 : :
92 : 0 : param1.u16 = 0;
93 : :
94 : 0 : param1.s.ttl_or_hop_limit = ipsec_xfrm->options.dec_ttl;
95 : :
96 : : /* Disable IP checksum computation by default */
97 : 0 : param1.s.ip_csum_disable = ROC_IE_OT_SA_INNER_PKT_IP_CSUM_DISABLE;
98 : :
99 [ # # ]: 0 : if (ipsec_xfrm->options.ip_csum_enable) {
100 : 0 : param1.s.ip_csum_disable =
101 : : ROC_IE_OT_SA_INNER_PKT_IP_CSUM_ENABLE;
102 : : }
103 : :
104 : : /* Disable L4 checksum computation by default */
105 : 0 : param1.s.l4_csum_disable = ROC_IE_OT_SA_INNER_PKT_L4_CSUM_DISABLE;
106 : :
107 [ # # ]: 0 : if (ipsec_xfrm->options.l4_csum_enable) {
108 : 0 : param1.s.l4_csum_disable =
109 : : ROC_IE_OT_SA_INNER_PKT_L4_CSUM_ENABLE;
110 : : }
111 : :
112 : 0 : inst_w4.s.param1 = param1.u16;
113 : :
114 : 0 : sec_sess->inst.w4 = inst_w4.u64;
115 : :
116 [ # # ]: 0 : if (ipsec_xfrm->options.stats == 1) {
117 : : /* Enable mib counters */
118 : 0 : sa_dptr->w0.s.count_mib_bytes = 1;
119 : 0 : sa_dptr->w0.s.count_mib_pkts = 1;
120 : 0 : sa_dptr->w0.s.count_glb_pkts = 1;
121 : 0 : sa_dptr->w0.s.count_glb_octets = 1;
122 : : }
123 : :
124 : : memset(out_sa, 0, sizeof(struct roc_ot_ipsec_outb_sa));
125 : :
126 : : /* Copy word0 from sa_dptr to populate ctx_push_sz ctx_size fields */
127 : : memcpy(out_sa, sa_dptr, 8);
128 : :
129 : : plt_atomic_thread_fence(__ATOMIC_SEQ_CST);
130 : :
131 : : /* Write session using microcode opcode */
132 : 0 : ret = roc_cpt_ctx_write(lf, sa_dptr, out_sa,
133 : : sizeof(struct roc_ot_ipsec_outb_sa));
134 [ # # ]: 0 : if (ret) {
135 : 0 : plt_err("Could not write outbound session to hardware");
136 : 0 : goto sa_dptr_free;
137 : : }
138 : :
139 : : /* Trigger CTX flush so that data is written back to DRAM */
140 : 0 : ret = roc_cpt_lf_ctx_flush(lf, out_sa, false);
141 [ # # ]: 0 : if (ret == -EFAULT) {
142 : 0 : plt_err("Could not flush outbound session");
143 : 0 : goto sa_dptr_free;
144 : : }
145 : :
146 : 0 : sec_sess->proto = RTE_SECURITY_PROTOCOL_IPSEC;
147 : : plt_atomic_thread_fence(__ATOMIC_SEQ_CST);
148 : :
149 : 0 : sa_dptr_free:
150 : 0 : plt_free(sa_dptr);
151 : :
152 : 0 : return ret;
153 : : }
154 : :
155 : : static int
156 : 0 : cn10k_ipsec_inb_sa_create(struct roc_cpt *roc_cpt, struct roc_cpt_lf *lf,
157 : : struct rte_security_ipsec_xform *ipsec_xfrm,
158 : : struct rte_crypto_sym_xform *crypto_xfrm,
159 : : struct cn10k_sec_session *sec_sess)
160 : : {
161 : : union roc_ot_ipsec_inb_param1 param1;
162 : : struct roc_ot_ipsec_inb_sa *sa_dptr;
163 : : struct cn10k_ipsec_sa *sa;
164 : : union cpt_inst_w4 inst_w4;
165 : : void *in_sa;
166 : : int ret = 0;
167 : :
168 : : sa = &sec_sess->sa;
169 : 0 : in_sa = &sa->in_sa;
170 : :
171 : : /* Allocate memory to be used as dptr for CPT ucode WRITE_SA op */
172 : 0 : sa_dptr = plt_zmalloc(sizeof(struct roc_ot_ipsec_inb_sa), 8);
173 [ # # ]: 0 : if (sa_dptr == NULL) {
174 : 0 : plt_err("Couldn't allocate memory for SA dptr");
175 : 0 : return -ENOMEM;
176 : : }
177 : :
178 : : /* Translate security parameters to SA */
179 : 0 : ret = cnxk_ot_ipsec_inb_sa_fill(sa_dptr, ipsec_xfrm, crypto_xfrm);
180 [ # # ]: 0 : if (ret) {
181 : 0 : plt_err("Could not fill inbound session parameters");
182 : 0 : goto sa_dptr_free;
183 : : }
184 : :
185 [ # # ]: 0 : sec_sess->ipsec.is_outbound = 0;
186 : 0 : sec_sess->inst.w7 = cnxk_cpt_sec_inst_w7_get(roc_cpt, in_sa);
187 : :
188 : : /* Save index/SPI in cookie, specific required for Rx Inject */
189 : 0 : sa_dptr->w1.s.cookie = 0xFFFFFFFF;
190 : :
191 : : /* pre-populate CPT INST word 4 */
192 : 0 : inst_w4.u64 = 0;
193 : 0 : inst_w4.s.opcode_major = ROC_IE_OT_MAJOR_OP_PROCESS_INBOUND_IPSEC | ROC_IE_OT_INPLACE_BIT;
194 : :
195 : 0 : param1.u16 = 0;
196 : :
197 : : /* Disable IP checksum verification by default */
198 : 0 : param1.s.ip_csum_disable = ROC_IE_OT_SA_INNER_PKT_IP_CSUM_DISABLE;
199 : :
200 : : /* Set the ip chksum flag in mbuf before enqueue.
201 : : * Reset the flag in post process in case of errors
202 : : */
203 [ # # ]: 0 : if (ipsec_xfrm->options.ip_csum_enable) {
204 : 0 : param1.s.ip_csum_disable = ROC_IE_OT_SA_INNER_PKT_IP_CSUM_ENABLE;
205 : 0 : sec_sess->ipsec.ip_csum = RTE_MBUF_F_RX_IP_CKSUM_GOOD;
206 : : }
207 : :
208 : : /* Disable L4 checksum verification by default */
209 : 0 : param1.s.l4_csum_disable = ROC_IE_OT_SA_INNER_PKT_L4_CSUM_DISABLE;
210 : :
211 [ # # ]: 0 : if (ipsec_xfrm->options.l4_csum_enable) {
212 : 0 : param1.s.l4_csum_disable =
213 : : ROC_IE_OT_SA_INNER_PKT_L4_CSUM_ENABLE;
214 : : }
215 : :
216 : 0 : param1.s.esp_trailer_disable = 1;
217 : :
218 : 0 : inst_w4.s.param1 = param1.u16;
219 : :
220 : 0 : sec_sess->inst.w4 = inst_w4.u64;
221 : :
222 [ # # ]: 0 : if (ipsec_xfrm->options.stats == 1) {
223 : : /* Enable mib counters */
224 : 0 : sa_dptr->w0.s.count_mib_bytes = 1;
225 : 0 : sa_dptr->w0.s.count_mib_pkts = 1;
226 : 0 : sa_dptr->w0.s.count_glb_pkts = 1;
227 : 0 : sa_dptr->w0.s.count_glb_octets = 1;
228 : : }
229 : :
230 : : memset(in_sa, 0, sizeof(struct roc_ot_ipsec_inb_sa));
231 : :
232 : : /* Copy word0 from sa_dptr to populate ctx_push_sz ctx_size fields */
233 : : memcpy(in_sa, sa_dptr, 8);
234 : :
235 : : plt_atomic_thread_fence(__ATOMIC_SEQ_CST);
236 : :
237 : : /* Write session using microcode opcode */
238 : 0 : ret = roc_cpt_ctx_write(lf, sa_dptr, in_sa,
239 : : sizeof(struct roc_ot_ipsec_inb_sa));
240 [ # # ]: 0 : if (ret) {
241 : 0 : plt_err("Could not write inbound session to hardware");
242 : 0 : goto sa_dptr_free;
243 : : }
244 : :
245 : : /* Trigger CTX flush so that data is written back to DRAM */
246 : 0 : ret = roc_cpt_lf_ctx_flush(lf, in_sa, true);
247 [ # # ]: 0 : if (ret == -EFAULT) {
248 : 0 : plt_err("Could not flush inbound session");
249 : 0 : goto sa_dptr_free;
250 : : }
251 : :
252 : 0 : sec_sess->proto = RTE_SECURITY_PROTOCOL_IPSEC;
253 : : plt_atomic_thread_fence(__ATOMIC_SEQ_CST);
254 : :
255 : 0 : sa_dptr_free:
256 : 0 : plt_free(sa_dptr);
257 : :
258 : 0 : return ret;
259 : : }
260 : :
261 : : int
262 : 0 : cn10k_ipsec_session_create(struct cnxk_cpt_vf *vf, struct cnxk_cpt_qp *qp,
263 : : struct rte_security_ipsec_xform *ipsec_xfrm,
264 : : struct rte_crypto_sym_xform *crypto_xfrm,
265 : : struct rte_security_session *sess)
266 : : {
267 : : struct roc_cpt *roc_cpt;
268 : : int ret;
269 : :
270 : 0 : ret = cnxk_ipsec_xform_verify(ipsec_xfrm, crypto_xfrm);
271 [ # # ]: 0 : if (ret)
272 : : return ret;
273 : :
274 : 0 : roc_cpt = &vf->cpt;
275 : :
276 [ # # ]: 0 : if (ipsec_xfrm->direction == RTE_SECURITY_IPSEC_SA_DIR_INGRESS)
277 : 0 : return cn10k_ipsec_inb_sa_create(roc_cpt, &qp->lf, ipsec_xfrm, crypto_xfrm,
278 : : (struct cn10k_sec_session *)sess);
279 : : else
280 : 0 : return cn10k_ipsec_outb_sa_create(roc_cpt, &qp->lf, ipsec_xfrm, crypto_xfrm,
281 : : (struct cn10k_sec_session *)sess);
282 : : }
283 : :
284 : : int
285 : 0 : cn10k_sec_ipsec_session_destroy(struct cnxk_cpt_qp *qp, struct cn10k_sec_session *sess)
286 : : {
287 : : union roc_ot_ipsec_sa_word2 *w2;
288 : : struct cn10k_ipsec_sa *sa;
289 : : struct roc_cpt_lf *lf;
290 : : void *sa_dptr = NULL;
291 : : int ret;
292 : :
293 : 0 : lf = &qp->lf;
294 : :
295 : : sa = &sess->sa;
296 : :
297 : : /* Trigger CTX flush to write dirty data back to DRAM */
298 : 0 : roc_cpt_lf_ctx_flush(lf, &sa->in_sa, false);
299 : :
300 : : ret = -1;
301 : :
302 [ # # ]: 0 : if (sess->ipsec.is_outbound) {
303 : 0 : sa_dptr = plt_zmalloc(sizeof(struct roc_ot_ipsec_outb_sa), 8);
304 [ # # ]: 0 : if (sa_dptr != NULL) {
305 : 0 : roc_ot_ipsec_outb_sa_init(sa_dptr);
306 : :
307 : 0 : ret = roc_cpt_ctx_write(
308 : 0 : lf, sa_dptr, &sa->out_sa,
309 : : sizeof(struct roc_ot_ipsec_outb_sa));
310 : : }
311 : : } else {
312 : 0 : sa_dptr = plt_zmalloc(sizeof(struct roc_ot_ipsec_inb_sa), 8);
313 [ # # ]: 0 : if (sa_dptr != NULL) {
314 : 0 : roc_ot_ipsec_inb_sa_init(sa_dptr);
315 : :
316 : 0 : ret = roc_cpt_ctx_write(
317 : : lf, sa_dptr, &sa->in_sa,
318 : : sizeof(struct roc_ot_ipsec_inb_sa));
319 : : }
320 : : }
321 : :
322 : 0 : plt_free(sa_dptr);
323 : :
324 [ # # ]: 0 : if (ret) {
325 : : /* MC write_ctx failed. Attempt reload of CTX */
326 : :
327 : : /* Wait for 1 ms so that flush is complete */
328 : : rte_delay_ms(1);
329 : :
330 : : w2 = (union roc_ot_ipsec_sa_word2 *)&sa->in_sa.w2;
331 : 0 : w2->s.valid = 0;
332 : :
333 : : plt_atomic_thread_fence(__ATOMIC_SEQ_CST);
334 : :
335 : : /* Trigger CTX reload to fetch new data from DRAM */
336 : 0 : roc_cpt_lf_ctx_reload(lf, &sa->in_sa);
337 : : }
338 : :
339 : 0 : return 0;
340 : : }
341 : :
342 : : int
343 : 0 : cn10k_ipsec_stats_get(struct cnxk_cpt_qp *qp, struct cn10k_sec_session *sess,
344 : : struct rte_security_stats *stats)
345 : : {
346 : : struct roc_ot_ipsec_outb_sa *out_sa;
347 : : struct roc_ot_ipsec_inb_sa *in_sa;
348 : : struct cn10k_ipsec_sa *sa;
349 : :
350 : 0 : stats->protocol = RTE_SECURITY_PROTOCOL_IPSEC;
351 : : sa = &sess->sa;
352 : :
353 [ # # ]: 0 : if (sess->ipsec.is_outbound) {
354 : 0 : out_sa = &sa->out_sa;
355 : 0 : roc_cpt_lf_ctx_flush(&qp->lf, out_sa, false);
356 : 0 : stats->ipsec.opackets = out_sa->ctx.mib_pkts;
357 : 0 : stats->ipsec.obytes = out_sa->ctx.mib_octs;
358 : : } else {
359 : 0 : in_sa = &sa->in_sa;
360 : 0 : roc_cpt_lf_ctx_flush(&qp->lf, in_sa, false);
361 : 0 : stats->ipsec.ipackets = in_sa->ctx.mib_pkts;
362 : 0 : stats->ipsec.ibytes = in_sa->ctx.mib_octs;
363 : : }
364 : :
365 : 0 : return 0;
366 : : }
367 : :
368 : : int
369 : 0 : cn10k_ipsec_session_update(struct cnxk_cpt_vf *vf, struct cnxk_cpt_qp *qp,
370 : : struct cn10k_sec_session *sess, struct rte_security_session_conf *conf)
371 : : {
372 : : struct roc_cpt *roc_cpt;
373 : : int ret;
374 : :
375 [ # # ]: 0 : if (conf->ipsec.direction == RTE_SECURITY_IPSEC_SA_DIR_INGRESS)
376 : : return -ENOTSUP;
377 : :
378 : 0 : ret = cnxk_ipsec_xform_verify(&conf->ipsec, conf->crypto_xform);
379 [ # # ]: 0 : if (ret)
380 : : return ret;
381 : :
382 : 0 : roc_cpt = &vf->cpt;
383 : :
384 : 0 : return cn10k_ipsec_outb_sa_create(roc_cpt, &qp->lf, &conf->ipsec, conf->crypto_xform,
385 : : (struct cn10k_sec_session *)sess);
386 : : }
|
