Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright 2018-2024 NXP
3 : : */
4 : :
5 : : #include <rte_eal.h>
6 : : #include <bus_fslmc_driver.h>
7 : : #include <rte_dmadev.h>
8 : : #include <rte_dmadev_pmd.h>
9 : : #include <rte_kvargs.h>
10 : :
11 : : #include <mc/fsl_dpdmai.h>
12 : :
13 : : #include <rte_pmd_dpaax_qdma.h>
14 : : #include "dpaa2_hw_dpio.h"
15 : : #include "dpaa2_qdma.h"
16 : : #include "dpaa2_qdma_logs.h"
17 : :
18 : : #define DPAA2_QDMA_FLE_PRE_POPULATE "fle_pre_populate"
19 : : #define DPAA2_QDMA_DESC_DEBUG "desc_debug"
20 : : #define DPAA2_QDMA_USING_SHORT_FD "short_fd"
21 : :
22 : : static uint32_t dpaa2_coherent_no_alloc_cache;
23 : : static uint32_t dpaa2_coherent_alloc_cache;
24 : :
25 : : static struct fsl_mc_io s_proc_mc_reg;
26 : :
27 : : static int
28 : 0 : check_devargs_handler(__rte_unused const char *key, const char *value,
29 : : __rte_unused void *opaque)
30 : : {
31 [ # # ]: 0 : if (strcmp(value, "1"))
32 : 0 : return -1;
33 : :
34 : : return 0;
35 : : }
36 : :
37 : : static int
38 : 0 : dpaa2_qdma_get_devargs(struct rte_devargs *devargs, const char *key)
39 : : {
40 : : struct rte_kvargs *kvlist;
41 : :
42 [ # # ]: 0 : if (!devargs)
43 : : return 0;
44 : :
45 : 0 : kvlist = rte_kvargs_parse(devargs->args, NULL);
46 [ # # ]: 0 : if (!kvlist)
47 : : return 0;
48 : :
49 [ # # ]: 0 : if (!rte_kvargs_count(kvlist, key)) {
50 : 0 : rte_kvargs_free(kvlist);
51 : 0 : return 0;
52 : : }
53 : :
54 [ # # ]: 0 : if (rte_kvargs_process(kvlist, key,
55 : : check_devargs_handler, NULL) < 0) {
56 : 0 : rte_kvargs_free(kvlist);
57 : 0 : return 0;
58 : : }
59 : 0 : rte_kvargs_free(kvlist);
60 : :
61 : 0 : return 1;
62 : : }
63 : :
64 : : static inline int
65 : : qdma_cntx_idx_ring_eq(struct qdma_cntx_idx_ring *ring,
66 : : const uint16_t *elem, uint16_t nb,
67 : : uint16_t *free_space)
68 : : {
69 : : uint16_t i;
70 : :
71 : 0 : if (unlikely(nb > ring->free_space))
72 : : return 0;
73 : :
74 [ # # # # : 0 : for (i = 0; i < nb; i++) {
# # ]
75 : 0 : ring->cntx_idx_ring[ring->tail] = elem[i];
76 : 0 : ring->tail = (ring->tail + 1) &
77 : : (DPAA2_QDMA_MAX_DESC - 1);
78 : : }
79 : 0 : ring->free_space -= nb;
80 : 0 : ring->nb_in_ring += nb;
81 : :
82 [ # # # # : 0 : if (free_space)
# # ]
83 : 0 : *free_space = ring->free_space;
84 : :
85 : : return nb;
86 : : }
87 : :
88 : : static inline int
89 : 0 : qdma_cntx_idx_ring_dq(struct qdma_cntx_idx_ring *ring,
90 : : uint16_t *elem, uint16_t max)
91 : : {
92 : 0 : int ret = ring->nb_in_ring > max ? max : ring->nb_in_ring;
93 : :
94 [ # # ]: 0 : if (!ret)
95 : : return 0;
96 : :
97 [ # # ]: 0 : if ((ring->start + ret) < DPAA2_QDMA_MAX_DESC) {
98 : 0 : rte_memcpy(elem,
99 [ # # ]: 0 : &ring->cntx_idx_ring[ring->start],
100 : : ret * sizeof(uint16_t));
101 : 0 : ring->start += ret;
102 : : } else {
103 : 0 : rte_memcpy(elem,
104 : 0 : &ring->cntx_idx_ring[ring->start],
105 [ # # ]: 0 : (DPAA2_QDMA_MAX_DESC - ring->start) *
106 : : sizeof(uint16_t));
107 : 0 : rte_memcpy(&elem[DPAA2_QDMA_MAX_DESC - ring->start],
108 : 0 : &ring->cntx_idx_ring[0],
109 [ # # ]: 0 : (ret - DPAA2_QDMA_MAX_DESC + ring->start) *
110 : : sizeof(uint16_t));
111 : 0 : ring->start = (ring->start + ret) & (DPAA2_QDMA_MAX_DESC - 1);
112 : : }
113 : 0 : ring->free_space += ret;
114 : 0 : ring->nb_in_ring -= ret;
115 : :
116 : 0 : return ret;
117 : : }
118 : :
119 : : static int
120 : 0 : dpaa2_qdma_multi_eq(struct qdma_virt_queue *qdma_vq)
121 : : {
122 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = qdma_vq->dpdmai_dev;
123 : 0 : uint16_t txq_id = dpdmai_dev->tx_queue[qdma_vq->vq_id].fqid;
124 : : struct qbman_eq_desc eqdesc;
125 : : struct qbman_swp *swp;
126 : : uint32_t num_to_send = 0;
127 : : uint16_t num_tx = 0;
128 : : uint32_t enqueue_loop, loop;
129 : : int ret;
130 : 0 : struct qbman_fd *fd = qdma_vq->fd;
131 : 0 : uint16_t nb_fds = qdma_vq->fd_idx, idx, dst_idx;
132 : :
133 [ # # ]: 0 : if (unlikely(!DPAA2_PER_LCORE_DPIO)) {
134 : 0 : ret = dpaa2_affine_qbman_swp();
135 [ # # ]: 0 : if (ret) {
136 : 0 : DPAA2_QDMA_ERR("Failed to allocate IO portal, tid: %d",
137 : : rte_gettid());
138 : 0 : return -EIO;
139 : : }
140 : : }
141 : 0 : swp = DPAA2_PER_LCORE_PORTAL;
142 : :
143 : : /* Prepare enqueue descriptor */
144 : 0 : qbman_eq_desc_clear(&eqdesc);
145 : 0 : qbman_eq_desc_set_fq(&eqdesc, txq_id);
146 : 0 : qbman_eq_desc_set_no_orp(&eqdesc, 0);
147 : 0 : qbman_eq_desc_set_response(&eqdesc, 0, 0);
148 : :
149 [ # # ]: 0 : while (nb_fds > 0) {
150 : 0 : num_to_send = (nb_fds > dpaa2_eqcr_size) ?
151 [ # # ]: 0 : dpaa2_eqcr_size : nb_fds;
152 : :
153 : : /* Enqueue the packet to the QBMAN */
154 : : enqueue_loop = 0;
155 : : loop = num_to_send;
156 : :
157 [ # # ]: 0 : while (enqueue_loop < loop) {
158 : 0 : ret = qbman_swp_enqueue_multiple(swp,
159 : : &eqdesc,
160 : 0 : &fd[num_tx + enqueue_loop],
161 : : NULL,
162 : 0 : loop - enqueue_loop);
163 [ # # ]: 0 : if (likely(ret >= 0))
164 : 0 : enqueue_loop += ret;
165 : : }
166 : 0 : num_tx += num_to_send;
167 : 0 : nb_fds -= loop;
168 : : }
169 : :
170 : 0 : qdma_vq->num_enqueues += num_tx;
171 [ # # ]: 0 : if (unlikely(num_tx != qdma_vq->fd_idx)) {
172 : : dst_idx = 0;
173 [ # # ]: 0 : for (idx = num_tx; idx < qdma_vq->fd_idx; idx++) {
174 : 0 : qdma_vq->fd[dst_idx] = qdma_vq->fd[idx];
175 : 0 : dst_idx++;
176 : : }
177 : : }
178 : 0 : qdma_vq->fd_idx -= num_tx;
179 : :
180 : 0 : return num_tx;
181 : : }
182 : :
183 : : static void
184 : 0 : fle_sdd_pre_populate(struct qdma_cntx_fle_sdd *fle_sdd,
185 : : struct dpaa2_qdma_rbp *rbp, uint64_t src, uint64_t dest,
186 : : uint32_t fmt)
187 : : {
188 : : struct qbman_fle *fle = fle_sdd->fle;
189 : 0 : struct qdma_sdd *sdd = fle_sdd->sdd;
190 : : uint64_t sdd_iova = DPAA2_VADDR_TO_IOVA(sdd);
191 : :
192 : : /* first frame list to source descriptor */
193 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_SDD_FLE], sdd_iova);
194 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_SDD_FLE],
195 : : DPAA2_QDMA_MAX_SDD * (sizeof(struct qdma_sdd)));
196 : :
197 : : /* source and destination descriptor */
198 [ # # # # ]: 0 : if (rbp && rbp->enable) {
199 : : /* source */
200 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.portid =
201 : 0 : rbp->sportid;
202 : 0 : sdd[DPAA2_QDMA_SRC_SDD].rbpcmd_simple.pfid =
203 : 0 : rbp->spfid;
204 : 0 : sdd[DPAA2_QDMA_SRC_SDD].rbpcmd_simple.vfid =
205 : 0 : rbp->svfid;
206 : 0 : sdd[DPAA2_QDMA_SRC_SDD].rbpcmd_simple.vfa =
207 : 0 : rbp->svfa;
208 : :
209 [ # # ]: 0 : if (rbp->srbp) {
210 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rbp =
211 : 0 : rbp->srbp;
212 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rdtype =
213 : : DPAA2_RBP_MEM_RW;
214 : : } else {
215 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rdtype =
216 : : dpaa2_coherent_no_alloc_cache;
217 : : }
218 : : /* destination */
219 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.portid =
220 : 0 : rbp->dportid;
221 : 0 : sdd[DPAA2_QDMA_DST_SDD].rbpcmd_simple.pfid =
222 : 0 : rbp->dpfid;
223 : 0 : sdd[DPAA2_QDMA_DST_SDD].rbpcmd_simple.vfid =
224 : 0 : rbp->dvfid;
225 : 0 : sdd[DPAA2_QDMA_DST_SDD].rbpcmd_simple.vfa =
226 : 0 : rbp->dvfa;
227 : :
228 [ # # ]: 0 : if (rbp->drbp) {
229 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.rbp =
230 : 0 : rbp->drbp;
231 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.wrttype =
232 : : DPAA2_RBP_MEM_RW;
233 : : } else {
234 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.wrttype =
235 : : dpaa2_coherent_alloc_cache;
236 : : }
237 : : } else {
238 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rdtype =
239 : : dpaa2_coherent_no_alloc_cache;
240 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.wrttype =
241 : : dpaa2_coherent_alloc_cache;
242 : : }
243 : : /* source frame list to source buffer */
244 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_SRC_FLE], src);
245 : : /** IOMMU is always on for either VA or PA mode,
246 : : * so Bypass Memory Translation should be disabled.
247 : : *
248 : : * DPAA2_SET_FLE_BMT(&fle[DPAA2_QDMA_SRC_FLE]);
249 : : * DPAA2_SET_FLE_BMT(&fle[DPAA2_QDMA_DST_FLE]);
250 : : */
251 : 0 : fle[DPAA2_QDMA_SRC_FLE].word4.fmt = fmt;
252 : :
253 : : /* destination frame list to destination buffer */
254 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_DST_FLE], dest);
255 : 0 : fle[DPAA2_QDMA_DST_FLE].word4.fmt = fmt;
256 : :
257 : : /* Final bit: 1, for last frame list */
258 : 0 : DPAA2_SET_FLE_FIN(&fle[DPAA2_QDMA_DST_FLE]);
259 : 0 : }
260 : :
261 : : static void
262 : : sg_entry_pre_populate(struct qdma_cntx_sg *sg_cntx)
263 : : {
264 : : uint16_t i;
265 : : struct qdma_sg_entry *src_sge = sg_cntx->sg_src_entry;
266 : : struct qdma_sg_entry *dst_sge = sg_cntx->sg_dst_entry;
267 : :
268 [ # # ]: 0 : for (i = 0; i < RTE_DPAAX_QDMA_JOB_SUBMIT_MAX; i++) {
269 : : /* source SG */
270 : 0 : src_sge[i].ctrl.sl = QDMA_SG_SL_LONG;
271 : 0 : src_sge[i].ctrl.fmt = QDMA_SG_FMT_SDB;
272 : : /** IOMMU is always on for either VA or PA mode,
273 : : * so Bypass Memory Translation should be disabled.
274 : : */
275 : 0 : src_sge[i].ctrl.bmt = QDMA_SG_BMT_DISABLE;
276 : : /* destination SG */
277 : 0 : dst_sge[i].ctrl.sl = QDMA_SG_SL_LONG;
278 : 0 : dst_sge[i].ctrl.fmt = QDMA_SG_FMT_SDB;
279 : : /** IOMMU is always on for either VA or PA mode,
280 : : * so Bypass Memory Translation should be disabled.
281 : : */
282 : 0 : dst_sge[i].ctrl.bmt = QDMA_SG_BMT_DISABLE;
283 : : }
284 : : }
285 : :
286 : : static void
287 : 0 : fle_sdd_sg_pre_populate(struct qdma_cntx_sg *sg_cntx,
288 : : struct qdma_virt_queue *qdma_vq)
289 : : {
290 : 0 : struct qdma_sg_entry *src_sge = sg_cntx->sg_src_entry;
291 : 0 : struct qdma_sg_entry *dst_sge = sg_cntx->sg_dst_entry;
292 : : rte_iova_t src_sge_iova, dst_sge_iova;
293 : 0 : struct dpaa2_qdma_rbp *rbp = &qdma_vq->rbp;
294 : :
295 : : memset(sg_cntx, 0, sizeof(struct qdma_cntx_sg));
296 : :
297 : : src_sge_iova = DPAA2_VADDR_TO_IOVA(src_sge);
298 : : dst_sge_iova = DPAA2_VADDR_TO_IOVA(dst_sge);
299 : :
300 : : sg_entry_pre_populate(sg_cntx);
301 : 0 : fle_sdd_pre_populate(&sg_cntx->fle_sdd,
302 : : rbp, src_sge_iova, dst_sge_iova,
303 : : QBMAN_FLE_WORD4_FMT_SGE);
304 : 0 : }
305 : :
306 : : static inline uint32_t
307 : 0 : sg_entry_post_populate(const struct rte_dma_sge *src,
308 : : const struct rte_dma_sge *dst, struct qdma_cntx_sg *sg_cntx,
309 : : uint16_t nb_sge)
310 : : {
311 : : uint16_t i;
312 : : uint32_t total_len = 0;
313 : 0 : struct qdma_sg_entry *src_sge = sg_cntx->sg_src_entry;
314 : 0 : struct qdma_sg_entry *dst_sge = sg_cntx->sg_dst_entry;
315 : :
316 [ # # ]: 0 : for (i = 0; i < (nb_sge - 1); i++) {
317 [ # # ]: 0 : if (unlikely(src[i].length != dst[i].length))
318 : : return -ENOTSUP;
319 : 0 : src_sge->addr_lo = (uint32_t)src[i].addr;
320 : 0 : src_sge->addr_hi = (src[i].addr >> 32);
321 : 0 : src_sge->data_len.data_len_sl0 = src[i].length;
322 : :
323 : 0 : dst_sge->addr_lo = (uint32_t)dst[i].addr;
324 : 0 : dst_sge->addr_hi = (dst[i].addr >> 32);
325 : 0 : dst_sge->data_len.data_len_sl0 = dst[i].length;
326 : 0 : total_len += dst[i].length;
327 : :
328 : 0 : src_sge->ctrl.f = 0;
329 : 0 : dst_sge->ctrl.f = 0;
330 : 0 : src_sge++;
331 : 0 : dst_sge++;
332 : : }
333 : :
334 [ # # ]: 0 : if (unlikely(src[i].length != dst[i].length))
335 : : return -ENOTSUP;
336 : :
337 : 0 : src_sge->addr_lo = (uint32_t)src[i].addr;
338 : 0 : src_sge->addr_hi = (src[i].addr >> 32);
339 : 0 : src_sge->data_len.data_len_sl0 = src[i].length;
340 : :
341 : 0 : dst_sge->addr_lo = (uint32_t)dst[i].addr;
342 : 0 : dst_sge->addr_hi = (dst[i].addr >> 32);
343 : 0 : dst_sge->data_len.data_len_sl0 = dst[i].length;
344 : :
345 : 0 : total_len += dst[i].length;
346 : 0 : sg_cntx->job_nb = nb_sge;
347 : :
348 : 0 : src_sge->ctrl.f = QDMA_SG_F;
349 : 0 : dst_sge->ctrl.f = QDMA_SG_F;
350 : :
351 : 0 : return total_len;
352 : : }
353 : :
354 : : static inline void
355 : : sg_fle_post_populate(struct qbman_fle fle[],
356 : : size_t len)
357 : : {
358 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_SRC_FLE], len);
359 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_DST_FLE], len);
360 : 0 : }
361 : :
362 : : static inline uint32_t
363 : 0 : sg_entry_populate(const struct rte_dma_sge *src,
364 : : const struct rte_dma_sge *dst, struct qdma_cntx_sg *sg_cntx,
365 : : uint16_t nb_sge)
366 : : {
367 : : uint16_t i;
368 : : uint32_t total_len = 0;
369 : 0 : struct qdma_sg_entry *src_sge = sg_cntx->sg_src_entry;
370 : 0 : struct qdma_sg_entry *dst_sge = sg_cntx->sg_dst_entry;
371 : :
372 [ # # ]: 0 : for (i = 0; i < nb_sge; i++) {
373 [ # # ]: 0 : if (unlikely(src[i].length != dst[i].length))
374 : : return -ENOTSUP;
375 : :
376 : 0 : src_sge->addr_lo = (uint32_t)src[i].addr;
377 : 0 : src_sge->addr_hi = (src[i].addr >> 32);
378 : 0 : src_sge->data_len.data_len_sl0 = src[i].length;
379 : 0 : src_sge->ctrl.sl = QDMA_SG_SL_LONG;
380 : 0 : src_sge->ctrl.fmt = QDMA_SG_FMT_SDB;
381 : : /** IOMMU is always on for either VA or PA mode,
382 : : * so Bypass Memory Translation should be disabled.
383 : : */
384 : 0 : src_sge->ctrl.bmt = QDMA_SG_BMT_DISABLE;
385 : 0 : dst_sge->addr_lo = (uint32_t)dst[i].addr;
386 : 0 : dst_sge->addr_hi = (dst[i].addr >> 32);
387 : 0 : dst_sge->data_len.data_len_sl0 = dst[i].length;
388 : 0 : dst_sge->ctrl.sl = QDMA_SG_SL_LONG;
389 : 0 : dst_sge->ctrl.fmt = QDMA_SG_FMT_SDB;
390 : : /** IOMMU is always on for either VA or PA mode,
391 : : * so Bypass Memory Translation should be disabled.
392 : : */
393 : 0 : dst_sge->ctrl.bmt = QDMA_SG_BMT_DISABLE;
394 : 0 : total_len += src[i].length;
395 : :
396 [ # # ]: 0 : if (i == (nb_sge - 1)) {
397 : 0 : src_sge->ctrl.f = QDMA_SG_F;
398 : 0 : dst_sge->ctrl.f = QDMA_SG_F;
399 : : } else {
400 : 0 : src_sge->ctrl.f = 0;
401 : 0 : dst_sge->ctrl.f = 0;
402 : : }
403 : 0 : src_sge++;
404 : 0 : dst_sge++;
405 : : }
406 : :
407 : 0 : sg_cntx->job_nb = nb_sge;
408 : :
409 : 0 : return total_len;
410 : : }
411 : :
412 : : static inline void
413 : 0 : fle_populate(struct qbman_fle fle[],
414 : : struct qdma_sdd sdd[], uint64_t sdd_iova,
415 : : struct dpaa2_qdma_rbp *rbp,
416 : : uint64_t src_iova, uint64_t dst_iova, size_t len,
417 : : uint32_t fmt)
418 : : {
419 : : /* first frame list to source descriptor */
420 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_SDD_FLE], sdd_iova);
421 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_SDD_FLE],
422 : : (DPAA2_QDMA_MAX_SDD * (sizeof(struct qdma_sdd))));
423 : :
424 : : /* source and destination descriptor */
425 [ # # # # ]: 0 : if (rbp && rbp->enable) {
426 : : /* source */
427 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.portid =
428 : 0 : rbp->sportid;
429 : 0 : sdd[DPAA2_QDMA_SRC_SDD].rbpcmd_simple.pfid =
430 : 0 : rbp->spfid;
431 : 0 : sdd[DPAA2_QDMA_SRC_SDD].rbpcmd_simple.vfid =
432 : 0 : rbp->svfid;
433 : 0 : sdd[DPAA2_QDMA_SRC_SDD].rbpcmd_simple.vfa =
434 : 0 : rbp->svfa;
435 : :
436 [ # # ]: 0 : if (rbp->srbp) {
437 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rbp =
438 : 0 : rbp->srbp;
439 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rdtype =
440 : : DPAA2_RBP_MEM_RW;
441 : : } else {
442 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rdtype =
443 : : dpaa2_coherent_no_alloc_cache;
444 : : }
445 : : /* destination */
446 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.portid =
447 : 0 : rbp->dportid;
448 : 0 : sdd[DPAA2_QDMA_DST_SDD].rbpcmd_simple.pfid =
449 : 0 : rbp->dpfid;
450 : 0 : sdd[DPAA2_QDMA_DST_SDD].rbpcmd_simple.vfid =
451 : 0 : rbp->dvfid;
452 : 0 : sdd[DPAA2_QDMA_DST_SDD].rbpcmd_simple.vfa =
453 : 0 : rbp->dvfa;
454 : :
455 [ # # ]: 0 : if (rbp->drbp) {
456 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.rbp =
457 : 0 : rbp->drbp;
458 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.wrttype =
459 : : DPAA2_RBP_MEM_RW;
460 : : } else {
461 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.wrttype =
462 : : dpaa2_coherent_alloc_cache;
463 : : }
464 : :
465 : : } else {
466 : 0 : sdd[DPAA2_QDMA_SRC_SDD].read_cmd.rdtype =
467 : : dpaa2_coherent_no_alloc_cache;
468 : 0 : sdd[DPAA2_QDMA_DST_SDD].write_cmd.wrttype =
469 : : dpaa2_coherent_alloc_cache;
470 : : }
471 : : /* source frame list to source buffer */
472 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_SRC_FLE], src_iova);
473 : : /** IOMMU is always on for either VA or PA mode,
474 : : * so Bypass Memory Translation should be disabled.
475 : : * DPAA2_SET_FLE_BMT(&fle[DPAA2_QDMA_SRC_FLE]);
476 : : * DPAA2_SET_FLE_BMT(&fle[DPAA2_QDMA_DST_FLE]);
477 : : */
478 : 0 : fle[DPAA2_QDMA_SRC_FLE].word4.fmt = fmt;
479 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_SRC_FLE], len);
480 : :
481 : : /* destination frame list to destination buffer */
482 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_DST_FLE], dst_iova);
483 : 0 : fle[DPAA2_QDMA_DST_FLE].word4.fmt = fmt;
484 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_DST_FLE], len);
485 : :
486 : : /* Final bit: 1, for last frame list */
487 : 0 : DPAA2_SET_FLE_FIN(&fle[DPAA2_QDMA_DST_FLE]);
488 : 0 : }
489 : :
490 : : static inline void
491 : : fle_post_populate(struct qbman_fle fle[],
492 : : uint64_t src, uint64_t dest, size_t len)
493 : : {
494 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_SRC_FLE], src);
495 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_SRC_FLE], len);
496 : :
497 : 0 : DPAA2_SET_FLE_ADDR(&fle[DPAA2_QDMA_DST_FLE], dest);
498 : 0 : DPAA2_SET_FLE_LEN(&fle[DPAA2_QDMA_DST_FLE], len);
499 : 0 : }
500 : :
501 : : static inline int
502 : 0 : dpaa2_qdma_submit(void *dev_private, uint16_t vchan)
503 : : {
504 : : struct dpaa2_dpdmai_dev *dpdmai_dev = dev_private;
505 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
506 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
507 : 0 : uint16_t expected = qdma_vq->fd_idx;
508 : : int ret;
509 : :
510 : 0 : ret = dpaa2_qdma_multi_eq(qdma_vq);
511 [ # # ]: 0 : if (likely(ret == expected))
512 : 0 : return 0;
513 : :
514 : : return -EBUSY;
515 : : }
516 : :
517 : : static inline void
518 : 0 : dpaa2_qdma_fle_dump(const struct qbman_fle *fle)
519 : : {
520 : 0 : DPAA2_QDMA_INFO("addr:0x%08x-0x%08x, len:%d, frc:0x%08x, bpid:%d",
521 : : fle->addr_hi, fle->addr_lo, fle->length, fle->frc,
522 : : fle->word4.bpid);
523 : 0 : DPAA2_QDMA_INFO("ivp:%d, bmt:%d, off:%d, fmt:%d, sl:%d, f:%d",
524 : : fle->word4.ivp, fle->word4.bmt, fle->word4.offset,
525 : : fle->word4.fmt, fle->word4.sl, fle->word4.f);
526 : 0 : }
527 : :
528 : : static inline void
529 : 0 : dpaa2_qdma_sdd_dump(const struct qdma_sdd *sdd)
530 : : {
531 : 0 : DPAA2_QDMA_INFO("stride:%d, rbpcmd:0x%08x, cmd:0x%08x",
532 : : sdd->stride, sdd->rbpcmd, sdd->cmd);
533 : 0 : }
534 : :
535 : : static inline void
536 : 0 : dpaa2_qdma_sge_dump(const struct qdma_sg_entry *sge)
537 : : {
538 : 0 : DPAA2_QDMA_INFO("addr 0x%08x-0x%08x, len:0x%08x, ctl:0x%08x",
539 : : sge->addr_hi, sge->addr_lo, sge->data_len.data_len_sl0,
540 : : sge->ctrl_fields);
541 : 0 : }
542 : :
543 : : static void
544 : 0 : dpaa2_qdma_long_fmt_dump(const struct qbman_fle *fle)
545 : : {
546 : : int i;
547 : : const struct qdma_cntx_fle_sdd *fle_sdd;
548 : : const struct qdma_sdd *sdd;
549 : : const struct qdma_cntx_sg *cntx_sg = NULL;
550 : :
551 : : fle_sdd = container_of(fle, const struct qdma_cntx_fle_sdd, fle[0]);
552 : 0 : sdd = fle_sdd->sdd;
553 : :
554 [ # # ]: 0 : for (i = 0; i < DPAA2_QDMA_MAX_FLE; i++) {
555 : 0 : DPAA2_QDMA_INFO("fle[%d] info:", i);
556 : 0 : dpaa2_qdma_fle_dump(&fle[i]);
557 : : }
558 : :
559 [ # # ]: 0 : if (fle[DPAA2_QDMA_SRC_FLE].word4.fmt !=
560 : : fle[DPAA2_QDMA_DST_FLE].word4.fmt) {
561 : 0 : DPAA2_QDMA_ERR("fle[%d].fmt(%d) != fle[%d].fmt(%d)",
562 : : DPAA2_QDMA_SRC_FLE,
563 : : fle[DPAA2_QDMA_SRC_FLE].word4.fmt,
564 : : DPAA2_QDMA_DST_FLE,
565 : : fle[DPAA2_QDMA_DST_FLE].word4.fmt);
566 : :
567 : 0 : return;
568 [ # # ]: 0 : } else if (fle[DPAA2_QDMA_SRC_FLE].word4.fmt ==
569 : : QBMAN_FLE_WORD4_FMT_SGE) {
570 : : cntx_sg = container_of(fle_sdd, const struct qdma_cntx_sg,
571 : : fle_sdd);
572 [ # # ]: 0 : } else if (fle[DPAA2_QDMA_SRC_FLE].word4.fmt !=
573 : : QBMAN_FLE_WORD4_FMT_SBF) {
574 : 0 : DPAA2_QDMA_ERR("Unsupported fle format:%d",
575 : : fle[DPAA2_QDMA_SRC_FLE].word4.fmt);
576 : 0 : return;
577 : : }
578 : :
579 [ # # ]: 0 : for (i = 0; i < DPAA2_QDMA_MAX_SDD; i++) {
580 : 0 : DPAA2_QDMA_INFO("sdd[%d] info:", i);
581 : 0 : dpaa2_qdma_sdd_dump(&sdd[i]);
582 : : }
583 : :
584 [ # # ]: 0 : if (cntx_sg) {
585 : 0 : DPAA2_QDMA_INFO("long format/SG format, job number:%d",
586 : : cntx_sg->job_nb);
587 [ # # ]: 0 : if (!cntx_sg->job_nb ||
588 : : cntx_sg->job_nb > RTE_DPAAX_QDMA_JOB_SUBMIT_MAX) {
589 : 0 : DPAA2_QDMA_ERR("Invalid SG job number:%d",
590 : : cntx_sg->job_nb);
591 : 0 : return;
592 : : }
593 [ # # ]: 0 : for (i = 0; i < cntx_sg->job_nb; i++) {
594 : 0 : DPAA2_QDMA_INFO("sg[%d] src info:", i);
595 : 0 : dpaa2_qdma_sge_dump(&cntx_sg->sg_src_entry[i]);
596 : 0 : DPAA2_QDMA_INFO("sg[%d] dst info:", i);
597 : 0 : dpaa2_qdma_sge_dump(&cntx_sg->sg_dst_entry[i]);
598 : 0 : DPAA2_QDMA_INFO("cntx_idx[%d]:%d", i,
599 : : cntx_sg->cntx_idx[i]);
600 : : }
601 : : } else {
602 : 0 : DPAA2_QDMA_INFO("long format/Single buffer cntx");
603 : : }
604 : : }
605 : :
606 : : static int
607 : 0 : dpaa2_qdma_copy_sg(void *dev_private,
608 : : uint16_t vchan,
609 : : const struct rte_dma_sge *src,
610 : : const struct rte_dma_sge *dst,
611 : : uint16_t nb_src, uint16_t nb_dst,
612 : : uint64_t flags)
613 : : {
614 : : struct dpaa2_dpdmai_dev *dpdmai_dev = dev_private;
615 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
616 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
617 : : int ret = 0, expected, i;
618 : : uint32_t len;
619 : 0 : struct qbman_fd *fd = &qdma_vq->fd[qdma_vq->fd_idx];
620 : 0 : struct qdma_cntx_sg *cntx_sg = NULL;
621 : : rte_iova_t cntx_iova, fle_iova, sdd_iova;
622 : : rte_iova_t src_sge_iova, dst_sge_iova;
623 : : struct qbman_fle *fle;
624 : : struct qdma_sdd *sdd;
625 : : const uint16_t *idx_addr = NULL;
626 : :
627 [ # # ]: 0 : if (unlikely(nb_src != nb_dst)) {
628 : 0 : DPAA2_QDMA_ERR("SG entry src num(%d) != dst num(%d)",
629 : : nb_src, nb_dst);
630 : 0 : return -ENOTSUP;
631 : : }
632 : :
633 [ # # ]: 0 : if (unlikely(!nb_src)) {
634 : 0 : DPAA2_QDMA_ERR("No SG entry specified");
635 : 0 : return -EINVAL;
636 : : }
637 : :
638 [ # # ]: 0 : if (unlikely(nb_src > RTE_DPAAX_QDMA_JOB_SUBMIT_MAX)) {
639 : 0 : DPAA2_QDMA_ERR("SG entry number(%d) > MAX(%d)",
640 : : nb_src, RTE_DPAAX_QDMA_JOB_SUBMIT_MAX);
641 : 0 : return -EINVAL;
642 : : }
643 : :
644 : : memset(fd, 0, sizeof(struct qbman_fd));
645 : :
646 [ # # ]: 0 : if (qdma_dev->is_silent) {
647 : 0 : cntx_sg = qdma_vq->cntx_sg[qdma_vq->silent_idx];
648 : : } else {
649 [ # # ]: 0 : ret = rte_mempool_get(qdma_vq->fle_pool,
650 : : (void **)&cntx_sg);
651 [ # # ]: 0 : if (ret)
652 : : return ret;
653 : 0 : DPAA2_SET_FD_FRC(fd, QDMA_SER_CTX);
654 : 0 : idx_addr = DPAA2_QDMA_IDXADDR_FROM_SG_FLAG(flags);
655 [ # # ]: 0 : for (i = 0; i < nb_src; i++)
656 : 0 : cntx_sg->cntx_idx[i] = idx_addr[i];
657 : : }
658 : :
659 : 0 : cntx_iova = (uint64_t)cntx_sg - qdma_vq->fle_iova2va_offset;
660 : :
661 [ # # ]: 0 : fle = cntx_sg->fle_sdd.fle;
662 : : fle_iova = cntx_iova +
663 : : offsetof(struct qdma_cntx_sg, fle_sdd) +
664 : : offsetof(struct qdma_cntx_fle_sdd, fle);
665 : :
666 : : dpaa2_qdma_fd_set_addr(fd, fle_iova);
667 : 0 : DPAA2_SET_FD_COMPOUND_FMT(fd);
668 : 0 : DPAA2_SET_FD_FLC(fd, (uint64_t)cntx_sg);
669 : :
670 [ # # ]: 0 : if (qdma_vq->fle_pre_populate) {
671 [ # # ]: 0 : if (unlikely(!fle[DPAA2_QDMA_SRC_FLE].length)) {
672 : 0 : fle_sdd_sg_pre_populate(cntx_sg, qdma_vq);
673 [ # # # # : 0 : if (!qdma_dev->is_silent && cntx_sg && idx_addr) {
# # ]
674 [ # # ]: 0 : for (i = 0; i < nb_src; i++)
675 : 0 : cntx_sg->cntx_idx[i] = idx_addr[i];
676 : : }
677 : : }
678 : :
679 : 0 : len = sg_entry_post_populate(src, dst,
680 : : cntx_sg, nb_src);
681 : : sg_fle_post_populate(fle, len);
682 : : } else {
683 : 0 : sdd = cntx_sg->fle_sdd.sdd;
684 : 0 : sdd_iova = cntx_iova +
685 : : offsetof(struct qdma_cntx_sg, fle_sdd) +
686 : : offsetof(struct qdma_cntx_fle_sdd, sdd);
687 : 0 : src_sge_iova = cntx_iova +
688 : : offsetof(struct qdma_cntx_sg, sg_src_entry);
689 : 0 : dst_sge_iova = cntx_iova +
690 : : offsetof(struct qdma_cntx_sg, sg_dst_entry);
691 : 0 : len = sg_entry_populate(src, dst, cntx_sg, nb_src);
692 : :
693 : 0 : fle_populate(fle, sdd, sdd_iova,
694 : : &qdma_vq->rbp, src_sge_iova, dst_sge_iova, len,
695 : : QBMAN_FLE_WORD4_FMT_SGE);
696 : : }
697 : :
698 [ # # ]: 0 : if (unlikely(qdma_vq->flags & DPAA2_QDMA_DESC_DEBUG_FLAG))
699 : 0 : dpaa2_qdma_long_fmt_dump(cntx_sg->fle_sdd.fle);
700 : :
701 : : dpaa2_qdma_fd_save_att(fd, 0, DPAA2_QDMA_FD_SG);
702 : 0 : qdma_vq->fd_idx++;
703 : 0 : qdma_vq->silent_idx =
704 : 0 : (qdma_vq->silent_idx + 1) & (DPAA2_QDMA_MAX_DESC - 1);
705 : :
706 [ # # ]: 0 : if (flags & RTE_DMA_OP_FLAG_SUBMIT) {
707 : 0 : expected = qdma_vq->fd_idx;
708 : 0 : ret = dpaa2_qdma_multi_eq(qdma_vq);
709 [ # # ]: 0 : if (likely(ret == expected)) {
710 : 0 : qdma_vq->copy_num += nb_src;
711 : 0 : return (qdma_vq->copy_num - 1) & UINT16_MAX;
712 : : }
713 : : } else {
714 : 0 : qdma_vq->copy_num += nb_src;
715 : 0 : return (qdma_vq->copy_num - 1) & UINT16_MAX;
716 : : }
717 : :
718 : : return ret;
719 : : }
720 : :
721 : : static inline void
722 : 0 : qdma_populate_fd_pci(uint64_t src, uint64_t dest,
723 : : uint32_t len, struct qbman_fd *fd,
724 : : struct dpaa2_qdma_rbp *rbp, int ser)
725 : : {
726 : 0 : fd->simple_pci.saddr_lo = lower_32_bits(src);
727 : 0 : fd->simple_pci.saddr_hi = upper_32_bits(src);
728 : :
729 : 0 : fd->simple_pci.len_sl = len;
730 : :
731 : 0 : fd->simple_pci.bmt = DPAA2_QDMA_BMT_DISABLE;
732 : 0 : fd->simple_pci.fmt = DPAA2_QDMA_FD_SHORT_FORMAT;
733 : 0 : fd->simple_pci.sl = 1;
734 : 0 : fd->simple_pci.ser = ser;
735 [ # # ]: 0 : if (ser)
736 : 0 : fd->simple.frc |= QDMA_SER_CTX;
737 : :
738 : 0 : fd->simple_pci.sportid = rbp->sportid;
739 : :
740 : 0 : fd->simple_pci.svfid = rbp->svfid;
741 : 0 : fd->simple_pci.spfid = rbp->spfid;
742 : 0 : fd->simple_pci.svfa = rbp->svfa;
743 : 0 : fd->simple_pci.dvfid = rbp->dvfid;
744 : 0 : fd->simple_pci.dpfid = rbp->dpfid;
745 : 0 : fd->simple_pci.dvfa = rbp->dvfa;
746 : :
747 : 0 : fd->simple_pci.srbp = rbp->srbp;
748 [ # # ]: 0 : if (rbp->srbp)
749 : 0 : fd->simple_pci.rdttype = 0;
750 : : else
751 : 0 : fd->simple_pci.rdttype = dpaa2_coherent_alloc_cache;
752 : :
753 : : /*dest is pcie memory */
754 : 0 : fd->simple_pci.dportid = rbp->dportid;
755 : 0 : fd->simple_pci.drbp = rbp->drbp;
756 [ # # ]: 0 : if (rbp->drbp)
757 : 0 : fd->simple_pci.wrttype = 0;
758 : : else
759 : 0 : fd->simple_pci.wrttype = dpaa2_coherent_no_alloc_cache;
760 : :
761 : 0 : fd->simple_pci.daddr_lo = lower_32_bits(dest);
762 : 0 : fd->simple_pci.daddr_hi = upper_32_bits(dest);
763 : 0 : }
764 : :
765 : : static inline void
766 : : qdma_populate_fd_ddr(uint64_t src, uint64_t dest,
767 : : uint32_t len, struct qbman_fd *fd, int ser)
768 : : {
769 : 0 : fd->simple_ddr.saddr_lo = lower_32_bits(src);
770 : 0 : fd->simple_ddr.saddr_hi = upper_32_bits(src);
771 : :
772 : 0 : fd->simple_ddr.len = len;
773 : :
774 : 0 : fd->simple_ddr.bmt = DPAA2_QDMA_BMT_DISABLE;
775 : 0 : fd->simple_ddr.fmt = DPAA2_QDMA_FD_SHORT_FORMAT;
776 : 0 : fd->simple_ddr.sl = 1;
777 : 0 : fd->simple_ddr.ser = ser;
778 : 0 : if (ser)
779 : 0 : fd->simple.frc |= QDMA_SER_CTX;
780 : : /**
781 : : * src If RBP=0 {NS,RDTTYPE[3:0]}: 0_1011
782 : : * Coherent copy of cacheable memory,
783 : : * lookup in downstream cache, no allocate
784 : : * on miss.
785 : : */
786 : 0 : fd->simple_ddr.rns = 0;
787 : 0 : fd->simple_ddr.rdttype = dpaa2_coherent_alloc_cache;
788 : : /**
789 : : * dest If RBP=0 {NS,WRTTYPE[3:0]}: 0_0111
790 : : * Coherent write of cacheable memory,
791 : : * lookup in downstream cache, no allocate on miss
792 : : */
793 : 0 : fd->simple_ddr.wns = 0;
794 : 0 : fd->simple_ddr.wrttype = dpaa2_coherent_no_alloc_cache;
795 : :
796 : 0 : fd->simple_ddr.daddr_lo = lower_32_bits(dest);
797 : 0 : fd->simple_ddr.daddr_hi = upper_32_bits(dest);
798 : 0 : }
799 : :
800 : : static int
801 : 0 : dpaa2_qdma_short_copy(struct qdma_virt_queue *qdma_vq,
802 : : rte_iova_t src, rte_iova_t dst, uint32_t length,
803 : : int is_silent, uint64_t flags)
804 : : {
805 : : int ret = 0, expected;
806 [ # # ]: 0 : struct qbman_fd *fd = &qdma_vq->fd[qdma_vq->fd_idx];
807 : :
808 : : memset(fd, 0, sizeof(struct qbman_fd));
809 : :
810 [ # # ]: 0 : if (qdma_vq->rbp.drbp || qdma_vq->rbp.srbp) {
811 : : /** PCIe EP*/
812 : 0 : qdma_populate_fd_pci(src,
813 : : dst, length,
814 : : fd, &qdma_vq->rbp,
815 : : is_silent ? 0 : 1);
816 : : } else {
817 : : /** DDR or PCIe RC*/
818 [ # # ]: 0 : qdma_populate_fd_ddr(src,
819 : : dst, length,
820 : : fd, is_silent ? 0 : 1);
821 : : }
822 [ # # ]: 0 : dpaa2_qdma_fd_save_att(fd, DPAA2_QDMA_IDX_FROM_FLAG(flags),
823 : : DPAA2_QDMA_FD_SHORT);
824 : 0 : qdma_vq->fd_idx++;
825 : :
826 [ # # ]: 0 : if (flags & RTE_DMA_OP_FLAG_SUBMIT) {
827 : 0 : expected = qdma_vq->fd_idx;
828 : 0 : ret = dpaa2_qdma_multi_eq(qdma_vq);
829 [ # # ]: 0 : if (likely(ret == expected)) {
830 : 0 : qdma_vq->copy_num++;
831 : 0 : return (qdma_vq->copy_num - 1) & UINT16_MAX;
832 : : }
833 : : } else {
834 : 0 : qdma_vq->copy_num++;
835 : 0 : return (qdma_vq->copy_num - 1) & UINT16_MAX;
836 : : }
837 : :
838 : : return ret;
839 : : }
840 : :
841 : : static int
842 : 0 : dpaa2_qdma_long_copy(struct qdma_virt_queue *qdma_vq,
843 : : rte_iova_t src, rte_iova_t dst, uint32_t length,
844 : : int is_silent, uint64_t flags)
845 : : {
846 : : int ret = 0, expected;
847 : 0 : struct qbman_fd *fd = &qdma_vq->fd[qdma_vq->fd_idx];
848 [ # # ]: 0 : struct qdma_cntx_fle_sdd *fle_sdd = NULL;
849 : : rte_iova_t fle_iova, sdd_iova;
850 : : struct qbman_fle *fle;
851 : : struct qdma_sdd *sdd;
852 : :
853 : : memset(fd, 0, sizeof(struct qbman_fd));
854 : :
855 [ # # ]: 0 : if (is_silent) {
856 : 0 : fle_sdd = qdma_vq->cntx_fle_sdd[qdma_vq->silent_idx];
857 : : } else {
858 [ # # ]: 0 : ret = rte_mempool_get(qdma_vq->fle_pool,
859 : : (void **)&fle_sdd);
860 [ # # ]: 0 : if (ret)
861 : : return ret;
862 : 0 : DPAA2_SET_FD_FRC(fd, QDMA_SER_CTX);
863 : : }
864 : :
865 : 0 : fle = fle_sdd->fle;
866 [ # # ]: 0 : fle_iova = (uint64_t)fle - qdma_vq->fle_iova2va_offset;
867 : :
868 : : dpaa2_qdma_fd_set_addr(fd, fle_iova);
869 : 0 : DPAA2_SET_FD_COMPOUND_FMT(fd);
870 : 0 : DPAA2_SET_FD_FLC(fd, (uint64_t)fle);
871 : :
872 [ # # ]: 0 : if (qdma_vq->fle_pre_populate) {
873 [ # # ]: 0 : if (unlikely(!fle[DPAA2_QDMA_SRC_FLE].length)) {
874 : 0 : fle_sdd_pre_populate(fle_sdd,
875 : : &qdma_vq->rbp,
876 : : 0, 0, QBMAN_FLE_WORD4_FMT_SBF);
877 : : }
878 : :
879 : : fle_post_populate(fle, src, dst, length);
880 : : } else {
881 : 0 : sdd = fle_sdd->sdd;
882 : 0 : sdd_iova = (uint64_t)sdd - qdma_vq->fle_iova2va_offset;
883 : 0 : fle_populate(fle, sdd, sdd_iova, &qdma_vq->rbp,
884 : : src, dst, length,
885 : : QBMAN_FLE_WORD4_FMT_SBF);
886 : : }
887 : :
888 [ # # ]: 0 : if (unlikely(qdma_vq->flags & DPAA2_QDMA_DESC_DEBUG_FLAG))
889 : 0 : dpaa2_qdma_long_fmt_dump(fle);
890 : :
891 [ # # ]: 0 : dpaa2_qdma_fd_save_att(fd, DPAA2_QDMA_IDX_FROM_FLAG(flags),
892 : : DPAA2_QDMA_FD_LONG);
893 : 0 : qdma_vq->fd_idx++;
894 : 0 : qdma_vq->silent_idx =
895 : 0 : (qdma_vq->silent_idx + 1) & (DPAA2_QDMA_MAX_DESC - 1);
896 : :
897 [ # # ]: 0 : if (flags & RTE_DMA_OP_FLAG_SUBMIT) {
898 : 0 : expected = qdma_vq->fd_idx;
899 : 0 : ret = dpaa2_qdma_multi_eq(qdma_vq);
900 [ # # ]: 0 : if (likely(ret == expected)) {
901 : 0 : qdma_vq->copy_num++;
902 : 0 : return (qdma_vq->copy_num - 1) & UINT16_MAX;
903 : : }
904 : : } else {
905 : 0 : qdma_vq->copy_num++;
906 : 0 : return (qdma_vq->copy_num - 1) & UINT16_MAX;
907 : : }
908 : :
909 : : return ret;
910 : : }
911 : :
912 : : static int
913 : 0 : dpaa2_qdma_copy(void *dev_private, uint16_t vchan,
914 : : rte_iova_t src, rte_iova_t dst,
915 : : uint32_t length, uint64_t flags)
916 : : {
917 : : struct dpaa2_dpdmai_dev *dpdmai_dev = dev_private;
918 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
919 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
920 : :
921 [ # # ]: 0 : if (qdma_vq->using_short_fd)
922 : 0 : return dpaa2_qdma_short_copy(qdma_vq, src, dst,
923 : 0 : length, qdma_dev->is_silent, flags);
924 : : else
925 : 0 : return dpaa2_qdma_long_copy(qdma_vq, src, dst,
926 : 0 : length, qdma_dev->is_silent, flags);
927 : : }
928 : :
929 : : static inline int
930 [ # # ]: 0 : dpaa2_qdma_dq_fd(const struct qbman_fd *fd,
931 : : struct qdma_virt_queue *qdma_vq,
932 : : uint16_t *free_space, uint16_t *fle_elem_nb)
933 : : {
934 : : uint16_t idx, att;
935 : : enum dpaa2_qdma_fd_type type;
936 : : int ret;
937 : : struct qdma_cntx_sg *cntx_sg;
938 : : struct qdma_cntx_fle_sdd *fle_sdd;
939 : :
940 : : att = dpaa2_qdma_fd_get_att(fd);
941 : 0 : type = DPAA2_QDMA_FD_ATT_TYPE(att);
942 [ # # ]: 0 : if (type == DPAA2_QDMA_FD_SHORT) {
943 : 0 : idx = DPAA2_QDMA_FD_ATT_CNTX(att);
944 [ # # ]: 0 : ret = qdma_cntx_idx_ring_eq(qdma_vq->ring_cntx_idx,
945 : : &idx, 1, free_space);
946 [ # # ]: 0 : if (unlikely(ret != 1))
947 : : return -ENOSPC;
948 : :
949 : 0 : return 0;
950 : : }
951 [ # # ]: 0 : if (type == DPAA2_QDMA_FD_LONG) {
952 : 0 : idx = DPAA2_QDMA_FD_ATT_CNTX(att);
953 : 0 : fle_sdd = (void *)(uintptr_t)DPAA2_GET_FD_FLC(fd);
954 : 0 : qdma_vq->fle_elem[*fle_elem_nb] = fle_sdd;
955 : 0 : (*fle_elem_nb)++;
956 [ # # ]: 0 : ret = qdma_cntx_idx_ring_eq(qdma_vq->ring_cntx_idx,
957 : : &idx, 1, free_space);
958 [ # # ]: 0 : if (unlikely(ret != 1))
959 : : return -ENOSPC;
960 : :
961 : 0 : return 0;
962 : : }
963 [ # # ]: 0 : if (type == DPAA2_QDMA_FD_SG) {
964 : 0 : fle_sdd = (void *)(uintptr_t)DPAA2_GET_FD_FLC(fd);
965 : 0 : qdma_vq->fle_elem[*fle_elem_nb] = fle_sdd;
966 : 0 : (*fle_elem_nb)++;
967 : : cntx_sg = container_of(fle_sdd,
968 : : struct qdma_cntx_sg, fle_sdd);
969 : 0 : ret = qdma_cntx_idx_ring_eq(qdma_vq->ring_cntx_idx,
970 : 0 : cntx_sg->cntx_idx,
971 [ # # ]: 0 : cntx_sg->job_nb, free_space);
972 [ # # ]: 0 : if (unlikely(ret < cntx_sg->job_nb))
973 : : return -ENOSPC;
974 : :
975 : 0 : return 0;
976 : : }
977 : :
978 : 0 : DPAA2_QDMA_ERR("Invalid FD type, ATT=0x%04x",
979 : : fd->simple_ddr.rsv1_att);
980 : 0 : return -EIO;
981 : : }
982 : :
983 : : static uint16_t
984 : 0 : dpaa2_qdma_dequeue(void *dev_private,
985 : : uint16_t vchan, const uint16_t nb_cpls,
986 : : uint16_t *cntx_idx, bool *has_error)
987 : : {
988 : : struct dpaa2_dpdmai_dev *dpdmai_dev = dev_private;
989 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
990 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
991 : :
992 : : struct dpaa2_queue *rxq;
993 : : struct qbman_result *dq_storage, *dq_storage1 = NULL;
994 : : struct qbman_pull_desc pulldesc;
995 : : struct qbman_swp *swp;
996 : : struct queue_storage_info_t *q_storage;
997 : : uint32_t fqid;
998 : : uint8_t status, pending;
999 : : uint8_t num_rx = 0;
1000 : : const struct qbman_fd *fd;
1001 : : int ret, pull_size;
1002 : 0 : uint16_t free_space = 0, fle_elem_nb = 0;
1003 : :
1004 [ # # ]: 0 : if (unlikely(qdma_dev->is_silent))
1005 : : return 0;
1006 : :
1007 [ # # ]: 0 : if (unlikely(!DPAA2_PER_LCORE_DPIO)) {
1008 : 0 : ret = dpaa2_affine_qbman_swp();
1009 [ # # ]: 0 : if (ret) {
1010 : 0 : DPAA2_QDMA_ERR("Allocate portal err, tid(%d)",
1011 : : rte_gettid());
1012 [ # # ]: 0 : if (has_error)
1013 : 0 : *has_error = true;
1014 : 0 : return 0;
1015 : : }
1016 : : }
1017 : 0 : swp = DPAA2_PER_LCORE_PORTAL;
1018 : :
1019 : 0 : pull_size = (nb_cpls > dpaa2_dqrr_size) ?
1020 [ # # ]: 0 : dpaa2_dqrr_size : nb_cpls;
1021 : 0 : rxq = &(dpdmai_dev->rx_queue[qdma_vq->vq_id]);
1022 : 0 : fqid = rxq->fqid;
1023 : 0 : q_storage = rxq->q_storage[0];
1024 : :
1025 [ # # ]: 0 : if (unlikely(!q_storage->active_dqs)) {
1026 : 0 : q_storage->toggle = 0;
1027 : 0 : dq_storage = q_storage->dq_storage[q_storage->toggle];
1028 : 0 : q_storage->last_num_pkts = pull_size;
1029 : 0 : qbman_pull_desc_clear(&pulldesc);
1030 : 0 : qbman_pull_desc_set_numframes(&pulldesc,
1031 : 0 : q_storage->last_num_pkts);
1032 : 0 : qbman_pull_desc_set_fq(&pulldesc, fqid);
1033 : 0 : qbman_pull_desc_set_storage(&pulldesc, dq_storage,
1034 : : DPAA2_VADDR_TO_IOVA(dq_storage), 1);
1035 [ # # ]: 0 : if (check_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index)) {
1036 [ # # ]: 0 : while (!qbman_check_command_complete(
1037 : : get_swp_active_dqs(
1038 : 0 : DPAA2_PER_LCORE_DPIO->index)))
1039 : : ;
1040 : 0 : clear_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index);
1041 : : }
1042 : : while (1) {
1043 [ # # ]: 0 : if (qbman_swp_pull(swp, &pulldesc)) {
1044 : 0 : DPAA2_QDMA_DP_WARN("QBMAN busy");
1045 : : /* Portal was busy, try again */
1046 : : continue;
1047 : : }
1048 : : break;
1049 : : }
1050 : 0 : q_storage->active_dqs = dq_storage;
1051 : 0 : q_storage->active_dpio_id = DPAA2_PER_LCORE_DPIO->index;
1052 : 0 : set_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index,
1053 : : dq_storage);
1054 : : }
1055 : :
1056 : 0 : dq_storage = q_storage->active_dqs;
1057 : : rte_prefetch0((void *)(size_t)(dq_storage));
1058 : 0 : rte_prefetch0((void *)(size_t)(dq_storage + 1));
1059 : :
1060 : : /* Prepare next pull descriptor. This will give space for the
1061 : : * prefething done on DQRR entries
1062 : : */
1063 : 0 : q_storage->toggle ^= 1;
1064 : 0 : dq_storage1 = q_storage->dq_storage[q_storage->toggle];
1065 : 0 : qbman_pull_desc_clear(&pulldesc);
1066 : 0 : qbman_pull_desc_set_numframes(&pulldesc, pull_size);
1067 : 0 : qbman_pull_desc_set_fq(&pulldesc, fqid);
1068 : 0 : qbman_pull_desc_set_storage(&pulldesc, dq_storage1,
1069 : : DPAA2_VADDR_TO_IOVA(dq_storage1), 1);
1070 : :
1071 : : /* Check if the previous issued command is completed.
1072 : : * Also seems like the SWP is shared between the Ethernet Driver
1073 : : * and the SEC driver.
1074 : : */
1075 [ # # ]: 0 : while (!qbman_check_command_complete(dq_storage))
1076 : : ;
1077 [ # # ]: 0 : if (dq_storage == get_swp_active_dqs(q_storage->active_dpio_id))
1078 : : clear_swp_active_dqs(q_storage->active_dpio_id);
1079 : :
1080 : : pending = 1;
1081 : :
1082 : : do {
1083 : : /* Loop until the dq_storage is updated with
1084 : : * new token by QBMAN
1085 : : */
1086 [ # # ]: 0 : while (!qbman_check_new_result(dq_storage))
1087 : : ;
1088 : 0 : rte_prefetch0((void *)((size_t)(dq_storage + 2)));
1089 : : /* Check whether Last Pull command is Expired and
1090 : : * setting Condition for Loop termination
1091 : : */
1092 [ # # ]: 0 : if (qbman_result_DQ_is_pull_complete(dq_storage)) {
1093 : : pending = 0;
1094 : : /* Check for valid frame. */
1095 : 0 : status = qbman_result_DQ_flags(dq_storage);
1096 [ # # ]: 0 : if (unlikely((status & QBMAN_DQ_STAT_VALIDFRAME) == 0))
1097 : : continue;
1098 : : }
1099 : 0 : fd = qbman_result_DQ_fd(dq_storage);
1100 : 0 : ret = dpaa2_qdma_dq_fd(fd, qdma_vq, &free_space, &fle_elem_nb);
1101 [ # # # # ]: 0 : if (ret || free_space < RTE_DPAAX_QDMA_JOB_SUBMIT_MAX)
1102 : : pending = 0;
1103 : :
1104 : 0 : dq_storage++;
1105 [ # # ]: 0 : } while (pending);
1106 : :
1107 [ # # ]: 0 : if (check_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index)) {
1108 [ # # ]: 0 : while (!qbman_check_command_complete(
1109 : 0 : get_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index)))
1110 : : ;
1111 : 0 : clear_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index);
1112 : : }
1113 : : /* issue a volatile dequeue command for next pull */
1114 : : while (1) {
1115 [ # # ]: 0 : if (qbman_swp_pull(swp, &pulldesc)) {
1116 : 0 : DPAA2_QDMA_DP_WARN("QBMAN is busy (2)");
1117 : : continue;
1118 : : }
1119 : : break;
1120 : : }
1121 : :
1122 : 0 : q_storage->active_dqs = dq_storage1;
1123 : 0 : q_storage->active_dpio_id = DPAA2_PER_LCORE_DPIO->index;
1124 [ # # ]: 0 : set_swp_active_dqs(DPAA2_PER_LCORE_DPIO->index, dq_storage1);
1125 : :
1126 [ # # ]: 0 : if (fle_elem_nb > 0) {
1127 : 0 : rte_mempool_put_bulk(qdma_vq->fle_pool,
1128 [ # # ]: 0 : qdma_vq->fle_elem, fle_elem_nb);
1129 : : }
1130 : :
1131 : 0 : num_rx = qdma_cntx_idx_ring_dq(qdma_vq->ring_cntx_idx,
1132 : : cntx_idx, nb_cpls);
1133 : :
1134 [ # # ]: 0 : if (has_error)
1135 : 0 : *has_error = false;
1136 : :
1137 : 0 : return num_rx;
1138 : : }
1139 : :
1140 : : static int
1141 : 0 : dpaa2_qdma_info_get(const struct rte_dma_dev *dev,
1142 : : struct rte_dma_info *dev_info,
1143 : : uint32_t info_sz __rte_unused)
1144 : : {
1145 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1146 : :
1147 : : dev_info->dev_capa = RTE_DMA_CAPA_MEM_TO_MEM |
1148 : : RTE_DMA_CAPA_MEM_TO_DEV |
1149 : : RTE_DMA_CAPA_DEV_TO_DEV |
1150 : : RTE_DMA_CAPA_DEV_TO_MEM |
1151 : : RTE_DMA_CAPA_SILENT |
1152 : : RTE_DMA_CAPA_OPS_COPY |
1153 : : RTE_DMA_CAPA_OPS_COPY_SG;
1154 : 0 : dev_info->dev_capa |= RTE_DMA_CAPA_DPAAX_QDMA_FLAGS_INDEX;
1155 : 0 : dev_info->max_vchans = dpdmai_dev->num_queues;
1156 : 0 : dev_info->max_desc = DPAA2_QDMA_MAX_DESC;
1157 : 0 : dev_info->min_desc = DPAA2_QDMA_MIN_DESC;
1158 : 0 : dev_info->max_sges = RTE_DPAAX_QDMA_JOB_SUBMIT_MAX;
1159 : 0 : dev_info->dev_name = dev->device->name;
1160 [ # # ]: 0 : if (dpdmai_dev->qdma_dev)
1161 : 0 : dev_info->nb_vchans = dpdmai_dev->qdma_dev->num_vqs;
1162 : :
1163 : 0 : return 0;
1164 : : }
1165 : :
1166 : : static int
1167 : 0 : dpaa2_qdma_configure(struct rte_dma_dev *dev,
1168 : : const struct rte_dma_conf *dev_conf,
1169 : : uint32_t conf_sz)
1170 : : {
1171 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1172 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1173 : : uint16_t i;
1174 : : struct dpdmai_rx_queue_cfg rx_queue_cfg;
1175 : : struct dpdmai_rx_queue_attr rx_attr;
1176 : : struct dpdmai_tx_queue_attr tx_attr;
1177 : : struct dpaa2_queue *rxq;
1178 : : int ret = 0;
1179 : :
1180 : 0 : DPAA2_QDMA_FUNC_TRACE();
1181 : :
1182 : : RTE_SET_USED(conf_sz);
1183 : :
1184 [ # # ]: 0 : if (dev_conf->nb_vchans > dpdmai_dev->num_queues) {
1185 : 0 : DPAA2_QDMA_ERR("%s config queues(%d) > hw queues(%d)",
1186 : : dev->data->dev_name, dev_conf->nb_vchans,
1187 : : dpdmai_dev->num_queues);
1188 : :
1189 : 0 : return -ENOTSUP;
1190 : : }
1191 : :
1192 [ # # ]: 0 : if (qdma_dev->vqs) {
1193 : 0 : DPAA2_QDMA_DEBUG("%s: queues de-config(%d)/re-config(%d)",
1194 : : dev->data->dev_name,
1195 : : qdma_dev->num_vqs, dev_conf->nb_vchans);
1196 [ # # ]: 0 : for (i = 0; i < qdma_dev->num_vqs; i++) {
1197 : 0 : if ((qdma_dev->vqs[i].num_enqueues !=
1198 [ # # ]: 0 : qdma_dev->vqs[i].num_dequeues) &&
1199 [ # # ]: 0 : !qdma_dev->is_silent) {
1200 : 0 : DPAA2_QDMA_ERR("VQ(%d) %"PRIu64" jobs in dma.",
1201 : : i, qdma_dev->vqs[i].num_enqueues -
1202 : : qdma_dev->vqs[i].num_dequeues);
1203 : 0 : return -EBUSY;
1204 : : }
1205 : : }
1206 [ # # ]: 0 : for (i = 0; i < qdma_dev->num_vqs; i++) {
1207 [ # # ]: 0 : if (qdma_dev->vqs[i].fle_pool) {
1208 : 0 : rte_mempool_free(qdma_dev->vqs[i].fle_pool);
1209 : 0 : qdma_dev->vqs[i].fle_pool = NULL;
1210 : : }
1211 [ # # ]: 0 : if (qdma_dev->vqs[i].ring_cntx_idx) {
1212 : 0 : rte_free(qdma_dev->vqs[i].ring_cntx_idx);
1213 : 0 : qdma_dev->vqs[i].ring_cntx_idx = NULL;
1214 : : }
1215 : 0 : rxq = &dpdmai_dev->rx_queue[i];
1216 [ # # # # ]: 0 : dpaa2_queue_storage_free(rxq, 1);
1217 : : }
1218 : 0 : rte_free(qdma_dev->vqs);
1219 : 0 : qdma_dev->vqs = NULL;
1220 : 0 : qdma_dev->num_vqs = 0;
1221 : : }
1222 : :
1223 : : /* Set up Rx Queues */
1224 [ # # ]: 0 : for (i = 0; i < dev_conf->nb_vchans; i++) {
1225 : : memset(&rx_queue_cfg, 0, sizeof(struct dpdmai_rx_queue_cfg));
1226 : 0 : rxq = &dpdmai_dev->rx_queue[i];
1227 : 0 : ret = dpdmai_set_rx_queue(&s_proc_mc_reg,
1228 : : CMD_PRI_LOW,
1229 : 0 : dpdmai_dev->token,
1230 : : i, 0, &rx_queue_cfg);
1231 [ # # ]: 0 : if (ret) {
1232 : 0 : DPAA2_QDMA_ERR("%s RXQ%d set failed(%d)",
1233 : : dev->data->dev_name, i, ret);
1234 : 0 : return ret;
1235 : : }
1236 : : }
1237 : :
1238 : : /* Get Rx and Tx queues FQID's */
1239 [ # # ]: 0 : for (i = 0; i < dev_conf->nb_vchans; i++) {
1240 : 0 : ret = dpdmai_get_rx_queue(&s_proc_mc_reg, CMD_PRI_LOW,
1241 : 0 : dpdmai_dev->token, i, 0, &rx_attr);
1242 [ # # ]: 0 : if (ret) {
1243 : 0 : DPAA2_QDMA_ERR("Get DPDMAI%d-RXQ%d failed(%d)",
1244 : : dpdmai_dev->dpdmai_id, i, ret);
1245 : 0 : return ret;
1246 : : }
1247 : 0 : dpdmai_dev->rx_queue[i].fqid = rx_attr.fqid;
1248 : :
1249 : 0 : ret = dpdmai_get_tx_queue(&s_proc_mc_reg, CMD_PRI_LOW,
1250 : 0 : dpdmai_dev->token, i, 0, &tx_attr);
1251 [ # # ]: 0 : if (ret) {
1252 : 0 : DPAA2_QDMA_ERR("Get DPDMAI%d-TXQ%d failed(%d)",
1253 : : dpdmai_dev->dpdmai_id, i, ret);
1254 : 0 : return ret;
1255 : : }
1256 : 0 : dpdmai_dev->tx_queue[i].fqid = tx_attr.fqid;
1257 : : }
1258 : :
1259 : : /* Allocate Virtual Queues */
1260 : 0 : qdma_dev->vqs = rte_zmalloc(NULL,
1261 : 0 : (sizeof(struct qdma_virt_queue) * dev_conf->nb_vchans),
1262 : : RTE_CACHE_LINE_SIZE);
1263 [ # # ]: 0 : if (!qdma_dev->vqs) {
1264 : 0 : DPAA2_QDMA_ERR("%s: VQs(%d) alloc failed.",
1265 : : dev->data->dev_name, dev_conf->nb_vchans);
1266 : 0 : return -ENOMEM;
1267 : : }
1268 [ # # ]: 0 : for (i = 0; i < dev_conf->nb_vchans; i++) {
1269 : 0 : qdma_dev->vqs[i].vq_id = i;
1270 : 0 : rxq = &dpdmai_dev->rx_queue[i];
1271 : : /* Allocate DQ storage for the DPDMAI Rx queues */
1272 [ # # # # : 0 : ret = dpaa2_queue_storage_alloc(rxq, 1);
# # ]
1273 [ # # ]: 0 : if (ret)
1274 : 0 : goto alloc_failed;
1275 : : }
1276 : :
1277 : 0 : qdma_dev->num_vqs = dev_conf->nb_vchans;
1278 : 0 : qdma_dev->is_silent = dev_conf->enable_silent;
1279 : :
1280 : 0 : return 0;
1281 : :
1282 : : alloc_failed:
1283 [ # # ]: 0 : for (i = 0; i < dev_conf->nb_vchans; i++) {
1284 : 0 : rxq = &dpdmai_dev->rx_queue[i];
1285 [ # # # # ]: 0 : dpaa2_queue_storage_free(rxq, 1);
1286 : : }
1287 : :
1288 : 0 : rte_free(qdma_dev->vqs);
1289 : 0 : qdma_dev->vqs = NULL;
1290 : 0 : qdma_dev->num_vqs = 0;
1291 : :
1292 : 0 : return ret;
1293 : : }
1294 : :
1295 : : static int
1296 : 0 : dpaa2_qdma_vchan_rbp_set(struct qdma_virt_queue *vq,
1297 : : const struct rte_dma_vchan_conf *conf)
1298 : : {
1299 [ # # ]: 0 : if (conf->direction == RTE_DMA_DIR_MEM_TO_DEV ||
1300 : : conf->direction == RTE_DMA_DIR_DEV_TO_DEV) {
1301 [ # # ]: 0 : if (conf->dst_port.port_type != RTE_DMA_PORT_PCIE)
1302 : : return -EINVAL;
1303 : 0 : vq->rbp.enable = 1;
1304 : 0 : vq->rbp.dportid = conf->dst_port.pcie.coreid;
1305 : 0 : vq->rbp.dpfid = conf->dst_port.pcie.pfid;
1306 [ # # ]: 0 : if (conf->dst_port.pcie.vfen) {
1307 : 0 : vq->rbp.dvfa = 1;
1308 : 0 : vq->rbp.dvfid = conf->dst_port.pcie.vfid;
1309 : : }
1310 : 0 : vq->rbp.drbp = 1;
1311 : : }
1312 [ # # ]: 0 : if (conf->direction == RTE_DMA_DIR_DEV_TO_MEM ||
1313 : : conf->direction == RTE_DMA_DIR_DEV_TO_DEV) {
1314 [ # # ]: 0 : if (conf->src_port.port_type != RTE_DMA_PORT_PCIE)
1315 : : return -EINVAL;
1316 : 0 : vq->rbp.enable = 1;
1317 : 0 : vq->rbp.sportid = conf->src_port.pcie.coreid;
1318 : 0 : vq->rbp.spfid = conf->src_port.pcie.pfid;
1319 [ # # ]: 0 : if (conf->src_port.pcie.vfen) {
1320 : 0 : vq->rbp.svfa = 1;
1321 : 0 : vq->rbp.dvfid = conf->src_port.pcie.vfid;
1322 : : }
1323 : 0 : vq->rbp.srbp = 1;
1324 : : }
1325 : :
1326 : : return 0;
1327 : : }
1328 : :
1329 : : static int
1330 : 0 : dpaa2_qdma_vchan_setup(struct rte_dma_dev *dev, uint16_t vchan,
1331 : : const struct rte_dma_vchan_conf *conf,
1332 : : uint32_t conf_sz)
1333 : : {
1334 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1335 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1336 : : uint32_t pool_size;
1337 : : char pool_name[64];
1338 : : int ret;
1339 : : uint64_t iova, va;
1340 : :
1341 : 0 : DPAA2_QDMA_FUNC_TRACE();
1342 : :
1343 : : RTE_SET_USED(conf_sz);
1344 : :
1345 : 0 : ret = dpaa2_qdma_vchan_rbp_set(&qdma_dev->vqs[vchan], conf);
1346 [ # # ]: 0 : if (ret)
1347 : : return ret;
1348 : :
1349 [ # # ]: 0 : if (dpaa2_qdma_get_devargs(dev->device->devargs, DPAA2_QDMA_FLE_PRE_POPULATE))
1350 : 0 : qdma_dev->vqs[vchan].fle_pre_populate = 1;
1351 : : else
1352 : 0 : qdma_dev->vqs[vchan].fle_pre_populate = 0;
1353 : :
1354 [ # # ]: 0 : if (dpaa2_qdma_get_devargs(dev->device->devargs, DPAA2_QDMA_DESC_DEBUG))
1355 : 0 : qdma_dev->vqs[vchan].flags |= DPAA2_QDMA_DESC_DEBUG_FLAG;
1356 : : else
1357 : 0 : qdma_dev->vqs[vchan].flags &= (~DPAA2_QDMA_DESC_DEBUG_FLAG);
1358 : :
1359 [ # # ]: 0 : if (dpaa2_qdma_get_devargs(dev->device->devargs, DPAA2_QDMA_USING_SHORT_FD))
1360 : 0 : qdma_dev->vqs[vchan].using_short_fd = 1;
1361 : : else
1362 : 0 : qdma_dev->vqs[vchan].using_short_fd = 0;
1363 : :
1364 : 0 : snprintf(pool_name, sizeof(pool_name),
1365 : : "qdma_fle_pool_dev%d_qid%d", dpdmai_dev->dpdmai_id, vchan);
1366 : : pool_size = sizeof(struct qdma_cntx_sg);
1367 : 0 : qdma_dev->vqs[vchan].fle_pool = rte_mempool_create(pool_name,
1368 : : DPAA2_QDMA_MAX_DESC * 2, pool_size,
1369 : : 512, 0, NULL, NULL, NULL, NULL,
1370 : : SOCKET_ID_ANY, 0);
1371 [ # # ]: 0 : if (!qdma_dev->vqs[vchan].fle_pool) {
1372 : 0 : DPAA2_QDMA_ERR("%s create failed", pool_name);
1373 : 0 : return -ENOMEM;
1374 : : }
1375 : 0 : iova = qdma_dev->vqs[vchan].fle_pool->mz->iova;
1376 : 0 : va = qdma_dev->vqs[vchan].fle_pool->mz->addr_64;
1377 : 0 : qdma_dev->vqs[vchan].fle_iova2va_offset = va - iova;
1378 : :
1379 [ # # ]: 0 : if (qdma_dev->is_silent) {
1380 : : ret = rte_mempool_get_bulk(qdma_dev->vqs[vchan].fle_pool,
1381 [ # # ]: 0 : (void **)qdma_dev->vqs[vchan].cntx_sg,
1382 : : DPAA2_QDMA_MAX_DESC);
1383 [ # # ]: 0 : if (ret) {
1384 : 0 : DPAA2_QDMA_ERR("sg cntx get from %s for silent mode",
1385 : : pool_name);
1386 : 0 : return ret;
1387 : : }
1388 : 0 : ret = rte_mempool_get_bulk(qdma_dev->vqs[vchan].fle_pool,
1389 [ # # ]: 0 : (void **)qdma_dev->vqs[vchan].cntx_fle_sdd,
1390 : : DPAA2_QDMA_MAX_DESC);
1391 [ # # ]: 0 : if (ret) {
1392 : 0 : DPAA2_QDMA_ERR("long cntx get from %s for silent mode",
1393 : : pool_name);
1394 : 0 : return ret;
1395 : : }
1396 : : } else {
1397 : 0 : qdma_dev->vqs[vchan].ring_cntx_idx = rte_malloc(NULL,
1398 : : sizeof(struct qdma_cntx_idx_ring),
1399 : : RTE_CACHE_LINE_SIZE);
1400 [ # # ]: 0 : if (!qdma_dev->vqs[vchan].ring_cntx_idx) {
1401 : 0 : DPAA2_QDMA_ERR("DQ response ring alloc failed.");
1402 : 0 : return -ENOMEM;
1403 : : }
1404 : 0 : qdma_dev->vqs[vchan].ring_cntx_idx->start = 0;
1405 : 0 : qdma_dev->vqs[vchan].ring_cntx_idx->tail = 0;
1406 : 0 : qdma_dev->vqs[vchan].ring_cntx_idx->free_space =
1407 : : QDMA_CNTX_IDX_RING_MAX_FREE;
1408 : 0 : qdma_dev->vqs[vchan].ring_cntx_idx->nb_in_ring = 0;
1409 : 0 : qdma_dev->vqs[vchan].fle_elem = rte_malloc(NULL,
1410 : : sizeof(void *) * DPAA2_QDMA_MAX_DESC,
1411 : : RTE_CACHE_LINE_SIZE);
1412 : : }
1413 : :
1414 : 0 : qdma_dev->vqs[vchan].dpdmai_dev = dpdmai_dev;
1415 : 0 : qdma_dev->vqs[vchan].nb_desc = conf->nb_desc;
1416 : :
1417 : 0 : return 0;
1418 : : }
1419 : :
1420 : : static int
1421 : 0 : dpaa2_qdma_start(struct rte_dma_dev *dev)
1422 : : {
1423 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1424 : : int ret;
1425 : :
1426 : 0 : DPAA2_QDMA_FUNC_TRACE();
1427 : :
1428 : : /* Enable the device */
1429 : 0 : ret = dpdmai_enable(&s_proc_mc_reg, CMD_PRI_LOW,
1430 : 0 : dpdmai_dev->token);
1431 [ # # ]: 0 : if (ret) {
1432 : 0 : DPAA2_QDMA_ERR("Enabling device failed with err: %d", ret);
1433 : 0 : return ret;
1434 : : }
1435 : :
1436 : : return 0;
1437 : : }
1438 : :
1439 : : static int
1440 : 0 : dpaa2_qdma_stop(struct rte_dma_dev *dev)
1441 : : {
1442 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1443 : : int ret;
1444 : :
1445 : 0 : DPAA2_QDMA_FUNC_TRACE();
1446 : :
1447 : : /* Disable the device */
1448 : 0 : ret = dpdmai_disable(&s_proc_mc_reg, CMD_PRI_LOW,
1449 : 0 : dpdmai_dev->token);
1450 [ # # ]: 0 : if (ret) {
1451 : 0 : DPAA2_QDMA_ERR("Disable device failed with err: %d", ret);
1452 : 0 : return ret;
1453 : : }
1454 : :
1455 : : return 0;
1456 : : }
1457 : :
1458 : : static int
1459 : 0 : dpaa2_qdma_close(struct rte_dma_dev *dev)
1460 : : {
1461 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1462 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1463 : : struct dpaa2_queue *rxq;
1464 : : int i;
1465 : :
1466 : 0 : DPAA2_QDMA_FUNC_TRACE();
1467 : :
1468 [ # # ]: 0 : if (!qdma_dev)
1469 : : return 0;
1470 : :
1471 : : /* In case there are pending jobs on any VQ, return -EBUSY */
1472 [ # # ]: 0 : for (i = 0; i < qdma_dev->num_vqs; i++) {
1473 : 0 : if ((qdma_dev->vqs[i].num_enqueues !=
1474 [ # # ]: 0 : qdma_dev->vqs[i].num_dequeues) &&
1475 [ # # ]: 0 : !qdma_dev->is_silent) {
1476 : 0 : DPAA2_QDMA_ERR("VQ(%d) pending: eq(%"PRIu64") != dq(%"PRId64")",
1477 : : i, qdma_dev->vqs[i].num_enqueues,
1478 : : qdma_dev->vqs[i].num_dequeues);
1479 : 0 : return -EBUSY;
1480 : : }
1481 : : }
1482 : :
1483 : : /* Free RXQ storages */
1484 [ # # ]: 0 : for (i = 0; i < qdma_dev->num_vqs; i++) {
1485 : : rxq = &dpdmai_dev->rx_queue[i];
1486 [ # # # # ]: 0 : dpaa2_queue_storage_free(rxq, 1);
1487 : : }
1488 : :
1489 [ # # ]: 0 : if (qdma_dev->vqs) {
1490 : : /* Free RXQ fle pool */
1491 [ # # ]: 0 : for (i = 0; i < qdma_dev->num_vqs; i++) {
1492 [ # # ]: 0 : if (qdma_dev->vqs[i].fle_pool) {
1493 : 0 : rte_mempool_free(qdma_dev->vqs[i].fle_pool);
1494 : 0 : qdma_dev->vqs[i].fle_pool = NULL;
1495 : : }
1496 [ # # ]: 0 : if (qdma_dev->vqs[i].ring_cntx_idx) {
1497 : 0 : rte_free(qdma_dev->vqs[i].ring_cntx_idx);
1498 : 0 : qdma_dev->vqs[i].ring_cntx_idx = NULL;
1499 : : }
1500 : : }
1501 : 0 : rte_free(qdma_dev->vqs);
1502 : 0 : qdma_dev->vqs = NULL;
1503 : : }
1504 : :
1505 : : /* Reset QDMA device structure */
1506 : 0 : qdma_dev->num_vqs = 0;
1507 : :
1508 : 0 : return 0;
1509 : : }
1510 : :
1511 : : static int
1512 : 0 : dpaa2_qdma_stats_get(const struct rte_dma_dev *dmadev,
1513 : : uint16_t vchan, struct rte_dma_stats *rte_stats, uint32_t size)
1514 : : {
1515 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dmadev->data->dev_private;
1516 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1517 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
1518 : : struct rte_dma_stats *stats = &qdma_vq->stats;
1519 : :
1520 : : RTE_SET_USED(size);
1521 : :
1522 : : /* TODO - directly use stats */
1523 : 0 : stats->submitted = qdma_vq->num_enqueues;
1524 : 0 : stats->completed = qdma_vq->num_dequeues;
1525 : 0 : *rte_stats = *stats;
1526 : :
1527 : 0 : return 0;
1528 : : }
1529 : :
1530 : : static int
1531 : 0 : dpaa2_qdma_stats_reset(struct rte_dma_dev *dmadev, uint16_t vchan)
1532 : : {
1533 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dmadev->data->dev_private;
1534 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1535 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
1536 : :
1537 : 0 : qdma_vq->num_enqueues = 0;
1538 : 0 : qdma_vq->num_dequeues = 0;
1539 : :
1540 : 0 : return 0;
1541 : : }
1542 : :
1543 : : static uint16_t
1544 : 0 : dpaa2_qdma_burst_capacity(const void *dev_private, uint16_t vchan)
1545 : : {
1546 : : const struct dpaa2_dpdmai_dev *dpdmai_dev = dev_private;
1547 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1548 : 0 : struct qdma_virt_queue *qdma_vq = &qdma_dev->vqs[vchan];
1549 : :
1550 : 0 : return qdma_vq->nb_desc - qdma_vq->num_valid_jobs;
1551 : : }
1552 : :
1553 : : static struct rte_dma_dev_ops dpaa2_qdma_ops = {
1554 : : .dev_info_get = dpaa2_qdma_info_get,
1555 : : .dev_configure = dpaa2_qdma_configure,
1556 : : .dev_start = dpaa2_qdma_start,
1557 : : .dev_stop = dpaa2_qdma_stop,
1558 : : .dev_close = dpaa2_qdma_close,
1559 : : .vchan_setup = dpaa2_qdma_vchan_setup,
1560 : : .stats_get = dpaa2_qdma_stats_get,
1561 : : .stats_reset = dpaa2_qdma_stats_reset,
1562 : : };
1563 : :
1564 : : static int
1565 : 0 : dpaa2_dpdmai_dev_uninit(struct rte_dma_dev *dev)
1566 : : {
1567 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1568 : 0 : struct qdma_device *qdma_dev = dpdmai_dev->qdma_dev;
1569 : : int ret;
1570 : :
1571 : 0 : DPAA2_QDMA_FUNC_TRACE();
1572 : :
1573 [ # # ]: 0 : if (rte_eal_process_type() == RTE_PROC_SECONDARY) {
1574 : 0 : DPAA2_QDMA_DEBUG("Un-attach DMA(%d) in the 2nd proess.",
1575 : : dpdmai_dev->dpdmai_id);
1576 : 0 : return 0;
1577 : : }
1578 : :
1579 : : /* Close the device at underlying layer*/
1580 : 0 : ret = dpdmai_close(&s_proc_mc_reg, CMD_PRI_LOW,
1581 : 0 : dpdmai_dev->token);
1582 [ # # ]: 0 : if (ret) {
1583 : 0 : DPAA2_QDMA_ERR("dpdmai(%d) close failed(%d)",
1584 : : dpdmai_dev->dpdmai_id, ret);
1585 : :
1586 : 0 : return ret;
1587 : : }
1588 : :
1589 [ # # ]: 0 : if (qdma_dev) {
1590 : 0 : rte_free(qdma_dev);
1591 : 0 : dpdmai_dev->qdma_dev = NULL;
1592 : : }
1593 : :
1594 : : return ret;
1595 : : }
1596 : :
1597 : : static int
1598 : 0 : dpaa2_dpdmai_dev_init(struct rte_dma_dev *dev, uint32_t dpdmai_id)
1599 : : {
1600 : 0 : struct dpaa2_dpdmai_dev *dpdmai_dev = dev->data->dev_private;
1601 : : struct dpdmai_attr attr;
1602 : : int ret, err;
1603 : :
1604 : 0 : DPAA2_QDMA_FUNC_TRACE();
1605 : :
1606 [ # # ]: 0 : if (!dpaa2_coherent_no_alloc_cache) {
1607 [ # # ]: 0 : if (dpaa2_svr_family == SVR_LX2160A) {
1608 : 0 : dpaa2_coherent_no_alloc_cache =
1609 : : DPAA2_LX2_COHERENT_NO_ALLOCATE_CACHE;
1610 : 0 : dpaa2_coherent_alloc_cache =
1611 : : DPAA2_LX2_COHERENT_ALLOCATE_CACHE;
1612 : : } else {
1613 : 0 : dpaa2_coherent_no_alloc_cache =
1614 : : DPAA2_COHERENT_NO_ALLOCATE_CACHE;
1615 : 0 : dpaa2_coherent_alloc_cache =
1616 : : DPAA2_COHERENT_ALLOCATE_CACHE;
1617 : : }
1618 : : }
1619 : :
1620 [ # # ]: 0 : if (!s_proc_mc_reg.regs)
1621 : 0 : s_proc_mc_reg.regs = dpaa2_get_mcp_ptr(MC_PORTAL_INDEX);
1622 : :
1623 [ # # ]: 0 : if (rte_eal_process_type() == RTE_PROC_SECONDARY) {
1624 : 0 : DPAA2_QDMA_DEBUG("Attach DMA(%d) in the 2nd proess.",
1625 : : dpdmai_id);
1626 [ # # ]: 0 : if (dpdmai_id != dpdmai_dev->dpdmai_id) {
1627 : 0 : DPAA2_QDMA_ERR("Fatal: Attach DMA(%d) to DMA(%d)",
1628 : : dpdmai_id, dpdmai_dev->dpdmai_id);
1629 : 0 : return -EINVAL;
1630 : : }
1631 [ # # ]: 0 : if (!dpdmai_dev->qdma_dev) {
1632 : 0 : DPAA2_QDMA_ERR("Fatal: DMA(%d) qdma_dev NOT allocated",
1633 : : dpdmai_id);
1634 : 0 : return -ENOMEM;
1635 : : }
1636 [ # # ]: 0 : if (dpdmai_dev->qdma_dev->num_vqs) {
1637 : 0 : DPAA2_QDMA_WARN("DMA(%d) %d vqs were configured",
1638 : : dpdmai_id, dpdmai_dev->qdma_dev->num_vqs);
1639 : : }
1640 : :
1641 : 0 : return 0;
1642 : : }
1643 : :
1644 : : /* Open DPDMAI device */
1645 : 0 : dpdmai_dev->dpdmai_id = dpdmai_id;
1646 : :
1647 [ # # ]: 0 : if (dpdmai_dev->qdma_dev) {
1648 : 0 : rte_free(dpdmai_dev->qdma_dev);
1649 : 0 : dpdmai_dev->qdma_dev = NULL;
1650 : : }
1651 : 0 : dpdmai_dev->qdma_dev = rte_zmalloc(NULL,
1652 : : sizeof(struct qdma_device), RTE_CACHE_LINE_SIZE);
1653 [ # # ]: 0 : if (!dpdmai_dev->qdma_dev) {
1654 : 0 : DPAA2_QDMA_ERR("DMA(%d) alloc memory failed",
1655 : : dpdmai_id);
1656 : 0 : return -ENOMEM;
1657 : : }
1658 : 0 : ret = dpdmai_open(&s_proc_mc_reg, CMD_PRI_LOW,
1659 : 0 : dpdmai_dev->dpdmai_id, &dpdmai_dev->token);
1660 [ # # ]: 0 : if (ret) {
1661 : 0 : DPAA2_QDMA_ERR("%s: dma(%d) open failed(%d)",
1662 : : __func__, dpdmai_dev->dpdmai_id, ret);
1663 : 0 : return ret;
1664 : : }
1665 : :
1666 : : /* Get DPDMAI attributes */
1667 : 0 : ret = dpdmai_get_attributes(&s_proc_mc_reg, CMD_PRI_LOW,
1668 : 0 : dpdmai_dev->token, &attr);
1669 [ # # ]: 0 : if (ret) {
1670 : 0 : DPAA2_QDMA_ERR("%s: dma(%d) get attributes failed(%d)",
1671 : : __func__, dpdmai_dev->dpdmai_id, ret);
1672 : 0 : err = dpdmai_close(&s_proc_mc_reg, CMD_PRI_LOW,
1673 : 0 : dpdmai_dev->token);
1674 [ # # ]: 0 : if (err) {
1675 : 0 : DPAA2_QDMA_ERR("dpdmai(%d) close failed(%d)",
1676 : : dpdmai_dev->dpdmai_id, err);
1677 : : }
1678 : 0 : return ret;
1679 : : }
1680 : 0 : dpdmai_dev->num_queues = attr.num_of_queues;
1681 : :
1682 : 0 : DPAA2_QDMA_DEBUG("DMA(%d) is initialized.", dpdmai_id);
1683 : :
1684 : 0 : return 0;
1685 : : }
1686 : :
1687 : : static int
1688 : 0 : dpaa2_qdma_probe(struct rte_dpaa2_driver *dpaa2_drv,
1689 : : struct rte_dpaa2_device *dpaa2_dev)
1690 : : {
1691 : : struct rte_dma_dev *dmadev;
1692 : : int ret;
1693 : :
1694 : 0 : DPAA2_QDMA_FUNC_TRACE();
1695 : :
1696 : : RTE_SET_USED(dpaa2_drv);
1697 : :
1698 : 0 : dmadev = rte_dma_pmd_allocate(dpaa2_dev->device.name,
1699 : 0 : rte_socket_id(),
1700 : : sizeof(struct dpaa2_dpdmai_dev));
1701 [ # # ]: 0 : if (!dmadev) {
1702 : 0 : DPAA2_QDMA_ERR("Unable to allocate dmadevice");
1703 : 0 : return -EINVAL;
1704 : : }
1705 : :
1706 : 0 : dpaa2_dev->dmadev = dmadev;
1707 : 0 : dmadev->dev_ops = &dpaa2_qdma_ops;
1708 : 0 : dmadev->device = &dpaa2_dev->device;
1709 : 0 : dmadev->fp_obj->dev_private = dmadev->data->dev_private;
1710 : 0 : dmadev->fp_obj->copy = dpaa2_qdma_copy;
1711 : 0 : dmadev->fp_obj->copy_sg = dpaa2_qdma_copy_sg;
1712 : 0 : dmadev->fp_obj->submit = dpaa2_qdma_submit;
1713 : 0 : dmadev->fp_obj->completed = dpaa2_qdma_dequeue;
1714 : 0 : dmadev->fp_obj->burst_capacity = dpaa2_qdma_burst_capacity;
1715 : :
1716 : : /* Invoke PMD device initialization function */
1717 : 0 : ret = dpaa2_dpdmai_dev_init(dmadev, dpaa2_dev->object_id);
1718 [ # # ]: 0 : if (ret) {
1719 : 0 : rte_dma_pmd_release(dpaa2_dev->device.name);
1720 : 0 : return ret;
1721 : : }
1722 : :
1723 : 0 : dmadev->state = RTE_DMA_DEV_READY;
1724 : 0 : return 0;
1725 : : }
1726 : :
1727 : : static int
1728 : 0 : dpaa2_qdma_remove(struct rte_dpaa2_device *dpaa2_dev)
1729 : : {
1730 : 0 : struct rte_dma_dev *dmadev = dpaa2_dev->dmadev;
1731 : : int ret;
1732 : :
1733 : 0 : DPAA2_QDMA_FUNC_TRACE();
1734 : :
1735 : 0 : dpaa2_dpdmai_dev_uninit(dmadev);
1736 : :
1737 : 0 : ret = rte_dma_pmd_release(dpaa2_dev->device.name);
1738 [ # # ]: 0 : if (ret)
1739 : 0 : DPAA2_QDMA_ERR("Device cleanup failed");
1740 : :
1741 : 0 : return 0;
1742 : : }
1743 : :
1744 : : static struct rte_dpaa2_driver rte_dpaa2_qdma_pmd;
1745 : :
1746 : : static struct rte_dpaa2_driver rte_dpaa2_qdma_pmd = {
1747 : : .drv_flags = RTE_DPAA2_DRV_IOVA_AS_VA,
1748 : : .drv_type = DPAA2_QDMA,
1749 : : .probe = dpaa2_qdma_probe,
1750 : : .remove = dpaa2_qdma_remove,
1751 : : };
1752 : :
1753 : 253 : RTE_PMD_REGISTER_DPAA2(dpaa2_qdma, rte_dpaa2_qdma_pmd);
1754 : : RTE_PMD_REGISTER_PARAM_STRING(dpaa2_qdma,
1755 : : DPAA2_QDMA_FLE_PRE_POPULATE "=<int>"
1756 : : DPAA2_QDMA_DESC_DEBUG"=<int>"
1757 : : DPAA2_QDMA_USING_SHORT_FD"=<int>");
1758 [ - + ]: 253 : RTE_LOG_REGISTER_DEFAULT(dpaa2_qdma_logtype, INFO);
|
