Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2016 Intel Corporation.
3 : : * Copyright(c) 2016 6WIND S.A.
4 : : * Copyright(c) 2018 Solarflare Communications Inc.
5 : : */
6 : :
7 : : #include <eal_export.h>
8 : : #include <rte_mempool.h>
9 : :
10 : : RTE_EXPORT_SYMBOL(rte_mempool_op_calc_mem_size_helper)
11 : : ssize_t
12 : 111 : rte_mempool_op_calc_mem_size_helper(const struct rte_mempool *mp,
13 : : uint32_t obj_num, uint32_t pg_shift,
14 : : size_t chunk_reserve,
15 : : size_t *min_chunk_size, size_t *align)
16 : : {
17 : : size_t total_elt_sz;
18 : : size_t obj_per_page, pg_sz, objs_in_last_page;
19 : : size_t mem_size;
20 : :
21 : 111 : total_elt_sz = mp->header_size + mp->elt_size + mp->trailer_size;
22 [ + - ]: 111 : if (total_elt_sz == 0) {
23 : : mem_size = 0;
24 [ - + ]: 111 : } else if (pg_shift == 0) {
25 : 0 : mem_size = total_elt_sz * obj_num + chunk_reserve;
26 : : } else {
27 : 111 : pg_sz = (size_t)1 << pg_shift;
28 [ + - ]: 111 : if (chunk_reserve >= pg_sz)
29 : : return -EINVAL;
30 : 111 : obj_per_page = (pg_sz - chunk_reserve) / total_elt_sz;
31 [ - + ]: 111 : if (obj_per_page == 0) {
32 : : /*
33 : : * Note that if object size is bigger than page size,
34 : : * then it is assumed that pages are grouped in subsets
35 : : * of physically continuous pages big enough to store
36 : : * at least one object.
37 : : */
38 : 0 : mem_size = RTE_ALIGN_CEIL(total_elt_sz + chunk_reserve,
39 : 0 : pg_sz) * obj_num;
40 : : } else {
41 : : /* In the best case, the allocator will return a
42 : : * page-aligned address. For example, with 5 objs,
43 : : * the required space is as below:
44 : : * | page0 | page1 | page2 (last) |
45 : : * |obj0 |obj1 |xxx|obj2 |obj3 |xxx|obj4|
46 : : * <------------- mem_size ------------->
47 : : */
48 : 111 : objs_in_last_page = ((obj_num - 1) % obj_per_page) + 1;
49 : : /* room required for the last page */
50 : 111 : mem_size = objs_in_last_page * total_elt_sz +
51 : : chunk_reserve;
52 : : /* room required for other pages */
53 : 111 : mem_size += ((obj_num - objs_in_last_page) /
54 : 111 : obj_per_page) << pg_shift;
55 : :
56 : : /* In the worst case, the allocator returns a
57 : : * non-aligned pointer, wasting up to
58 : : * total_elt_sz. Add a margin for that.
59 : : */
60 : 111 : mem_size += total_elt_sz - 1;
61 : : }
62 : : }
63 : :
64 : 111 : *min_chunk_size = total_elt_sz;
65 : 111 : *align = RTE_MEMPOOL_ALIGN;
66 : :
67 : 111 : return mem_size;
68 : : }
69 : :
70 : : RTE_EXPORT_SYMBOL(rte_mempool_op_calc_mem_size_default)
71 : : ssize_t
72 : 111 : rte_mempool_op_calc_mem_size_default(const struct rte_mempool *mp,
73 : : uint32_t obj_num, uint32_t pg_shift,
74 : : size_t *min_chunk_size, size_t *align)
75 : : {
76 : 111 : return rte_mempool_op_calc_mem_size_helper(mp, obj_num, pg_shift,
77 : : 0, min_chunk_size, align);
78 : : }
79 : :
80 : : /* Returns -1 if object crosses a page boundary, else returns 0 */
81 : : static int
82 : : check_obj_bounds(char *obj, size_t pg_sz, size_t elt_sz)
83 : : {
84 : 44671532 : if (pg_sz == 0)
85 : : return 0;
86 [ + - ]: 44671516 : if (elt_sz > pg_sz)
87 : : return 0;
88 [ + + ]: 44671516 : if (RTE_PTR_ALIGN(obj, pg_sz) != RTE_PTR_ALIGN(obj + elt_sz - 1, pg_sz))
89 : : return -1;
90 : : return 0;
91 : : }
92 : :
93 : : RTE_EXPORT_SYMBOL(rte_mempool_op_populate_helper)
94 : : int
95 : 1199 : rte_mempool_op_populate_helper(struct rte_mempool *mp, unsigned int flags,
96 : : unsigned int max_objs, void *vaddr, rte_iova_t iova,
97 : : size_t len, rte_mempool_populate_obj_cb_t *obj_cb,
98 : : void *obj_cb_arg)
99 : : {
100 : : char *va = vaddr;
101 : : size_t total_elt_sz, pg_sz;
102 : : size_t off;
103 : : unsigned int i;
104 : : void *obj;
105 : : int ret;
106 : :
107 : 1199 : ret = rte_mempool_get_page_size(mp, &pg_sz);
108 [ + - ]: 1199 : if (ret < 0)
109 : : return ret;
110 : :
111 : 1199 : total_elt_sz = mp->header_size + mp->elt_size + mp->trailer_size;
112 : :
113 [ - + ]: 1199 : if (flags & RTE_MEMPOOL_POPULATE_F_ALIGN_OBJ)
114 : 0 : off = total_elt_sz - (((uintptr_t)(va - 1) % total_elt_sz) + 1);
115 : : else
116 : : off = 0;
117 [ + + ]: 44671640 : for (i = 0; i < max_objs; i++) {
118 : : /* avoid objects to cross page boundaries */
119 [ + + ]: 44671532 : if (check_obj_bounds(va + off, pg_sz, total_elt_sz) < 0) {
120 : 2191089 : off += RTE_PTR_ALIGN_CEIL(va + off, pg_sz) - (va + off);
121 [ - + ]: 2191089 : if (flags & RTE_MEMPOOL_POPULATE_F_ALIGN_OBJ)
122 : 0 : off += total_elt_sz -
123 : 0 : (((uintptr_t)(va + off - 1) %
124 : : total_elt_sz) + 1);
125 : : }
126 : :
127 [ + + ]: 44671532 : if (off + total_elt_sz > len)
128 : : break;
129 : :
130 : 44670441 : off += mp->header_size;
131 : 44670441 : obj = va + off;
132 [ + + ]: 44670441 : obj_cb(mp, obj_cb_arg, obj,
133 : : (iova == RTE_BAD_IOVA) ? RTE_BAD_IOVA : (iova + off));
134 : 44670441 : rte_mempool_ops_enqueue_bulk(mp, &obj, 1);
135 : 44670441 : off += mp->elt_size + mp->trailer_size;
136 : : }
137 : :
138 : 1199 : return i;
139 : : }
140 : :
141 : : RTE_EXPORT_SYMBOL(rte_mempool_op_populate_default)
142 : : int
143 : 1199 : rte_mempool_op_populate_default(struct rte_mempool *mp, unsigned int max_objs,
144 : : void *vaddr, rte_iova_t iova, size_t len,
145 : : rte_mempool_populate_obj_cb_t *obj_cb,
146 : : void *obj_cb_arg)
147 : : {
148 : 1199 : return rte_mempool_op_populate_helper(mp, 0, max_objs, vaddr, iova,
149 : : len, obj_cb, obj_cb_arg);
150 : : }
|
