Branch data Line data Source code
1 : : /* SPDX-License-Identifier: GPL-2.0 */
2 : : /*
3 : : * bvec iterator
4 : : *
5 : : * Copyright (C) 2001 Ming Lei <ming.lei@canonical.com>
6 : : */
7 : : #ifndef __LINUX_BVEC_ITER_H
8 : : #define __LINUX_BVEC_ITER_H
9 : :
10 : : #include <linux/kernel.h>
11 : : #include <linux/bug.h>
12 : : #include <linux/errno.h>
13 : : #include <linux/mm.h>
14 : :
15 : : /*
16 : : * was unsigned short, but we might as well be ready for > 64kB I/O pages
17 : : */
18 : : struct bio_vec {
19 : : struct page *bv_page;
20 : : unsigned int bv_len;
21 : : unsigned int bv_offset;
22 : : };
23 : :
24 : : struct bvec_iter {
25 : : sector_t bi_sector; /* device address in 512 byte
26 : : sectors */
27 : : unsigned int bi_size; /* residual I/O count */
28 : :
29 : : unsigned int bi_idx; /* current index into bvl_vec */
30 : :
31 : : unsigned int bi_bvec_done; /* number of bytes completed in
32 : : current bvec */
33 : : };
34 : :
35 : : struct bvec_iter_all {
36 : : struct bio_vec bv;
37 : : int idx;
38 : : unsigned done;
39 : : };
40 : :
41 : : /*
42 : : * various member access, note that bio_data should of course not be used
43 : : * on highmem page vectors
44 : : */
45 : : #define __bvec_iter_bvec(bvec, iter) (&(bvec)[(iter).bi_idx])
46 : :
47 : : /* multi-page (mp_bvec) helpers */
48 : : #define mp_bvec_iter_page(bvec, iter) \
49 : : (__bvec_iter_bvec((bvec), (iter))->bv_page)
50 : :
51 : : #define mp_bvec_iter_len(bvec, iter) \
52 : : min((iter).bi_size, \
53 : : __bvec_iter_bvec((bvec), (iter))->bv_len - (iter).bi_bvec_done)
54 : :
55 : : #define mp_bvec_iter_offset(bvec, iter) \
56 : : (__bvec_iter_bvec((bvec), (iter))->bv_offset + (iter).bi_bvec_done)
57 : :
58 : : #define mp_bvec_iter_page_idx(bvec, iter) \
59 : : (mp_bvec_iter_offset((bvec), (iter)) / PAGE_SIZE)
60 : :
61 : : #define mp_bvec_iter_bvec(bvec, iter) \
62 : : ((struct bio_vec) { \
63 : : .bv_page = mp_bvec_iter_page((bvec), (iter)), \
64 : : .bv_len = mp_bvec_iter_len((bvec), (iter)), \
65 : : .bv_offset = mp_bvec_iter_offset((bvec), (iter)), \
66 : : })
67 : :
68 : : /* For building single-page bvec in flight */
69 : : #define bvec_iter_offset(bvec, iter) \
70 : : (mp_bvec_iter_offset((bvec), (iter)) % PAGE_SIZE)
71 : :
72 : : #define bvec_iter_len(bvec, iter) \
73 : : min_t(unsigned, mp_bvec_iter_len((bvec), (iter)), \
74 : : PAGE_SIZE - bvec_iter_offset((bvec), (iter)))
75 : :
76 : : #define bvec_iter_page(bvec, iter) \
77 : : (mp_bvec_iter_page((bvec), (iter)) + \
78 : : mp_bvec_iter_page_idx((bvec), (iter)))
79 : :
80 : : #define bvec_iter_bvec(bvec, iter) \
81 : : ((struct bio_vec) { \
82 : : .bv_page = bvec_iter_page((bvec), (iter)), \
83 : : .bv_len = bvec_iter_len((bvec), (iter)), \
84 : : .bv_offset = bvec_iter_offset((bvec), (iter)), \
85 : : })
86 : :
87 : 210898 : static inline bool bvec_iter_advance(const struct bio_vec *bv,
88 : : struct bvec_iter *iter, unsigned bytes)
89 : : {
90 : 210898 : unsigned int idx = iter->bi_idx;
91 : :
92 [ - + - - : 210898 : if (WARN_ONCE(bytes > iter->bi_size,
- + ]
93 : : "Attempted to advance past end of bvec iter\n")) {
94 : 0 : iter->bi_size = 0;
95 : 0 : return false;
96 : : }
97 : :
98 : 210898 : iter->bi_size -= bytes;
99 : 210898 : bytes += iter->bi_bvec_done;
100 : :
101 [ + + + - ]: 470779 : while (bytes && bytes >= bv[idx].bv_len) {
102 : 259881 : bytes -= bv[idx].bv_len;
103 : 259881 : idx++;
104 : : }
105 : :
106 : 210898 : iter->bi_idx = idx;
107 : 210898 : iter->bi_bvec_done = bytes;
108 : 210898 : return true;
109 : : }
110 : :
111 : : #define for_each_bvec(bvl, bio_vec, iter, start) \
112 : : for (iter = (start); \
113 : : (iter).bi_size && \
114 : : ((bvl = bvec_iter_bvec((bio_vec), (iter))), 1); \
115 : : bvec_iter_advance((bio_vec), &(iter), (bvl).bv_len))
116 : :
117 : : /* for iterating one bio from start to end */
118 : : #define BVEC_ITER_ALL_INIT (struct bvec_iter) \
119 : : { \
120 : : .bi_sector = 0, \
121 : : .bi_size = UINT_MAX, \
122 : : .bi_idx = 0, \
123 : : .bi_bvec_done = 0, \
124 : : }
125 : :
126 : 28644 : static inline struct bio_vec *bvec_init_iter_all(struct bvec_iter_all *iter_all)
127 : : {
128 : 28644 : iter_all->done = 0;
129 : 28644 : iter_all->idx = 0;
130 : :
131 : 28644 : return &iter_all->bv;
132 : : }
133 : :
134 : 415973 : static inline void bvec_advance(const struct bio_vec *bvec,
135 : : struct bvec_iter_all *iter_all)
136 : : {
137 : 415973 : struct bio_vec *bv = &iter_all->bv;
138 : :
139 [ + + ]: 415973 : if (iter_all->done) {
140 : 338089 : bv->bv_page++;
141 : 338089 : bv->bv_offset = 0;
142 : : } else {
143 : 77884 : bv->bv_page = bvec->bv_page + (bvec->bv_offset >> PAGE_SHIFT);
144 : 77884 : bv->bv_offset = bvec->bv_offset & ~PAGE_MASK;
145 : : }
146 : 415973 : bv->bv_len = min_t(unsigned int, PAGE_SIZE - bv->bv_offset,
147 : : bvec->bv_len - iter_all->done);
148 : 415973 : iter_all->done += bv->bv_len;
149 : :
150 [ + + ]: 415973 : if (iter_all->done == bvec->bv_len) {
151 : 77884 : iter_all->idx++;
152 : 77884 : iter_all->done = 0;
153 : : }
154 : 415973 : }
155 : :
156 : : #endif /* __LINUX_BVEC_ITER_H */
|
