Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0
2 : : /*
3 : : * fs/ext4/extents_status.h
4 : : *
5 : : * Written by Yongqiang Yang <xiaoqiangnk@gmail.com>
6 : : * Modified by
7 : : * Allison Henderson <achender@linux.vnet.ibm.com>
8 : : * Zheng Liu <wenqing.lz@taobao.com>
9 : : *
10 : : */
11 : :
12 : : #ifndef _EXT4_EXTENTS_STATUS_H
13 : : #define _EXT4_EXTENTS_STATUS_H
14 : :
15 : : /*
16 : : * Turn on ES_DEBUG__ to get lots of info about extent status operations.
17 : : */
18 : : #ifdef ES_DEBUG__
19 : : #define es_debug(fmt, ...) printk(fmt, ##__VA_ARGS__)
20 : : #else
21 : : #define es_debug(fmt, ...) no_printk(fmt, ##__VA_ARGS__)
22 : : #endif
23 : :
24 : : /*
25 : : * With ES_AGGRESSIVE_TEST defined, the result of es caching will be
26 : : * checked with old map_block's result.
27 : : */
28 : : #define ES_AGGRESSIVE_TEST__
29 : :
30 : : /*
31 : : * These flags live in the high bits of extent_status.es_pblk
32 : : */
33 : : enum {
34 : : ES_WRITTEN_B,
35 : : ES_UNWRITTEN_B,
36 : : ES_DELAYED_B,
37 : : ES_HOLE_B,
38 : : ES_REFERENCED_B,
39 : : ES_FLAGS
40 : : };
41 : :
42 : : #define ES_SHIFT (sizeof(ext4_fsblk_t)*8 - ES_FLAGS)
43 : : #define ES_MASK (~((ext4_fsblk_t)0) << ES_SHIFT)
44 : :
45 : : #define EXTENT_STATUS_WRITTEN (1 << ES_WRITTEN_B)
46 : : #define EXTENT_STATUS_UNWRITTEN (1 << ES_UNWRITTEN_B)
47 : : #define EXTENT_STATUS_DELAYED (1 << ES_DELAYED_B)
48 : : #define EXTENT_STATUS_HOLE (1 << ES_HOLE_B)
49 : : #define EXTENT_STATUS_REFERENCED (1 << ES_REFERENCED_B)
50 : :
51 : : #define ES_TYPE_MASK ((ext4_fsblk_t)(EXTENT_STATUS_WRITTEN | \
52 : : EXTENT_STATUS_UNWRITTEN | \
53 : : EXTENT_STATUS_DELAYED | \
54 : : EXTENT_STATUS_HOLE) << ES_SHIFT)
55 : :
56 : : struct ext4_sb_info;
57 : : struct ext4_extent;
58 : :
59 : : struct extent_status {
60 : : struct rb_node rb_node;
61 : : ext4_lblk_t es_lblk; /* first logical block extent covers */
62 : : ext4_lblk_t es_len; /* length of extent in block */
63 : : ext4_fsblk_t es_pblk; /* first physical block */
64 : : };
65 : :
66 : : struct ext4_es_tree {
67 : : struct rb_root root;
68 : : struct extent_status *cache_es; /* recently accessed extent */
69 : : };
70 : :
71 : : struct ext4_es_stats {
72 : : unsigned long es_stats_shrunk;
73 : : struct percpu_counter es_stats_cache_hits;
74 : : struct percpu_counter es_stats_cache_misses;
75 : : u64 es_stats_scan_time;
76 : : u64 es_stats_max_scan_time;
77 : : struct percpu_counter es_stats_all_cnt;
78 : : struct percpu_counter es_stats_shk_cnt;
79 : : };
80 : :
81 : : /*
82 : : * Pending cluster reservations for bigalloc file systems
83 : : *
84 : : * A cluster with a pending reservation is a logical cluster shared by at
85 : : * least one extent in the extents status tree with delayed and unwritten
86 : : * status and at least one other written or unwritten extent. The
87 : : * reservation is said to be pending because a cluster reservation would
88 : : * have to be taken in the event all blocks in the cluster shared with
89 : : * written or unwritten extents were deleted while the delayed and
90 : : * unwritten blocks remained.
91 : : *
92 : : * The set of pending cluster reservations is an auxiliary data structure
93 : : * used with the extents status tree to implement reserved cluster/block
94 : : * accounting for bigalloc file systems. The set is kept in memory and
95 : : * records all pending cluster reservations.
96 : : *
97 : : * Its primary function is to avoid the need to read extents from the
98 : : * disk when invalidating pages as a result of a truncate, punch hole, or
99 : : * collapse range operation. Page invalidation requires a decrease in the
100 : : * reserved cluster count if it results in the removal of all delayed
101 : : * and unwritten extents (blocks) from a cluster that is not shared with a
102 : : * written or unwritten extent, and no decrease otherwise. Determining
103 : : * whether the cluster is shared can be done by searching for a pending
104 : : * reservation on it.
105 : : *
106 : : * Secondarily, it provides a potentially faster method for determining
107 : : * whether the reserved cluster count should be increased when a physical
108 : : * cluster is deallocated as a result of a truncate, punch hole, or
109 : : * collapse range operation. The necessary information is also present
110 : : * in the extents status tree, but might be more rapidly accessed in
111 : : * the pending reservation set in many cases due to smaller size.
112 : : *
113 : : * The pending cluster reservation set is implemented as a red-black tree
114 : : * with the goal of minimizing per page search time overhead.
115 : : */
116 : :
117 : : struct pending_reservation {
118 : : struct rb_node rb_node;
119 : : ext4_lblk_t lclu;
120 : : };
121 : :
122 : : struct ext4_pending_tree {
123 : : struct rb_root root;
124 : : };
125 : :
126 : : extern int __init ext4_init_es(void);
127 : : extern void ext4_exit_es(void);
128 : : extern void ext4_es_init_tree(struct ext4_es_tree *tree);
129 : :
130 : : extern int ext4_es_insert_extent(struct inode *inode, ext4_lblk_t lblk,
131 : : ext4_lblk_t len, ext4_fsblk_t pblk,
132 : : unsigned int status);
133 : : extern void ext4_es_cache_extent(struct inode *inode, ext4_lblk_t lblk,
134 : : ext4_lblk_t len, ext4_fsblk_t pblk,
135 : : unsigned int status);
136 : : extern int ext4_es_remove_extent(struct inode *inode, ext4_lblk_t lblk,
137 : : ext4_lblk_t len);
138 : : extern void ext4_es_find_extent_range(struct inode *inode,
139 : : int (*match_fn)(struct extent_status *es),
140 : : ext4_lblk_t lblk, ext4_lblk_t end,
141 : : struct extent_status *es);
142 : : extern int ext4_es_lookup_extent(struct inode *inode, ext4_lblk_t lblk,
143 : : ext4_lblk_t *next_lblk,
144 : : struct extent_status *es);
145 : : extern bool ext4_es_scan_range(struct inode *inode,
146 : : int (*matching_fn)(struct extent_status *es),
147 : : ext4_lblk_t lblk, ext4_lblk_t end);
148 : : extern bool ext4_es_scan_clu(struct inode *inode,
149 : : int (*matching_fn)(struct extent_status *es),
150 : : ext4_lblk_t lblk);
151 : :
152 : 124867 : static inline unsigned int ext4_es_status(struct extent_status *es)
153 : : {
154 : 124867 : return es->es_pblk >> ES_SHIFT;
155 : : }
156 : :
157 : 492770 : static inline unsigned int ext4_es_type(struct extent_status *es)
158 : : {
159 [ + + ]: 296912 : return (es->es_pblk & ES_TYPE_MASK) >> ES_SHIFT;
160 : : }
161 : :
162 : 279554 : static inline int ext4_es_is_written(struct extent_status *es)
163 : : {
164 [ - - + + : 165007 : return (ext4_es_type(es) & EXTENT_STATUS_WRITTEN) != 0;
+ + - + +
+ ]
165 : : }
166 : :
167 : 48972 : static inline int ext4_es_is_unwritten(struct extent_status *es)
168 : : {
169 [ - - - + : 48972 : return (ext4_es_type(es) & EXTENT_STATUS_UNWRITTEN) != 0;
+ + - - -
+ + - ]
170 : : }
171 : :
172 : 92166 : static inline int ext4_es_is_delayed(struct extent_status *es)
173 : : {
174 [ - - + + : 84660 : return (ext4_es_type(es) & EXTENT_STATUS_DELAYED) != 0;
- - + + +
+ + + ]
175 : : }
176 : :
177 : 19380 : static inline int ext4_es_is_hole(struct extent_status *es)
178 : : {
179 [ + - + - ]: 19380 : return (ext4_es_type(es) & EXTENT_STATUS_HOLE) != 0;
180 : : }
181 : :
182 : 0 : static inline int ext4_es_is_mapped(struct extent_status *es)
183 : : {
184 [ # # # # ]: 0 : return (ext4_es_is_written(es) || ext4_es_is_unwritten(es));
185 : : }
186 : :
187 : 7506 : static inline int ext4_es_is_delonly(struct extent_status *es)
188 : : {
189 [ - + - - : 7506 : return (ext4_es_is_delayed(es) && !ext4_es_is_unwritten(es));
- - - - -
- - - - -
- - ]
190 : : }
191 : :
192 : 13507 : static inline void ext4_es_set_referenced(struct extent_status *es)
193 : : {
194 : 13507 : es->es_pblk |= ((ext4_fsblk_t)EXTENT_STATUS_REFERENCED) << ES_SHIFT;
195 : 13507 : }
196 : :
197 : 0 : static inline void ext4_es_clear_referenced(struct extent_status *es)
198 : : {
199 : 0 : es->es_pblk &= ~(((ext4_fsblk_t)EXTENT_STATUS_REFERENCED) << ES_SHIFT);
200 : : }
201 : :
202 : 124867 : static inline int ext4_es_is_referenced(struct extent_status *es)
203 : : {
204 [ - - + + : 124867 : return (ext4_es_status(es) & EXTENT_STATUS_REFERENCED) != 0;
- - - - ]
205 : : }
206 : :
207 : 118243 : static inline ext4_fsblk_t ext4_es_pblock(struct extent_status *es)
208 : : {
209 [ + + + + ]: 118243 : return es->es_pblk & ~ES_MASK;
210 : : }
211 : :
212 : 0 : static inline ext4_fsblk_t ext4_es_show_pblock(struct extent_status *es)
213 : : {
214 : 0 : ext4_fsblk_t pblock = ext4_es_pblock(es);
215 [ # # # # : 0 : return pblock == ~ES_MASK ? 0 : pblock;
# # # # #
# # # # #
# # ]
216 : : }
217 : :
218 : 6552 : static inline void ext4_es_store_pblock(struct extent_status *es,
219 : : ext4_fsblk_t pb)
220 : : {
221 : 6552 : ext4_fsblk_t block;
222 : :
223 : 6552 : block = (pb & ~ES_MASK) | (es->es_pblk & ES_MASK);
224 : 6552 : es->es_pblk = block;
225 : 6552 : }
226 : :
227 : : static inline void ext4_es_store_status(struct extent_status *es,
228 : : unsigned int status)
229 : : {
230 : : es->es_pblk = (((ext4_fsblk_t)status << ES_SHIFT) & ES_MASK) |
231 : : (es->es_pblk & ~ES_MASK);
232 : : }
233 : :
234 : 76596 : static inline void ext4_es_store_pblock_status(struct extent_status *es,
235 : : ext4_fsblk_t pb,
236 : : unsigned int status)
237 : : {
238 : 21906 : es->es_pblk = (((ext4_fsblk_t)status << ES_SHIFT) & ES_MASK) |
239 : 54690 : (pb & ~ES_MASK);
240 : : }
241 : :
242 : : extern int ext4_es_register_shrinker(struct ext4_sb_info *sbi);
243 : : extern void ext4_es_unregister_shrinker(struct ext4_sb_info *sbi);
244 : :
245 : : extern int ext4_seq_es_shrinker_info_show(struct seq_file *seq, void *v);
246 : :
247 : : extern int __init ext4_init_pending(void);
248 : : extern void ext4_exit_pending(void);
249 : : extern void ext4_init_pending_tree(struct ext4_pending_tree *tree);
250 : : extern void ext4_remove_pending(struct inode *inode, ext4_lblk_t lblk);
251 : : extern bool ext4_is_pending(struct inode *inode, ext4_lblk_t lblk);
252 : : extern int ext4_es_insert_delayed_block(struct inode *inode, ext4_lblk_t lblk,
253 : : bool allocated);
254 : : extern unsigned int ext4_es_delayed_clu(struct inode *inode, ext4_lblk_t lblk,
255 : : ext4_lblk_t len);
256 : : extern void ext4_clear_inode_es(struct inode *inode);
257 : :
258 : : #endif /* _EXT4_EXTENTS_STATUS_H */
|
