Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0
2 : : /*
3 : : * linux/fs/ext4/block_validity.c
4 : : *
5 : : * Copyright (C) 2009
6 : : * Theodore Ts'o (tytso@mit.edu)
7 : : *
8 : : * Track which blocks in the filesystem are metadata blocks that
9 : : * should never be used as data blocks by files or directories.
10 : : */
11 : :
12 : : #include <linux/time.h>
13 : : #include <linux/fs.h>
14 : : #include <linux/namei.h>
15 : : #include <linux/quotaops.h>
16 : : #include <linux/buffer_head.h>
17 : : #include <linux/swap.h>
18 : : #include <linux/pagemap.h>
19 : : #include <linux/blkdev.h>
20 : : #include <linux/slab.h>
21 : : #include "ext4.h"
22 : :
23 : : struct ext4_system_zone {
24 : : struct rb_node node;
25 : : ext4_fsblk_t start_blk;
26 : : unsigned int count;
27 : : };
28 : :
29 : : static struct kmem_cache *ext4_system_zone_cachep;
30 : :
31 : 28 : int __init ext4_init_system_zone(void)
32 : : {
33 : 28 : ext4_system_zone_cachep = KMEM_CACHE(ext4_system_zone, 0);
34 [ - + ]: 28 : if (ext4_system_zone_cachep == NULL)
35 : 0 : return -ENOMEM;
36 : : return 0;
37 : : }
38 : :
39 : 0 : void ext4_exit_system_zone(void)
40 : : {
41 : 0 : rcu_barrier();
42 : 0 : kmem_cache_destroy(ext4_system_zone_cachep);
43 : 0 : }
44 : :
45 : 15036 : static inline int can_merge(struct ext4_system_zone *entry1,
46 : : struct ext4_system_zone *entry2)
47 : : {
48 : 15036 : if ((entry1->start_blk + entry1->count) == entry2->start_blk)
49 : 7896 : return 1;
50 : : return 0;
51 : : }
52 : :
53 : 0 : static void release_system_zone(struct ext4_system_blocks *system_blks)
54 : : {
55 : 0 : struct ext4_system_zone *entry, *n;
56 : :
57 [ # # # # : 0 : rbtree_postorder_for_each_entry_safe(entry, n,
# # ]
58 : : &system_blks->root, node)
59 : 0 : kmem_cache_free(ext4_system_zone_cachep, entry);
60 : 0 : }
61 : :
62 : : /*
63 : : * Mark a range of blocks as belonging to the "system zone" --- that
64 : : * is, filesystem metadata blocks which should never be used by
65 : : * inodes.
66 : : */
67 : 8540 : static int add_system_zone(struct ext4_system_blocks *system_blks,
68 : : ext4_fsblk_t start_blk,
69 : : unsigned int count)
70 : : {
71 : 8540 : struct ext4_system_zone *new_entry = NULL, *entry;
72 : 8540 : struct rb_node **n = &system_blks->root.rb_node, *node;
73 : 8540 : struct rb_node *parent = NULL, *new_node = NULL;
74 : :
75 [ + + ]: 42896 : while (*n) {
76 : 34356 : parent = *n;
77 : 34356 : entry = rb_entry(parent, struct ext4_system_zone, node);
78 [ + + ]: 34356 : if (start_blk < entry->start_blk)
79 : 9184 : n = &(*n)->rb_left;
80 [ + - ]: 25172 : else if (start_blk >= (entry->start_blk + entry->count))
81 : 25172 : n = &(*n)->rb_right;
82 : : else {
83 [ # # ]: 0 : if (start_blk + count > (entry->start_blk +
84 : : entry->count))
85 : 0 : entry->count = (start_blk + count -
86 : : entry->start_blk);
87 : 0 : new_node = *n;
88 : 0 : new_entry = rb_entry(new_node, struct ext4_system_zone,
89 : : node);
90 : 0 : break;
91 : : }
92 : : }
93 : :
94 [ + - ]: 8540 : if (!new_entry) {
95 : 8540 : new_entry = kmem_cache_alloc(ext4_system_zone_cachep,
96 : : GFP_KERNEL);
97 [ + - ]: 8540 : if (!new_entry)
98 : : return -ENOMEM;
99 : 8540 : new_entry->start_blk = start_blk;
100 : 8540 : new_entry->count = count;
101 : 8540 : new_node = &new_entry->node;
102 : :
103 : 8540 : rb_link_node(new_node, parent, n);
104 : 8540 : rb_insert_color(new_node, &system_blks->root);
105 : : }
106 : :
107 : : /* Can we merge to the left? */
108 : 8540 : node = rb_prev(new_node);
109 [ + + ]: 8540 : if (node) {
110 : 8484 : entry = rb_entry(node, struct ext4_system_zone, node);
111 [ + + ]: 8484 : if (can_merge(entry, new_entry)) {
112 : 7560 : new_entry->start_blk = entry->start_blk;
113 : 7560 : new_entry->count += entry->count;
114 : 7560 : rb_erase(node, &system_blks->root);
115 : 7560 : kmem_cache_free(ext4_system_zone_cachep, entry);
116 : : }
117 : : }
118 : :
119 : : /* Can we merge to the right? */
120 : 8540 : node = rb_next(new_node);
121 [ + + ]: 8540 : if (node) {
122 : 6552 : entry = rb_entry(node, struct ext4_system_zone, node);
123 [ + + ]: 6552 : if (can_merge(new_entry, entry)) {
124 : 336 : new_entry->count += entry->count;
125 : 336 : rb_erase(node, &system_blks->root);
126 : 336 : kmem_cache_free(ext4_system_zone_cachep, entry);
127 : : }
128 : : }
129 : : return 0;
130 : : }
131 : :
132 : 0 : static void debug_print_tree(struct ext4_sb_info *sbi)
133 : : {
134 : 0 : struct rb_node *node;
135 : 0 : struct ext4_system_zone *entry;
136 : 0 : struct ext4_system_blocks *system_blks;
137 : 0 : int first = 1;
138 : :
139 : 0 : printk(KERN_INFO "System zones: ");
140 : 0 : rcu_read_lock();
141 : 0 : system_blks = rcu_dereference(sbi->system_blks);
142 : 0 : node = rb_first(&system_blks->root);
143 [ # # ]: 0 : while (node) {
144 : 0 : entry = rb_entry(node, struct ext4_system_zone, node);
145 : 0 : printk(KERN_CONT "%s%llu-%llu", first ? "" : ", ",
146 [ # # ]: 0 : entry->start_blk, entry->start_blk + entry->count - 1);
147 : 0 : first = 0;
148 : 0 : node = rb_next(node);
149 : : }
150 : 0 : rcu_read_unlock();
151 : 0 : printk(KERN_CONT "\n");
152 : 0 : }
153 : :
154 : : /*
155 : : * Returns 1 if the passed-in block region (start_blk,
156 : : * start_blk+count) is valid; 0 if some part of the block region
157 : : * overlaps with filesystem metadata blocks.
158 : : */
159 : : static int ext4_data_block_valid_rcu(struct ext4_sb_info *sbi,
160 : : struct ext4_system_blocks *system_blks,
161 : : ext4_fsblk_t start_blk,
162 : : unsigned int count)
163 : : {
164 : : struct ext4_system_zone *entry;
165 : : struct rb_node *n;
166 : :
167 : : if ((start_blk <= le32_to_cpu(sbi->s_es->s_first_data_block)) ||
168 : : (start_blk + count < start_blk) ||
169 : : (start_blk + count > ext4_blocks_count(sbi->s_es))) {
170 : : sbi->s_es->s_last_error_block = cpu_to_le64(start_blk);
171 : : return 0;
172 : : }
173 : :
174 : : if (system_blks == NULL)
175 : : return 1;
176 : :
177 : : n = system_blks->root.rb_node;
178 : : while (n) {
179 : : entry = rb_entry(n, struct ext4_system_zone, node);
180 : : if (start_blk + count - 1 < entry->start_blk)
181 : : n = n->rb_left;
182 : : else if (start_blk >= (entry->start_blk + entry->count))
183 : : n = n->rb_right;
184 : : else {
185 : : sbi->s_es->s_last_error_block = cpu_to_le64(start_blk);
186 : : return 0;
187 : : }
188 : : }
189 : : return 1;
190 : : }
191 : :
192 : 56 : static int ext4_protect_reserved_inode(struct super_block *sb,
193 : : struct ext4_system_blocks *system_blks,
194 : : u32 ino)
195 : : {
196 : 56 : struct inode *inode;
197 [ + - ]: 56 : struct ext4_sb_info *sbi = EXT4_SB(sb);
198 : 56 : struct ext4_map_blocks map;
199 : 56 : u32 i = 0, num;
200 : 56 : int err = 0, n;
201 : :
202 [ + - ]: 56 : if ((ino < EXT4_ROOT_INO) ||
203 [ + - ]: 56 : (ino > le32_to_cpu(sbi->s_es->s_inodes_count)))
204 : : return -EINVAL;
205 : 56 : inode = ext4_iget(sb, ino, EXT4_IGET_SPECIAL);
206 [ - + ]: 56 : if (IS_ERR(inode))
207 : 0 : return PTR_ERR(inode);
208 : 56 : num = (inode->i_size + sb->s_blocksize - 1) >> sb->s_blocksize_bits;
209 [ + + ]: 112 : while (i < num) {
210 : 56 : cond_resched();
211 : 56 : map.m_lblk = i;
212 : 56 : map.m_len = num - i;
213 : 56 : n = ext4_map_blocks(NULL, inode, &map, 0);
214 [ + - ]: 56 : if (n < 0) {
215 : : err = n;
216 : : break;
217 : : }
218 [ - + ]: 56 : if (n == 0) {
219 : 0 : i++;
220 : : } else {
221 [ - + ]: 56 : if (!ext4_data_block_valid_rcu(sbi, system_blks,
222 : : map.m_pblk, n)) {
223 : 0 : ext4_error(sb, "blocks %llu-%llu from inode %u "
224 : : "overlap system zone", map.m_pblk,
225 : : map.m_pblk + map.m_len - 1, ino);
226 : 0 : err = -EFSCORRUPTED;
227 : 0 : break;
228 : : }
229 : 56 : err = add_system_zone(system_blks, map.m_pblk, n);
230 [ + - ]: 56 : if (err < 0)
231 : : break;
232 : 56 : i += n;
233 : : }
234 : : }
235 : 56 : iput(inode);
236 : 56 : return err;
237 : : }
238 : :
239 : 0 : static void ext4_destroy_system_zone(struct rcu_head *rcu)
240 : : {
241 : 0 : struct ext4_system_blocks *system_blks;
242 : :
243 : 0 : system_blks = container_of(rcu, struct ext4_system_blocks, rcu);
244 : 0 : release_system_zone(system_blks);
245 : 0 : kfree(system_blks);
246 : 0 : }
247 : :
248 : : /*
249 : : * Build system zone rbtree which is used for block validity checking.
250 : : *
251 : : * The update of system_blks pointer in this function is protected by
252 : : * sb->s_umount semaphore. However we have to be careful as we can be
253 : : * racing with ext4_data_block_valid() calls reading system_blks rbtree
254 : : * protected only by RCU. That's why we first build the rbtree and then
255 : : * swap it in place.
256 : : */
257 : 84 : int ext4_setup_system_zone(struct super_block *sb)
258 : : {
259 : 84 : ext4_group_t ngroups = ext4_get_groups_count(sb);
260 [ - + ]: 84 : struct ext4_sb_info *sbi = EXT4_SB(sb);
261 : 84 : struct ext4_system_blocks *system_blks;
262 : 84 : struct ext4_group_desc *gdp;
263 : 84 : ext4_group_t i;
264 [ - + ]: 84 : int flex_size = ext4_flex_bg_size(sbi);
265 : 84 : int ret;
266 : :
267 [ - + ]: 84 : if (!test_opt(sb, BLOCK_VALIDITY)) {
268 [ # # ]: 0 : if (sbi->system_blks)
269 : 0 : ext4_release_system_zone(sb);
270 : 0 : return 0;
271 : : }
272 [ + + ]: 84 : if (sbi->system_blks)
273 : : return 0;
274 : :
275 : 56 : system_blks = kzalloc(sizeof(*system_blks), GFP_KERNEL);
276 [ + - ]: 56 : if (!system_blks)
277 : : return -ENOMEM;
278 : :
279 [ + + ]: 2744 : for (i=0; i < ngroups; i++) {
280 : 2688 : cond_resched();
281 [ + + + + ]: 2688 : if (ext4_bg_has_super(sb, i) &&
282 [ + - ]: 252 : ((i < 5) || ((i % flex_size) == 0)))
283 : 420 : add_system_zone(system_blks,
284 : : ext4_group_first_block_no(sb, i),
285 : 420 : ext4_bg_num_gdb(sb, i) + 1);
286 : 2688 : gdp = ext4_get_group_desc(sb, i, NULL);
287 : 2688 : ret = add_system_zone(system_blks,
288 : : ext4_block_bitmap(sb, gdp), 1);
289 [ - + ]: 2688 : if (ret)
290 : 0 : goto err;
291 : 2688 : ret = add_system_zone(system_blks,
292 : : ext4_inode_bitmap(sb, gdp), 1);
293 [ - + ]: 2688 : if (ret)
294 : 0 : goto err;
295 : 2688 : ret = add_system_zone(system_blks,
296 : : ext4_inode_table(sb, gdp),
297 : 2688 : sbi->s_itb_per_group);
298 [ - + ]: 2688 : if (ret)
299 : 0 : goto err;
300 : : }
301 [ + - + - ]: 56 : if (ext4_has_feature_journal(sb) && sbi->s_es->s_journal_inum) {
302 : 56 : ret = ext4_protect_reserved_inode(sb, system_blks,
303 : : le32_to_cpu(sbi->s_es->s_journal_inum));
304 [ - + ]: 56 : if (ret)
305 : 0 : goto err;
306 : : }
307 : :
308 : : /*
309 : : * System blks rbtree complete, announce it once to prevent racing
310 : : * with ext4_data_block_valid() accessing the rbtree at the same
311 : : * time.
312 : : */
313 [ - + ]: 56 : rcu_assign_pointer(sbi->system_blks, system_blks);
314 : :
315 [ - + ]: 56 : if (test_opt(sb, DEBUG))
316 : 0 : debug_print_tree(sbi);
317 : : return 0;
318 : 0 : err:
319 : 0 : release_system_zone(system_blks);
320 : 0 : kfree(system_blks);
321 : 0 : return ret;
322 : : }
323 : :
324 : : /*
325 : : * Called when the filesystem is unmounted or when remounting it with
326 : : * noblock_validity specified.
327 : : *
328 : : * The update of system_blks pointer in this function is protected by
329 : : * sb->s_umount semaphore. However we have to be careful as we can be
330 : : * racing with ext4_data_block_valid() calls reading system_blks rbtree
331 : : * protected only by RCU. So we first clear the system_blks pointer and
332 : : * then free the rbtree only after RCU grace period expires.
333 : : */
334 : 0 : void ext4_release_system_zone(struct super_block *sb)
335 : : {
336 : 0 : struct ext4_system_blocks *system_blks;
337 : :
338 [ # # ]: 0 : system_blks = rcu_dereference_protected(EXT4_SB(sb)->system_blks,
339 : : lockdep_is_held(&sb->s_umount));
340 [ # # ]: 0 : rcu_assign_pointer(EXT4_SB(sb)->system_blks, NULL);
341 : :
342 [ # # ]: 0 : if (system_blks)
343 : 0 : call_rcu(&system_blks->rcu, ext4_destroy_system_zone);
344 : 0 : }
345 : :
346 : 142319 : int ext4_data_block_valid(struct ext4_sb_info *sbi, ext4_fsblk_t start_blk,
347 : : unsigned int count)
348 : : {
349 : 142319 : struct ext4_system_blocks *system_blks;
350 : 142319 : int ret;
351 : :
352 : : /*
353 : : * Lock the system zone to prevent it being released concurrently
354 : : * when doing a remount which inverse current "[no]block_validity"
355 : : * mount option.
356 : : */
357 : 142319 : rcu_read_lock();
358 : 142319 : system_blks = rcu_dereference(sbi->system_blks);
359 : 142319 : ret = ext4_data_block_valid_rcu(sbi, system_blks, start_blk,
360 : : count);
361 : 142319 : rcu_read_unlock();
362 : 142319 : return ret;
363 : : }
364 : :
365 : 0 : int ext4_check_blockref(const char *function, unsigned int line,
366 : : struct inode *inode, __le32 *p, unsigned int max)
367 : : {
368 [ # # ]: 0 : struct ext4_super_block *es = EXT4_SB(inode->i_sb)->s_es;
369 : 0 : __le32 *bref = p;
370 : 0 : unsigned int blk;
371 : :
372 [ # # ]: 0 : if (ext4_has_feature_journal(inode->i_sb) &&
373 [ # # ]: 0 : (inode->i_ino ==
374 [ # # ]: 0 : le32_to_cpu(EXT4_SB(inode->i_sb)->s_es->s_journal_inum)))
375 : : return 0;
376 : :
377 [ # # ]: 0 : while (bref < p+max) {
378 : 0 : blk = le32_to_cpu(*bref++);
379 [ # # ]: 0 : if (blk &&
380 [ # # ]: 0 : unlikely(!ext4_data_block_valid(EXT4_SB(inode->i_sb),
381 : : blk, 1))) {
382 : 0 : es->s_last_error_block = cpu_to_le64(blk);
383 : 0 : ext4_error_inode(inode, function, line, blk,
384 : : "invalid block");
385 : 0 : return -EFSCORRUPTED;
386 : : }
387 : : }
388 : : return 0;
389 : : }
390 : :
|
