Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0
2 : : /*
3 : : * linux/fs/ext4/dir.c
4 : : *
5 : : * Copyright (C) 1992, 1993, 1994, 1995
6 : : * Remy Card (card@masi.ibp.fr)
7 : : * Laboratoire MASI - Institut Blaise Pascal
8 : : * Universite Pierre et Marie Curie (Paris VI)
9 : : *
10 : : * from
11 : : *
12 : : * linux/fs/minix/dir.c
13 : : *
14 : : * Copyright (C) 1991, 1992 Linus Torvalds
15 : : *
16 : : * ext4 directory handling functions
17 : : *
18 : : * Big-endian to little-endian byte-swapping/bitmaps by
19 : : * David S. Miller (davem@caip.rutgers.edu), 1995
20 : : *
21 : : * Hash Tree Directory indexing (c) 2001 Daniel Phillips
22 : : *
23 : : */
24 : :
25 : : #include <linux/fs.h>
26 : : #include <linux/buffer_head.h>
27 : : #include <linux/slab.h>
28 : : #include <linux/iversion.h>
29 : : #include <linux/unicode.h>
30 : : #include "ext4.h"
31 : : #include "xattr.h"
32 : :
33 : : static int ext4_dx_readdir(struct file *, struct dir_context *);
34 : :
35 : : /**
36 : : * is_dx_dir() - check if a directory is using htree indexing
37 : : * @inode: directory inode
38 : : *
39 : : * Check if the given dir-inode refers to an htree-indexed directory
40 : : * (or a directory which could potentially get converted to use htree
41 : : * indexing).
42 : : *
43 : : * Return 1 if it is a dx dir, 0 if not
44 : : */
45 : 1583554 : static int is_dx_dir(struct inode *inode)
46 : : {
47 : 1583554 : struct super_block *sb = inode->i_sb;
48 : :
49 [ + + + + ]: 3167110 : if (ext4_has_feature_dir_index(inode->i_sb) &&
50 [ - + ]: 1409416 : ((ext4_test_inode_flag(inode, EXT4_INODE_INDEX)) ||
51 [ # # ]: 1409416 : ((inode->i_size >> sb->s_blocksize_bits) == 1) ||
52 : : ext4_has_inline_data(inode)))
53 : : return 1;
54 : :
55 : : return 0;
56 : : }
57 : :
58 : : /*
59 : : * Return 0 if the directory entry is OK, and 1 if there is a problem
60 : : *
61 : : * Note: this is the opposite of what ext2 and ext3 historically returned...
62 : : *
63 : : * bh passed here can be an inode block or a dir data block, depending
64 : : * on the inode inline data flag.
65 : : */
66 : 40370504 : int __ext4_check_dir_entry(const char *function, unsigned int line,
67 : : struct inode *dir, struct file *filp,
68 : : struct ext4_dir_entry_2 *de,
69 : : struct buffer_head *bh, char *buf, int size,
70 : : unsigned int offset)
71 : : {
72 : : const char *error_msg = NULL;
73 : 80741008 : const int rlen = ext4_rec_len_from_disk(de->rec_len,
74 : : dir->i_sb->s_blocksize);
75 : :
76 [ + + ]: 40370504 : if (unlikely(rlen < EXT4_DIR_REC_LEN(1)))
77 : : error_msg = "rec_len is smaller than minimal";
78 [ + + ]: 40370584 : else if (unlikely(rlen % 4 != 0))
79 : : error_msg = "rec_len % 4 != 0";
80 [ + + ]: 40370554 : else if (unlikely(rlen < EXT4_DIR_REC_LEN(de->name_len)))
81 : : error_msg = "rec_len is too small for name_len";
82 [ + + ]: 40370528 : else if (unlikely(((char *) de - buf) + rlen > size))
83 : : error_msg = "directory entry overrun";
84 [ + + + + ]: 40370336 : else if (unlikely(((char *) de - buf) + rlen >
85 : : size - EXT4_DIR_REC_LEN(1) &&
86 : : ((char *) de - buf) + rlen != size)) {
87 : : error_msg = "directory entry too close to block end";
88 : : }
89 [ - + ]: 80741008 : else if (unlikely(le32_to_cpu(de->inode) >
90 : : le32_to_cpu(EXT4_SB(dir->i_sb)->s_es->s_inodes_count)))
91 : : error_msg = "inode out of bounds";
92 : : else
93 : : return 0;
94 : :
95 [ # # ]: 0 : if (filp)
96 : 0 : ext4_error_file(filp, function, line, bh->b_blocknr,
97 : : "bad entry in directory: %s - offset=%u, "
98 : : "inode=%u, rec_len=%d, name_len=%d, size=%d",
99 : : error_msg, offset, le32_to_cpu(de->inode),
100 : : rlen, de->name_len, size);
101 : : else
102 : 0 : ext4_error_inode(dir, function, line, bh->b_blocknr,
103 : : "bad entry in directory: %s - offset=%u, "
104 : : "inode=%u, rec_len=%d, name_len=%d, size=%d",
105 : : error_msg, offset, le32_to_cpu(de->inode),
106 : : rlen, de->name_len, size);
107 : :
108 : : return 1;
109 : : }
110 : :
111 : 1583558 : static int ext4_readdir(struct file *file, struct dir_context *ctx)
112 : : {
113 : : unsigned int offset;
114 : : int i;
115 : : struct ext4_dir_entry_2 *de;
116 : : int err;
117 : : struct inode *inode = file_inode(file);
118 : 1583558 : struct super_block *sb = inode->i_sb;
119 : : struct buffer_head *bh = NULL;
120 : 1583558 : struct fscrypt_str fstr = FSTR_INIT(NULL, 0);
121 : :
122 [ - + ]: 1583558 : if (IS_ENCRYPTED(inode)) {
123 : 0 : err = fscrypt_get_encryption_info(inode);
124 [ # # ]: 0 : if (err && err != -ENOKEY)
125 : : return err;
126 : : }
127 : :
128 [ + + ]: 1583558 : if (is_dx_dir(inode)) {
129 : 1583560 : err = ext4_dx_readdir(file, ctx);
130 [ - + ]: 1583546 : if (err != ERR_BAD_DX_DIR) {
131 : : return err;
132 : : }
133 : : /* Can we just clear INDEX flag to ignore htree information? */
134 [ # # ]: 0 : if (!ext4_has_metadata_csum(sb)) {
135 : : /*
136 : : * We don't set the inode dirty flag since it's not
137 : : * critical that it gets flushed back to the disk.
138 : : */
139 : : ext4_clear_inode_flag(inode, EXT4_INODE_INDEX);
140 : : }
141 : : }
142 : :
143 [ # # ]: 0 : if (ext4_has_inline_data(inode)) {
144 : 0 : int has_inline_data = 1;
145 : 0 : err = ext4_read_inline_dir(file, ctx,
146 : : &has_inline_data);
147 [ # # ]: 0 : if (has_inline_data)
148 : 0 : return err;
149 : : }
150 : :
151 [ # # ]: 0 : if (IS_ENCRYPTED(inode)) {
152 : 0 : err = fscrypt_fname_alloc_buffer(inode, EXT4_NAME_LEN, &fstr);
153 [ # # ]: 0 : if (err < 0)
154 : : return err;
155 : : }
156 : :
157 [ # # ]: 0 : while (ctx->pos < inode->i_size) {
158 : : struct ext4_map_blocks map;
159 : :
160 [ # # ]: 0 : if (fatal_signal_pending(current)) {
161 : : err = -ERESTARTSYS;
162 : 0 : goto errout;
163 : : }
164 : 0 : cond_resched();
165 : 0 : offset = ctx->pos & (sb->s_blocksize - 1);
166 : 0 : map.m_lblk = ctx->pos >> EXT4_BLOCK_SIZE_BITS(sb);
167 : 0 : map.m_len = 1;
168 : 0 : err = ext4_map_blocks(NULL, inode, &map, 0);
169 [ # # ]: 0 : if (err == 0) {
170 : : /* m_len should never be zero but let's avoid
171 : : * an infinite loop if it somehow is */
172 [ # # ]: 0 : if (map.m_len == 0)
173 : 0 : map.m_len = 1;
174 : 0 : ctx->pos += map.m_len * sb->s_blocksize;
175 : 0 : continue;
176 : : }
177 [ # # ]: 0 : if (err > 0) {
178 : 0 : pgoff_t index = map.m_pblk >>
179 : 0 : (PAGE_SHIFT - inode->i_blkbits);
180 [ # # ]: 0 : if (!ra_has_index(&file->f_ra, index))
181 : 0 : page_cache_sync_readahead(
182 : 0 : sb->s_bdev->bd_inode->i_mapping,
183 : : &file->f_ra, file,
184 : : index, 1);
185 : 0 : file->f_ra.prev_pos = (loff_t)index << PAGE_SHIFT;
186 : 0 : bh = ext4_bread(NULL, inode, map.m_lblk, 0);
187 [ # # ]: 0 : if (IS_ERR(bh)) {
188 : : err = PTR_ERR(bh);
189 : : bh = NULL;
190 : 0 : goto errout;
191 : : }
192 : : }
193 : :
194 [ # # ]: 0 : if (!bh) {
195 : : /* corrupt size? Maybe no more blocks to read */
196 [ # # ]: 0 : if (ctx->pos > inode->i_blocks << 9)
197 : : break;
198 : 0 : ctx->pos += sb->s_blocksize - offset;
199 : 0 : continue;
200 : : }
201 : :
202 : : /* Check the checksum */
203 [ # # # # ]: 0 : if (!buffer_verified(bh) &&
204 : 0 : !ext4_dirblock_csum_verify(inode, bh)) {
205 : 0 : EXT4_ERROR_FILE(file, 0, "directory fails checksum "
206 : : "at offset %llu",
207 : : (unsigned long long)ctx->pos);
208 : 0 : ctx->pos += sb->s_blocksize - offset;
209 : : brelse(bh);
210 : : bh = NULL;
211 : 0 : continue;
212 : : }
213 : : set_buffer_verified(bh);
214 : :
215 : : /* If the dir block has changed since the last call to
216 : : * readdir(2), then we might be pointing to an invalid
217 : : * dirent right now. Scan from the start of the block
218 : : * to make sure. */
219 [ # # ]: 0 : if (!inode_eq_iversion(inode, file->f_version)) {
220 [ # # # # ]: 0 : for (i = 0; i < sb->s_blocksize && i < offset; ) {
221 : 0 : de = (struct ext4_dir_entry_2 *)
222 : 0 : (bh->b_data + i);
223 : : /* It's too expensive to do a full
224 : : * dirent test each time round this
225 : : * loop, but we do have to test at
226 : : * least that it is non-zero. A
227 : : * failure will be detected in the
228 : : * dirent test below. */
229 [ # # ]: 0 : if (ext4_rec_len_from_disk(de->rec_len,
230 : : sb->s_blocksize) < EXT4_DIR_REC_LEN(1))
231 : : break;
232 : 0 : i += ext4_rec_len_from_disk(de->rec_len,
233 : : sb->s_blocksize);
234 : : }
235 : 0 : offset = i;
236 : 0 : ctx->pos = (ctx->pos & ~(sb->s_blocksize - 1))
237 : 0 : | offset;
238 : 0 : file->f_version = inode_query_iversion(inode);
239 : : }
240 : :
241 [ # # ]: 0 : while (ctx->pos < inode->i_size
242 [ # # ]: 0 : && offset < sb->s_blocksize) {
243 : 0 : de = (struct ext4_dir_entry_2 *) (bh->b_data + offset);
244 [ # # ]: 0 : if (ext4_check_dir_entry(inode, file, de, bh,
245 : : bh->b_data, bh->b_size,
246 : : offset)) {
247 : : /*
248 : : * On error, skip to the next block
249 : : */
250 : 0 : ctx->pos = (ctx->pos |
251 : 0 : (sb->s_blocksize - 1)) + 1;
252 : 0 : break;
253 : : }
254 : 0 : offset += ext4_rec_len_from_disk(de->rec_len,
255 : : sb->s_blocksize);
256 [ # # ]: 0 : if (le32_to_cpu(de->inode)) {
257 [ # # ]: 0 : if (!IS_ENCRYPTED(inode)) {
258 [ # # ]: 0 : if (!dir_emit(ctx, de->name,
259 : 0 : de->name_len,
260 : : le32_to_cpu(de->inode),
261 : 0 : get_dtype(sb, de->file_type)))
262 : : goto done;
263 : : } else {
264 : 0 : int save_len = fstr.len;
265 : 0 : struct fscrypt_str de_name =
266 : 0 : FSTR_INIT(de->name,
267 : : de->name_len);
268 : :
269 : : /* Directory is encrypted */
270 : 0 : err = fscrypt_fname_disk_to_usr(inode,
271 : : 0, 0, &de_name, &fstr);
272 : 0 : de_name = fstr;
273 : 0 : fstr.len = save_len;
274 [ # # ]: 0 : if (err)
275 : : goto errout;
276 [ # # ]: 0 : if (!dir_emit(ctx,
277 : 0 : de_name.name, de_name.len,
278 : 0 : le32_to_cpu(de->inode),
279 : 0 : get_dtype(sb, de->file_type)))
280 : : goto done;
281 : : }
282 : : }
283 : 0 : ctx->pos += ext4_rec_len_from_disk(de->rec_len,
284 : : sb->s_blocksize);
285 : : }
286 [ # # # # ]: 0 : if ((ctx->pos < inode->i_size) && !dir_relax_shared(inode))
287 : : goto done;
288 : : brelse(bh);
289 : : bh = NULL;
290 : : offset = 0;
291 : : }
292 : : done:
293 : : err = 0;
294 : : errout:
295 : 0 : fscrypt_fname_free_buffer(&fstr);
296 : : brelse(bh);
297 : 0 : return err;
298 : : }
299 : :
300 : : static inline int is_32bit_api(void)
301 : : {
302 : : #ifdef CONFIG_COMPAT
303 : : return in_compat_syscall();
304 : : #else
305 : : return (BITS_PER_LONG == 32);
306 : : #endif
307 : : }
308 : :
309 : : /*
310 : : * These functions convert from the major/minor hash to an f_pos
311 : : * value for dx directories
312 : : *
313 : : * Upper layer (for example NFS) should specify FMODE_32BITHASH or
314 : : * FMODE_64BITHASH explicitly. On the other hand, we allow ext4 to be mounted
315 : : * directly on both 32-bit and 64-bit nodes, under such case, neither
316 : : * FMODE_32BITHASH nor FMODE_64BITHASH is specified.
317 : : */
318 : : static inline loff_t hash2pos(struct file *filp, __u32 major, __u32 minor)
319 : : {
320 [ + + + - ]: 67519858 : if ((filp->f_mode & FMODE_32BITHASH) ||
321 : 33759988 : (!(filp->f_mode & FMODE_64BITHASH) && is_32bit_api()))
322 : 33759870 : return major >> 1;
323 : : else
324 : 0 : return ((__u64)(major >> 1) << 32) | (__u64)minor;
325 : : }
326 : :
327 : : static inline __u32 pos2maj_hash(struct file *filp, loff_t pos)
328 : : {
329 [ # # # # : 1587156 : if ((filp->f_mode & FMODE_32BITHASH) ||
+ + + - ]
330 : 793578 : (!(filp->f_mode & FMODE_64BITHASH) && is_32bit_api()))
331 : 793578 : return (pos << 1) & 0xffffffff;
332 : : else
333 : 0 : return ((pos >> 32) << 1) & 0xffffffff;
334 : : }
335 : :
336 : : static inline __u32 pos2min_hash(struct file *filp, loff_t pos)
337 : : {
338 [ # # # # : 1587164 : if ((filp->f_mode & FMODE_32BITHASH) ||
+ - - + ]
339 : 793586 : (!(filp->f_mode & FMODE_64BITHASH) && is_32bit_api()))
340 : : return 0;
341 : : else
342 : 0 : return pos & 0xffffffff;
343 : : }
344 : :
345 : : /*
346 : : * Return 32- or 64-bit end-of-file for dx directories
347 : : */
348 : : static inline loff_t ext4_get_htree_eof(struct file *filp)
349 : : {
350 [ + + - + : 4754236 : if ((filp->f_mode & FMODE_32BITHASH) ||
# # # # +
+ - + # #
# # ]
351 : 2377120 : (!(filp->f_mode & FMODE_64BITHASH) && is_32bit_api()))
352 : : return EXT4_HTREE_EOF_32BIT;
353 : : else
354 : : return EXT4_HTREE_EOF_64BIT;
355 : : }
356 : :
357 : :
358 : : /*
359 : : * ext4_dir_llseek() calls generic_file_llseek_size to handle htree
360 : : * directories, where the "offset" is in terms of the filename hash
361 : : * value instead of the byte offset.
362 : : *
363 : : * Because we may return a 64-bit hash that is well beyond offset limits,
364 : : * we need to pass the max hash as the maximum allowable offset in
365 : : * the htree directory case.
366 : : *
367 : : * For non-htree, ext4_llseek already chooses the proper max offset.
368 : : */
369 : 0 : static loff_t ext4_dir_llseek(struct file *file, loff_t offset, int whence)
370 : : {
371 : 0 : struct inode *inode = file->f_mapping->host;
372 : 0 : int dx_dir = is_dx_dir(inode);
373 : : loff_t ret, htree_max = ext4_get_htree_eof(file);
374 : :
375 [ # # ]: 0 : if (likely(dx_dir))
376 : 0 : ret = generic_file_llseek_size(file, offset, whence,
377 : : htree_max, htree_max);
378 : : else
379 : 0 : ret = ext4_llseek(file, offset, whence);
380 : 0 : file->f_version = inode_peek_iversion(inode) - 1;
381 : 0 : return ret;
382 : : }
383 : :
384 : : /*
385 : : * This structure holds the nodes of the red-black tree used to store
386 : : * the directory entry in hash order.
387 : : */
388 : : struct fname {
389 : : __u32 hash;
390 : : __u32 minor_hash;
391 : : struct rb_node rb_hash;
392 : : struct fname *next;
393 : : __u32 inode;
394 : : __u8 name_len;
395 : : __u8 file_type;
396 : : char name[0];
397 : : };
398 : :
399 : : /*
400 : : * This functoin implements a non-recursive way of freeing all of the
401 : : * nodes in the red-black tree.
402 : : */
403 : 1748066 : static void free_rb_tree_fname(struct rb_root *root)
404 : : {
405 : : struct fname *fname, *next;
406 : :
407 [ + + + + : 37254906 : rbtree_postorder_for_each_entry_safe(fname, next, root, rb_hash)
+ + ]
408 [ + + ]: 67517510 : while (fname) {
409 : : struct fname *old = fname;
410 : 33758736 : fname = fname->next;
411 : 33758736 : kfree(old);
412 : : }
413 : :
414 : 1748064 : *root = RB_ROOT;
415 : 1748064 : }
416 : :
417 : :
418 : 793590 : static struct dir_private_info *ext4_htree_create_dir_info(struct file *filp,
419 : : loff_t pos)
420 : : {
421 : : struct dir_private_info *p;
422 : :
423 : 793590 : p = kzalloc(sizeof(*p), GFP_KERNEL);
424 [ + + ]: 793586 : if (!p)
425 : : return NULL;
426 : 793578 : p->curr_hash = pos2maj_hash(filp, pos);
427 : 793578 : p->curr_minor_hash = pos2min_hash(filp, pos);
428 : 793578 : return p;
429 : : }
430 : :
431 : 0 : void ext4_htree_free_dir_info(struct dir_private_info *p)
432 : : {
433 : 793178 : free_rb_tree_fname(&p->root);
434 : 793182 : kfree(p);
435 : 0 : }
436 : :
437 : : /*
438 : : * Given a directory entry, enter it into the fname rb tree.
439 : : *
440 : : * When filename encryption is enabled, the dirent will hold the
441 : : * encrypted filename, while the htree will hold decrypted filename.
442 : : * The decrypted filename is passed in via ent_name. parameter.
443 : : */
444 : 33759974 : int ext4_htree_store_dirent(struct file *dir_file, __u32 hash,
445 : : __u32 minor_hash,
446 : : struct ext4_dir_entry_2 *dirent,
447 : : struct fscrypt_str *ent_name)
448 : : {
449 : : struct rb_node **p, *parent = NULL;
450 : : struct fname *fname, *new_fn;
451 : : struct dir_private_info *info;
452 : : int len;
453 : :
454 : 33759974 : info = dir_file->private_data;
455 : 33759974 : p = &info->root.rb_node;
456 : :
457 : : /* Create and allocate the fname structure */
458 : 33759974 : len = sizeof(struct fname) + ent_name->len + 1;
459 : 33759974 : new_fn = kzalloc(len, GFP_KERNEL);
460 [ + + ]: 33759960 : if (!new_fn)
461 : : return -ENOMEM;
462 : 33759426 : new_fn->hash = hash;
463 : 33759426 : new_fn->minor_hash = minor_hash;
464 : 33759426 : new_fn->inode = le32_to_cpu(dirent->inode);
465 : 33759426 : new_fn->name_len = ent_name->len;
466 : 33759426 : new_fn->file_type = dirent->file_type;
467 : 33759426 : memcpy(new_fn->name, ent_name->name, ent_name->len);
468 : 33759426 : new_fn->name[ent_name->len] = 0;
469 : :
470 [ + + ]: 241462502 : while (*p) {
471 : : parent = *p;
472 : : fname = rb_entry(parent, struct fname, rb_hash);
473 : :
474 : : /*
475 : : * If the hash and minor hash match up, then we put
476 : : * them on a linked list. This rarely happens...
477 : : */
478 [ - + # # ]: 173943152 : if ((new_fn->hash == fname->hash) &&
479 : 0 : (new_fn->minor_hash == fname->minor_hash)) {
480 : 56 : new_fn->next = fname->next;
481 : 56 : fname->next = new_fn;
482 : 56 : return 0;
483 : : }
484 : :
485 [ + + ]: 173943650 : if (new_fn->hash < fname->hash)
486 : 59092716 : p = &(*p)->rb_left;
487 [ + - ]: 114850934 : else if (new_fn->hash > fname->hash)
488 : 114850934 : p = &(*p)->rb_right;
489 [ # # ]: 0 : else if (new_fn->minor_hash < fname->minor_hash)
490 : 0 : p = &(*p)->rb_left;
491 : : else /* if (new_fn->minor_hash > fname->minor_hash) */
492 : 0 : p = &(*p)->rb_right;
493 : : }
494 : :
495 : 33759924 : rb_link_node(&new_fn->rb_hash, parent, p);
496 : 33759924 : rb_insert_color(&new_fn->rb_hash, &info->root);
497 : 33759874 : return 0;
498 : : }
499 : :
500 : :
501 : :
502 : : /*
503 : : * This is a helper function for ext4_dx_readdir. It calls filldir
504 : : * for all entres on the fname linked list. (Normally there is only
505 : : * one entry on the linked list, unless there are 62 bit hash collisions.)
506 : : */
507 : 33759870 : static int call_filldir(struct file *file, struct dir_context *ctx,
508 : : struct fname *fname)
509 : : {
510 : 33759870 : struct dir_private_info *info = file->private_data;
511 : : struct inode *inode = file_inode(file);
512 : 33759870 : struct super_block *sb = inode->i_sb;
513 : :
514 [ - + ]: 33759870 : if (!fname) {
515 : 0 : ext4_msg(sb, KERN_ERR, "%s:%d: inode #%lu: comm %s: "
516 : : "called with null fname?!?", __func__, __LINE__,
517 : : inode->i_ino, current->comm);
518 : 0 : return 0;
519 : : }
520 : 67519740 : ctx->pos = hash2pos(file, fname->hash, fname->minor_hash);
521 [ + + ]: 101279722 : while (fname) {
522 [ + + ]: 168799736 : if (!dir_emit(ctx, fname->name,
523 : 33759934 : fname->name_len,
524 : 33759934 : fname->inode,
525 : 33759934 : get_dtype(sb, fname->file_type))) {
526 : 18 : info->extra_fname = fname;
527 : 18 : return 1;
528 : : }
529 : 33759982 : fname = fname->next;
530 : : }
531 : : return 0;
532 : : }
533 : :
534 : 1583546 : static int ext4_dx_readdir(struct file *file, struct dir_context *ctx)
535 : : {
536 : 1583546 : struct dir_private_info *info = file->private_data;
537 : : struct inode *inode = file_inode(file);
538 : : struct fname *fname;
539 : : int ret;
540 : :
541 [ + + ]: 1583546 : if (!info) {
542 : 793590 : info = ext4_htree_create_dir_info(file, ctx->pos);
543 [ + - ]: 793576 : if (!info)
544 : : return -ENOMEM;
545 : 793578 : file->private_data = info;
546 : : }
547 : :
548 [ + + ]: 3167068 : if (ctx->pos == ext4_get_htree_eof(file))
549 : : return 0; /* EOF */
550 : :
551 : : /* Some one has messed with f_pos; reset the world */
552 [ - + ]: 793604 : if (info->last_pos != ctx->pos) {
553 : 0 : free_rb_tree_fname(&info->root);
554 : 0 : info->curr_node = NULL;
555 : 0 : info->extra_fname = NULL;
556 : 0 : info->curr_hash = pos2maj_hash(file, ctx->pos);
557 : 0 : info->curr_minor_hash = pos2min_hash(file, ctx->pos);
558 : : }
559 : :
560 : : /*
561 : : * If there are any leftover names on the hash collision
562 : : * chain, return them first.
563 : : */
564 [ + + ]: 793604 : if (info->extra_fname) {
565 [ + - ]: 18 : if (call_filldir(file, ctx, info->extra_fname))
566 : : goto finished;
567 : 18 : info->extra_fname = NULL;
568 : 18 : goto next_node;
569 [ + + ]: 793586 : } else if (!info->curr_node)
570 : 793584 : info->curr_node = rb_first(&info->root);
571 : :
572 : : while (1) {
573 : : /*
574 : : * Fill the rbtree if we have no more entries,
575 : : * or the inode has changed since we last read in the
576 : : * cached entries.
577 : : */
578 [ + + + + ]: 66565024 : if ((!info->curr_node) ||
579 : 32805056 : !inode_eq_iversion(inode, file->f_version)) {
580 : 954920 : info->curr_node = NULL;
581 : 954920 : free_rb_tree_fname(&info->root);
582 : 954884 : file->f_version = inode_query_iversion(inode);
583 : 954872 : ret = ext4_htree_fill_tree(file, info->curr_hash,
584 : : info->curr_minor_hash,
585 : : &info->next_hash);
586 [ + - ]: 954888 : if (ret < 0)
587 : : return ret;
588 [ - + ]: 954888 : if (ret == 0) {
589 : 0 : ctx->pos = ext4_get_htree_eof(file);
590 : 0 : break;
591 : : }
592 : 954888 : info->curr_node = rb_first(&info->root);
593 : : }
594 : :
595 : 33759930 : fname = rb_entry(info->curr_node, struct fname, rb_hash);
596 : 33759930 : info->curr_hash = fname->hash;
597 : 33759930 : info->curr_minor_hash = fname->minor_hash;
598 [ + + ]: 33759930 : if (call_filldir(file, ctx, fname))
599 : : break;
600 : : next_node:
601 : 33759990 : info->curr_node = rb_next(info->curr_node);
602 [ + + ]: 33759946 : if (info->curr_node) {
603 : : fname = rb_entry(info->curr_node, struct fname,
604 : : rb_hash);
605 : 32805066 : info->curr_hash = fname->hash;
606 : 32805066 : info->curr_minor_hash = fname->minor_hash;
607 : : } else {
608 [ + + ]: 954880 : if (info->next_hash == ~0) {
609 : 793582 : ctx->pos = ext4_get_htree_eof(file);
610 : 793582 : break;
611 : : }
612 : 161298 : info->curr_hash = info->next_hash;
613 : 161298 : info->curr_minor_hash = 0;
614 : : }
615 : : }
616 : : finished:
617 : 793602 : info->last_pos = ctx->pos;
618 : 793602 : return 0;
619 : : }
620 : :
621 : 846408 : static int ext4_dir_open(struct inode * inode, struct file * filp)
622 : : {
623 [ - + ]: 846408 : if (IS_ENCRYPTED(inode))
624 [ # # ]: 0 : return fscrypt_get_encryption_info(inode) ? -EACCES : 0;
625 : : return 0;
626 : : }
627 : :
628 : 845596 : static int ext4_release_dir(struct inode *inode, struct file *filp)
629 : : {
630 [ + + ]: 845596 : if (filp->private_data)
631 : : ext4_htree_free_dir_info(filp->private_data);
632 : :
633 : 845600 : return 0;
634 : : }
635 : :
636 : 0 : int ext4_check_all_de(struct inode *dir, struct buffer_head *bh, void *buf,
637 : : int buf_size)
638 : : {
639 : : struct ext4_dir_entry_2 *de;
640 : : int rlen;
641 : : unsigned int offset = 0;
642 : : char *top;
643 : :
644 : : de = (struct ext4_dir_entry_2 *)buf;
645 : 0 : top = buf + buf_size;
646 [ # # ]: 0 : while ((char *) de < top) {
647 [ # # ]: 0 : if (ext4_check_dir_entry(dir, NULL, de, bh,
648 : : buf, buf_size, offset))
649 : : return -EFSCORRUPTED;
650 : 0 : rlen = ext4_rec_len_from_disk(de->rec_len, buf_size);
651 : 0 : de = (struct ext4_dir_entry_2 *)((char *)de + rlen);
652 : 0 : offset += rlen;
653 : : }
654 [ # # ]: 0 : if ((char *) de > top)
655 : : return -EFSCORRUPTED;
656 : :
657 : 0 : return 0;
658 : : }
659 : :
660 : : const struct file_operations ext4_dir_operations = {
661 : : .llseek = ext4_dir_llseek,
662 : : .read = generic_read_dir,
663 : : .iterate_shared = ext4_readdir,
664 : : .unlocked_ioctl = ext4_ioctl,
665 : : #ifdef CONFIG_COMPAT
666 : : .compat_ioctl = ext4_compat_ioctl,
667 : : #endif
668 : : .fsync = ext4_sync_file,
669 : : .open = ext4_dir_open,
670 : : .release = ext4_release_dir,
671 : : };
672 : :
673 : : #ifdef CONFIG_UNICODE
674 : : static int ext4_d_compare(const struct dentry *dentry, unsigned int len,
675 : : const char *str, const struct qstr *name)
676 : : {
677 : : struct qstr qstr = {.name = str, .len = len };
678 : : const struct dentry *parent = READ_ONCE(dentry->d_parent);
679 : : const struct inode *inode = READ_ONCE(parent->d_inode);
680 : : char strbuf[DNAME_INLINE_LEN];
681 : :
682 : : if (!inode || !IS_CASEFOLDED(inode) ||
683 : : !EXT4_SB(inode->i_sb)->s_encoding) {
684 : : if (len != name->len)
685 : : return -1;
686 : : return memcmp(str, name->name, len);
687 : : }
688 : :
689 : : /*
690 : : * If the dentry name is stored in-line, then it may be concurrently
691 : : * modified by a rename. If this happens, the VFS will eventually retry
692 : : * the lookup, so it doesn't matter what ->d_compare() returns.
693 : : * However, it's unsafe to call utf8_strncasecmp() with an unstable
694 : : * string. Therefore, we have to copy the name into a temporary buffer.
695 : : */
696 : : if (len <= DNAME_INLINE_LEN - 1) {
697 : : memcpy(strbuf, str, len);
698 : : strbuf[len] = 0;
699 : : qstr.name = strbuf;
700 : : /* prevent compiler from optimizing out the temporary buffer */
701 : : barrier();
702 : : }
703 : :
704 : : return ext4_ci_compare(inode, name, &qstr, false);
705 : : }
706 : :
707 : : static int ext4_d_hash(const struct dentry *dentry, struct qstr *str)
708 : : {
709 : : const struct ext4_sb_info *sbi = EXT4_SB(dentry->d_sb);
710 : : const struct unicode_map *um = sbi->s_encoding;
711 : : const struct inode *inode = READ_ONCE(dentry->d_inode);
712 : : unsigned char *norm;
713 : : int len, ret = 0;
714 : :
715 : : if (!inode || !IS_CASEFOLDED(inode) || !um)
716 : : return 0;
717 : :
718 : : norm = kmalloc(PATH_MAX, GFP_ATOMIC);
719 : : if (!norm)
720 : : return -ENOMEM;
721 : :
722 : : len = utf8_casefold(um, str, norm, PATH_MAX);
723 : : if (len < 0) {
724 : : if (ext4_has_strict_mode(sbi))
725 : : ret = -EINVAL;
726 : : goto out;
727 : : }
728 : : str->hash = full_name_hash(dentry, norm, len);
729 : : out:
730 : : kfree(norm);
731 : : return ret;
732 : : }
733 : :
734 : : const struct dentry_operations ext4_dentry_ops = {
735 : : .d_hash = ext4_d_hash,
736 : : .d_compare = ext4_d_compare,
737 : : };
738 : : #endif
|
