Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0
2 : : /*
3 : : * linux/fs/namei.c
4 : : *
5 : : * Copyright (C) 1991, 1992 Linus Torvalds
6 : : */
7 : :
8 : : /*
9 : : * Some corrections by tytso.
10 : : */
11 : :
12 : : /* [Feb 1997 T. Schoebel-Theuer] Complete rewrite of the pathname
13 : : * lookup logic.
14 : : */
15 : : /* [Feb-Apr 2000, AV] Rewrite to the new namespace architecture.
16 : : */
17 : :
18 : : #include <linux/init.h>
19 : : #include <linux/export.h>
20 : : #include <linux/kernel.h>
21 : : #include <linux/slab.h>
22 : : #include <linux/fs.h>
23 : : #include <linux/namei.h>
24 : : #include <linux/pagemap.h>
25 : : #include <linux/fsnotify.h>
26 : : #include <linux/personality.h>
27 : : #include <linux/security.h>
28 : : #include <linux/ima.h>
29 : : #include <linux/syscalls.h>
30 : : #include <linux/mount.h>
31 : : #include <linux/audit.h>
32 : : #include <linux/capability.h>
33 : : #include <linux/file.h>
34 : : #include <linux/fcntl.h>
35 : : #include <linux/device_cgroup.h>
36 : : #include <linux/fs_struct.h>
37 : : #include <linux/posix_acl.h>
38 : : #include <linux/hash.h>
39 : : #include <linux/bitops.h>
40 : : #include <linux/init_task.h>
41 : : #include <linux/uaccess.h>
42 : :
43 : : #include "internal.h"
44 : : #include "mount.h"
45 : :
46 : : /* [Feb-1997 T. Schoebel-Theuer]
47 : : * Fundamental changes in the pathname lookup mechanisms (namei)
48 : : * were necessary because of omirr. The reason is that omirr needs
49 : : * to know the _real_ pathname, not the user-supplied one, in case
50 : : * of symlinks (and also when transname replacements occur).
51 : : *
52 : : * The new code replaces the old recursive symlink resolution with
53 : : * an iterative one (in case of non-nested symlink chains). It does
54 : : * this with calls to <fs>_follow_link().
55 : : * As a side effect, dir_namei(), _namei() and follow_link() are now
56 : : * replaced with a single function lookup_dentry() that can handle all
57 : : * the special cases of the former code.
58 : : *
59 : : * With the new dcache, the pathname is stored at each inode, at least as
60 : : * long as the refcount of the inode is positive. As a side effect, the
61 : : * size of the dcache depends on the inode cache and thus is dynamic.
62 : : *
63 : : * [29-Apr-1998 C. Scott Ananian] Updated above description of symlink
64 : : * resolution to correspond with current state of the code.
65 : : *
66 : : * Note that the symlink resolution is not *completely* iterative.
67 : : * There is still a significant amount of tail- and mid- recursion in
68 : : * the algorithm. Also, note that <fs>_readlink() is not used in
69 : : * lookup_dentry(): lookup_dentry() on the result of <fs>_readlink()
70 : : * may return different results than <fs>_follow_link(). Many virtual
71 : : * filesystems (including /proc) exhibit this behavior.
72 : : */
73 : :
74 : : /* [24-Feb-97 T. Schoebel-Theuer] Side effects caused by new implementation:
75 : : * New symlink semantics: when open() is called with flags O_CREAT | O_EXCL
76 : : * and the name already exists in form of a symlink, try to create the new
77 : : * name indicated by the symlink. The old code always complained that the
78 : : * name already exists, due to not following the symlink even if its target
79 : : * is nonexistent. The new semantics affects also mknod() and link() when
80 : : * the name is a symlink pointing to a non-existent name.
81 : : *
82 : : * I don't know which semantics is the right one, since I have no access
83 : : * to standards. But I found by trial that HP-UX 9.0 has the full "new"
84 : : * semantics implemented, while SunOS 4.1.1 and Solaris (SunOS 5.4) have the
85 : : * "old" one. Personally, I think the new semantics is much more logical.
86 : : * Note that "ln old new" where "new" is a symlink pointing to a non-existing
87 : : * file does succeed in both HP-UX and SunOs, but not in Solaris
88 : : * and in the old Linux semantics.
89 : : */
90 : :
91 : : /* [16-Dec-97 Kevin Buhr] For security reasons, we change some symlink
92 : : * semantics. See the comments in "open_namei" and "do_link" below.
93 : : *
94 : : * [10-Sep-98 Alan Modra] Another symlink change.
95 : : */
96 : :
97 : : /* [Feb-Apr 2000 AV] Complete rewrite. Rules for symlinks:
98 : : * inside the path - always follow.
99 : : * in the last component in creation/removal/renaming - never follow.
100 : : * if LOOKUP_FOLLOW passed - follow.
101 : : * if the pathname has trailing slashes - follow.
102 : : * otherwise - don't follow.
103 : : * (applied in that order).
104 : : *
105 : : * [Jun 2000 AV] Inconsistent behaviour of open() in case if flags==O_CREAT
106 : : * restored for 2.4. This is the last surviving part of old 4.2BSD bug.
107 : : * During the 2.4 we need to fix the userland stuff depending on it -
108 : : * hopefully we will be able to get rid of that wart in 2.5. So far only
109 : : * XEmacs seems to be relying on it...
110 : : */
111 : : /*
112 : : * [Sep 2001 AV] Single-semaphore locking scheme (kudos to David Holland)
113 : : * implemented. Let's see if raised priority of ->s_vfs_rename_mutex gives
114 : : * any extra contention...
115 : : */
116 : :
117 : : /* In order to reduce some races, while at the same time doing additional
118 : : * checking and hopefully speeding things up, we copy filenames to the
119 : : * kernel data space before using them..
120 : : *
121 : : * POSIX.1 2.4: an empty pathname is invalid (ENOENT).
122 : : * PATH_MAX includes the nul terminator --RR.
123 : : */
124 : :
125 : : #define EMBEDDED_NAME_MAX (PATH_MAX - offsetof(struct filename, iname))
126 : :
127 : : struct filename *
128 : 941394 : getname_flags(const char __user *filename, int flags, int *empty)
129 : : {
130 : 941394 : struct filename *result;
131 : 941394 : char *kname;
132 : 941394 : int len;
133 : :
134 : 941394 : result = audit_reusename(filename);
135 [ + - ]: 941394 : if (result)
136 : : return result;
137 : :
138 : 941394 : result = __getname();
139 [ + - ]: 941394 : if (unlikely(!result))
140 : : return ERR_PTR(-ENOMEM);
141 : :
142 : : /*
143 : : * First, try to embed the struct filename inside the names_cache
144 : : * allocation
145 : : */
146 : 941394 : kname = (char *)result->iname;
147 : 941394 : result->name = kname;
148 : :
149 : 941394 : len = strncpy_from_user(kname, filename, EMBEDDED_NAME_MAX);
150 [ - + ]: 941394 : if (unlikely(len < 0)) {
151 : 0 : __putname(result);
152 : 0 : return ERR_PTR(len);
153 : : }
154 : :
155 : : /*
156 : : * Uh-oh. We have a name that's approaching PATH_MAX. Allocate a
157 : : * separate struct filename so we can dedicate the entire
158 : : * names_cache allocation for the pathname, and re-do the copy from
159 : : * userland.
160 : : */
161 [ - + ]: 941394 : if (unlikely(len == EMBEDDED_NAME_MAX)) {
162 : 0 : const size_t size = offsetof(struct filename, iname[1]);
163 : 0 : kname = (char *)result;
164 : :
165 : : /*
166 : : * size is chosen that way we to guarantee that
167 : : * result->iname[0] is within the same object and that
168 : : * kname can't be equal to result->iname, no matter what.
169 : : */
170 : 0 : result = kzalloc(size, GFP_KERNEL);
171 [ # # ]: 0 : if (unlikely(!result)) {
172 : 0 : __putname(kname);
173 : 0 : return ERR_PTR(-ENOMEM);
174 : : }
175 : 0 : result->name = kname;
176 : 0 : len = strncpy_from_user(kname, filename, PATH_MAX);
177 [ # # ]: 0 : if (unlikely(len < 0)) {
178 : 0 : __putname(kname);
179 : 0 : kfree(result);
180 : 0 : return ERR_PTR(len);
181 : : }
182 [ # # ]: 0 : if (unlikely(len == PATH_MAX)) {
183 : 0 : __putname(kname);
184 : 0 : kfree(result);
185 : 0 : return ERR_PTR(-ENAMETOOLONG);
186 : : }
187 : : }
188 : :
189 : 941394 : result->refcnt = 1;
190 : : /* The empty path is special. */
191 [ + + ]: 941394 : if (unlikely(!len)) {
192 [ - + ]: 962 : if (empty)
193 : 0 : *empty = 1;
194 [ - + ]: 962 : if (!(flags & LOOKUP_EMPTY)) {
195 : 0 : putname(result);
196 : 0 : return ERR_PTR(-ENOENT);
197 : : }
198 : : }
199 : :
200 : 941394 : result->uptr = filename;
201 : 941394 : result->aname = NULL;
202 : 941394 : audit_getname(result);
203 : 941394 : return result;
204 : : }
205 : :
206 : : struct filename *
207 : 735220 : getname(const char __user * filename)
208 : : {
209 : 667924 : return getname_flags(filename, 0, NULL);
210 : : }
211 : :
212 : : struct filename *
213 : 17634 : getname_kernel(const char * filename)
214 : : {
215 : 17634 : struct filename *result;
216 : 17634 : int len = strlen(filename) + 1;
217 : :
218 : 17634 : result = __getname();
219 [ + - ]: 17634 : if (unlikely(!result))
220 : : return ERR_PTR(-ENOMEM);
221 : :
222 [ + - ]: 17634 : if (len <= EMBEDDED_NAME_MAX) {
223 : 17634 : result->name = (char *)result->iname;
224 [ # # ]: 0 : } else if (len <= PATH_MAX) {
225 : 0 : const size_t size = offsetof(struct filename, iname[1]);
226 : 0 : struct filename *tmp;
227 : :
228 : 0 : tmp = kmalloc(size, GFP_KERNEL);
229 [ # # ]: 0 : if (unlikely(!tmp)) {
230 : 0 : __putname(result);
231 : 0 : return ERR_PTR(-ENOMEM);
232 : : }
233 : 0 : tmp->name = (char *)result;
234 : 0 : result = tmp;
235 : : } else {
236 : 0 : __putname(result);
237 : 0 : return ERR_PTR(-ENAMETOOLONG);
238 : : }
239 : 17634 : memcpy((char *)result->name, filename, len);
240 : 17634 : result->uptr = NULL;
241 : 17634 : result->aname = NULL;
242 : 17634 : result->refcnt = 1;
243 : 17634 : audit_getname(result);
244 : :
245 : 17634 : return result;
246 : : }
247 : :
248 : 959015 : void putname(struct filename *name)
249 : : {
250 [ - + ]: 959015 : BUG_ON(name->refcnt <= 0);
251 : :
252 [ + - ]: 959015 : if (--name->refcnt > 0)
253 : : return;
254 : :
255 [ - + ]: 959015 : if (name->name != name->iname) {
256 : 0 : __putname(name->name);
257 : 0 : kfree(name);
258 : : } else
259 : 959015 : __putname(name);
260 : : }
261 : :
262 : 681803 : static int check_acl(struct inode *inode, int mask)
263 : : {
264 : : #ifdef CONFIG_FS_POSIX_ACL
265 : 681803 : struct posix_acl *acl;
266 : :
267 [ + + ]: 681803 : if (mask & MAY_NOT_BLOCK) {
268 : 672058 : acl = get_cached_acl_rcu(inode, ACL_TYPE_ACCESS);
269 [ + + ]: 672058 : if (!acl)
270 : : return -EAGAIN;
271 : : /* no ->get_acl() calls in RCU mode... */
272 [ - + ]: 104 : if (is_uncached_acl(acl))
273 : : return -ECHILD;
274 : 0 : return posix_acl_permission(inode, acl, mask & ~MAY_NOT_BLOCK);
275 : : }
276 : :
277 : 9745 : acl = get_acl(inode, ACL_TYPE_ACCESS);
278 [ - + ]: 9745 : if (IS_ERR(acl))
279 : 0 : return PTR_ERR(acl);
280 [ - + ]: 9745 : if (acl) {
281 : 0 : int error = posix_acl_permission(inode, acl, mask);
282 : 0 : posix_acl_release(acl);
283 : 0 : return error;
284 : : }
285 : : #endif
286 : :
287 : : return -EAGAIN;
288 : : }
289 : :
290 : : /*
291 : : * This does the basic permission checking
292 : : */
293 : 3171204 : static int acl_permission_check(struct inode *inode, int mask)
294 : : {
295 : 3171204 : unsigned int mode = inode->i_mode;
296 : :
297 [ + + ]: 3171204 : if (likely(uid_eq(current_fsuid(), inode->i_uid)))
298 : 2488530 : mode >>= 6;
299 : : else {
300 [ + + + - ]: 682674 : if (IS_POSIXACL(inode) && (mode & S_IRWXG)) {
301 : 681803 : int error = check_acl(inode, mask);
302 [ + + ]: 681803 : if (error != -EAGAIN)
303 : : return error;
304 : : }
305 : :
306 [ - + ]: 682570 : if (in_group_p(inode->i_gid))
307 : 0 : mode >>= 3;
308 : : }
309 : :
310 : : /*
311 : : * If the DACs are ok we don't need any capability check.
312 : : */
313 [ + + ]: 3171100 : if ((mask & ~mode & (MAY_READ | MAY_WRITE | MAY_EXEC)) == 0)
314 : 3163976 : return 0;
315 : : return -EACCES;
316 : : }
317 : :
318 : : /**
319 : : * generic_permission - check for access rights on a Posix-like filesystem
320 : : * @inode: inode to check access rights for
321 : : * @mask: right to check for (%MAY_READ, %MAY_WRITE, %MAY_EXEC, ...)
322 : : *
323 : : * Used to check for read/write/execute permissions on a file.
324 : : * We use "fsuid" for this, letting us set arbitrary permissions
325 : : * for filesystem access without changing the "normal" uids which
326 : : * are used for other things.
327 : : *
328 : : * generic_permission is rcu-walk aware. It returns -ECHILD in case an rcu-walk
329 : : * request cannot be satisfied (eg. requires blocking or too much complexity).
330 : : * It would then be called again in ref-walk mode.
331 : : */
332 : 3171204 : int generic_permission(struct inode *inode, int mask)
333 : : {
334 : 3171204 : int ret;
335 : :
336 : : /*
337 : : * Do the basic permission checks.
338 : : */
339 : 3171204 : ret = acl_permission_check(inode, mask);
340 [ + + ]: 3171204 : if (ret != -EACCES)
341 : : return ret;
342 : :
343 [ + + ]: 7124 : if (S_ISDIR(inode->i_mode)) {
344 : : /* DACs are overridable for directories */
345 [ + + ]: 390 : if (!(mask & MAY_WRITE))
346 [ - + ]: 143 : if (capable_wrt_inode_uidgid(inode,
347 : : CAP_DAC_READ_SEARCH))
348 : : return 0;
349 [ - + ]: 247 : if (capable_wrt_inode_uidgid(inode, CAP_DAC_OVERRIDE))
350 : : return 0;
351 : 0 : return -EACCES;
352 : : }
353 : :
354 : : /*
355 : : * Searching includes executable on directories, else just read.
356 : : */
357 : 6734 : mask &= MAY_READ | MAY_WRITE | MAY_EXEC;
358 [ + - ]: 6734 : if (mask == MAY_READ)
359 [ + + ]: 6734 : if (capable_wrt_inode_uidgid(inode, CAP_DAC_READ_SEARCH))
360 : : return 0;
361 : : /*
362 : : * Read/write DACs are always overridable.
363 : : * Executable DACs are overridable when there is
364 : : * at least one exec bit set.
365 : : */
366 [ - + - - ]: 13 : if (!(mask & MAY_EXEC) || (inode->i_mode & S_IXUGO))
367 [ - + ]: 13 : if (capable_wrt_inode_uidgid(inode, CAP_DAC_OVERRIDE))
368 : 0 : return 0;
369 : :
370 : : return -EACCES;
371 : : }
372 : : EXPORT_SYMBOL(generic_permission);
373 : :
374 : : /*
375 : : * We _really_ want to just do "generic_permission()" without
376 : : * even looking at the inode->i_op values. So we keep a cache
377 : : * flag in inode->i_opflags, that says "this has not special
378 : : * permission function, use the fast case".
379 : : */
380 : 3390891 : static inline int do_inode_permission(struct inode *inode, int mask)
381 : : {
382 [ + + ]: 3390891 : if (unlikely(!(inode->i_opflags & IOP_FASTPERM))) {
383 [ + + ]: 853749 : if (likely(inode->i_op->permission))
384 : 809638 : return inode->i_op->permission(inode, mask);
385 : :
386 : : /* This gets set once for the inode lifetime */
387 : 44111 : spin_lock(&inode->i_lock);
388 : 44111 : inode->i_opflags |= IOP_FASTPERM;
389 : 44111 : spin_unlock(&inode->i_lock);
390 : : }
391 : 2581253 : return generic_permission(inode, mask);
392 : : }
393 : :
394 : : /**
395 : : * sb_permission - Check superblock-level permissions
396 : : * @sb: Superblock of inode to check permission on
397 : : * @inode: Inode to check permission on
398 : : * @mask: Right to check for (%MAY_READ, %MAY_WRITE, %MAY_EXEC)
399 : : *
400 : : * Separate out file-system wide checks from inode-specific permission checks.
401 : : */
402 : 3390904 : static int sb_permission(struct super_block *sb, struct inode *inode, int mask)
403 : : {
404 : 3390904 : if (unlikely(mask & MAY_WRITE)) {
405 : 39578 : umode_t mode = inode->i_mode;
406 : :
407 : : /* Nobody gets write access to a read-only fs. */
408 [ + + - + : 39578 : if (sb_rdonly(sb) && (S_ISREG(mode) || S_ISDIR(mode) || S_ISLNK(mode)))
- - ]
409 : : return -EROFS;
410 : : }
411 : : return 0;
412 : : }
413 : :
414 : : /**
415 : : * inode_permission - Check for access rights to a given inode
416 : : * @inode: Inode to check permission on
417 : : * @mask: Right to check for (%MAY_READ, %MAY_WRITE, %MAY_EXEC)
418 : : *
419 : : * Check for read/write/execute permissions on an inode. We use fs[ug]id for
420 : : * this, letting us set arbitrary permissions for filesystem access without
421 : : * changing the "normal" UIDs which are used for other things.
422 : : *
423 : : * When checking for MAY_APPEND, MAY_WRITE must also be set in @mask.
424 : : */
425 : 3390904 : int inode_permission(struct inode *inode, int mask)
426 : : {
427 : 3390904 : int retval;
428 : :
429 [ + + ]: 3390904 : retval = sb_permission(inode->i_sb, inode, mask);
430 : : if (retval)
431 : : return retval;
432 : :
433 [ + + ]: 3390891 : if (unlikely(mask & MAY_WRITE)) {
434 : : /*
435 : : * Nobody gets write access to an immutable file.
436 : : */
437 [ + - ]: 39565 : if (IS_IMMUTABLE(inode))
438 : : return -EPERM;
439 : :
440 : : /*
441 : : * Updating mtime will likely cause i_uid and i_gid to be
442 : : * written back improperly if their true value is unknown
443 : : * to the vfs.
444 : : */
445 [ + - + - ]: 79130 : if (HAS_UNMAPPED_ID(inode))
446 : : return -EACCES;
447 : : }
448 : :
449 : 3390891 : retval = do_inode_permission(inode, mask);
450 [ + + ]: 3390891 : if (retval)
451 : : return retval;
452 : :
453 : 3173167 : retval = devcgroup_inode_permission(inode, mask);
454 : 3173167 : if (retval)
455 : : return retval;
456 : :
457 : 3173167 : return security_inode_permission(inode, mask);
458 : : }
459 : : EXPORT_SYMBOL(inode_permission);
460 : :
461 : : /**
462 : : * path_get - get a reference to a path
463 : : * @path: path to get the reference to
464 : : *
465 : : * Given a path increment the reference count to the dentry and the vfsmount.
466 : : */
467 : 630033 : void path_get(const struct path *path)
468 : : {
469 : 630033 : mntget(path->mnt);
470 [ + - ]: 630033 : dget(path->dentry);
471 : 630033 : }
472 : : EXPORT_SYMBOL(path_get);
473 : :
474 : : /**
475 : : * path_put - put a reference to a path
476 : : * @path: path to put the reference to
477 : : *
478 : : * Given a path decrement the reference count to the dentry and the vfsmount.
479 : : */
480 : 1669362 : void path_put(const struct path *path)
481 : : {
482 : 226615 : dput(path->dentry);
483 : 799489 : mntput(path->mnt);
484 : 316919 : }
485 : : EXPORT_SYMBOL(path_put);
486 : :
487 : : #define EMBEDDED_LEVELS 2
488 : : struct nameidata {
489 : : struct path path;
490 : : struct qstr last;
491 : : struct path root;
492 : : struct inode *inode; /* path.dentry.d_inode */
493 : : unsigned int flags;
494 : : unsigned seq, m_seq, r_seq;
495 : : int last_type;
496 : : unsigned depth;
497 : : int total_link_count;
498 : : struct saved {
499 : : struct path link;
500 : : struct delayed_call done;
501 : : const char *name;
502 : : unsigned seq;
503 : : } *stack, internal[EMBEDDED_LEVELS];
504 : : struct filename *name;
505 : : struct nameidata *saved;
506 : : struct inode *link_inode;
507 : : unsigned root_seq;
508 : : int dfd;
509 : : } __randomize_layout;
510 : :
511 : 889964 : static void set_nameidata(struct nameidata *p, int dfd, struct filename *name)
512 : : {
513 : 889964 : struct nameidata *old = current->nameidata;
514 : 889964 : p->stack = p->internal;
515 : 889964 : p->dfd = dfd;
516 : 889964 : p->name = name;
517 [ - - - + : 889964 : p->total_link_count = old ? old->total_link_count : 0;
- + - + ]
518 : 889964 : p->saved = old;
519 : 889964 : current->nameidata = p;
520 : : }
521 : :
522 : 956246 : static void restore_nameidata(void)
523 : : {
524 [ - + ]: 956246 : struct nameidata *now = current->nameidata, *old = now->saved;
525 : :
526 : 956246 : current->nameidata = old;
527 [ - + ]: 956246 : if (old)
528 : 0 : old->total_link_count = now->total_link_count;
529 [ - + ]: 956246 : if (now->stack != now->internal)
530 : 0 : kfree(now->stack);
531 : 956246 : }
532 : :
533 : 0 : static int __nd_alloc_stack(struct nameidata *nd)
534 : : {
535 : 0 : struct saved *p;
536 : :
537 [ # # ]: 0 : if (nd->flags & LOOKUP_RCU) {
538 : 0 : p= kmalloc_array(MAXSYMLINKS, sizeof(struct saved),
539 : : GFP_ATOMIC);
540 [ # # ]: 0 : if (unlikely(!p))
541 : : return -ECHILD;
542 : : } else {
543 : 0 : p= kmalloc_array(MAXSYMLINKS, sizeof(struct saved),
544 : : GFP_KERNEL);
545 [ # # ]: 0 : if (unlikely(!p))
546 : : return -ENOMEM;
547 : : }
548 : 0 : memcpy(p, nd->internal, sizeof(nd->internal));
549 : 0 : nd->stack = p;
550 : 0 : return 0;
551 : : }
552 : :
553 : : /**
554 : : * path_connected - Verify that a path->dentry is below path->mnt.mnt_root
555 : : * @path: nameidate to verify
556 : : *
557 : : * Rename can sometimes move a file or directory outside of a bind
558 : : * mount, path_connected allows those cases to be detected.
559 : : */
560 : : static bool path_connected(const struct path *path)
561 : : {
562 : : struct vfsmount *mnt = path->mnt;
563 : : struct super_block *sb = mnt->mnt_sb;
564 : :
565 : : /* Bind mounts and multi-root filesystems can have disconnected paths */
566 : : if (!(sb->s_iflags & SB_I_MULTIROOT) && (mnt->mnt_root == sb->s_root))
567 : : return true;
568 : :
569 : : return is_subdir(path->dentry, mnt->mnt_root);
570 : : }
571 : :
572 : 137290 : static inline int nd_alloc_stack(struct nameidata *nd)
573 : : {
574 : 137290 : if (likely(nd->depth != EMBEDDED_LEVELS))
575 : : return 0;
576 [ # # # # ]: 0 : if (likely(nd->stack != nd->internal))
577 : : return 0;
578 : 0 : return __nd_alloc_stack(nd);
579 : : }
580 : :
581 : 956246 : static void drop_links(struct nameidata *nd)
582 : : {
583 : 956246 : int i = nd->depth;
584 [ - - - - : 956272 : while (i--) {
+ + ]
585 : 26 : struct saved *last = nd->stack + i;
586 [ - - - - : 26 : do_delayed_call(&last->done);
- + ]
587 : 26 : clear_delayed_call(&last->done);
588 : : }
589 : : }
590 : :
591 : 956246 : static void terminate_walk(struct nameidata *nd)
592 : : {
593 : 956246 : drop_links(nd);
594 [ + + ]: 956246 : if (!(nd->flags & LOOKUP_RCU)) {
595 : 869873 : int i;
596 : 869873 : path_put(&nd->path);
597 [ + + ]: 1739772 : for (i = 0; i < nd->depth; i++)
598 : 26 : path_put(&nd->stack[i].link);
599 [ + + ]: 869873 : if (nd->flags & LOOKUP_ROOT_GRABBED) {
600 : 192520 : path_put(&nd->root);
601 : 192520 : nd->flags &= ~LOOKUP_ROOT_GRABBED;
602 : : }
603 : : } else {
604 : 86373 : nd->flags &= ~LOOKUP_RCU;
605 : 86373 : rcu_read_unlock();
606 : : }
607 : 956246 : nd->depth = 0;
608 : 956246 : }
609 : :
610 : : /* path_put is needed afterwards regardless of success or failure */
611 : : static bool legitimize_path(struct nameidata *nd,
612 : : struct path *path, unsigned seq)
613 : : {
614 : : int res = __legitimize_mnt(path->mnt, nd->m_seq);
615 : : if (unlikely(res)) {
616 : : if (res > 0)
617 : : path->mnt = NULL;
618 : : path->dentry = NULL;
619 : : return false;
620 : : }
621 : : if (unlikely(!lockref_get_not_dead(&path->dentry->d_lockref))) {
622 : : path->dentry = NULL;
623 : : return false;
624 : : }
625 : : return !read_seqcount_retry(&path->dentry->d_seq, seq);
626 : : }
627 : :
628 : 868924 : static bool legitimize_links(struct nameidata *nd)
629 : : {
630 : 868924 : int i;
631 [ + + ]: 875065 : for (i = 0; i < nd->depth; i++) {
632 : 6141 : struct saved *last = nd->stack + i;
633 [ - + ]: 6141 : if (unlikely(!legitimize_path(nd, &last->link, last->seq))) {
634 : 0 : drop_links(nd);
635 : 0 : nd->depth = i + 1;
636 : 0 : return false;
637 : : }
638 : : }
639 : : return true;
640 : : }
641 : :
642 : 868924 : static bool legitimize_root(struct nameidata *nd)
643 : : {
644 : : /*
645 : : * For scoped-lookups (where nd->root has been zeroed), we need to
646 : : * restart the whole lookup from scratch -- because set_root() is wrong
647 : : * for these lookups (nd->dfd is the root, not the filesystem root).
648 : : */
649 [ + + + - ]: 868924 : if (!nd->root.mnt && (nd->flags & LOOKUP_IS_SCOPED))
650 : : return false;
651 : : /* Nothing to do if nd->root is zero or is managed by the VFS user. */
652 [ + + + - ]: 868924 : if (!nd->root.mnt || (nd->flags & LOOKUP_ROOT))
653 : : return true;
654 : 180530 : nd->flags |= LOOKUP_ROOT_GRABBED;
655 : 180530 : return legitimize_path(nd, &nd->root, nd->root_seq);
656 : : }
657 : :
658 : : /*
659 : : * Path walking has 2 modes, rcu-walk and ref-walk (see
660 : : * Documentation/filesystems/path-lookup.txt). In situations when we can't
661 : : * continue in RCU mode, we attempt to drop out of rcu-walk mode and grab
662 : : * normal reference counts on dentries and vfsmounts to transition to ref-walk
663 : : * mode. Refcounts are grabbed at the last known good point before rcu-walk
664 : : * got stuck, so ref-walk may continue from there. If this is not successful
665 : : * (eg. a seqcount has changed), then failure is returned and it's up to caller
666 : : * to restart the path walk from the beginning in ref-walk mode.
667 : : */
668 : :
669 : : /**
670 : : * unlazy_walk - try to switch to ref-walk mode.
671 : : * @nd: nameidata pathwalk data
672 : : * Returns: 0 on success, -ECHILD on failure
673 : : *
674 : : * unlazy_walk attempts to legitimize the current nd->path and nd->root
675 : : * for ref-walk mode.
676 : : * Must be called from rcu-walk context.
677 : : * Nothing should touch nameidata between unlazy_walk() failure and
678 : : * terminate_walk().
679 : : */
680 : 856745 : static int unlazy_walk(struct nameidata *nd)
681 : : {
682 : 856745 : struct dentry *parent = nd->path.dentry;
683 : :
684 [ - + ]: 856745 : BUG_ON(!(nd->flags & LOOKUP_RCU));
685 : :
686 : 856745 : nd->flags &= ~LOOKUP_RCU;
687 [ - + ]: 856745 : if (unlikely(!legitimize_links(nd)))
688 : 0 : goto out1;
689 [ - + ]: 856745 : if (unlikely(!legitimize_path(nd, &nd->path, nd->seq)))
690 : 0 : goto out;
691 [ - + ]: 856745 : if (unlikely(!legitimize_root(nd)))
692 : 0 : goto out;
693 : 856745 : rcu_read_unlock();
694 [ - + ]: 856745 : BUG_ON(nd->inode != parent->d_inode);
695 : : return 0;
696 : :
697 : : out1:
698 : 0 : nd->path.mnt = NULL;
699 : 0 : nd->path.dentry = NULL;
700 : 0 : out:
701 : 0 : rcu_read_unlock();
702 : 0 : return -ECHILD;
703 : : }
704 : :
705 : : /**
706 : : * unlazy_child - try to switch to ref-walk mode.
707 : : * @nd: nameidata pathwalk data
708 : : * @dentry: child of nd->path.dentry
709 : : * @seq: seq number to check dentry against
710 : : * Returns: 0 on success, -ECHILD on failure
711 : : *
712 : : * unlazy_child attempts to legitimize the current nd->path, nd->root and dentry
713 : : * for ref-walk mode. @dentry must be a path found by a do_lookup call on
714 : : * @nd. Must be called from rcu-walk context.
715 : : * Nothing should touch nameidata between unlazy_child() failure and
716 : : * terminate_walk().
717 : : */
718 : 12179 : static int unlazy_child(struct nameidata *nd, struct dentry *dentry, unsigned seq)
719 : : {
720 [ - + ]: 12179 : BUG_ON(!(nd->flags & LOOKUP_RCU));
721 : :
722 : 12179 : nd->flags &= ~LOOKUP_RCU;
723 [ - + ]: 12179 : if (unlikely(!legitimize_links(nd)))
724 : 0 : goto out2;
725 [ - + ]: 12179 : if (unlikely(!legitimize_mnt(nd->path.mnt, nd->m_seq)))
726 : 0 : goto out2;
727 [ - + ]: 12179 : if (unlikely(!lockref_get_not_dead(&nd->path.dentry->d_lockref)))
728 : 0 : goto out1;
729 : :
730 : : /*
731 : : * We need to move both the parent and the dentry from the RCU domain
732 : : * to be properly refcounted. And the sequence number in the dentry
733 : : * validates *both* dentry counters, since we checked the sequence
734 : : * number of the parent after we got the child sequence number. So we
735 : : * know the parent must still be valid if the child sequence number is
736 : : */
737 [ - + ]: 12179 : if (unlikely(!lockref_get_not_dead(&dentry->d_lockref)))
738 : 0 : goto out;
739 [ - + ]: 12179 : if (unlikely(read_seqcount_retry(&dentry->d_seq, seq)))
740 : 0 : goto out_dput;
741 : : /*
742 : : * Sequence counts matched. Now make sure that the root is
743 : : * still valid and get it if required.
744 : : */
745 [ - + ]: 12179 : if (unlikely(!legitimize_root(nd)))
746 : 0 : goto out_dput;
747 : 12179 : rcu_read_unlock();
748 : 12179 : return 0;
749 : :
750 : 0 : out2:
751 : 0 : nd->path.mnt = NULL;
752 : 0 : out1:
753 : 0 : nd->path.dentry = NULL;
754 : 0 : out:
755 : 0 : rcu_read_unlock();
756 : 0 : return -ECHILD;
757 : 0 : out_dput:
758 : 0 : rcu_read_unlock();
759 : 0 : dput(dentry);
760 : 0 : return -ECHILD;
761 : : }
762 : :
763 : 2447913 : static inline int d_revalidate(struct dentry *dentry, unsigned int flags)
764 : : {
765 : 2447913 : if (unlikely(dentry->d_flags & DCACHE_OP_REVALIDATE))
766 : 481024 : return dentry->d_op->d_revalidate(dentry, flags);
767 : : else
768 : : return 1;
769 : : }
770 : :
771 : : /**
772 : : * complete_walk - successful completion of path walk
773 : : * @nd: pointer nameidata
774 : : *
775 : : * If we had been in RCU mode, drop out of it and legitimize nd->path.
776 : : * Revalidate the final result, unless we'd already done that during
777 : : * the path walk or the filesystem doesn't ask for it. Return 0 on
778 : : * success, -error on failure. In case of failure caller does not
779 : : * need to drop nd->path.
780 : : */
781 : 751811 : static int complete_walk(struct nameidata *nd)
782 : : {
783 : 751811 : struct dentry *dentry = nd->path.dentry;
784 : 751811 : int status;
785 : :
786 [ + + ]: 751811 : if (nd->flags & LOOKUP_RCU) {
787 : : /*
788 : : * We don't want to zero nd->root for scoped-lookups or
789 : : * externally-managed nd->root.
790 : : */
791 [ + - ]: 551168 : if (!(nd->flags & (LOOKUP_ROOT | LOOKUP_IS_SCOPED)))
792 : 551168 : nd->root.mnt = NULL;
793 [ + - ]: 551168 : if (unlikely(unlazy_walk(nd)))
794 : : return -ECHILD;
795 : : }
796 : :
797 [ - + ]: 751811 : if (unlikely(nd->flags & LOOKUP_IS_SCOPED)) {
798 : : /*
799 : : * While the guarantee of LOOKUP_IS_SCOPED is (roughly) "don't
800 : : * ever step outside the root during lookup" and should already
801 : : * be guaranteed by the rest of namei, we want to avoid a namei
802 : : * BUG resulting in userspace being given a path that was not
803 : : * scoped within the root at some point during the lookup.
804 : : *
805 : : * So, do a final sanity-check to make sure that in the
806 : : * worst-case scenario (a complete bypass of LOOKUP_IS_SCOPED)
807 : : * we won't silently return an fd completely outside of the
808 : : * requested root to userspace.
809 : : *
810 : : * Userspace could move the path outside the root after this
811 : : * check, but as discussed elsewhere this is not a concern (the
812 : : * resolved file was inside the root at some point).
813 : : */
814 [ # # ]: 0 : if (!path_is_under(&nd->path, &nd->root))
815 : : return -EXDEV;
816 : : }
817 : :
818 [ + + ]: 751811 : if (likely(!(nd->flags & LOOKUP_JUMPED)))
819 : : return 0;
820 : :
821 [ - + ]: 146678 : if (likely(!(dentry->d_flags & DCACHE_OP_WEAK_REVALIDATE)))
822 : : return 0;
823 : :
824 : 0 : status = dentry->d_op->d_weak_revalidate(dentry, nd->flags);
825 [ # # ]: 0 : if (status > 0)
826 : : return 0;
827 : :
828 [ # # ]: 0 : if (!status)
829 : 0 : status = -ESTALE;
830 : :
831 : : return status;
832 : : }
833 : :
834 : 579432 : static int set_root(struct nameidata *nd)
835 : : {
836 [ - + ]: 579432 : struct fs_struct *fs = current->fs;
837 : :
838 : : /*
839 : : * Jumping to the real root in a scoped-lookup is a BUG in namei, but we
840 : : * still have to ensure it doesn't happen because it will cause a breakout
841 : : * from the dirfd.
842 : : */
843 [ - + + - ]: 579432 : if (WARN_ON(nd->flags & LOOKUP_IS_SCOPED))
844 : : return -ENOTRECOVERABLE;
845 : :
846 [ + + ]: 579432 : if (nd->flags & LOOKUP_RCU) {
847 : 567429 : unsigned seq;
848 : :
849 : 567429 : do {
850 : 567429 : seq = read_seqcount_begin(&fs->seq);
851 : 567429 : nd->root = fs->root;
852 : 567429 : nd->root_seq = __read_seqcount_begin(&nd->root.dentry->d_seq);
853 [ - + ]: 567429 : } while (read_seqcount_retry(&fs->seq, seq));
854 : : } else {
855 : 12003 : get_fs_root(fs, &nd->root);
856 : 12003 : nd->flags |= LOOKUP_ROOT_GRABBED;
857 : : }
858 : : return 0;
859 : : }
860 : :
861 : 116837 : static void path_put_conditional(struct path *path, struct nameidata *nd)
862 : : {
863 : 116837 : dput(path->dentry);
864 [ - + ]: 116837 : if (path->mnt != nd->path.mnt)
865 : 0 : mntput(path->mnt);
866 : : }
867 : :
868 : : static inline void path_to_nameidata(const struct path *path,
869 : : struct nameidata *nd)
870 : : {
871 : : if (!(nd->flags & LOOKUP_RCU)) {
872 : : dput(nd->path.dentry);
873 : : if (nd->path.mnt != path->mnt)
874 : : mntput(nd->path.mnt);
875 : : }
876 : : nd->path.mnt = path->mnt;
877 : : nd->path.dentry = path->dentry;
878 : : }
879 : :
880 : 581586 : static int nd_jump_root(struct nameidata *nd)
881 : : {
882 [ + - ]: 581586 : if (unlikely(nd->flags & LOOKUP_BENEATH))
883 : : return -EXDEV;
884 [ - + ]: 581586 : if (unlikely(nd->flags & LOOKUP_NO_XDEV)) {
885 : : /* Absolute path arguments to path_init() are allowed. */
886 [ # # # # ]: 0 : if (nd->path.mnt != NULL && nd->path.mnt != nd->root.mnt)
887 : : return -EXDEV;
888 : : }
889 [ + + ]: 581586 : if (!nd->root.mnt) {
890 : 567286 : int error = set_root(nd);
891 [ + - ]: 567286 : if (error)
892 : : return error;
893 : : }
894 [ + + ]: 581586 : if (nd->flags & LOOKUP_RCU) {
895 : 581248 : struct dentry *d;
896 : 581248 : nd->path = nd->root;
897 : 581248 : d = nd->path.dentry;
898 : 581248 : nd->inode = d->d_inode;
899 : 581248 : nd->seq = nd->root_seq;
900 [ + - ]: 581248 : if (unlikely(read_seqcount_retry(&d->d_seq, nd->seq)))
901 : : return -ECHILD;
902 : : } else {
903 : 338 : path_put(&nd->path);
904 : 338 : nd->path = nd->root;
905 : 338 : path_get(&nd->path);
906 : 338 : nd->inode = nd->path.dentry->d_inode;
907 : : }
908 : 581586 : nd->flags |= LOOKUP_JUMPED;
909 : 581586 : return 0;
910 : : }
911 : :
912 : : /*
913 : : * Helper to directly jump to a known parsed path from ->get_link,
914 : : * caller must have taken a reference to path beforehand.
915 : : */
916 : 2054 : int nd_jump_link(struct path *path)
917 : : {
918 : 2054 : int error = -ELOOP;
919 [ - + ]: 2054 : struct nameidata *nd = current->nameidata;
920 : :
921 [ - + ]: 2054 : if (unlikely(nd->flags & LOOKUP_NO_MAGICLINKS))
922 : 0 : goto err;
923 : :
924 : 2054 : error = -EXDEV;
925 [ - + ]: 2054 : if (unlikely(nd->flags & LOOKUP_NO_XDEV)) {
926 [ # # ]: 0 : if (nd->path.mnt != path->mnt)
927 : 0 : goto err;
928 : : }
929 : : /* Not currently safe for scoped-lookups. */
930 [ - + ]: 2054 : if (unlikely(nd->flags & LOOKUP_IS_SCOPED))
931 : 0 : goto err;
932 : :
933 : 2054 : path_put(&nd->path);
934 : 2054 : nd->path = *path;
935 : 2054 : nd->inode = nd->path.dentry->d_inode;
936 : 2054 : nd->flags |= LOOKUP_JUMPED;
937 : 2054 : return 0;
938 : :
939 : 0 : err:
940 : 0 : path_put(path);
941 : 0 : return error;
942 : : }
943 : :
944 : 137264 : static inline void put_link(struct nameidata *nd)
945 : : {
946 : 137264 : struct saved *last = nd->stack + --nd->depth;
947 [ + + ]: 137264 : do_delayed_call(&last->done);
948 [ + + ]: 137264 : if (!(nd->flags & LOOKUP_RCU))
949 : 14396 : path_put(&last->link);
950 : 137264 : }
951 : :
952 : : int sysctl_protected_symlinks __read_mostly = 0;
953 : : int sysctl_protected_hardlinks __read_mostly = 0;
954 : : int sysctl_protected_fifos __read_mostly;
955 : : int sysctl_protected_regular __read_mostly;
956 : :
957 : : /**
958 : : * may_follow_link - Check symlink following for unsafe situations
959 : : * @nd: nameidata pathwalk data
960 : : *
961 : : * In the case of the sysctl_protected_symlinks sysctl being enabled,
962 : : * CAP_DAC_OVERRIDE needs to be specifically ignored if the symlink is
963 : : * in a sticky world-writable directory. This is to protect privileged
964 : : * processes from failing races against path names that may change out
965 : : * from under them by way of other users creating malicious symlinks.
966 : : * It will permit symlinks to be followed only when outside a sticky
967 : : * world-writable directory, or when the uid of the symlink and follower
968 : : * match, or when the directory owner matches the symlink's owner.
969 : : *
970 : : * Returns 0 if following the symlink is allowed, -ve on error.
971 : : */
972 : 54886 : static inline int may_follow_link(struct nameidata *nd)
973 : : {
974 : 54886 : const struct inode *inode;
975 : 54886 : const struct inode *parent;
976 : 54886 : kuid_t puid;
977 : :
978 [ + + ]: 54886 : if (!sysctl_protected_symlinks)
979 : : return 0;
980 : :
981 : : /* Allowed if owner and follower match. */
982 : 45800 : inode = nd->link_inode;
983 [ + + ]: 45800 : if (uid_eq(current_cred()->fsuid, inode->i_uid))
984 : : return 0;
985 : :
986 : : /* Allowed if parent directory not sticky and world-writable. */
987 : 324 : parent = nd->inode;
988 [ - + ]: 324 : if ((parent->i_mode & (S_ISVTX|S_IWOTH)) != (S_ISVTX|S_IWOTH))
989 : : return 0;
990 : :
991 : : /* Allowed if parent directory and link owner match. */
992 : 0 : puid = parent->i_uid;
993 [ # # # # ]: 0 : if (uid_valid(puid) && uid_eq(puid, inode->i_uid))
994 : : return 0;
995 : :
996 [ # # ]: 0 : if (nd->flags & LOOKUP_RCU)
997 : : return -ECHILD;
998 : :
999 : 0 : audit_inode(nd->name, nd->stack[0].link.dentry, 0);
1000 : 0 : audit_log_path_denied(AUDIT_ANOM_LINK, "follow_link");
1001 : 0 : return -EACCES;
1002 : : }
1003 : :
1004 : : /**
1005 : : * safe_hardlink_source - Check for safe hardlink conditions
1006 : : * @inode: the source inode to hardlink from
1007 : : *
1008 : : * Return false if at least one of the following conditions:
1009 : : * - inode is not a regular file
1010 : : * - inode is setuid
1011 : : * - inode is setgid and group-exec
1012 : : * - access failure for read and write
1013 : : *
1014 : : * Otherwise returns true.
1015 : : */
1016 : 0 : static bool safe_hardlink_source(struct inode *inode)
1017 : : {
1018 : 0 : umode_t mode = inode->i_mode;
1019 : :
1020 : : /* Special files should not get pinned to the filesystem. */
1021 [ # # ]: 0 : if (!S_ISREG(mode))
1022 : : return false;
1023 : :
1024 : : /* Setuid files should not get pinned to the filesystem. */
1025 [ # # ]: 0 : if (mode & S_ISUID)
1026 : : return false;
1027 : :
1028 : : /* Executable setgid files should not get pinned to the filesystem. */
1029 [ # # ]: 0 : if ((mode & (S_ISGID | S_IXGRP)) == (S_ISGID | S_IXGRP))
1030 : : return false;
1031 : :
1032 : : /* Hardlinking to unreadable or unwritable sources is dangerous. */
1033 [ # # ]: 0 : if (inode_permission(inode, MAY_READ | MAY_WRITE))
1034 : 0 : return false;
1035 : :
1036 : : return true;
1037 : : }
1038 : :
1039 : : /**
1040 : : * may_linkat - Check permissions for creating a hardlink
1041 : : * @link: the source to hardlink from
1042 : : *
1043 : : * Block hardlink when all of:
1044 : : * - sysctl_protected_hardlinks enabled
1045 : : * - fsuid does not match inode
1046 : : * - hardlink source is unsafe (see safe_hardlink_source() above)
1047 : : * - not CAP_FOWNER in a namespace with the inode owner uid mapped
1048 : : *
1049 : : * Returns 0 if successful, -ve on error.
1050 : : */
1051 : : static int may_linkat(struct path *link)
1052 : : {
1053 : : struct inode *inode = link->dentry->d_inode;
1054 : :
1055 : : /* Inode writeback is not safe when the uid or gid are invalid. */
1056 : : if (!uid_valid(inode->i_uid) || !gid_valid(inode->i_gid))
1057 : : return -EOVERFLOW;
1058 : :
1059 : : if (!sysctl_protected_hardlinks)
1060 : : return 0;
1061 : :
1062 : : /* Source inode owner (or CAP_FOWNER) can hardlink all they like,
1063 : : * otherwise, it must be a safe source.
1064 : : */
1065 : : if (safe_hardlink_source(inode) || inode_owner_or_capable(inode))
1066 : : return 0;
1067 : :
1068 : : audit_log_path_denied(AUDIT_ANOM_LINK, "linkat");
1069 : : return -EPERM;
1070 : : }
1071 : :
1072 : : /**
1073 : : * may_create_in_sticky - Check whether an O_CREAT open in a sticky directory
1074 : : * should be allowed, or not, on files that already
1075 : : * exist.
1076 : : * @dir_mode: mode bits of directory
1077 : : * @dir_uid: owner of directory
1078 : : * @inode: the inode of the file to open
1079 : : *
1080 : : * Block an O_CREAT open of a FIFO (or a regular file) when:
1081 : : * - sysctl_protected_fifos (or sysctl_protected_regular) is enabled
1082 : : * - the file already exists
1083 : : * - we are in a sticky directory
1084 : : * - we don't own the file
1085 : : * - the owner of the directory doesn't own the file
1086 : : * - the directory is world writable
1087 : : * If the sysctl_protected_fifos (or sysctl_protected_regular) is set to 2
1088 : : * the directory doesn't have to be world writable: being group writable will
1089 : : * be enough.
1090 : : *
1091 : : * Returns 0 if the open is allowed, -ve on error.
1092 : : */
1093 : 208 : static int may_create_in_sticky(umode_t dir_mode, kuid_t dir_uid,
1094 : : struct inode * const inode)
1095 : : {
1096 [ + - + - ]: 208 : if ((!sysctl_protected_fifos && S_ISFIFO(inode->i_mode)) ||
1097 [ + - + + ]: 208 : (!sysctl_protected_regular && S_ISREG(inode->i_mode)) ||
1098 [ - + - - ]: 52 : likely(!(dir_mode & S_ISVTX)) ||
1099 [ # # ]: 0 : uid_eq(inode->i_uid, dir_uid) ||
1100 [ # # ]: 0 : uid_eq(current_fsuid(), inode->i_uid))
1101 : : return 0;
1102 : :
1103 [ # # # # ]: 0 : if (likely(dir_mode & 0002) ||
1104 [ # # ]: 0 : (dir_mode & 0020 &&
1105 [ # # # # ]: 0 : ((sysctl_protected_fifos >= 2 && S_ISFIFO(inode->i_mode)) ||
1106 [ # # ]: 0 : (sysctl_protected_regular >= 2 && S_ISREG(inode->i_mode))))) {
1107 : 0 : const char *operation = S_ISFIFO(inode->i_mode) ?
1108 [ # # ]: 0 : "sticky_create_fifo" :
1109 : : "sticky_create_regular";
1110 : 0 : audit_log_path_denied(AUDIT_ANOM_CREAT, operation);
1111 : 0 : return -EACCES;
1112 : : }
1113 : : return 0;
1114 : : }
1115 : :
1116 : : static __always_inline
1117 : 137290 : const char *get_link(struct nameidata *nd)
1118 : : {
1119 : 137290 : struct saved *last = nd->stack + nd->depth - 1;
1120 : 137290 : struct dentry *dentry = last->link.dentry;
1121 : 137290 : struct inode *inode = nd->link_inode;
1122 : 137290 : int error;
1123 : 137290 : const char *res;
1124 : :
1125 : 137290 : if (unlikely(nd->flags & LOOKUP_NO_SYMLINKS))
1126 : : return ERR_PTR(-ELOOP);
1127 : :
1128 [ + + + + ]: 137290 : if (!(nd->flags & LOOKUP_RCU)) {
1129 : 8281 : touch_atime(&last->link);
1130 : 8281 : cond_resched();
1131 [ + + + + ]: 129009 : } else if (atime_needs_update(&last->link, inode)) {
1132 [ + - + - ]: 332 : if (unlikely(unlazy_walk(nd)))
1133 : : return ERR_PTR(-ECHILD);
1134 : 332 : touch_atime(&last->link);
1135 : : }
1136 : :
1137 : 137290 : error = security_inode_follow_link(dentry, inode,
1138 : 137290 : nd->flags & LOOKUP_RCU);
1139 [ - + - + ]: 137290 : if (unlikely(error))
1140 : 0 : return ERR_PTR(error);
1141 : :
1142 : 137290 : nd->last_type = LAST_BIND;
1143 [ + + + + ]: 137290 : res = READ_ONCE(inode->i_link);
1144 [ + + + + ]: 137290 : if (!res) {
1145 : 9682 : const char * (*get)(struct dentry *, struct inode *,
1146 : : struct delayed_call *);
1147 : 9682 : get = inode->i_op->get_link;
1148 [ - + + + ]: 9682 : if (nd->flags & LOOKUP_RCU) {
1149 : 5782 : res = get(NULL, inode, &last->done);
1150 [ - - - + ]: 5782 : if (res == ERR_PTR(-ECHILD)) {
1151 [ # # # # ]: 0 : if (unlikely(unlazy_walk(nd)))
1152 : : return ERR_PTR(-ECHILD);
1153 : 0 : res = get(dentry, inode, &last->done);
1154 : : }
1155 : : } else {
1156 : 3900 : res = get(dentry, inode, &last->done);
1157 : : }
1158 [ + + + + : 17310 : if (IS_ERR_OR_NULL(res))
+ - + - ]
1159 : : return res;
1160 : : }
1161 [ + + + + ]: 135236 : if (*res == '/') {
1162 : 14300 : error = nd_jump_root(nd);
1163 [ - + - + ]: 14300 : if (unlikely(error))
1164 : 0 : return ERR_PTR(error);
1165 : 14300 : while (unlikely(*++res == '/'))
1166 [ - + - + ]: 14300 : ;
1167 : : }
1168 [ + - - + ]: 135236 : if (!*res)
1169 : 0 : res = NULL;
1170 : : return res;
1171 : : }
1172 : :
1173 : : /*
1174 : : * follow_up - Find the mountpoint of path's vfsmount
1175 : : *
1176 : : * Given a path, find the mountpoint of its source file system.
1177 : : * Replace @path with the path of the mountpoint in the parent mount.
1178 : : * Up is towards /.
1179 : : *
1180 : : * Return 1 if we went up a level and 0 if we were already at the
1181 : : * root.
1182 : : */
1183 : 0 : int follow_up(struct path *path)
1184 : : {
1185 : 0 : struct mount *mnt = real_mount(path->mnt);
1186 : 0 : struct mount *parent;
1187 : 0 : struct dentry *mountpoint;
1188 : :
1189 : 0 : read_seqlock_excl(&mount_lock);
1190 : 0 : parent = mnt->mnt_parent;
1191 [ # # ]: 0 : if (parent == mnt) {
1192 : 0 : read_sequnlock_excl(&mount_lock);
1193 : 0 : return 0;
1194 : : }
1195 : 0 : mntget(&parent->mnt);
1196 [ # # ]: 0 : mountpoint = dget(mnt->mnt_mountpoint);
1197 : 0 : read_sequnlock_excl(&mount_lock);
1198 : 0 : dput(path->dentry);
1199 : 0 : path->dentry = mountpoint;
1200 : 0 : mntput(path->mnt);
1201 : 0 : path->mnt = &parent->mnt;
1202 : 0 : return 1;
1203 : : }
1204 : : EXPORT_SYMBOL(follow_up);
1205 : :
1206 : : /*
1207 : : * Perform an automount
1208 : : * - return -EISDIR to tell follow_managed() to stop and return the path we
1209 : : * were called with.
1210 : : */
1211 : : static int follow_automount(struct path *path, struct nameidata *nd,
1212 : : bool *need_mntput)
1213 : : {
1214 : : struct vfsmount *mnt;
1215 : : int err;
1216 : :
1217 : : if (!path->dentry->d_op || !path->dentry->d_op->d_automount)
1218 : : return -EREMOTE;
1219 : :
1220 : : /* We don't want to mount if someone's just doing a stat -
1221 : : * unless they're stat'ing a directory and appended a '/' to
1222 : : * the name.
1223 : : *
1224 : : * We do, however, want to mount if someone wants to open or
1225 : : * create a file of any type under the mountpoint, wants to
1226 : : * traverse through the mountpoint or wants to open the
1227 : : * mounted directory. Also, autofs may mark negative dentries
1228 : : * as being automount points. These will need the attentions
1229 : : * of the daemon to instantiate them before they can be used.
1230 : : */
1231 : : if (!(nd->flags & (LOOKUP_PARENT | LOOKUP_DIRECTORY |
1232 : : LOOKUP_OPEN | LOOKUP_CREATE | LOOKUP_AUTOMOUNT)) &&
1233 : : path->dentry->d_inode)
1234 : : return -EISDIR;
1235 : :
1236 : : nd->total_link_count++;
1237 : : if (nd->total_link_count >= 40)
1238 : : return -ELOOP;
1239 : :
1240 : : mnt = path->dentry->d_op->d_automount(path);
1241 : : if (IS_ERR(mnt)) {
1242 : : /*
1243 : : * The filesystem is allowed to return -EISDIR here to indicate
1244 : : * it doesn't want to automount. For instance, autofs would do
1245 : : * this so that its userspace daemon can mount on this dentry.
1246 : : *
1247 : : * However, we can only permit this if it's a terminal point in
1248 : : * the path being looked up; if it wasn't then the remainder of
1249 : : * the path is inaccessible and we should say so.
1250 : : */
1251 : : if (PTR_ERR(mnt) == -EISDIR && (nd->flags & LOOKUP_PARENT))
1252 : : return -EREMOTE;
1253 : : return PTR_ERR(mnt);
1254 : : }
1255 : :
1256 : : if (!mnt) /* mount collision */
1257 : : return 0;
1258 : :
1259 : : if (!*need_mntput) {
1260 : : /* lock_mount() may release path->mnt on error */
1261 : : mntget(path->mnt);
1262 : : *need_mntput = true;
1263 : : }
1264 : : err = finish_automount(mnt, path);
1265 : :
1266 : : switch (err) {
1267 : : case -EBUSY:
1268 : : /* Someone else made a mount here whilst we were busy */
1269 : : return 0;
1270 : : case 0:
1271 : : path_put(path);
1272 : : path->mnt = mnt;
1273 : : path->dentry = dget(mnt->mnt_root);
1274 : : return 0;
1275 : : default:
1276 : : return err;
1277 : : }
1278 : :
1279 : : }
1280 : :
1281 : : /*
1282 : : * Handle a dentry that is managed in some way.
1283 : : * - Flagged for transit management (autofs)
1284 : : * - Flagged as mountpoint
1285 : : * - Flagged as automount point
1286 : : *
1287 : : * This may only be called in refwalk mode.
1288 : : * On success path->dentry is known positive.
1289 : : *
1290 : : * Serialization is taken care of in namespace.c
1291 : : */
1292 : 681490 : static int follow_managed(struct path *path, struct nameidata *nd)
1293 : : {
1294 : 681490 : struct vfsmount *mnt = path->mnt; /* held by caller, must be left alone */
1295 : 681490 : unsigned flags;
1296 : 681490 : bool need_mntput = false;
1297 : 681490 : int ret = 0;
1298 : :
1299 : : /* Given that we're not holding a lock here, we retain the value in a
1300 : : * local variable for each dentry as we look at it so that we don't see
1301 : : * the components of that value change under us */
1302 : 718837 : while (flags = smp_load_acquire(&path->dentry->d_flags),
1303 [ + + ]: 718837 : unlikely(flags & DCACHE_MANAGED_DENTRY)) {
1304 : : /* Allow the filesystem to manage the transit without i_mutex
1305 : : * being held. */
1306 [ + + ]: 38151 : if (flags & DCACHE_MANAGE_TRANSIT) {
1307 [ - + ]: 156 : BUG_ON(!path->dentry->d_op);
1308 [ - + ]: 156 : BUG_ON(!path->dentry->d_op->d_manage);
1309 : 156 : ret = path->dentry->d_op->d_manage(path, false);
1310 : 156 : flags = smp_load_acquire(&path->dentry->d_flags);
1311 [ + + ]: 156 : if (ret < 0)
1312 : : break;
1313 : : }
1314 : :
1315 : : /* Transit to a mounted filesystem. */
1316 [ + - ]: 38047 : if (flags & DCACHE_MOUNTED) {
1317 : 38047 : struct vfsmount *mounted = lookup_mnt(path);
1318 [ + + ]: 38047 : if (mounted) {
1319 : 37347 : dput(path->dentry);
1320 [ + + ]: 37347 : if (need_mntput)
1321 : 52 : mntput(path->mnt);
1322 : 37347 : path->mnt = mounted;
1323 [ + - ]: 37347 : path->dentry = dget(mounted->mnt_root);
1324 : 37347 : need_mntput = true;
1325 : 37347 : continue;
1326 : : }
1327 : :
1328 : : /* Something is mounted on this dentry in another
1329 : : * namespace and/or whatever was mounted there in this
1330 : : * namespace got unmounted before lookup_mnt() could
1331 : : * get it */
1332 : : }
1333 : :
1334 : : /* Handle an automount point */
1335 [ - + ]: 700 : if (flags & DCACHE_NEED_AUTOMOUNT) {
1336 : 0 : ret = follow_automount(path, nd, &need_mntput);
1337 [ # # ]: 0 : if (ret < 0)
1338 : : break;
1339 : 0 : continue;
1340 : : }
1341 : :
1342 : : /* We didn't change the current path point */
1343 : : break;
1344 : : }
1345 : :
1346 [ + + ]: 681490 : if (need_mntput) {
1347 [ - + ]: 37295 : if (path->mnt == mnt)
1348 : 0 : mntput(path->mnt);
1349 [ + - ]: 37295 : if (unlikely(nd->flags & LOOKUP_NO_XDEV))
1350 : : ret = -EXDEV;
1351 : : else
1352 : 37295 : nd->flags |= LOOKUP_JUMPED;
1353 : : }
1354 [ - + ]: 681490 : if (ret == -EISDIR || !ret)
1355 : : ret = 1;
1356 [ - - + + ]: 681490 : if (ret > 0 && unlikely(d_flags_negative(flags)))
1357 : 116837 : ret = -ENOENT;
1358 [ + + ]: 681490 : if (unlikely(ret < 0))
1359 : 116837 : path_put_conditional(path, nd);
1360 : 681490 : return ret;
1361 : : }
1362 : :
1363 : 0 : int follow_down_one(struct path *path)
1364 : : {
1365 : 0 : struct vfsmount *mounted;
1366 : :
1367 : 0 : mounted = lookup_mnt(path);
1368 [ # # ]: 0 : if (mounted) {
1369 : 0 : dput(path->dentry);
1370 : 0 : mntput(path->mnt);
1371 : 0 : path->mnt = mounted;
1372 [ # # ]: 0 : path->dentry = dget(mounted->mnt_root);
1373 : 0 : return 1;
1374 : : }
1375 : : return 0;
1376 : : }
1377 : : EXPORT_SYMBOL(follow_down_one);
1378 : :
1379 : : static inline int managed_dentry_rcu(const struct path *path)
1380 : : {
1381 : : return (path->dentry->d_flags & DCACHE_MANAGE_TRANSIT) ?
1382 : : path->dentry->d_op->d_manage(path, true) : 0;
1383 : : }
1384 : :
1385 : : /*
1386 : : * Try to skip to top of mountpoint pile in rcuwalk mode. Fail if
1387 : : * we meet a managed dentry that would need blocking.
1388 : : */
1389 : : static bool __follow_mount_rcu(struct nameidata *nd, struct path *path,
1390 : : struct inode **inode, unsigned *seqp)
1391 : : {
1392 : : for (;;) {
1393 : : struct mount *mounted;
1394 : : /*
1395 : : * Don't forget we might have a non-mountpoint managed dentry
1396 : : * that wants to block transit.
1397 : : */
1398 : : switch (managed_dentry_rcu(path)) {
1399 : : case -ECHILD:
1400 : : default:
1401 : : return false;
1402 : : case -EISDIR:
1403 : : return true;
1404 : : case 0:
1405 : : break;
1406 : : }
1407 : :
1408 : : if (!d_mountpoint(path->dentry))
1409 : : return !(path->dentry->d_flags & DCACHE_NEED_AUTOMOUNT);
1410 : :
1411 : : mounted = __lookup_mnt(path->mnt, path->dentry);
1412 : : if (!mounted)
1413 : : break;
1414 : : if (unlikely(nd->flags & LOOKUP_NO_XDEV))
1415 : : return false;
1416 : : path->mnt = &mounted->mnt;
1417 : : path->dentry = mounted->mnt.mnt_root;
1418 : : nd->flags |= LOOKUP_JUMPED;
1419 : : *seqp = read_seqcount_begin(&path->dentry->d_seq);
1420 : : /*
1421 : : * Update the inode too. We don't need to re-check the
1422 : : * dentry sequence number here after this d_inode read,
1423 : : * because a mount-point is always pinned.
1424 : : */
1425 : : *inode = path->dentry->d_inode;
1426 : : }
1427 : : return !read_seqretry(&mount_lock, nd->m_seq) &&
1428 : : !(path->dentry->d_flags & DCACHE_NEED_AUTOMOUNT);
1429 : : }
1430 : :
1431 : 1025 : static int follow_dotdot_rcu(struct nameidata *nd)
1432 : : {
1433 : 1025 : struct inode *inode = nd->inode;
1434 : :
1435 : 1025 : while (1) {
1436 [ + + ]: 1025 : if (path_equal(&nd->path, &nd->root)) {
1437 [ + - ]: 13 : if (unlikely(nd->flags & LOOKUP_BENEATH))
1438 : : return -ECHILD;
1439 : : break;
1440 : : }
1441 [ + - ]: 1012 : if (nd->path.dentry != nd->path.mnt->mnt_root) {
1442 : 1012 : struct dentry *old = nd->path.dentry;
1443 : 1012 : struct dentry *parent = old->d_parent;
1444 : 1012 : unsigned seq;
1445 : :
1446 : 1012 : inode = parent->d_inode;
1447 : 1012 : seq = read_seqcount_begin(&parent->d_seq);
1448 [ + - ]: 1012 : if (unlikely(read_seqcount_retry(&old->d_seq, nd->seq)))
1449 : : return -ECHILD;
1450 : 1012 : nd->path.dentry = parent;
1451 : 1012 : nd->seq = seq;
1452 [ + - ]: 1012 : if (unlikely(!path_connected(&nd->path)))
1453 : : return -ECHILD;
1454 : : break;
1455 : : } else {
1456 : 0 : struct mount *mnt = real_mount(nd->path.mnt);
1457 : 0 : struct mount *mparent = mnt->mnt_parent;
1458 : 0 : struct dentry *mountpoint = mnt->mnt_mountpoint;
1459 : 0 : struct inode *inode2 = mountpoint->d_inode;
1460 : 0 : unsigned seq = read_seqcount_begin(&mountpoint->d_seq);
1461 [ # # ]: 0 : if (unlikely(read_seqretry(&mount_lock, nd->m_seq)))
1462 : : return -ECHILD;
1463 [ # # ]: 0 : if (&mparent->mnt == nd->path.mnt)
1464 : : break;
1465 [ # # ]: 0 : if (unlikely(nd->flags & LOOKUP_NO_XDEV))
1466 : : return -ECHILD;
1467 : : /* we know that mountpoint was pinned */
1468 : 0 : nd->path.dentry = mountpoint;
1469 : 0 : nd->path.mnt = &mparent->mnt;
1470 : 0 : inode = inode2;
1471 : 0 : nd->seq = seq;
1472 : : }
1473 : : }
1474 [ + + ]: 1038 : while (unlikely(d_mountpoint(nd->path.dentry))) {
1475 : 13 : struct mount *mounted;
1476 : 13 : mounted = __lookup_mnt(nd->path.mnt, nd->path.dentry);
1477 [ + - ]: 13 : if (unlikely(read_seqretry(&mount_lock, nd->m_seq)))
1478 : : return -ECHILD;
1479 [ + - ]: 13 : if (!mounted)
1480 : : break;
1481 [ + - ]: 13 : if (unlikely(nd->flags & LOOKUP_NO_XDEV))
1482 : : return -ECHILD;
1483 : 13 : nd->path.mnt = &mounted->mnt;
1484 : 13 : nd->path.dentry = mounted->mnt.mnt_root;
1485 : 13 : inode = nd->path.dentry->d_inode;
1486 : 26 : nd->seq = read_seqcount_begin(&nd->path.dentry->d_seq);
1487 : : }
1488 : 1025 : nd->inode = inode;
1489 : 1025 : return 0;
1490 : : }
1491 : :
1492 : : /*
1493 : : * Follow down to the covering mount currently visible to userspace. At each
1494 : : * point, the filesystem owning that dentry may be queried as to whether the
1495 : : * caller is permitted to proceed or not.
1496 : : */
1497 : 0 : int follow_down(struct path *path)
1498 : : {
1499 : 0 : unsigned managed;
1500 : 0 : int ret;
1501 : :
1502 [ # # ]: 0 : while (managed = READ_ONCE(path->dentry->d_flags),
1503 [ # # ]: 0 : unlikely(managed & DCACHE_MANAGED_DENTRY)) {
1504 : : /* Allow the filesystem to manage the transit without i_mutex
1505 : : * being held.
1506 : : *
1507 : : * We indicate to the filesystem if someone is trying to mount
1508 : : * something here. This gives autofs the chance to deny anyone
1509 : : * other than its daemon the right to mount on its
1510 : : * superstructure.
1511 : : *
1512 : : * The filesystem may sleep at this point.
1513 : : */
1514 [ # # ]: 0 : if (managed & DCACHE_MANAGE_TRANSIT) {
1515 [ # # ]: 0 : BUG_ON(!path->dentry->d_op);
1516 [ # # ]: 0 : BUG_ON(!path->dentry->d_op->d_manage);
1517 : 0 : ret = path->dentry->d_op->d_manage(path, false);
1518 [ # # ]: 0 : if (ret < 0)
1519 [ # # ]: 0 : return ret == -EISDIR ? 0 : ret;
1520 : : }
1521 : :
1522 : : /* Transit to a mounted filesystem. */
1523 [ # # ]: 0 : if (managed & DCACHE_MOUNTED) {
1524 : 0 : struct vfsmount *mounted = lookup_mnt(path);
1525 [ # # ]: 0 : if (!mounted)
1526 : : break;
1527 : 0 : dput(path->dentry);
1528 : 0 : mntput(path->mnt);
1529 : 0 : path->mnt = mounted;
1530 [ # # ]: 0 : path->dentry = dget(mounted->mnt_root);
1531 : 0 : continue;
1532 : : }
1533 : :
1534 : : /* Don't handle automount points here */
1535 : : break;
1536 : : }
1537 : : return 0;
1538 : : }
1539 : : EXPORT_SYMBOL(follow_down);
1540 : :
1541 : : /*
1542 : : * Skip to top of mountpoint pile in refwalk mode for follow_dotdot()
1543 : : */
1544 : 16779 : static void follow_mount(struct path *path)
1545 : : {
1546 [ - + ]: 16779 : while (d_mountpoint(path->dentry)) {
1547 : 0 : struct vfsmount *mounted = lookup_mnt(path);
1548 [ # # ]: 0 : if (!mounted)
1549 : : break;
1550 : 0 : dput(path->dentry);
1551 : 0 : mntput(path->mnt);
1552 : 0 : path->mnt = mounted;
1553 [ # # ]: 0 : path->dentry = dget(mounted->mnt_root);
1554 : : }
1555 : 16779 : }
1556 : :
1557 : 16779 : static int path_parent_directory(struct path *path)
1558 : : {
1559 : 16779 : struct dentry *old = path->dentry;
1560 : : /* rare case of legitimate dget_parent()... */
1561 : 16779 : path->dentry = dget_parent(path->dentry);
1562 : 16779 : dput(old);
1563 [ - + ]: 16779 : if (unlikely(!path_connected(path)))
1564 : 0 : return -ENOENT;
1565 : : return 0;
1566 : : }
1567 : :
1568 : 16779 : static int follow_dotdot(struct nameidata *nd)
1569 : : {
1570 : 16779 : while (1) {
1571 [ + + ]: 16779 : if (path_equal(&nd->path, &nd->root)) {
1572 [ # # ]: 0 : if (unlikely(nd->flags & LOOKUP_BENEATH))
1573 : : return -EXDEV;
1574 : : break;
1575 : : }
1576 [ + - ]: 16779 : if (nd->path.dentry != nd->path.mnt->mnt_root) {
1577 : 16779 : int ret = path_parent_directory(&nd->path);
1578 [ + - ]: 16779 : if (ret)
1579 : : return ret;
1580 : : break;
1581 : : }
1582 [ # # ]: 0 : if (!follow_up(&nd->path))
1583 : : break;
1584 [ # # ]: 0 : if (unlikely(nd->flags & LOOKUP_NO_XDEV))
1585 : : return -EXDEV;
1586 : : }
1587 : 16779 : follow_mount(&nd->path);
1588 : 16779 : nd->inode = nd->path.dentry->d_inode;
1589 : 16779 : return 0;
1590 : : }
1591 : :
1592 : : /*
1593 : : * This looks up the name in dcache and possibly revalidates the found dentry.
1594 : : * NULL is returned if the dentry does not exist in the cache.
1595 : : */
1596 : 236283 : static struct dentry *lookup_dcache(const struct qstr *name,
1597 : : struct dentry *dir,
1598 : : unsigned int flags)
1599 : : {
1600 : 236283 : struct dentry *dentry = d_lookup(dir, name);
1601 [ + + ]: 236283 : if (dentry) {
1602 [ + + ]: 45331 : int error = d_revalidate(dentry, flags);
1603 [ - + ]: 45331 : if (unlikely(error <= 0)) {
1604 [ # # ]: 0 : if (!error)
1605 : 0 : d_invalidate(dentry);
1606 : 0 : dput(dentry);
1607 : 0 : return ERR_PTR(error);
1608 : : }
1609 : : }
1610 : : return dentry;
1611 : : }
1612 : :
1613 : : /*
1614 : : * Parent directory has inode locked exclusive. This is one
1615 : : * and only case when ->lookup() gets called on non in-lookup
1616 : : * dentries - as the matter of fact, this only gets called
1617 : : * when directory is guaranteed to have no in-lookup children
1618 : : * at all.
1619 : : */
1620 : 61004 : static struct dentry *__lookup_hash(const struct qstr *name,
1621 : : struct dentry *base, unsigned int flags)
1622 : : {
1623 : 61004 : struct dentry *dentry = lookup_dcache(name, base, flags);
1624 : 61004 : struct dentry *old;
1625 : 61004 : struct inode *dir = base->d_inode;
1626 : :
1627 [ + + ]: 61004 : if (dentry)
1628 : : return dentry;
1629 : :
1630 : : /* Don't create child dentry for a dead directory. */
1631 [ + - ]: 15673 : if (unlikely(IS_DEADDIR(dir)))
1632 : : return ERR_PTR(-ENOENT);
1633 : :
1634 : 15673 : dentry = d_alloc(base, name);
1635 [ + - ]: 15673 : if (unlikely(!dentry))
1636 : : return ERR_PTR(-ENOMEM);
1637 : :
1638 : 15673 : old = dir->i_op->lookup(dir, dentry, flags);
1639 [ - + ]: 15673 : if (unlikely(old)) {
1640 : 0 : dput(dentry);
1641 : 0 : dentry = old;
1642 : : }
1643 : : return dentry;
1644 : : }
1645 : :
1646 : 2555160 : static int lookup_fast(struct nameidata *nd,
1647 : : struct path *path, struct inode **inode,
1648 : : unsigned *seqp)
1649 : : {
1650 : 2555160 : struct vfsmount *mnt = nd->path.mnt;
1651 : 2555160 : struct dentry *dentry, *parent = nd->path.dentry;
1652 : 2555160 : int status = 1;
1653 : 2555160 : int err;
1654 : :
1655 : : /*
1656 : : * Rename seqlock is not required here because in the off chance
1657 : : * of a false negative due to a concurrent rename, the caller is
1658 : : * going to fall back to non-racy lookup.
1659 : : */
1660 [ + + ]: 2555160 : if (nd->flags & LOOKUP_RCU) {
1661 : 1972327 : unsigned seq;
1662 : 1972327 : bool negative;
1663 : 1972327 : dentry = __d_lookup_rcu(parent, &nd->last, &seq);
1664 [ + + ]: 1972327 : if (unlikely(!dentry)) {
1665 [ + - ]: 87456 : if (unlazy_walk(nd))
1666 : 1960148 : return -ECHILD;
1667 : 87456 : return 0;
1668 : : }
1669 : :
1670 : : /*
1671 : : * This sequence count validates that the inode matches
1672 : : * the dentry name information from lookup.
1673 : : */
1674 : 1884871 : *inode = d_backing_inode(dentry);
1675 : 1884871 : negative = d_is_negative(dentry);
1676 [ + - ]: 1884871 : if (unlikely(read_seqcount_retry(&dentry->d_seq, seq)))
1677 : : return -ECHILD;
1678 : :
1679 : : /*
1680 : : * This sequence count validates that the parent had no
1681 : : * changes while we did the lookup of the dentry above.
1682 : : *
1683 : : * The memory barrier in read_seqcount_begin of child is
1684 : : * enough, we can use __read_seqcount_retry here.
1685 : : */
1686 [ + - ]: 1884871 : if (unlikely(__read_seqcount_retry(&parent->d_seq, nd->seq)))
1687 : : return -ECHILD;
1688 : :
1689 : 1884871 : *seqp = seq;
1690 [ + + ]: 1884871 : status = d_revalidate(dentry, nd->flags);
1691 [ + + ]: 1884871 : if (likely(status > 0)) {
1692 : : /*
1693 : : * Note: do negative dentry check after revalidation in
1694 : : * case that drops it.
1695 : : */
1696 [ + + ]: 1872692 : if (unlikely(negative))
1697 : : return -ENOENT;
1698 : 1786319 : path->mnt = mnt;
1699 : 1786319 : path->dentry = dentry;
1700 [ - + ]: 1786319 : if (likely(__follow_mount_rcu(nd, path, inode, seqp)))
1701 : : return 1;
1702 : : }
1703 [ + - ]: 12179 : if (unlazy_child(nd, dentry, seq))
1704 : : return -ECHILD;
1705 [ + - ]: 12179 : if (unlikely(status == -ECHILD))
1706 : : /* we'd been told to redo it in non-rcu mode */
1707 [ + - ]: 12179 : status = d_revalidate(dentry, nd->flags);
1708 : : } else {
1709 : 582833 : dentry = __d_lookup(parent, &nd->last);
1710 [ + + ]: 582833 : if (unlikely(!dentry))
1711 : : return 0;
1712 [ + + ]: 505165 : status = d_revalidate(dentry, nd->flags);
1713 : : }
1714 [ - + ]: 517344 : if (unlikely(status <= 0)) {
1715 [ # # ]: 0 : if (!status)
1716 : 0 : d_invalidate(dentry);
1717 : 0 : dput(dentry);
1718 : 0 : return status;
1719 : : }
1720 : :
1721 : 517344 : path->mnt = mnt;
1722 : 517344 : path->dentry = dentry;
1723 : 517344 : err = follow_managed(path, nd);
1724 [ + + ]: 517344 : if (likely(err > 0))
1725 : 517306 : *inode = d_backing_inode(path->dentry);
1726 : : return err;
1727 : : }
1728 : :
1729 : : /* Fast lookup failed, do it the slow way */
1730 : 292720 : static struct dentry *__lookup_slow(const struct qstr *name,
1731 : : struct dentry *dir,
1732 : : unsigned int flags)
1733 : : {
1734 : 292720 : struct dentry *dentry, *old;
1735 : 292720 : struct inode *inode = dir->d_inode;
1736 : 292720 : DECLARE_WAIT_QUEUE_HEAD_ONSTACK(wq);
1737 : :
1738 : : /* Don't go there if it's already dead */
1739 [ + - ]: 292720 : if (unlikely(IS_DEADDIR(inode)))
1740 : : return ERR_PTR(-ENOENT);
1741 : 292720 : again:
1742 : 292720 : dentry = d_alloc_parallel(dir, name, &wq);
1743 [ - + ]: 292720 : if (IS_ERR(dentry))
1744 : 0 : return dentry;
1745 [ + + ]: 292720 : if (unlikely(!d_in_lookup(dentry))) {
1746 [ - + ]: 7 : int error = d_revalidate(dentry, flags);
1747 [ - + ]: 7 : if (unlikely(error <= 0)) {
1748 [ # # ]: 0 : if (!error) {
1749 : 0 : d_invalidate(dentry);
1750 : 0 : dput(dentry);
1751 : 0 : goto again;
1752 : : }
1753 : 0 : dput(dentry);
1754 : 0 : dentry = ERR_PTR(error);
1755 : : }
1756 : : } else {
1757 : 292713 : old = inode->i_op->lookup(inode, dentry, flags);
1758 : 292713 : d_lookup_done(dentry);
1759 [ + + ]: 292713 : if (unlikely(old)) {
1760 : 744 : dput(dentry);
1761 : 744 : dentry = old;
1762 : : }
1763 : : }
1764 : : return dentry;
1765 : : }
1766 : :
1767 : 117441 : static struct dentry *lookup_slow(const struct qstr *name,
1768 : : struct dentry *dir,
1769 : : unsigned int flags)
1770 : : {
1771 : 117441 : struct inode *inode = dir->d_inode;
1772 : 117441 : struct dentry *res;
1773 : 117441 : inode_lock_shared(inode);
1774 : 117441 : res = __lookup_slow(name, dir, flags);
1775 : 117441 : inode_unlock_shared(inode);
1776 : 117441 : return res;
1777 : : }
1778 : :
1779 : 2646435 : static inline int may_lookup(struct nameidata *nd)
1780 : : {
1781 [ + + ]: 2646435 : if (nd->flags & LOOKUP_RCU) {
1782 : 2263091 : int err = inode_permission(nd->inode, MAY_EXEC|MAY_NOT_BLOCK);
1783 [ + + ]: 2263091 : if (err != -ECHILD)
1784 : : return err;
1785 [ + - ]: 217672 : if (unlazy_walk(nd))
1786 : : return -ECHILD;
1787 : : }
1788 : 601016 : return inode_permission(nd->inode, MAY_EXEC);
1789 : : }
1790 : :
1791 : 93757 : static inline int handle_dots(struct nameidata *nd, int type)
1792 : : {
1793 [ + + ]: 93757 : if (type == LAST_DOTDOT) {
1794 : 17804 : int error = 0;
1795 : :
1796 [ + + ]: 17804 : if (!nd->root.mnt) {
1797 : 12146 : error = set_root(nd);
1798 [ + - ]: 12146 : if (error)
1799 : : return error;
1800 : : }
1801 [ + + ]: 17804 : if (nd->flags & LOOKUP_RCU)
1802 : 1025 : error = follow_dotdot_rcu(nd);
1803 : : else
1804 : 16779 : error = follow_dotdot(nd);
1805 [ + - ]: 17804 : if (error)
1806 : : return error;
1807 : :
1808 [ - + ]: 17804 : if (unlikely(nd->flags & LOOKUP_IS_SCOPED)) {
1809 : : /*
1810 : : * If there was a racing rename or mount along our
1811 : : * path, then we can't be sure that ".." hasn't jumped
1812 : : * above nd->root (and so userspace should retry or use
1813 : : * some fallback).
1814 : : */
1815 : 0 : smp_rmb();
1816 [ # # ]: 0 : if (unlikely(__read_seqcount_retry(&mount_lock.seqcount, nd->m_seq)))
1817 : : return -EAGAIN;
1818 [ # # ]: 0 : if (unlikely(__read_seqcount_retry(&rename_lock.seqcount, nd->r_seq)))
1819 : 0 : return -EAGAIN;
1820 : : }
1821 : : }
1822 : : return 0;
1823 : : }
1824 : :
1825 : 137290 : static int pick_link(struct nameidata *nd, struct path *link,
1826 : : struct inode *inode, unsigned seq)
1827 : : {
1828 : 137290 : int error;
1829 : 137290 : struct saved *last;
1830 [ - + ]: 137290 : if (unlikely(nd->total_link_count++ >= MAXSYMLINKS)) {
1831 : 0 : path_to_nameidata(link, nd);
1832 : 0 : return -ELOOP;
1833 : : }
1834 [ + + ]: 137290 : if (!(nd->flags & LOOKUP_RCU)) {
1835 [ + - ]: 8281 : if (link->mnt == nd->path.mnt)
1836 : 8281 : mntget(link->mnt);
1837 : : }
1838 [ - + ]: 137290 : error = nd_alloc_stack(nd);
1839 [ - + ]: 137290 : if (unlikely(error)) {
1840 [ # # ]: 0 : if (error == -ECHILD) {
1841 [ # # ]: 0 : if (unlikely(!legitimize_path(nd, link, seq))) {
1842 : 0 : drop_links(nd);
1843 : 0 : nd->depth = 0;
1844 : 0 : nd->flags &= ~LOOKUP_RCU;
1845 : 0 : nd->path.mnt = NULL;
1846 : 0 : nd->path.dentry = NULL;
1847 : 0 : rcu_read_unlock();
1848 [ # # ]: 0 : } else if (likely(unlazy_walk(nd)) == 0)
1849 [ # # ]: 0 : error = nd_alloc_stack(nd);
1850 : : }
1851 [ # # ]: 0 : if (error) {
1852 : 0 : path_put(link);
1853 : 0 : return error;
1854 : : }
1855 : : }
1856 : :
1857 : 137290 : last = nd->stack + nd->depth++;
1858 : 137290 : last->link = *link;
1859 : 137290 : clear_delayed_call(&last->done);
1860 : 137290 : nd->link_inode = inode;
1861 : 137290 : last->seq = seq;
1862 : 137290 : return 1;
1863 : : }
1864 : :
1865 : : enum {WALK_FOLLOW = 1, WALK_MORE = 2};
1866 : :
1867 : : /*
1868 : : * Do we need to follow links? We _really_ want to be able
1869 : : * to do this check without having to look at inode->i_op,
1870 : : * so we keep a cache of "no, this doesn't need follow_link"
1871 : : * for the common case.
1872 : : */
1873 : 2350842 : static inline int step_into(struct nameidata *nd, struct path *path,
1874 : : int flags, struct inode *inode, unsigned seq)
1875 : : {
1876 [ + + + + ]: 2350842 : if (!(flags & WALK_MORE) && nd->depth)
1877 : 135236 : put_link(nd);
1878 [ + + ]: 2350842 : if (likely(!d_is_symlink(path->dentry)) ||
1879 [ + + + + ]: 171533 : !(flags & WALK_FOLLOW || nd->flags & LOOKUP_FOLLOW)) {
1880 : : /* not a symlink or should not follow */
1881 : 2213552 : path_to_nameidata(path, nd);
1882 : 2213552 : nd->inode = inode;
1883 : 2213552 : nd->seq = seq;
1884 : 2213552 : return 0;
1885 : : }
1886 : : /* make sure that d_is_symlink above matches inode */
1887 [ + + ]: 137290 : if (nd->flags & LOOKUP_RCU) {
1888 [ + - ]: 129009 : if (read_seqcount_retry(&path->dentry->d_seq, seq))
1889 : : return -ECHILD;
1890 : : }
1891 : 137290 : return pick_link(nd, path, inode, seq);
1892 : : }
1893 : :
1894 : 2299413 : static int walk_component(struct nameidata *nd, int flags)
1895 : : {
1896 : 2299413 : struct path path;
1897 : 2299413 : struct inode *inode;
1898 : 2299413 : unsigned seq;
1899 : 2299413 : int err;
1900 : : /*
1901 : : * "." and ".." are special - ".." especially so because it has
1902 : : * to be able to know about the current root directory and
1903 : : * parent relationships.
1904 : : */
1905 [ + + ]: 2299413 : if (unlikely(nd->last_type != LAST_NORM)) {
1906 : 93562 : err = handle_dots(nd, nd->last_type);
1907 [ + + + + ]: 93562 : if (!(flags & WALK_MORE) && nd->depth)
1908 : 2028 : put_link(nd);
1909 : 93562 : return err;
1910 : : }
1911 : 2205851 : err = lookup_fast(nd, &path, &inode, &seq);
1912 [ + + ]: 2205851 : if (unlikely(err <= 0)) {
1913 [ + + ]: 168199 : if (err < 0)
1914 : : return err;
1915 : 117441 : path.dentry = lookup_slow(&nd->last, nd->path.dentry,
1916 : : nd->flags);
1917 [ + + ]: 117441 : if (IS_ERR(path.dentry))
1918 : 744 : return PTR_ERR(path.dentry);
1919 : :
1920 : 116697 : path.mnt = nd->path.mnt;
1921 : 116697 : err = follow_managed(&path, nd);
1922 [ + + ]: 116697 : if (unlikely(err < 0))
1923 : : return err;
1924 : :
1925 : 33239 : seq = 0; /* we are already out of RCU mode */
1926 : 33239 : inode = d_backing_inode(path.dentry);
1927 : : }
1928 : :
1929 : 2070891 : return step_into(nd, &path, flags, inode, seq);
1930 : : }
1931 : :
1932 : : /*
1933 : : * We can do the critical dentry name comparison and hashing
1934 : : * operations one word at a time, but we are limited to:
1935 : : *
1936 : : * - Architectures with fast unaligned word accesses. We could
1937 : : * do a "get_unaligned()" if this helps and is sufficiently
1938 : : * fast.
1939 : : *
1940 : : * - non-CONFIG_DEBUG_PAGEALLOC configurations (so that we
1941 : : * do not trap on the (extremely unlikely) case of a page
1942 : : * crossing operation.
1943 : : *
1944 : : * - Furthermore, we need an efficient 64-bit compile for the
1945 : : * 64-bit case in order to generate the "number of bytes in
1946 : : * the final mask". Again, that could be replaced with a
1947 : : * efficient population count instruction or similar.
1948 : : */
1949 : : #ifdef CONFIG_DCACHE_WORD_ACCESS
1950 : :
1951 : : #include <asm/word-at-a-time.h>
1952 : :
1953 : : #ifdef HASH_MIX
1954 : :
1955 : : /* Architecture provides HASH_MIX and fold_hash() in <asm/hash.h> */
1956 : :
1957 : : #elif defined(CONFIG_64BIT)
1958 : : /*
1959 : : * Register pressure in the mixing function is an issue, particularly
1960 : : * on 32-bit x86, but almost any function requires one state value and
1961 : : * one temporary. Instead, use a function designed for two state values
1962 : : * and no temporaries.
1963 : : *
1964 : : * This function cannot create a collision in only two iterations, so
1965 : : * we have two iterations to achieve avalanche. In those two iterations,
1966 : : * we have six layers of mixing, which is enough to spread one bit's
1967 : : * influence out to 2^6 = 64 state bits.
1968 : : *
1969 : : * Rotate constants are scored by considering either 64 one-bit input
1970 : : * deltas or 64*63/2 = 2016 two-bit input deltas, and finding the
1971 : : * probability of that delta causing a change to each of the 128 output
1972 : : * bits, using a sample of random initial states.
1973 : : *
1974 : : * The Shannon entropy of the computed probabilities is then summed
1975 : : * to produce a score. Ideally, any input change has a 50% chance of
1976 : : * toggling any given output bit.
1977 : : *
1978 : : * Mixing scores (in bits) for (12,45):
1979 : : * Input delta: 1-bit 2-bit
1980 : : * 1 round: 713.3 42542.6
1981 : : * 2 rounds: 2753.7 140389.8
1982 : : * 3 rounds: 5954.1 233458.2
1983 : : * 4 rounds: 7862.6 256672.2
1984 : : * Perfect: 8192 258048
1985 : : * (64*128) (64*63/2 * 128)
1986 : : */
1987 : : #define HASH_MIX(x, y, a) \
1988 : : ( x ^= (a), \
1989 : : y ^= x, x = rol64(x,12),\
1990 : : x += y, y = rol64(y,45),\
1991 : : y *= 9 )
1992 : :
1993 : : /*
1994 : : * Fold two longs into one 32-bit hash value. This must be fast, but
1995 : : * latency isn't quite as critical, as there is a fair bit of additional
1996 : : * work done before the hash value is used.
1997 : : */
1998 : 2853662 : static inline unsigned int fold_hash(unsigned long x, unsigned long y)
1999 : : {
2000 : 2853662 : y ^= x * GOLDEN_RATIO_64;
2001 : 2853662 : y *= GOLDEN_RATIO_64;
2002 : 2853662 : return y >> 32;
2003 : : }
2004 : :
2005 : : #else /* 32-bit case */
2006 : :
2007 : : /*
2008 : : * Mixing scores (in bits) for (7,20):
2009 : : * Input delta: 1-bit 2-bit
2010 : : * 1 round: 330.3 9201.6
2011 : : * 2 rounds: 1246.4 25475.4
2012 : : * 3 rounds: 1907.1 31295.1
2013 : : * 4 rounds: 2042.3 31718.6
2014 : : * Perfect: 2048 31744
2015 : : * (32*64) (32*31/2 * 64)
2016 : : */
2017 : : #define HASH_MIX(x, y, a) \
2018 : : ( x ^= (a), \
2019 : : y ^= x, x = rol32(x, 7),\
2020 : : x += y, y = rol32(y,20),\
2021 : : y *= 9 )
2022 : :
2023 : : static inline unsigned int fold_hash(unsigned long x, unsigned long y)
2024 : : {
2025 : : /* Use arch-optimized multiply if one exists */
2026 : : return __hash_32(y ^ __hash_32(x));
2027 : : }
2028 : :
2029 : : #endif
2030 : :
2031 : : /*
2032 : : * Return the hash of a string of known length. This is carfully
2033 : : * designed to match hash_name(), which is the more critical function.
2034 : : * In particular, we must end by hashing a final word containing 0..7
2035 : : * payload bytes, to match the way that hash_name() iterates until it
2036 : : * finds the delimiter after the name.
2037 : : */
2038 : 206356 : unsigned int full_name_hash(const void *salt, const char *name, unsigned int len)
2039 : : {
2040 : 206356 : unsigned long a, x = 0, y = (unsigned long)salt;
2041 : :
2042 : 442956 : for (;;) {
2043 [ + + ]: 324656 : if (!len)
2044 : 11921 : goto done;
2045 : 312735 : a = load_unaligned_zeropad(name);
2046 [ + + ]: 312735 : if (len < sizeof(unsigned long))
2047 : : break;
2048 : 118300 : HASH_MIX(x, y, a);
2049 : 118300 : name += sizeof(unsigned long);
2050 : 118300 : len -= sizeof(unsigned long);
2051 : : }
2052 : 194435 : x ^= a & bytemask_from_count(len);
2053 : 206356 : done:
2054 : 206356 : return fold_hash(x, y);
2055 : : }
2056 : : EXPORT_SYMBOL(full_name_hash);
2057 : :
2058 : : /* Return the "hash_len" (hash and length) of a null-terminated string */
2059 : 871 : u64 hashlen_string(const void *salt, const char *name)
2060 : : {
2061 : 871 : unsigned long a = 0, x = 0, y = (unsigned long)salt;
2062 : 871 : unsigned long adata, mask, len;
2063 : 871 : const struct word_at_a_time constants = WORD_AT_A_TIME_CONSTANTS;
2064 : :
2065 : 871 : len = 0;
2066 : 871 : goto inside;
2067 : :
2068 : 572 : do {
2069 : 572 : HASH_MIX(x, y, a);
2070 : 572 : len += sizeof(unsigned long);
2071 : 1443 : inside:
2072 : 1443 : a = load_unaligned_zeropad(name+len);
2073 [ + + ]: 1443 : } while (!has_zero(a, &adata, &constants));
2074 : :
2075 : 871 : adata = prep_zero_mask(a, adata, &constants);
2076 : 871 : mask = create_zero_mask(adata);
2077 : 871 : x ^= a & zero_bytemask(mask);
2078 : :
2079 : 871 : return hashlen_create(fold_hash(x, y), len + find_zero(mask));
2080 : : }
2081 : : EXPORT_SYMBOL(hashlen_string);
2082 : :
2083 : : /*
2084 : : * Calculate the length and hash of the path component, and
2085 : : * return the "hash_len" as the result.
2086 : : */
2087 : 2646435 : static inline u64 hash_name(const void *salt, const char *name)
2088 : : {
2089 : 2646435 : unsigned long a = 0, b, x = 0, y = (unsigned long)salt;
2090 : 2646435 : unsigned long adata, bdata, mask, len;
2091 : 2646435 : const struct word_at_a_time constants = WORD_AT_A_TIME_CONSTANTS;
2092 : :
2093 : 2646435 : len = 0;
2094 : 2646435 : goto inside;
2095 : :
2096 : 808464 : do {
2097 : 808464 : HASH_MIX(x, y, a);
2098 : 808464 : len += sizeof(unsigned long);
2099 : 3454899 : inside:
2100 : 3454899 : a = load_unaligned_zeropad(name+len);
2101 : 3454899 : b = a ^ REPEAT_BYTE('/');
2102 [ + + ]: 3454899 : } while (!(has_zero(a, &adata, &constants) | has_zero(b, &bdata, &constants)));
2103 : :
2104 : 2646435 : adata = prep_zero_mask(a, adata, &constants);
2105 : 2646435 : bdata = prep_zero_mask(b, bdata, &constants);
2106 : 2646435 : mask = create_zero_mask(adata | bdata);
2107 : 2646435 : x ^= a & zero_bytemask(mask);
2108 : :
2109 : 2646435 : return hashlen_create(fold_hash(x, y), len + find_zero(mask));
2110 : : }
2111 : :
2112 : : #else /* !CONFIG_DCACHE_WORD_ACCESS: Slow, byte-at-a-time version */
2113 : :
2114 : : /* Return the hash of a string of known length */
2115 : : unsigned int full_name_hash(const void *salt, const char *name, unsigned int len)
2116 : : {
2117 : : unsigned long hash = init_name_hash(salt);
2118 : : while (len--)
2119 : : hash = partial_name_hash((unsigned char)*name++, hash);
2120 : : return end_name_hash(hash);
2121 : : }
2122 : : EXPORT_SYMBOL(full_name_hash);
2123 : :
2124 : : /* Return the "hash_len" (hash and length) of a null-terminated string */
2125 : : u64 hashlen_string(const void *salt, const char *name)
2126 : : {
2127 : : unsigned long hash = init_name_hash(salt);
2128 : : unsigned long len = 0, c;
2129 : :
2130 : : c = (unsigned char)*name;
2131 : : while (c) {
2132 : : len++;
2133 : : hash = partial_name_hash(c, hash);
2134 : : c = (unsigned char)name[len];
2135 : : }
2136 : : return hashlen_create(end_name_hash(hash), len);
2137 : : }
2138 : : EXPORT_SYMBOL(hashlen_string);
2139 : :
2140 : : /*
2141 : : * We know there's a real path component here of at least
2142 : : * one character.
2143 : : */
2144 : : static inline u64 hash_name(const void *salt, const char *name)
2145 : : {
2146 : : unsigned long hash = init_name_hash(salt);
2147 : : unsigned long len = 0, c;
2148 : :
2149 : : c = (unsigned char)*name;
2150 : : do {
2151 : : len++;
2152 : : hash = partial_name_hash(c, hash);
2153 : : c = (unsigned char)name[len];
2154 : : } while (c && c != '/');
2155 : : return hashlen_create(end_name_hash(hash), len);
2156 : : }
2157 : :
2158 : : #endif
2159 : :
2160 : : /*
2161 : : * Name resolution.
2162 : : * This is the basic name resolution function, turning a pathname into
2163 : : * the final dentry. We expect 'base' to be positive and a directory.
2164 : : *
2165 : : * Returns 0 and nd will have valid dentry and mnt on success.
2166 : : * Returns error and drops reference to input namei data on failure.
2167 : : */
2168 : 1011145 : static int link_path_walk(const char *name, struct nameidata *nd)
2169 : : {
2170 : 1011145 : int err;
2171 : :
2172 [ - + ]: 1011145 : if (IS_ERR(name))
2173 : 0 : return PTR_ERR(name);
2174 [ + + ]: 1578470 : while (*name=='/')
2175 : 567325 : name++;
2176 [ + + ]: 1011145 : if (!*name)
2177 : : return 0;
2178 : :
2179 : : /* At this point we know we have a real path component. */
2180 : 2646435 : for(;;) {
2181 : 2646435 : u64 hash_len;
2182 : 2646435 : int type;
2183 : :
2184 : 2646435 : err = may_lookup(nd);
2185 [ - + ]: 2646435 : if (err)
2186 : 0 : return err;
2187 : :
2188 : 2646435 : hash_len = hash_name(nd->path.dentry, name);
2189 : :
2190 : 2646435 : type = LAST_NORM;
2191 [ + + + + : 2646435 : if (name[0] == '.') switch (hashlen_len(hash_len)) {
+ ]
2192 : 17804 : case 2:
2193 [ + - ]: 17804 : if (name[1] == '.') {
2194 : 17804 : type = LAST_DOTDOT;
2195 : 17804 : nd->flags |= LOOKUP_JUMPED;
2196 : : }
2197 : : break;
2198 : 4160 : case 1:
2199 : 4160 : type = LAST_DOT;
2200 : : }
2201 [ + + ]: 2646435 : if (likely(type == LAST_NORM)) {
2202 : 2624471 : struct dentry *parent = nd->path.dentry;
2203 : 2624471 : nd->flags &= ~LOOKUP_JUMPED;
2204 [ - + ]: 2624471 : if (unlikely(parent->d_flags & DCACHE_OP_HASH)) {
2205 : 0 : struct qstr this = { { .hash_len = hash_len }, .name = name };
2206 : 0 : err = parent->d_op->d_hash(parent, &this);
2207 [ # # ]: 0 : if (err < 0)
2208 : 0 : return err;
2209 : 0 : hash_len = this.hash_len;
2210 : 0 : name = this.name;
2211 : : }
2212 : : }
2213 : :
2214 : 2646435 : nd->last.hash_len = hash_len;
2215 : 2646435 : nd->last.name = name;
2216 : 2646435 : nd->last_type = type;
2217 : :
2218 : 2646435 : name += hashlen_len(hash_len);
2219 [ + + ]: 2646435 : if (!*name)
2220 : 981680 : goto OK;
2221 : : /*
2222 : : * If it wasn't NUL, we know it was '/'. Skip that
2223 : : * slash, and continue until no more slashes.
2224 : : */
2225 : 1668447 : do {
2226 : 1668447 : name++;
2227 [ + + ]: 1668447 : } while (unlikely(*name == '/'));
2228 [ + + ]: 1664755 : if (unlikely(!*name)) {
2229 : 1976 : OK:
2230 : : /* pathname body, done */
2231 [ + + ]: 983656 : if (!nd->depth)
2232 : : return 0;
2233 : 135236 : name = nd->stack[nd->depth - 1].name;
2234 : : /* trailing symlink, done */
2235 [ + + ]: 135236 : if (!name)
2236 : : return 0;
2237 : : /* last component of nested symlink */
2238 : 82404 : err = walk_component(nd, WALK_FOLLOW);
2239 : : } else {
2240 : : /* not the last component */
2241 : 1662779 : err = walk_component(nd, WALK_FOLLOW | WALK_MORE);
2242 : : }
2243 [ + + ]: 1745183 : if (err < 0)
2244 : 38100 : return err;
2245 : :
2246 [ + + ]: 1707083 : if (err) {
2247 [ + - ]: 82404 : const char *s = get_link(nd);
2248 : :
2249 [ - + ]: 82404 : if (IS_ERR(s))
2250 : 0 : return PTR_ERR(s);
2251 : 82404 : err = 0;
2252 [ - + ]: 82404 : if (unlikely(!s)) {
2253 : : /* jumped */
2254 : 0 : put_link(nd);
2255 : : } else {
2256 : 82404 : nd->stack[nd->depth - 1].name = name;
2257 : 82404 : name = s;
2258 : 82404 : continue;
2259 : : }
2260 : : }
2261 [ + - ]: 1624679 : if (unlikely(!d_can_lookup(nd->path.dentry))) {
2262 [ # # ]: 0 : if (nd->flags & LOOKUP_RCU) {
2263 [ # # ]: 0 : if (unlazy_walk(nd))
2264 : : return -ECHILD;
2265 : : }
2266 : 0 : return -ENOTDIR;
2267 : : }
2268 : : }
2269 : : }
2270 : :
2271 : : /* must be paired with terminate_walk() */
2272 : 956259 : static const char *path_init(struct nameidata *nd, unsigned flags)
2273 : : {
2274 : 956259 : int error;
2275 : 956259 : const char *s = nd->name->name;
2276 : :
2277 [ + + ]: 956259 : if (!*s)
2278 : 962 : flags &= ~LOOKUP_RCU;
2279 [ + + ]: 956259 : if (flags & LOOKUP_RCU)
2280 : 955297 : rcu_read_lock();
2281 : :
2282 : 956259 : nd->last_type = LAST_ROOT; /* if there are only slashes... */
2283 : 956259 : nd->flags = flags | LOOKUP_JUMPED | LOOKUP_PARENT;
2284 : 956259 : nd->depth = 0;
2285 : :
2286 : 956259 : nd->m_seq = __read_seqcount_begin(&mount_lock.seqcount);
2287 : 956259 : nd->r_seq = __read_seqcount_begin(&rename_lock.seqcount);
2288 : 956259 : smp_rmb();
2289 : :
2290 [ - + ]: 956259 : if (flags & LOOKUP_ROOT) {
2291 : 0 : struct dentry *root = nd->root.dentry;
2292 : 0 : struct inode *inode = root->d_inode;
2293 [ # # # # ]: 0 : if (*s && unlikely(!d_can_lookup(root)))
2294 : : return ERR_PTR(-ENOTDIR);
2295 : 0 : nd->path = nd->root;
2296 : 0 : nd->inode = inode;
2297 [ # # ]: 0 : if (flags & LOOKUP_RCU) {
2298 : 0 : nd->seq = read_seqcount_begin(&nd->path.dentry->d_seq);
2299 : 0 : nd->root_seq = nd->seq;
2300 : : } else {
2301 : 0 : path_get(&nd->path);
2302 : : }
2303 : 0 : return s;
2304 : : }
2305 : :
2306 : 956259 : nd->root.mnt = NULL;
2307 : 956259 : nd->path.mnt = NULL;
2308 : 956259 : nd->path.dentry = NULL;
2309 : :
2310 : : /* Absolute pathname -- fetch the root (LOOKUP_IN_ROOT uses nd->dfd). */
2311 [ + + + - ]: 956259 : if (*s == '/' && !(flags & LOOKUP_IN_ROOT)) {
2312 : 567286 : error = nd_jump_root(nd);
2313 [ - + ]: 567286 : if (unlikely(error))
2314 : 0 : return ERR_PTR(error);
2315 : : return s;
2316 : : }
2317 : :
2318 : : /* Relative pathname -- get the starting-point it is relative to. */
2319 [ + + ]: 388973 : if (nd->dfd == AT_FDCWD) {
2320 [ + - ]: 79820 : if (flags & LOOKUP_RCU) {
2321 : 79820 : struct fs_struct *fs = current->fs;
2322 : 79820 : unsigned seq;
2323 : :
2324 : 79820 : do {
2325 : 79820 : seq = read_seqcount_begin(&fs->seq);
2326 : 79820 : nd->path = fs->pwd;
2327 : 79820 : nd->inode = nd->path.dentry->d_inode;
2328 : 79820 : nd->seq = __read_seqcount_begin(&nd->path.dentry->d_seq);
2329 [ - + ]: 79820 : } while (read_seqcount_retry(&fs->seq, seq));
2330 : : } else {
2331 : 0 : get_fs_pwd(current->fs, &nd->path);
2332 : 0 : nd->inode = nd->path.dentry->d_inode;
2333 : : }
2334 : : } else {
2335 : : /* Caller must check execute permissions on the starting path component */
2336 : 309153 : struct fd f = fdget_raw(nd->dfd);
2337 : 309153 : struct dentry *dentry;
2338 : :
2339 [ + - ]: 309153 : if (!f.file)
2340 : : return ERR_PTR(-EBADF);
2341 : :
2342 : 309153 : dentry = f.file->f_path.dentry;
2343 : :
2344 [ + + - + ]: 309153 : if (*s && unlikely(!d_can_lookup(dentry))) {
2345 [ # # ]: 0 : fdput(f);
2346 : 0 : return ERR_PTR(-ENOTDIR);
2347 : : }
2348 : :
2349 : 309153 : nd->path = f.file->f_path;
2350 [ + + ]: 309153 : if (flags & LOOKUP_RCU) {
2351 : 308191 : nd->inode = nd->path.dentry->d_inode;
2352 : 616382 : nd->seq = read_seqcount_begin(&nd->path.dentry->d_seq);
2353 : : } else {
2354 : 962 : path_get(&nd->path);
2355 : 962 : nd->inode = nd->path.dentry->d_inode;
2356 : : }
2357 [ - + ]: 309153 : fdput(f);
2358 : : }
2359 : :
2360 : : /* For scoped-lookups we need to set the root to the dirfd as well. */
2361 [ - + ]: 388973 : if (flags & LOOKUP_IS_SCOPED) {
2362 : 0 : nd->root = nd->path;
2363 [ # # ]: 0 : if (flags & LOOKUP_RCU) {
2364 : 0 : nd->root_seq = nd->seq;
2365 : : } else {
2366 : 0 : path_get(&nd->root);
2367 : 0 : nd->flags |= LOOKUP_ROOT_GRABBED;
2368 : : }
2369 : : }
2370 : : return s;
2371 : : }
2372 : :
2373 : 54886 : static const char *trailing_symlink(struct nameidata *nd)
2374 : : {
2375 : 54886 : const char *s;
2376 : 54886 : int error = may_follow_link(nd);
2377 [ - + ]: 54886 : if (unlikely(error))
2378 : 0 : return ERR_PTR(error);
2379 : 54886 : nd->flags |= LOOKUP_PARENT;
2380 : 54886 : nd->stack[0].name = NULL;
2381 [ + - ]: 54886 : s = get_link(nd);
2382 [ + + ]: 54886 : return s ? s : "";
2383 : : }
2384 : :
2385 : 554230 : static inline int lookup_last(struct nameidata *nd)
2386 : : {
2387 [ + + + + ]: 554230 : if (nd->last_type == LAST_NORM && nd->last.name[nd->last.len])
2388 : 546 : nd->flags |= LOOKUP_FOLLOW | LOOKUP_DIRECTORY;
2389 : :
2390 : 554230 : nd->flags &= ~LOOKUP_PARENT;
2391 : 554230 : return walk_component(nd, 0);
2392 : : }
2393 : :
2394 : 130 : static int handle_lookup_down(struct nameidata *nd)
2395 : : {
2396 : 130 : struct path path = nd->path;
2397 : 130 : struct inode *inode = nd->inode;
2398 : 130 : unsigned seq = nd->seq;
2399 : 130 : int err;
2400 : :
2401 [ - + ]: 130 : if (nd->flags & LOOKUP_RCU) {
2402 : : /*
2403 : : * don't bother with unlazy_walk on failure - we are
2404 : : * at the very beginning of walk, so we lose nothing
2405 : : * if we simply redo everything in non-RCU mode
2406 : : */
2407 [ # # ]: 0 : if (unlikely(!__follow_mount_rcu(nd, &path, &inode, &seq)))
2408 : : return -ECHILD;
2409 : : } else {
2410 [ + - ]: 130 : dget(path.dentry);
2411 : 130 : err = follow_managed(&path, nd);
2412 [ + - ]: 130 : if (unlikely(err < 0))
2413 : : return err;
2414 : 130 : inode = d_backing_inode(path.dentry);
2415 : 130 : seq = 0;
2416 : : }
2417 : 130 : path_to_nameidata(&path, nd);
2418 : 130 : nd->inode = inode;
2419 : 130 : nd->seq = seq;
2420 : 130 : return 0;
2421 : : }
2422 : :
2423 : : /* Returns 0 and nd will be valid on success; Retuns error, otherwise. */
2424 : : static int path_lookupat(struct nameidata *nd, unsigned flags, struct path *path)
2425 : : {
2426 : : const char *s = path_init(nd, flags);
2427 : : int err;
2428 : :
2429 : : if (unlikely(flags & LOOKUP_DOWN) && !IS_ERR(s)) {
2430 : : err = handle_lookup_down(nd);
2431 : : if (unlikely(err < 0))
2432 : : s = ERR_PTR(err);
2433 : : }
2434 : :
2435 : : while (!(err = link_path_walk(s, nd))
2436 : : && ((err = lookup_last(nd)) > 0)) {
2437 : : s = trailing_symlink(nd);
2438 : : }
2439 : : if (!err)
2440 : : err = complete_walk(nd);
2441 : :
2442 : : if (!err && nd->flags & LOOKUP_DIRECTORY)
2443 : : if (!d_can_lookup(nd->path.dentry))
2444 : : err = -ENOTDIR;
2445 : : if (!err) {
2446 : : *path = nd->path;
2447 : : nd->path.mnt = NULL;
2448 : : nd->path.dentry = NULL;
2449 : : }
2450 : : terminate_walk(nd);
2451 : : return err;
2452 : : }
2453 : :
2454 : 209560 : int filename_lookup(int dfd, struct filename *name, unsigned flags,
2455 : : struct path *path, struct path *root)
2456 : : {
2457 : 209560 : int retval;
2458 : 209560 : struct nameidata nd;
2459 [ - + ]: 209560 : if (IS_ERR(name))
2460 : 0 : return PTR_ERR(name);
2461 [ - + ]: 209560 : if (unlikely(root)) {
2462 : 0 : nd.root = *root;
2463 : 0 : flags |= LOOKUP_ROOT;
2464 : : }
2465 [ - + ]: 209560 : set_nameidata(&nd, dfd, name);
2466 : 209560 : retval = path_lookupat(&nd, flags | LOOKUP_RCU, path);
2467 [ - + ]: 209560 : if (unlikely(retval == -ECHILD))
2468 : 0 : retval = path_lookupat(&nd, flags, path);
2469 [ - + ]: 209560 : if (unlikely(retval == -ESTALE))
2470 : 0 : retval = path_lookupat(&nd, flags | LOOKUP_REVAL, path);
2471 : :
2472 [ + + ]: 209560 : if (likely(!retval))
2473 : 148331 : audit_inode(name, path->dentry, 0);
2474 : 209560 : restore_nameidata();
2475 : 209560 : putname(name);
2476 : 209560 : return retval;
2477 : : }
2478 : :
2479 : : /* Returns 0 and nd will be valid on success; Retuns error, otherwise. */
2480 : : static int path_parentat(struct nameidata *nd, unsigned flags,
2481 : : struct path *parent)
2482 : : {
2483 : : const char *s = path_init(nd, flags);
2484 : : int err = link_path_walk(s, nd);
2485 : : if (!err)
2486 : : err = complete_walk(nd);
2487 : : if (!err) {
2488 : : *parent = nd->path;
2489 : : nd->path.mnt = NULL;
2490 : : nd->path.dentry = NULL;
2491 : : }
2492 : : terminate_walk(nd);
2493 : : return err;
2494 : : }
2495 : :
2496 : : static struct filename *filename_parentat(int dfd, struct filename *name,
2497 : : unsigned int flags, struct path *parent,
2498 : : struct qstr *last, int *type)
2499 : : {
2500 : : int retval;
2501 : : struct nameidata nd;
2502 : :
2503 : : if (IS_ERR(name))
2504 : : return name;
2505 : : set_nameidata(&nd, dfd, name);
2506 : : retval = path_parentat(&nd, flags | LOOKUP_RCU, parent);
2507 : : if (unlikely(retval == -ECHILD))
2508 : : retval = path_parentat(&nd, flags, parent);
2509 : : if (unlikely(retval == -ESTALE))
2510 : : retval = path_parentat(&nd, flags | LOOKUP_REVAL, parent);
2511 : : if (likely(!retval)) {
2512 : : *last = nd.last;
2513 : : *type = nd.last_type;
2514 : : audit_inode(name, parent->dentry, AUDIT_INODE_PARENT);
2515 : : } else {
2516 : : putname(name);
2517 : : name = ERR_PTR(retval);
2518 : : }
2519 : : restore_nameidata();
2520 : : return name;
2521 : : }
2522 : :
2523 : : /* does lookup, returns the object with parent locked */
2524 : 0 : struct dentry *kern_path_locked(const char *name, struct path *path)
2525 : : {
2526 : 0 : struct filename *filename;
2527 : 0 : struct dentry *d;
2528 : 0 : struct qstr last;
2529 : 0 : int type;
2530 : :
2531 : 0 : filename = filename_parentat(AT_FDCWD, getname_kernel(name), 0, path,
2532 : : &last, &type);
2533 [ # # ]: 0 : if (IS_ERR(filename))
2534 : : return ERR_CAST(filename);
2535 [ # # ]: 0 : if (unlikely(type != LAST_NORM)) {
2536 : 0 : path_put(path);
2537 : 0 : putname(filename);
2538 : 0 : return ERR_PTR(-EINVAL);
2539 : : }
2540 : 0 : inode_lock_nested(path->dentry->d_inode, I_MUTEX_PARENT);
2541 : 0 : d = __lookup_hash(&last, path->dentry, 0);
2542 [ # # ]: 0 : if (IS_ERR(d)) {
2543 : 0 : inode_unlock(path->dentry->d_inode);
2544 : 0 : path_put(path);
2545 : : }
2546 : 0 : putname(filename);
2547 : 0 : return d;
2548 : : }
2549 : :
2550 : 3386 : int kern_path(const char *name, unsigned int flags, struct path *path)
2551 : : {
2552 : 3386 : return filename_lookup(AT_FDCWD, getname_kernel(name),
2553 : : flags, path, NULL);
2554 : : }
2555 : : EXPORT_SYMBOL(kern_path);
2556 : :
2557 : : /**
2558 : : * vfs_path_lookup - lookup a file path relative to a dentry-vfsmount pair
2559 : : * @dentry: pointer to dentry of the base directory
2560 : : * @mnt: pointer to vfs mount of the base directory
2561 : : * @name: pointer to file name
2562 : : * @flags: lookup flags
2563 : : * @path: pointer to struct path to fill
2564 : : */
2565 : 0 : int vfs_path_lookup(struct dentry *dentry, struct vfsmount *mnt,
2566 : : const char *name, unsigned int flags,
2567 : : struct path *path)
2568 : : {
2569 : 0 : struct path root = {.mnt = mnt, .dentry = dentry};
2570 : : /* the first argument of filename_lookup() is ignored with root */
2571 : 0 : return filename_lookup(AT_FDCWD, getname_kernel(name),
2572 : : flags , path, &root);
2573 : : }
2574 : : EXPORT_SYMBOL(vfs_path_lookup);
2575 : :
2576 : 175279 : static int lookup_one_len_common(const char *name, struct dentry *base,
2577 : : int len, struct qstr *this)
2578 : : {
2579 : 175279 : this->name = name;
2580 : 175279 : this->len = len;
2581 : 175279 : this->hash = full_name_hash(base, name, len);
2582 [ + - ]: 175279 : if (!len)
2583 : : return -EACCES;
2584 : :
2585 [ - + ]: 175279 : if (unlikely(name[0] == '.')) {
2586 [ # # # # : 0 : if (len < 2 || (len == 2 && name[1] == '.'))
# # ]
2587 : : return -EACCES;
2588 : : }
2589 : :
2590 [ + + ]: 1887561 : while (len--) {
2591 : 1712282 : unsigned int c = *(const unsigned char *)name++;
2592 [ + - ]: 1712282 : if (c == '/' || c == '\0')
2593 : : return -EACCES;
2594 : : }
2595 : : /*
2596 : : * See if the low-level filesystem might want
2597 : : * to use its own hash..
2598 : : */
2599 [ - + ]: 175279 : if (base->d_flags & DCACHE_OP_HASH) {
2600 : 0 : int err = base->d_op->d_hash(base, this);
2601 [ # # ]: 0 : if (err < 0)
2602 : : return err;
2603 : : }
2604 : :
2605 : 175279 : return inode_permission(base->d_inode, MAY_EXEC);
2606 : : }
2607 : :
2608 : : /**
2609 : : * try_lookup_one_len - filesystem helper to lookup single pathname component
2610 : : * @name: pathname component to lookup
2611 : : * @base: base directory to lookup from
2612 : : * @len: maximum length @len should be interpreted to
2613 : : *
2614 : : * Look up a dentry by name in the dcache, returning NULL if it does not
2615 : : * currently exist. The function does not try to create a dentry.
2616 : : *
2617 : : * Note that this routine is purely a helper for filesystem usage and should
2618 : : * not be called by generic code.
2619 : : *
2620 : : * The caller must hold base->i_mutex.
2621 : : */
2622 : 0 : struct dentry *try_lookup_one_len(const char *name, struct dentry *base, int len)
2623 : : {
2624 : 0 : struct qstr this;
2625 : 0 : int err;
2626 : :
2627 [ # # ]: 0 : WARN_ON_ONCE(!inode_is_locked(base->d_inode));
2628 : :
2629 : 0 : err = lookup_one_len_common(name, base, len, &this);
2630 [ # # ]: 0 : if (err)
2631 : 0 : return ERR_PTR(err);
2632 : :
2633 : 0 : return lookup_dcache(&this, base, 0);
2634 : : }
2635 : : EXPORT_SYMBOL(try_lookup_one_len);
2636 : :
2637 : : /**
2638 : : * lookup_one_len - filesystem helper to lookup single pathname component
2639 : : * @name: pathname component to lookup
2640 : : * @base: base directory to lookup from
2641 : : * @len: maximum length @len should be interpreted to
2642 : : *
2643 : : * Note that this routine is purely a helper for filesystem usage and should
2644 : : * not be called by generic code.
2645 : : *
2646 : : * The caller must hold base->i_mutex.
2647 : : */
2648 : 175279 : struct dentry *lookup_one_len(const char *name, struct dentry *base, int len)
2649 : : {
2650 : 175279 : struct dentry *dentry;
2651 : 175279 : struct qstr this;
2652 : 175279 : int err;
2653 : :
2654 [ - + ]: 175279 : WARN_ON_ONCE(!inode_is_locked(base->d_inode));
2655 : :
2656 : 175279 : err = lookup_one_len_common(name, base, len, &this);
2657 [ - + ]: 175279 : if (err)
2658 : 0 : return ERR_PTR(err);
2659 : :
2660 : 175279 : dentry = lookup_dcache(&this, base, 0);
2661 [ + - ]: 175279 : return dentry ? dentry : __lookup_slow(&this, base, 0);
2662 : : }
2663 : : EXPORT_SYMBOL(lookup_one_len);
2664 : :
2665 : : /**
2666 : : * lookup_one_len_unlocked - filesystem helper to lookup single pathname component
2667 : : * @name: pathname component to lookup
2668 : : * @base: base directory to lookup from
2669 : : * @len: maximum length @len should be interpreted to
2670 : : *
2671 : : * Note that this routine is purely a helper for filesystem usage and should
2672 : : * not be called by generic code.
2673 : : *
2674 : : * Unlike lookup_one_len, it should be called without the parent
2675 : : * i_mutex held, and will take the i_mutex itself if necessary.
2676 : : */
2677 : 0 : struct dentry *lookup_one_len_unlocked(const char *name,
2678 : : struct dentry *base, int len)
2679 : : {
2680 : 0 : struct qstr this;
2681 : 0 : int err;
2682 : 0 : struct dentry *ret;
2683 : :
2684 : 0 : err = lookup_one_len_common(name, base, len, &this);
2685 [ # # ]: 0 : if (err)
2686 : 0 : return ERR_PTR(err);
2687 : :
2688 : 0 : ret = lookup_dcache(&this, base, 0);
2689 [ # # ]: 0 : if (!ret)
2690 : 0 : ret = lookup_slow(&this, base, 0);
2691 : : return ret;
2692 : : }
2693 : : EXPORT_SYMBOL(lookup_one_len_unlocked);
2694 : :
2695 : : /*
2696 : : * Like lookup_one_len_unlocked(), except that it yields ERR_PTR(-ENOENT)
2697 : : * on negatives. Returns known positive or ERR_PTR(); that's what
2698 : : * most of the users want. Note that pinned negative with unlocked parent
2699 : : * _can_ become positive at any time, so callers of lookup_one_len_unlocked()
2700 : : * need to be very careful; pinned positives have ->d_inode stable, so
2701 : : * this one avoids such problems.
2702 : : */
2703 : 0 : struct dentry *lookup_positive_unlocked(const char *name,
2704 : : struct dentry *base, int len)
2705 : : {
2706 : 0 : struct dentry *ret = lookup_one_len_unlocked(name, base, len);
2707 [ # # # # ]: 0 : if (!IS_ERR(ret) && d_flags_negative(smp_load_acquire(&ret->d_flags))) {
2708 : 0 : dput(ret);
2709 : 0 : ret = ERR_PTR(-ENOENT);
2710 : : }
2711 : 0 : return ret;
2712 : : }
2713 : : EXPORT_SYMBOL(lookup_positive_unlocked);
2714 : :
2715 : : #ifdef CONFIG_UNIX98_PTYS
2716 : 0 : int path_pts(struct path *path)
2717 : : {
2718 : : /* Find something mounted on "pts" in the same directory as
2719 : : * the input path.
2720 : : */
2721 : 0 : struct dentry *child, *parent;
2722 : 0 : struct qstr this;
2723 : 0 : int ret;
2724 : :
2725 : 0 : ret = path_parent_directory(path);
2726 [ # # ]: 0 : if (ret)
2727 : : return ret;
2728 : :
2729 : 0 : parent = path->dentry;
2730 : 0 : this.name = "pts";
2731 : 0 : this.len = 3;
2732 : 0 : child = d_hash_and_lookup(parent, &this);
2733 [ # # ]: 0 : if (!child)
2734 : : return -ENOENT;
2735 : :
2736 : 0 : path->dentry = child;
2737 : 0 : dput(parent);
2738 : 0 : follow_mount(path);
2739 : 0 : return 0;
2740 : : }
2741 : : #endif
2742 : :
2743 : 206174 : int user_path_at_empty(int dfd, const char __user *name, unsigned flags,
2744 : : struct path *path, int *empty)
2745 : : {
2746 : 206174 : return filename_lookup(dfd, getname_flags(name, flags, empty),
2747 : : flags, path, NULL);
2748 : : }
2749 : : EXPORT_SYMBOL(user_path_at_empty);
2750 : :
2751 : : /**
2752 : : * path_mountpoint - look up a path to be umounted
2753 : : * @nd: lookup context
2754 : : * @flags: lookup flags
2755 : : * @path: pointer to container for result
2756 : : *
2757 : : * Look up the given name, but don't attempt to revalidate the last component.
2758 : : * Returns 0 and "path" will be valid on success; Returns error otherwise.
2759 : : */
2760 : : static int
2761 : : path_mountpoint(struct nameidata *nd, unsigned flags, struct path *path)
2762 : : {
2763 : : const char *s = path_init(nd, flags);
2764 : : int err;
2765 : :
2766 : : while (!(err = link_path_walk(s, nd)) &&
2767 : : (err = lookup_last(nd)) > 0) {
2768 : : s = trailing_symlink(nd);
2769 : : }
2770 : : if (!err && (nd->flags & LOOKUP_RCU))
2771 : : err = unlazy_walk(nd);
2772 : : if (!err)
2773 : : err = handle_lookup_down(nd);
2774 : : if (!err) {
2775 : : *path = nd->path;
2776 : : nd->path.mnt = NULL;
2777 : : nd->path.dentry = NULL;
2778 : : }
2779 : : terminate_walk(nd);
2780 : : return err;
2781 : : }
2782 : :
2783 : : static int
2784 : 130 : filename_mountpoint(int dfd, struct filename *name, struct path *path,
2785 : : unsigned int flags)
2786 : : {
2787 : 130 : struct nameidata nd;
2788 : 130 : int error;
2789 [ - + ]: 130 : if (IS_ERR(name))
2790 : 0 : return PTR_ERR(name);
2791 [ - + ]: 130 : set_nameidata(&nd, dfd, name);
2792 : 130 : error = path_mountpoint(&nd, flags | LOOKUP_RCU, path);
2793 [ - + ]: 130 : if (unlikely(error == -ECHILD))
2794 : 0 : error = path_mountpoint(&nd, flags, path);
2795 [ - + ]: 130 : if (unlikely(error == -ESTALE))
2796 : 0 : error = path_mountpoint(&nd, flags | LOOKUP_REVAL, path);
2797 [ + - ]: 130 : if (likely(!error))
2798 : 130 : audit_inode(name, path->dentry, AUDIT_INODE_NOEVAL);
2799 : 130 : restore_nameidata();
2800 : 130 : putname(name);
2801 : 130 : return error;
2802 : : }
2803 : :
2804 : : /**
2805 : : * user_path_mountpoint_at - lookup a path from userland in order to umount it
2806 : : * @dfd: directory file descriptor
2807 : : * @name: pathname from userland
2808 : : * @flags: lookup flags
2809 : : * @path: pointer to container to hold result
2810 : : *
2811 : : * A umount is a special case for path walking. We're not actually interested
2812 : : * in the inode in this situation, and ESTALE errors can be a problem. We
2813 : : * simply want track down the dentry and vfsmount attached at the mountpoint
2814 : : * and avoid revalidating the last component.
2815 : : *
2816 : : * Returns 0 and populates "path" on success.
2817 : : */
2818 : : int
2819 : 117 : user_path_mountpoint_at(int dfd, const char __user *name, unsigned int flags,
2820 : : struct path *path)
2821 : : {
2822 : 117 : return filename_mountpoint(dfd, getname(name), path, flags);
2823 : : }
2824 : :
2825 : : int
2826 : 13 : kern_path_mountpoint(int dfd, const char *name, struct path *path,
2827 : : unsigned int flags)
2828 : : {
2829 : 13 : return filename_mountpoint(dfd, getname_kernel(name), path, flags);
2830 : : }
2831 : : EXPORT_SYMBOL(kern_path_mountpoint);
2832 : :
2833 : 13 : int __check_sticky(struct inode *dir, struct inode *inode)
2834 : : {
2835 [ - + ]: 13 : kuid_t fsuid = current_fsuid();
2836 : :
2837 [ - + ]: 13 : if (uid_eq(inode->i_uid, fsuid))
2838 : : return 0;
2839 [ # # ]: 0 : if (uid_eq(dir->i_uid, fsuid))
2840 : : return 0;
2841 : 0 : return !capable_wrt_inode_uidgid(inode, CAP_FOWNER);
2842 : : }
2843 : : EXPORT_SYMBOL(__check_sticky);
2844 : :
2845 : : /*
2846 : : * Check whether we can remove a link victim from directory dir, check
2847 : : * whether the type of victim is right.
2848 : : * 1. We can't do it if dir is read-only (done in permission())
2849 : : * 2. We should have write and exec permissions on dir
2850 : : * 3. We can't remove anything from append-only dir
2851 : : * 4. We can't do anything with immutable dir (done in permission())
2852 : : * 5. If the sticky bit on dir is set we should either
2853 : : * a. be owner of dir, or
2854 : : * b. be owner of victim, or
2855 : : * c. have CAP_FOWNER capability
2856 : : * 6. If the victim is append-only or immutable we can't do antyhing with
2857 : : * links pointing to it.
2858 : : * 7. If the victim has an unknown uid or gid we can't change the inode.
2859 : : * 8. If we were asked to remove a directory and victim isn't one - ENOTDIR.
2860 : : * 9. If we were asked to remove a non-directory and victim isn't one - EISDIR.
2861 : : * 10. We can't remove a root or mountpoint.
2862 : : * 11. We don't allow removal of NFS sillyrenamed files; it's handled by
2863 : : * nfs_async_unlink().
2864 : : */
2865 : 4836 : static int may_delete(struct inode *dir, struct dentry *victim, bool isdir)
2866 : : {
2867 [ + - ]: 4836 : struct inode *inode = d_backing_inode(victim);
2868 : 4836 : int error;
2869 : :
2870 [ + - ]: 4836 : if (d_is_negative(victim))
2871 : : return -ENOENT;
2872 [ - + ]: 4836 : BUG_ON(!inode);
2873 : :
2874 [ - + ]: 4836 : BUG_ON(victim->d_parent->d_inode != dir);
2875 : :
2876 : : /* Inode writeback is not safe when the uid or gid are invalid. */
2877 [ + - + - ]: 4836 : if (!uid_valid(inode->i_uid) || !gid_valid(inode->i_gid))
2878 : : return -EOVERFLOW;
2879 : :
2880 : 4836 : audit_inode_child(dir, victim, AUDIT_TYPE_CHILD_DELETE);
2881 : :
2882 : 4836 : error = inode_permission(dir, MAY_WRITE | MAY_EXEC);
2883 [ + - ]: 4836 : if (error)
2884 : : return error;
2885 [ + - ]: 4836 : if (IS_APPEND(dir))
2886 : : return -EPERM;
2887 : :
2888 [ + + + - ]: 4849 : if (check_sticky(dir, inode) || IS_APPEND(inode) ||
2889 [ + - - + ]: 9672 : IS_IMMUTABLE(inode) || IS_SWAPFILE(inode) || HAS_UNMAPPED_ID(inode))
2890 : 0 : return -EPERM;
2891 [ + + ]: 4836 : if (isdir) {
2892 [ - + + - ]: 429 : if (!d_is_dir(victim))
2893 : : return -ENOTDIR;
2894 [ + - ]: 429 : if (IS_ROOT(victim))
2895 : : return -EBUSY;
2896 [ + - + - ]: 8814 : } else if (d_is_dir(victim))
2897 : : return -EISDIR;
2898 [ + - ]: 4836 : if (IS_DEADDIR(dir))
2899 : : return -ENOENT;
2900 [ - + ]: 4836 : if (victim->d_flags & DCACHE_NFSFS_RENAMED)
2901 : 0 : return -EBUSY;
2902 : : return 0;
2903 : : }
2904 : :
2905 : : /* Check whether we can create an object with dentry child in directory
2906 : : * dir.
2907 : : * 1. We can't do it if child already exists (open has special treatment for
2908 : : * this case, but since we are inlined it's OK)
2909 : : * 2. We can't do it if dir is read-only (done in permission())
2910 : : * 3. We can't do it if the fs can't represent the fsuid or fsgid.
2911 : : * 4. We should have write and exec permissions on dir
2912 : : * 5. We can't do it if dir is immutable (done in permission())
2913 : : */
2914 : 12415 : static inline int may_create(struct inode *dir, struct dentry *child)
2915 : : {
2916 : 12415 : struct user_namespace *s_user_ns;
2917 : 12415 : audit_inode_child(dir, child, AUDIT_TYPE_CHILD_CREATE);
2918 [ + - ]: 12415 : if (child->d_inode)
2919 : : return -EEXIST;
2920 [ + - ]: 12415 : if (IS_DEADDIR(dir))
2921 : : return -ENOENT;
2922 : 12415 : s_user_ns = dir->i_sb->s_user_ns;
2923 [ + - + - ]: 12415 : if (!kuid_has_mapping(s_user_ns, current_fsuid()) ||
2924 [ + - ]: 12415 : !kgid_has_mapping(s_user_ns, current_fsgid()))
2925 : : return -EOVERFLOW;
2926 : 12415 : return inode_permission(dir, MAY_WRITE | MAY_EXEC);
2927 : : }
2928 : :
2929 : : /*
2930 : : * p1 and p2 should be directories on the same fs.
2931 : : */
2932 : 3042 : struct dentry *lock_rename(struct dentry *p1, struct dentry *p2)
2933 : : {
2934 : 3042 : struct dentry *p;
2935 : :
2936 [ + - ]: 3042 : if (p1 == p2) {
2937 : 3042 : inode_lock_nested(p1->d_inode, I_MUTEX_PARENT);
2938 : 3042 : return NULL;
2939 : : }
2940 : :
2941 : 0 : mutex_lock(&p1->d_sb->s_vfs_rename_mutex);
2942 : :
2943 : 0 : p = d_ancestor(p2, p1);
2944 [ # # ]: 0 : if (p) {
2945 : 0 : inode_lock_nested(p2->d_inode, I_MUTEX_PARENT);
2946 : 0 : inode_lock_nested(p1->d_inode, I_MUTEX_CHILD);
2947 : 0 : return p;
2948 : : }
2949 : :
2950 : 0 : p = d_ancestor(p1, p2);
2951 [ # # ]: 0 : if (p) {
2952 : 0 : inode_lock_nested(p1->d_inode, I_MUTEX_PARENT);
2953 : 0 : inode_lock_nested(p2->d_inode, I_MUTEX_CHILD);
2954 : 0 : return p;
2955 : : }
2956 : :
2957 : 0 : inode_lock_nested(p1->d_inode, I_MUTEX_PARENT);
2958 : 0 : inode_lock_nested(p2->d_inode, I_MUTEX_PARENT2);
2959 : 0 : return NULL;
2960 : : }
2961 : : EXPORT_SYMBOL(lock_rename);
2962 : :
2963 : 3042 : void unlock_rename(struct dentry *p1, struct dentry *p2)
2964 : : {
2965 : 3042 : inode_unlock(p1->d_inode);
2966 [ - + ]: 3042 : if (p1 != p2) {
2967 : 0 : inode_unlock(p2->d_inode);
2968 : 0 : mutex_unlock(&p1->d_sb->s_vfs_rename_mutex);
2969 : : }
2970 : 3042 : }
2971 : : EXPORT_SYMBOL(unlock_rename);
2972 : :
2973 : 13 : int vfs_create(struct inode *dir, struct dentry *dentry, umode_t mode,
2974 : : bool want_excl)
2975 : : {
2976 : 13 : int error = may_create(dir, dentry);
2977 [ + - ]: 13 : if (error)
2978 : : return error;
2979 : :
2980 [ + - ]: 13 : if (!dir->i_op->create)
2981 : : return -EACCES; /* shouldn't it be ENOSYS? */
2982 : 13 : mode &= S_IALLUGO;
2983 : 13 : mode |= S_IFREG;
2984 : 13 : error = security_inode_create(dir, dentry, mode);
2985 [ + - ]: 13 : if (error)
2986 : : return error;
2987 : 13 : error = dir->i_op->create(dir, dentry, mode, want_excl);
2988 [ + - ]: 13 : if (!error)
2989 : 13 : fsnotify_create(dir, dentry);
2990 : : return error;
2991 : : }
2992 : : EXPORT_SYMBOL(vfs_create);
2993 : :
2994 : 0 : int vfs_mkobj(struct dentry *dentry, umode_t mode,
2995 : : int (*f)(struct dentry *, umode_t, void *),
2996 : : void *arg)
2997 : : {
2998 : 0 : struct inode *dir = dentry->d_parent->d_inode;
2999 : 0 : int error = may_create(dir, dentry);
3000 [ # # ]: 0 : if (error)
3001 : : return error;
3002 : :
3003 : 0 : mode &= S_IALLUGO;
3004 : 0 : mode |= S_IFREG;
3005 : 0 : error = security_inode_create(dir, dentry, mode);
3006 [ # # ]: 0 : if (error)
3007 : : return error;
3008 : 0 : error = f(dentry, mode, arg);
3009 [ # # ]: 0 : if (!error)
3010 : 0 : fsnotify_create(dir, dentry);
3011 : : return error;
3012 : : }
3013 : : EXPORT_SYMBOL(vfs_mkobj);
3014 : :
3015 : 52 : bool may_open_dev(const struct path *path)
3016 : : {
3017 [ + - ]: 52 : return !(path->mnt->mnt_flags & MNT_NODEV) &&
3018 [ - + ]: 52 : !(path->mnt->mnt_sb->s_iflags & SB_I_NODEV);
3019 : : }
3020 : :
3021 : : static int may_open(const struct path *path, int acc_mode, int flag)
3022 : : {
3023 : : struct dentry *dentry = path->dentry;
3024 : : struct inode *inode = dentry->d_inode;
3025 : : int error;
3026 : :
3027 : : if (!inode)
3028 : : return -ENOENT;
3029 : :
3030 : : switch (inode->i_mode & S_IFMT) {
3031 : : case S_IFLNK:
3032 : : return -ELOOP;
3033 : : case S_IFDIR:
3034 : : if (acc_mode & MAY_WRITE)
3035 : : return -EISDIR;
3036 : : break;
3037 : : case S_IFBLK:
3038 : : case S_IFCHR:
3039 : : if (!may_open_dev(path))
3040 : : return -EACCES;
3041 : : /*FALLTHRU*/
3042 : : case S_IFIFO:
3043 : : case S_IFSOCK:
3044 : : flag &= ~O_TRUNC;
3045 : : break;
3046 : : }
3047 : :
3048 : : error = inode_permission(inode, MAY_OPEN | acc_mode);
3049 : : if (error)
3050 : : return error;
3051 : :
3052 : : /*
3053 : : * An append-only file must be opened in append mode for writing.
3054 : : */
3055 : : if (IS_APPEND(inode)) {
3056 : : if ((flag & O_ACCMODE) != O_RDONLY && !(flag & O_APPEND))
3057 : : return -EPERM;
3058 : : if (flag & O_TRUNC)
3059 : : return -EPERM;
3060 : : }
3061 : :
3062 : : /* O_NOATIME can only be set by the owner or superuser */
3063 : : if (flag & O_NOATIME && !inode_owner_or_capable(inode))
3064 : : return -EPERM;
3065 : :
3066 : : return 0;
3067 : : }
3068 : :
3069 : 52 : static int handle_truncate(struct file *filp)
3070 : : {
3071 : 52 : const struct path *path = &filp->f_path;
3072 : 52 : struct inode *inode = path->dentry->d_inode;
3073 : 52 : int error = get_write_access(inode);
3074 : 52 : if (error)
3075 : : return error;
3076 : : /*
3077 : : * Refuse to truncate files with mandatory locks held on them.
3078 : : */
3079 : 52 : error = locks_verify_locked(filp);
3080 [ + - ]: 52 : if (!error)
3081 : 52 : error = security_path_truncate(path);
3082 : 52 : if (!error) {
3083 : 52 : error = do_truncate(path->dentry, 0,
3084 : : ATTR_MTIME|ATTR_CTIME|ATTR_OPEN,
3085 : : filp);
3086 : : }
3087 : 52 : put_write_access(inode);
3088 : 52 : return error;
3089 : : }
3090 : :
3091 : 0 : static inline int open_to_namei_flags(int flag)
3092 : : {
3093 : 0 : if ((flag & O_ACCMODE) == 3)
3094 : 0 : flag--;
3095 : 0 : return flag;
3096 : : }
3097 : :
3098 : 8112 : static int may_o_create(const struct path *dir, struct dentry *dentry, umode_t mode)
3099 : : {
3100 : 8112 : struct user_namespace *s_user_ns;
3101 [ + - ]: 8112 : int error = security_path_mknod(dir, dentry, mode, 0);
3102 : 8112 : if (error)
3103 : : return error;
3104 : :
3105 : 8112 : s_user_ns = dir->dentry->d_sb->s_user_ns;
3106 [ + - + - ]: 8112 : if (!kuid_has_mapping(s_user_ns, current_fsuid()) ||
3107 [ + - ]: 8112 : !kgid_has_mapping(s_user_ns, current_fsgid()))
3108 : : return -EOVERFLOW;
3109 : :
3110 : 8112 : error = inode_permission(dir->dentry->d_inode, MAY_WRITE | MAY_EXEC);
3111 [ + - ]: 8112 : if (error)
3112 : : return error;
3113 : :
3114 : 8112 : return security_inode_create(dir->dentry->d_inode, dentry, mode);
3115 : : }
3116 : :
3117 : : /*
3118 : : * Attempt to atomically look up, create and open a file from a negative
3119 : : * dentry.
3120 : : *
3121 : : * Returns 0 if successful. The file will have been created and attached to
3122 : : * @file by the filesystem calling finish_open().
3123 : : *
3124 : : * If the file was looked up only or didn't need creating, FMODE_OPENED won't
3125 : : * be set. The caller will need to perform the open themselves. @path will
3126 : : * have been updated to point to the new dentry. This may be negative.
3127 : : *
3128 : : * Returns an error code otherwise.
3129 : : */
3130 : 0 : static int atomic_open(struct nameidata *nd, struct dentry *dentry,
3131 : : struct path *path, struct file *file,
3132 : : const struct open_flags *op,
3133 : : int open_flag, umode_t mode)
3134 : : {
3135 : 0 : struct dentry *const DENTRY_NOT_SET = (void *) -1UL;
3136 : 0 : struct inode *dir = nd->path.dentry->d_inode;
3137 : 0 : int error;
3138 : :
3139 [ # # ]: 0 : if (!(~open_flag & (O_EXCL | O_CREAT))) /* both O_EXCL and O_CREAT */
3140 : 0 : open_flag &= ~O_TRUNC;
3141 : :
3142 [ # # ]: 0 : if (nd->flags & LOOKUP_DIRECTORY)
3143 : 0 : open_flag |= O_DIRECTORY;
3144 : :
3145 : 0 : file->f_path.dentry = DENTRY_NOT_SET;
3146 : 0 : file->f_path.mnt = nd->path.mnt;
3147 [ # # ]: 0 : error = dir->i_op->atomic_open(dir, dentry, file,
3148 : : open_to_namei_flags(open_flag), mode);
3149 : 0 : d_lookup_done(dentry);
3150 [ # # ]: 0 : if (!error) {
3151 [ # # ]: 0 : if (file->f_mode & FMODE_OPENED) {
3152 : : /*
3153 : : * We didn't have the inode before the open, so check open
3154 : : * permission here.
3155 : : */
3156 : 0 : int acc_mode = op->acc_mode;
3157 [ # # ]: 0 : if (file->f_mode & FMODE_CREATED) {
3158 [ # # ]: 0 : WARN_ON(!(open_flag & O_CREAT));
3159 : 0 : fsnotify_create(dir, dentry);
3160 : 0 : acc_mode = 0;
3161 : : }
3162 : 0 : error = may_open(&file->f_path, acc_mode, open_flag);
3163 [ # # # # ]: 0 : if (WARN_ON(error > 0))
3164 : 0 : error = -EINVAL;
3165 [ # # # # ]: 0 : } else if (WARN_ON(file->f_path.dentry == DENTRY_NOT_SET)) {
3166 : : error = -EIO;
3167 : : } else {
3168 [ # # ]: 0 : if (file->f_path.dentry) {
3169 : 0 : dput(dentry);
3170 : 0 : dentry = file->f_path.dentry;
3171 : : }
3172 [ # # ]: 0 : if (file->f_mode & FMODE_CREATED)
3173 : 0 : fsnotify_create(dir, dentry);
3174 [ # # ]: 0 : if (unlikely(d_is_negative(dentry))) {
3175 : : error = -ENOENT;
3176 : : } else {
3177 : 0 : path->dentry = dentry;
3178 : 0 : path->mnt = nd->path.mnt;
3179 : 0 : return 0;
3180 : : }
3181 : : }
3182 : : }
3183 : 0 : dput(dentry);
3184 : 0 : return error;
3185 : : }
3186 : :
3187 : : /*
3188 : : * Look up and maybe create and open the last component.
3189 : : *
3190 : : * Must be called with parent locked (exclusive in O_CREAT case).
3191 : : *
3192 : : * Returns 0 on success, that is, if
3193 : : * the file was successfully atomically created (if necessary) and opened, or
3194 : : * the file was not completely opened at this time, though lookups and
3195 : : * creations were performed.
3196 : : * These case are distinguished by presence of FMODE_OPENED on file->f_mode.
3197 : : * In the latter case dentry returned in @path might be negative if O_CREAT
3198 : : * hadn't been specified.
3199 : : *
3200 : : * An error code is returned on failure.
3201 : : */
3202 : 55977 : static int lookup_open(struct nameidata *nd, struct path *path,
3203 : : struct file *file,
3204 : : const struct open_flags *op,
3205 : : bool got_write)
3206 : : {
3207 : 55977 : struct dentry *dir = nd->path.dentry;
3208 : 55977 : struct inode *dir_inode = dir->d_inode;
3209 : 55977 : int open_flag = op->open_flag;
3210 : 55977 : struct dentry *dentry;
3211 : 55977 : int error, create_error = 0;
3212 : 55977 : umode_t mode = op->mode;
3213 : 55977 : DECLARE_WAIT_QUEUE_HEAD_ONSTACK(wq);
3214 : :
3215 [ + - ]: 55977 : if (unlikely(IS_DEADDIR(dir_inode)))
3216 : : return -ENOENT;
3217 : :
3218 : 55977 : file->f_mode &= ~FMODE_CREATED;
3219 : 55977 : dentry = d_lookup(dir, &nd->last);
3220 : 55977 : for (;;) {
3221 [ + + ]: 55977 : if (!dentry) {
3222 : 55665 : dentry = d_alloc_parallel(dir, &nd->last, &wq);
3223 [ - + ]: 55665 : if (IS_ERR(dentry))
3224 : 0 : return PTR_ERR(dentry);
3225 : : }
3226 [ + + ]: 55977 : if (d_in_lookup(dentry))
3227 : : break;
3228 : :
3229 [ + + ]: 360 : error = d_revalidate(dentry, nd->flags);
3230 [ - + ]: 360 : if (likely(error > 0))
3231 : : break;
3232 [ # # ]: 0 : if (error)
3233 : 0 : goto out_dput;
3234 : 0 : d_invalidate(dentry);
3235 : 0 : dput(dentry);
3236 : 0 : dentry = NULL;
3237 : : }
3238 [ + + ]: 55977 : if (dentry->d_inode) {
3239 : : /* Cached positive dentry: will open in f_op->open */
3240 : 215 : goto out_no_open;
3241 : : }
3242 : :
3243 : : /*
3244 : : * Checking write permission is tricky, bacuse we don't know if we are
3245 : : * going to actually need it: O_CREAT opens should work as long as the
3246 : : * file exists. But checking existence breaks atomicity. The trick is
3247 : : * to check access and if not granted clear O_CREAT from the flags.
3248 : : *
3249 : : * Another problem is returing the "right" error value (e.g. for an
3250 : : * O_EXCL open we want to return EEXIST not EROFS).
3251 : : */
3252 [ + + ]: 55762 : if (open_flag & O_CREAT) {
3253 [ + + ]: 8112 : if (!IS_POSIXACL(dir->d_inode))
3254 : 13 : mode &= ~current_umask();
3255 [ - + ]: 8112 : if (unlikely(!got_write)) {
3256 : 0 : create_error = -EROFS;
3257 : 0 : open_flag &= ~O_CREAT;
3258 [ # # ]: 0 : if (open_flag & (O_EXCL | O_TRUNC))
3259 : 0 : goto no_open;
3260 : : /* No side effects, safe to clear O_CREAT */
3261 : : } else {
3262 : 8112 : create_error = may_o_create(&nd->path, dentry, mode);
3263 [ - + ]: 8112 : if (create_error) {
3264 : 0 : open_flag &= ~O_CREAT;
3265 [ # # ]: 0 : if (open_flag & O_EXCL)
3266 : 0 : goto no_open;
3267 : : }
3268 : : }
3269 [ + + ]: 47650 : } else if ((open_flag & (O_TRUNC|O_WRONLY|O_RDWR)) &&
3270 [ - + ]: 702 : unlikely(!got_write)) {
3271 : : /*
3272 : : * No O_CREATE -> atomicity not a requirement -> fall
3273 : : * back to lookup + open
3274 : : */
3275 : 0 : goto no_open;
3276 : : }
3277 : :
3278 [ - + ]: 55762 : if (dir_inode->i_op->atomic_open) {
3279 : 0 : error = atomic_open(nd, dentry, path, file, op, open_flag,
3280 : : mode);
3281 [ # # # # ]: 0 : if (unlikely(error == -ENOENT) && create_error)
3282 : 0 : error = create_error;
3283 : 0 : return error;
3284 : : }
3285 : :
3286 : 55762 : no_open:
3287 [ + + ]: 55762 : if (d_in_lookup(dentry)) {
3288 : 55617 : struct dentry *res = dir_inode->i_op->lookup(dir_inode, dentry,
3289 : : nd->flags);
3290 : 55617 : d_lookup_done(dentry);
3291 [ + + ]: 55617 : if (unlikely(res)) {
3292 [ + - ]: 572 : if (IS_ERR(res)) {
3293 : 572 : error = PTR_ERR(res);
3294 : 572 : goto out_dput;
3295 : : }
3296 : 0 : dput(dentry);
3297 : 0 : dentry = res;
3298 : : }
3299 : : }
3300 : :
3301 : : /* Negative dentry, just create the file */
3302 [ + + + + ]: 55190 : if (!dentry->d_inode && (open_flag & O_CREAT)) {
3303 : 8086 : file->f_mode |= FMODE_CREATED;
3304 : 8086 : audit_inode_child(dir_inode, dentry, AUDIT_TYPE_CHILD_CREATE);
3305 [ - + ]: 8086 : if (!dir_inode->i_op->create) {
3306 : 0 : error = -EACCES;
3307 : 0 : goto out_dput;
3308 : : }
3309 : 8086 : error = dir_inode->i_op->create(dir_inode, dentry, mode,
3310 : 8086 : open_flag & O_EXCL);
3311 [ - + ]: 8086 : if (error)
3312 : 0 : goto out_dput;
3313 : 8086 : fsnotify_create(dir_inode, dentry);
3314 : : }
3315 [ - + - - ]: 55190 : if (unlikely(create_error) && !dentry->d_inode) {
3316 : 0 : error = create_error;
3317 : 0 : goto out_dput;
3318 : : }
3319 : 55190 : out_no_open:
3320 : 55405 : path->dentry = dentry;
3321 : 55405 : path->mnt = nd->path.mnt;
3322 : 55405 : return 0;
3323 : :
3324 : 572 : out_dput:
3325 : 572 : dput(dentry);
3326 : 572 : return error;
3327 : : }
3328 : :
3329 : : /*
3330 : : * Handle the last step of open()
3331 : : */
3332 : 357798 : static int do_last(struct nameidata *nd,
3333 : : struct file *file, const struct open_flags *op)
3334 : : {
3335 : 357798 : struct dentry *dir = nd->path.dentry;
3336 : 357798 : kuid_t dir_uid = nd->inode->i_uid;
3337 : 357798 : umode_t dir_mode = nd->inode->i_mode;
3338 : 357798 : int open_flag = op->open_flag;
3339 : 357798 : bool will_truncate = (open_flag & O_TRUNC) != 0;
3340 : 357798 : bool got_write = false;
3341 : 357798 : int acc_mode = op->acc_mode;
3342 : 357798 : unsigned seq;
3343 : 357798 : struct inode *inode;
3344 : 357798 : struct path path;
3345 : 357798 : int error;
3346 : :
3347 : 357798 : nd->flags &= ~LOOKUP_PARENT;
3348 : 357798 : nd->flags |= op->intent;
3349 : :
3350 [ + + ]: 357798 : if (nd->last_type != LAST_NORM) {
3351 : 195 : error = handle_dots(nd, nd->last_type);
3352 [ + - ]: 195 : if (unlikely(error))
3353 : : return error;
3354 : 195 : goto finish_open;
3355 : : }
3356 : :
3357 [ + + ]: 357603 : if (!(open_flag & O_CREAT)) {
3358 [ + + ]: 349309 : if (nd->last.name[nd->last.len])
3359 : 1365 : nd->flags |= LOOKUP_FOLLOW | LOOKUP_DIRECTORY;
3360 : : /* we _can_ be in RCU mode here */
3361 : 349309 : error = lookup_fast(nd, &path, &inode, &seq);
3362 [ + + ]: 349309 : if (likely(error > 0))
3363 : 265973 : goto finish_lookup;
3364 : :
3365 [ + + ]: 83336 : if (error < 0)
3366 : : return error;
3367 : :
3368 [ - + ]: 47683 : BUG_ON(nd->inode != dir->d_inode);
3369 [ - + ]: 47683 : BUG_ON(nd->flags & LOOKUP_RCU);
3370 : : } else {
3371 : : /* create side of things */
3372 : : /*
3373 : : * This will *only* deal with leaving RCU mode - LOOKUP_JUMPED
3374 : : * has been cleared when we got to the last component we are
3375 : : * about to look up
3376 : : */
3377 : 8294 : error = complete_walk(nd);
3378 [ + - ]: 8294 : if (error)
3379 : : return error;
3380 : :
3381 : 8294 : audit_inode(nd->name, dir, AUDIT_INODE_PARENT);
3382 : : /* trailing slashes? */
3383 [ + - ]: 8294 : if (unlikely(nd->last.name[nd->last.len]))
3384 : : return -EISDIR;
3385 : : }
3386 : :
3387 [ + + ]: 55977 : if (open_flag & (O_CREAT | O_TRUNC | O_WRONLY | O_RDWR)) {
3388 : 8996 : error = mnt_want_write(nd->path.mnt);
3389 [ + + ]: 8996 : if (!error)
3390 : 8983 : got_write = true;
3391 : : /*
3392 : : * do _not_ fail yet - we might not need that or fail with
3393 : : * a different error; let lookup_open() decide; we'll be
3394 : : * dropping this one anyway.
3395 : : */
3396 : : }
3397 [ + + ]: 55977 : if (open_flag & O_CREAT)
3398 : 8294 : inode_lock(dir->d_inode);
3399 : : else
3400 : 47683 : inode_lock_shared(dir->d_inode);
3401 : 55977 : error = lookup_open(nd, &path, file, op, got_write);
3402 [ + + ]: 55977 : if (open_flag & O_CREAT)
3403 : 8294 : inode_unlock(dir->d_inode);
3404 : : else
3405 : 47683 : inode_unlock_shared(dir->d_inode);
3406 : :
3407 [ + + ]: 55977 : if (error)
3408 : 572 : goto out;
3409 : :
3410 [ - + ]: 55405 : if (file->f_mode & FMODE_OPENED) {
3411 [ # # # # ]: 0 : if ((file->f_mode & FMODE_CREATED) ||
3412 [ # # ]: 0 : !S_ISREG(file_inode(file)->i_mode))
3413 : : will_truncate = false;
3414 : :
3415 : 0 : audit_inode(nd->name, file->f_path.dentry, 0);
3416 : 0 : goto opened;
3417 : : }
3418 : :
3419 [ + + ]: 55405 : if (file->f_mode & FMODE_CREATED) {
3420 : : /* Don't check for write permission, don't truncate */
3421 : 8086 : open_flag &= ~O_TRUNC;
3422 : 8086 : will_truncate = false;
3423 : 8086 : acc_mode = 0;
3424 : 8086 : path_to_nameidata(&path, nd);
3425 : 8086 : goto finish_open_created;
3426 : : }
3427 : :
3428 : : /*
3429 : : * If atomic_open() acquired write access it is dropped now due to
3430 : : * possible mount and symlink following (this might be optimized away if
3431 : : * necessary...)
3432 : : */
3433 [ + + ]: 47319 : if (got_write) {
3434 : 832 : mnt_drop_write(nd->path.mnt);
3435 : 832 : got_write = false;
3436 : : }
3437 : :
3438 : 47319 : error = follow_managed(&path, nd);
3439 [ + + ]: 47319 : if (unlikely(error < 0))
3440 : : return error;
3441 : :
3442 : : /*
3443 : : * create/update audit record if it already exists.
3444 : : */
3445 : 13978 : audit_inode(nd->name, path.dentry, 0);
3446 : :
3447 [ - + ]: 13978 : if (unlikely((open_flag & (O_EXCL | O_CREAT)) == (O_EXCL | O_CREAT))) {
3448 : 0 : path_to_nameidata(&path, nd);
3449 : 0 : return -EEXIST;
3450 : : }
3451 : :
3452 : 13978 : seq = 0; /* out of RCU mode, so the value doesn't matter */
3453 : 13978 : inode = d_backing_inode(path.dentry);
3454 : 279951 : finish_lookup:
3455 : 279951 : error = step_into(nd, &path, 0, inode, seq);
3456 [ + + ]: 279951 : if (unlikely(error))
3457 : : return error;
3458 : 231451 : finish_open:
3459 : : /* Why this, you ask? _Now_ we might have grown LOOKUP_JUMPED... */
3460 : 231646 : error = complete_walk(nd);
3461 [ + - ]: 231646 : if (error)
3462 : : return error;
3463 : 231646 : audit_inode(nd->name, nd->path.dentry, 0);
3464 [ + + ]: 231646 : if (open_flag & O_CREAT) {
3465 : 208 : error = -EISDIR;
3466 [ + - - + ]: 416 : if (d_is_dir(nd->path.dentry))
3467 : 0 : goto out;
3468 : 208 : error = may_create_in_sticky(dir_mode, dir_uid,
3469 : : d_backing_inode(nd->path.dentry));
3470 [ - + ]: 208 : if (unlikely(error))
3471 : 0 : goto out;
3472 : : }
3473 : 231646 : error = -ENOTDIR;
3474 [ + + - + ]: 231646 : if ((nd->flags & LOOKUP_DIRECTORY) && !d_can_lookup(nd->path.dentry))
3475 : 0 : goto out;
3476 [ + + ]: 231646 : if (!d_is_reg(nd->path.dentry))
3477 : : will_truncate = false;
3478 : :
3479 [ + + ]: 211728 : if (will_truncate) {
3480 : 52 : error = mnt_want_write(nd->path.mnt);
3481 [ - + ]: 52 : if (error)
3482 : 0 : goto out;
3483 : : got_write = true;
3484 : : }
3485 : 211676 : finish_open_created:
3486 : 239732 : error = may_open(&nd->path, acc_mode, open_flag);
3487 [ + + ]: 239732 : if (error)
3488 : 117 : goto out;
3489 [ - + ]: 239615 : BUG_ON(file->f_mode & FMODE_OPENED); /* once it's opened, it's opened */
3490 : 239615 : error = vfs_open(&nd->path, file);
3491 [ + + ]: 239602 : if (error)
3492 : 6812 : goto out;
3493 : 232790 : opened:
3494 [ + + ]: 232790 : error = ima_file_check(file, op->acc_mode);
3495 [ + + ]: 232790 : if (!error && will_truncate)
3496 : 52 : error = handle_truncate(file);
3497 : 232738 : out:
3498 [ - + ]: 240291 : if (unlikely(error > 0)) {
3499 : 0 : WARN_ON(1);
3500 : 0 : error = -EINVAL;
3501 : : }
3502 [ + + ]: 240291 : if (got_write)
3503 : 8203 : mnt_drop_write(nd->path.mnt);
3504 : : return error;
3505 : : }
3506 : :
3507 : 0 : struct dentry *vfs_tmpfile(struct dentry *dentry, umode_t mode, int open_flag)
3508 : : {
3509 : 0 : struct dentry *child = NULL;
3510 : 0 : struct inode *dir = dentry->d_inode;
3511 : 0 : struct inode *inode;
3512 : 0 : int error;
3513 : :
3514 : : /* we want directory to be writable */
3515 : 0 : error = inode_permission(dir, MAY_WRITE | MAY_EXEC);
3516 [ # # ]: 0 : if (error)
3517 : 0 : goto out_err;
3518 : 0 : error = -EOPNOTSUPP;
3519 [ # # ]: 0 : if (!dir->i_op->tmpfile)
3520 : 0 : goto out_err;
3521 : 0 : error = -ENOMEM;
3522 : 0 : child = d_alloc(dentry, &slash_name);
3523 [ # # ]: 0 : if (unlikely(!child))
3524 : 0 : goto out_err;
3525 : 0 : error = dir->i_op->tmpfile(dir, child, mode);
3526 [ # # ]: 0 : if (error)
3527 : 0 : goto out_err;
3528 : 0 : error = -ENOENT;
3529 : 0 : inode = child->d_inode;
3530 [ # # ]: 0 : if (unlikely(!inode))
3531 : 0 : goto out_err;
3532 [ # # ]: 0 : if (!(open_flag & O_EXCL)) {
3533 : 0 : spin_lock(&inode->i_lock);
3534 : 0 : inode->i_state |= I_LINKABLE;
3535 : 0 : spin_unlock(&inode->i_lock);
3536 : : }
3537 : : ima_post_create_tmpfile(inode);
3538 : : return child;
3539 : :
3540 : 0 : out_err:
3541 : 0 : dput(child);
3542 : 0 : return ERR_PTR(error);
3543 : : }
3544 : : EXPORT_SYMBOL(vfs_tmpfile);
3545 : :
3546 : : static int do_tmpfile(struct nameidata *nd, unsigned flags,
3547 : : const struct open_flags *op,
3548 : : struct file *file)
3549 : : {
3550 : : struct dentry *child;
3551 : : struct path path;
3552 : : int error = path_lookupat(nd, flags | LOOKUP_DIRECTORY, &path);
3553 : : if (unlikely(error))
3554 : : return error;
3555 : : error = mnt_want_write(path.mnt);
3556 : : if (unlikely(error))
3557 : : goto out;
3558 : : child = vfs_tmpfile(path.dentry, op->mode, op->open_flag);
3559 : : error = PTR_ERR(child);
3560 : : if (IS_ERR(child))
3561 : : goto out2;
3562 : : dput(path.dentry);
3563 : : path.dentry = child;
3564 : : audit_inode(nd->name, child, 0);
3565 : : /* Don't check for other permissions, the inode was just created */
3566 : : error = may_open(&path, 0, op->open_flag);
3567 : : if (error)
3568 : : goto out2;
3569 : : file->f_path.mnt = path.mnt;
3570 : : error = finish_open(file, child, NULL);
3571 : : out2:
3572 : : mnt_drop_write(path.mnt);
3573 : : out:
3574 : : path_put(&path);
3575 : : return error;
3576 : : }
3577 : :
3578 : 344110 : static int do_o_path(struct nameidata *nd, unsigned flags, struct file *file)
3579 : : {
3580 : 344110 : struct path path;
3581 : 344110 : int error = path_lookupat(nd, flags, &path);
3582 [ + + ]: 344110 : if (!error) {
3583 : 302523 : audit_inode(nd->name, path.dentry, 0);
3584 : 302523 : error = vfs_open(&path, file);
3585 : 302523 : path_put(&path);
3586 : : }
3587 : 344110 : return error;
3588 : : }
3589 : :
3590 : 680274 : static struct file *path_openat(struct nameidata *nd,
3591 : : const struct open_flags *op, unsigned flags)
3592 : : {
3593 : 680274 : struct file *file;
3594 : 680274 : int error;
3595 : :
3596 : 680274 : file = alloc_empty_file(op->open_flag, current_cred());
3597 [ + - ]: 680274 : if (IS_ERR(file))
3598 : : return file;
3599 : :
3600 [ - + ]: 680274 : if (unlikely(file->f_flags & __O_TMPFILE)) {
3601 : 0 : error = do_tmpfile(nd, flags, op, file);
3602 [ + + ]: 680274 : } else if (unlikely(file->f_flags & O_PATH)) {
3603 : 344110 : error = do_o_path(nd, flags, file);
3604 : : } else {
3605 : 336164 : const char *s = path_init(nd, flags);
3606 [ + + + + ]: 742449 : while (!(error = link_path_walk(s, nd)) &&
3607 : 357798 : (error = do_last(nd, file, op)) > 0) {
3608 : 48500 : nd->flags &= ~(LOOKUP_OPEN|LOOKUP_CREATE|LOOKUP_EXCL);
3609 : 48500 : s = trailing_symlink(nd);
3610 : : }
3611 : 336151 : terminate_walk(nd);
3612 : : }
3613 [ + + ]: 680261 : if (likely(!error)) {
3614 [ - + ]: 535313 : if (likely(file->f_mode & FMODE_OPENED))
3615 : : return file;
3616 : 0 : WARN_ON(1);
3617 : 0 : error = -EINVAL;
3618 : : }
3619 : 144948 : fput(file);
3620 [ - + ]: 144948 : if (error == -EOPENSTALE) {
3621 [ # # ]: 0 : if (flags & LOOKUP_RCU)
3622 : : error = -ECHILD;
3623 : : else
3624 : 0 : error = -ESTALE;
3625 : : }
3626 : 144948 : return ERR_PTR(error);
3627 : : }
3628 : :
3629 : 680274 : struct file *do_filp_open(int dfd, struct filename *pathname,
3630 : : const struct open_flags *op)
3631 : : {
3632 : 680274 : struct nameidata nd;
3633 : 680274 : int flags = op->lookup_flags;
3634 : 680274 : struct file *filp;
3635 : :
3636 [ - + ]: 680274 : set_nameidata(&nd, dfd, pathname);
3637 : 680274 : filp = path_openat(&nd, op, flags | LOOKUP_RCU);
3638 [ - + ]: 680261 : if (unlikely(filp == ERR_PTR(-ECHILD)))
3639 : 0 : filp = path_openat(&nd, op, flags);
3640 [ - + ]: 680261 : if (unlikely(filp == ERR_PTR(-ESTALE)))
3641 : 0 : filp = path_openat(&nd, op, flags | LOOKUP_REVAL);
3642 : 680261 : restore_nameidata();
3643 : 680261 : return filp;
3644 : : }
3645 : :
3646 : 0 : struct file *do_file_open_root(struct dentry *dentry, struct vfsmount *mnt,
3647 : : const char *name, const struct open_flags *op)
3648 : : {
3649 : 0 : struct nameidata nd;
3650 : 0 : struct file *file;
3651 : 0 : struct filename *filename;
3652 : 0 : int flags = op->lookup_flags | LOOKUP_ROOT;
3653 : :
3654 : 0 : nd.root.mnt = mnt;
3655 : 0 : nd.root.dentry = dentry;
3656 : :
3657 [ # # # # ]: 0 : if (d_is_symlink(dentry) && op->intent & LOOKUP_OPEN)
3658 : : return ERR_PTR(-ELOOP);
3659 : :
3660 : 0 : filename = getname_kernel(name);
3661 [ # # ]: 0 : if (IS_ERR(filename))
3662 : : return ERR_CAST(filename);
3663 : :
3664 [ # # ]: 0 : set_nameidata(&nd, -1, filename);
3665 : 0 : file = path_openat(&nd, op, flags | LOOKUP_RCU);
3666 [ # # ]: 0 : if (unlikely(file == ERR_PTR(-ECHILD)))
3667 : 0 : file = path_openat(&nd, op, flags);
3668 [ # # ]: 0 : if (unlikely(file == ERR_PTR(-ESTALE)))
3669 : 0 : file = path_openat(&nd, op, flags | LOOKUP_REVAL);
3670 : 0 : restore_nameidata();
3671 : 0 : putname(filename);
3672 : 0 : return file;
3673 : : }
3674 : :
3675 : 52892 : static struct dentry *filename_create(int dfd, struct filename *name,
3676 : : struct path *path, unsigned int lookup_flags)
3677 : : {
3678 : 52892 : struct dentry *dentry = ERR_PTR(-EEXIST);
3679 : 52892 : struct qstr last;
3680 : 52892 : int type;
3681 : 52892 : int err2;
3682 : 52892 : int error;
3683 : 52892 : bool is_dir = (lookup_flags & LOOKUP_DIRECTORY);
3684 : :
3685 : : /*
3686 : : * Note that only LOOKUP_REVAL and LOOKUP_DIRECTORY matter here. Any
3687 : : * other flags passed in are ignored!
3688 : : */
3689 : 52892 : lookup_flags &= LOOKUP_REVAL;
3690 : :
3691 : 52892 : name = filename_parentat(dfd, name, lookup_flags, path, &last, &type);
3692 [ + + ]: 52892 : if (IS_ERR(name))
3693 : : return ERR_CAST(name);
3694 : :
3695 : : /*
3696 : : * Yucky last component or no last component at all?
3697 : : * (foo/., foo/.., /////)
3698 : : */
3699 [ - + ]: 50180 : if (unlikely(type != LAST_NORM))
3700 : 0 : goto out;
3701 : :
3702 : : /* don't fail immediately if it's r/o, at least try to report other errors */
3703 : 50180 : err2 = mnt_want_write(path->mnt);
3704 : : /*
3705 : : * Do the final lookup.
3706 : : */
3707 : 50180 : lookup_flags |= LOOKUP_CREATE | LOOKUP_EXCL;
3708 : 50180 : inode_lock_nested(path->dentry->d_inode, I_MUTEX_PARENT);
3709 : 50180 : dentry = __lookup_hash(&last, path->dentry, lookup_flags);
3710 [ - + ]: 50180 : if (IS_ERR(dentry))
3711 : 0 : goto unlock;
3712 : :
3713 : 50180 : error = -EEXIST;
3714 [ + + ]: 50180 : if (d_is_positive(dentry))
3715 : 40521 : goto fail;
3716 : :
3717 : : /*
3718 : : * Special case - lookup gave negative, but... we had foo/bar/
3719 : : * From the vfs_mknod() POV we just have a negative dentry -
3720 : : * all is fine. Let's be bastards - you had / on the end, you've
3721 : : * been asking for (non-existent) directory. -ENOENT for you.
3722 : : */
3723 [ + + - + ]: 9659 : if (unlikely(!is_dir && last.name[last.len])) {
3724 : 0 : error = -ENOENT;
3725 : 0 : goto fail;
3726 : : }
3727 [ - + ]: 9659 : if (unlikely(err2)) {
3728 : 0 : error = err2;
3729 : 0 : goto fail;
3730 : : }
3731 : 9659 : putname(name);
3732 : 9659 : return dentry;
3733 : 40521 : fail:
3734 : 40521 : dput(dentry);
3735 : 40521 : dentry = ERR_PTR(error);
3736 : 40521 : unlock:
3737 : 40521 : inode_unlock(path->dentry->d_inode);
3738 [ + + ]: 40521 : if (!err2)
3739 : 40378 : mnt_drop_write(path->mnt);
3740 : 143 : out:
3741 : 40521 : path_put(path);
3742 : 40521 : putname(name);
3743 : 40521 : return dentry;
3744 : : }
3745 : :
3746 : 1833 : struct dentry *kern_path_create(int dfd, const char *pathname,
3747 : : struct path *path, unsigned int lookup_flags)
3748 : : {
3749 : 1833 : return filename_create(dfd, getname_kernel(pathname),
3750 : : path, lookup_flags);
3751 : : }
3752 : : EXPORT_SYMBOL(kern_path_create);
3753 : :
3754 : 9659 : void done_path_create(struct path *path, struct dentry *dentry)
3755 : : {
3756 : 9659 : dput(dentry);
3757 : 9659 : inode_unlock(path->dentry->d_inode);
3758 : 9659 : mnt_drop_write(path->mnt);
3759 : 9659 : path_put(path);
3760 : 9659 : }
3761 : : EXPORT_SYMBOL(done_path_create);
3762 : :
3763 : 51059 : inline struct dentry *user_path_create(int dfd, const char __user *pathname,
3764 : : struct path *path, unsigned int lookup_flags)
3765 : : {
3766 : 51059 : return filename_create(dfd, getname(pathname), path, lookup_flags);
3767 : : }
3768 : : EXPORT_SYMBOL(user_path_create);
3769 : :
3770 : 1911 : int vfs_mknod(struct inode *dir, struct dentry *dentry, umode_t mode, dev_t dev)
3771 : : {
3772 : 1911 : int error = may_create(dir, dentry);
3773 : :
3774 [ + - ]: 1911 : if (error)
3775 : : return error;
3776 : :
3777 [ + + + - ]: 1911 : if ((S_ISCHR(mode) || S_ISBLK(mode)) && !capable(CAP_MKNOD))
3778 : : return -EPERM;
3779 : :
3780 [ + - ]: 1911 : if (!dir->i_op->mknod)
3781 : : return -EPERM;
3782 : :
3783 : 1911 : error = devcgroup_inode_mknod(mode, dev);
3784 : 1911 : if (error)
3785 : : return error;
3786 : :
3787 : 1911 : error = security_inode_mknod(dir, dentry, mode, dev);
3788 [ + - ]: 1911 : if (error)
3789 : : return error;
3790 : :
3791 : 1911 : error = dir->i_op->mknod(dir, dentry, mode, dev);
3792 [ + - ]: 1911 : if (!error)
3793 : 1911 : fsnotify_create(dir, dentry);
3794 : : return error;
3795 : : }
3796 : : EXPORT_SYMBOL(vfs_mknod);
3797 : :
3798 : 234 : static int may_mknod(umode_t mode)
3799 : : {
3800 : 234 : switch (mode & S_IFMT) {
3801 : : case S_IFREG:
3802 : : case S_IFCHR:
3803 : : case S_IFBLK:
3804 : : case S_IFIFO:
3805 : : case S_IFSOCK:
3806 : : case 0: /* zero mode translates to S_IFREG */
3807 : : return 0;
3808 : : case S_IFDIR:
3809 : 0 : return -EPERM;
3810 : : default:
3811 : : return -EINVAL;
3812 : : }
3813 : : }
3814 : :
3815 : 234 : long do_mknodat(int dfd, const char __user *filename, umode_t mode,
3816 : : unsigned int dev)
3817 : : {
3818 : 234 : struct dentry *dentry;
3819 : 234 : struct path path;
3820 : 234 : int error;
3821 : 234 : unsigned int lookup_flags = 0;
3822 : :
3823 [ - - + ]: 234 : error = may_mknod(mode);
3824 : 0 : if (error)
3825 : 0 : return error;
3826 : : retry:
3827 : 234 : dentry = user_path_create(dfd, filename, &path, lookup_flags);
3828 [ - + ]: 234 : if (IS_ERR(dentry))
3829 : 0 : return PTR_ERR(dentry);
3830 : :
3831 [ + + ]: 234 : if (!IS_POSIXACL(path.dentry->d_inode))
3832 : 52 : mode &= ~current_umask();
3833 [ + + + - ]: 234 : error = security_path_mknod(&path, dentry, mode, dev);
3834 : 234 : if (error)
3835 : : goto out;
3836 [ + + + - ]: 234 : switch (mode & S_IFMT) {
3837 : 13 : case 0: case S_IFREG:
3838 : 13 : error = vfs_create(path.dentry->d_inode,dentry,mode,true);
3839 : 13 : if (!error)
3840 : : ima_post_path_mknod(dentry);
3841 : : break;
3842 : : case S_IFCHR: case S_IFBLK:
3843 : 182 : error = vfs_mknod(path.dentry->d_inode,dentry,mode,
3844 : : new_decode_dev(dev));
3845 : 182 : break;
3846 : 39 : case S_IFIFO: case S_IFSOCK:
3847 : 39 : error = vfs_mknod(path.dentry->d_inode,dentry,mode,0);
3848 : 39 : break;
3849 : : }
3850 : 234 : out:
3851 : 234 : done_path_create(&path, dentry);
3852 [ - + - + ]: 468 : if (retry_estale(error, lookup_flags)) {
3853 : 0 : lookup_flags |= LOOKUP_REVAL;
3854 : 0 : goto retry;
3855 : : }
3856 : : return error;
3857 : : }
3858 : :
3859 : 0 : SYSCALL_DEFINE4(mknodat, int, dfd, const char __user *, filename, umode_t, mode,
3860 : : unsigned int, dev)
3861 : : {
3862 : 0 : return do_mknodat(dfd, filename, mode, dev);
3863 : : }
3864 : :
3865 : 364 : SYSCALL_DEFINE3(mknod, const char __user *, filename, umode_t, mode, unsigned, dev)
3866 : : {
3867 : 182 : return do_mknodat(AT_FDCWD, filename, mode, dev);
3868 : : }
3869 : :
3870 : 5057 : int vfs_mkdir(struct inode *dir, struct dentry *dentry, umode_t mode)
3871 : : {
3872 : 5057 : int error = may_create(dir, dentry);
3873 : 5057 : unsigned max_links = dir->i_sb->s_max_links;
3874 : :
3875 [ + - ]: 5057 : if (error)
3876 : : return error;
3877 : :
3878 [ + - ]: 5057 : if (!dir->i_op->mkdir)
3879 : : return -EPERM;
3880 : :
3881 : 5057 : mode &= (S_IRWXUGO|S_ISVTX);
3882 : 5057 : error = security_inode_mkdir(dir, dentry, mode);
3883 [ + - ]: 5057 : if (error)
3884 : : return error;
3885 : :
3886 [ - + - - ]: 5057 : if (max_links && dir->i_nlink >= max_links)
3887 : : return -EMLINK;
3888 : :
3889 : 5057 : error = dir->i_op->mkdir(dir, dentry, mode);
3890 [ + + ]: 5057 : if (!error)
3891 : 5031 : fsnotify_mkdir(dir, dentry);
3892 : : return error;
3893 : : }
3894 : : EXPORT_SYMBOL(vfs_mkdir);
3895 : :
3896 : 48056 : long do_mkdirat(int dfd, const char __user *pathname, umode_t mode)
3897 : : {
3898 : 48056 : struct dentry *dentry;
3899 : 48056 : struct path path;
3900 : 48056 : int error;
3901 : 48056 : unsigned int lookup_flags = LOOKUP_DIRECTORY;
3902 : :
3903 : 48056 : retry:
3904 : 48056 : dentry = user_path_create(dfd, pathname, &path, lookup_flags);
3905 [ + + ]: 48056 : if (IS_ERR(dentry))
3906 : 43077 : return PTR_ERR(dentry);
3907 : :
3908 [ + + ]: 4979 : if (!IS_POSIXACL(path.dentry->d_inode))
3909 : 832 : mode &= ~current_umask();
3910 : 4979 : error = security_path_mkdir(&path, dentry, mode);
3911 : 4979 : if (!error)
3912 : 4979 : error = vfs_mkdir(path.dentry->d_inode, dentry, mode);
3913 : 4979 : done_path_create(&path, dentry);
3914 [ - + - + ]: 9958 : if (retry_estale(error, lookup_flags)) {
3915 : 0 : lookup_flags |= LOOKUP_REVAL;
3916 : 0 : goto retry;
3917 : : }
3918 : : return error;
3919 : : }
3920 : :
3921 : 104 : SYSCALL_DEFINE3(mkdirat, int, dfd, const char __user *, pathname, umode_t, mode)
3922 : : {
3923 : 52 : return do_mkdirat(dfd, pathname, mode);
3924 : : }
3925 : :
3926 : 95956 : SYSCALL_DEFINE2(mkdir, const char __user *, pathname, umode_t, mode)
3927 : : {
3928 : 47978 : return do_mkdirat(AT_FDCWD, pathname, mode);
3929 : : }
3930 : :
3931 : 429 : int vfs_rmdir(struct inode *dir, struct dentry *dentry)
3932 : : {
3933 : 429 : int error = may_delete(dir, dentry, 1);
3934 : :
3935 [ + - ]: 429 : if (error)
3936 : : return error;
3937 : :
3938 [ + - ]: 429 : if (!dir->i_op->rmdir)
3939 : : return -EPERM;
3940 : :
3941 [ + - ]: 429 : dget(dentry);
3942 : 429 : inode_lock(dentry->d_inode);
3943 : :
3944 : 429 : error = -EBUSY;
3945 [ - + - - ]: 429 : if (is_local_mountpoint(dentry))
3946 : 0 : goto out;
3947 : :
3948 : 429 : error = security_inode_rmdir(dir, dentry);
3949 [ - + ]: 429 : if (error)
3950 : 0 : goto out;
3951 : :
3952 : 429 : error = dir->i_op->rmdir(dir, dentry);
3953 [ + + ]: 429 : if (error)
3954 : 13 : goto out;
3955 : :
3956 : 416 : shrink_dcache_parent(dentry);
3957 : 416 : dentry->d_inode->i_flags |= S_DEAD;
3958 : 416 : dont_mount(dentry);
3959 [ - + ]: 416 : detach_mounts(dentry);
3960 : 416 : fsnotify_rmdir(dir, dentry);
3961 : :
3962 : 429 : out:
3963 : 429 : inode_unlock(dentry->d_inode);
3964 : 429 : dput(dentry);
3965 [ + + ]: 429 : if (!error)
3966 : 416 : d_delete(dentry);
3967 : : return error;
3968 : : }
3969 : : EXPORT_SYMBOL(vfs_rmdir);
3970 : :
3971 : 988 : long do_rmdir(int dfd, const char __user *pathname)
3972 : : {
3973 : 988 : int error = 0;
3974 : 988 : struct filename *name;
3975 : 988 : struct dentry *dentry;
3976 : 988 : struct path path;
3977 : 988 : struct qstr last;
3978 : 988 : int type;
3979 : 988 : unsigned int lookup_flags = 0;
3980 : 988 : retry:
3981 : 988 : name = filename_parentat(dfd, getname(pathname), lookup_flags,
3982 : : &path, &last, &type);
3983 [ + + ]: 988 : if (IS_ERR(name))
3984 : 546 : return PTR_ERR(name);
3985 : :
3986 [ - + ]: 442 : switch (type) {
3987 : : case LAST_DOTDOT:
3988 : : error = -ENOTEMPTY;
3989 : : goto exit1;
3990 : : case LAST_DOT:
3991 : : error = -EINVAL;
3992 : : goto exit1;
3993 : : case LAST_ROOT:
3994 : : error = -EBUSY;
3995 : : goto exit1;
3996 : : }
3997 : :
3998 : 442 : error = mnt_want_write(path.mnt);
3999 [ - + ]: 442 : if (error)
4000 : 0 : goto exit1;
4001 : :
4002 : 442 : inode_lock_nested(path.dentry->d_inode, I_MUTEX_PARENT);
4003 : 442 : dentry = __lookup_hash(&last, path.dentry, lookup_flags);
4004 [ - + ]: 442 : error = PTR_ERR(dentry);
4005 [ - + ]: 442 : if (IS_ERR(dentry))
4006 : 0 : goto exit2;
4007 [ + + ]: 442 : if (!dentry->d_inode) {
4008 : 13 : error = -ENOENT;
4009 : 13 : goto exit3;
4010 : : }
4011 : 429 : error = security_path_rmdir(&path, dentry);
4012 : 429 : if (error)
4013 : : goto exit3;
4014 : 429 : error = vfs_rmdir(path.dentry->d_inode, dentry);
4015 : 442 : exit3:
4016 : 442 : dput(dentry);
4017 : 442 : exit2:
4018 : 442 : inode_unlock(path.dentry->d_inode);
4019 : 442 : mnt_drop_write(path.mnt);
4020 : 442 : exit1:
4021 : 442 : path_put(&path);
4022 : 442 : putname(name);
4023 [ - + - + ]: 884 : if (retry_estale(error, lookup_flags)) {
4024 : 0 : lookup_flags |= LOOKUP_REVAL;
4025 : 0 : goto retry;
4026 : : }
4027 : : return error;
4028 : : }
4029 : :
4030 : 1976 : SYSCALL_DEFINE1(rmdir, const char __user *, pathname)
4031 : : {
4032 : 988 : return do_rmdir(AT_FDCWD, pathname);
4033 : : }
4034 : :
4035 : : /**
4036 : : * vfs_unlink - unlink a filesystem object
4037 : : * @dir: parent directory
4038 : : * @dentry: victim
4039 : : * @delegated_inode: returns victim inode, if the inode is delegated.
4040 : : *
4041 : : * The caller must hold dir->i_mutex.
4042 : : *
4043 : : * If vfs_unlink discovers a delegation, it will return -EWOULDBLOCK and
4044 : : * return a reference to the inode in delegated_inode. The caller
4045 : : * should then break the delegation on that inode and retry. Because
4046 : : * breaking a delegation may take a long time, the caller should drop
4047 : : * dir->i_mutex before doing so.
4048 : : *
4049 : : * Alternatively, a caller may pass NULL for delegated_inode. This may
4050 : : * be appropriate for callers that expect the underlying filesystem not
4051 : : * to be NFS exported.
4052 : : */
4053 : 1105 : int vfs_unlink(struct inode *dir, struct dentry *dentry, struct inode **delegated_inode)
4054 : : {
4055 : 1105 : struct inode *target = dentry->d_inode;
4056 : 1105 : int error = may_delete(dir, dentry, 0);
4057 : :
4058 [ + - ]: 1105 : if (error)
4059 : : return error;
4060 : :
4061 [ + - ]: 1105 : if (!dir->i_op->unlink)
4062 : : return -EPERM;
4063 : :
4064 : 1105 : inode_lock(target);
4065 [ - + - - ]: 1105 : if (is_local_mountpoint(dentry))
4066 : : error = -EBUSY;
4067 : : else {
4068 : 1105 : error = security_inode_unlink(dir, dentry);
4069 [ - + ]: 1105 : if (!error) {
4070 : 1105 : error = try_break_deleg(target, delegated_inode);
4071 [ - + ]: 1105 : if (error)
4072 : 0 : goto out;
4073 : 1105 : error = dir->i_op->unlink(dir, dentry);
4074 [ - + ]: 1105 : if (!error) {
4075 : 1105 : dont_mount(dentry);
4076 [ - + ]: 1105 : detach_mounts(dentry);
4077 : 1105 : fsnotify_unlink(dir, dentry);
4078 : : }
4079 : : }
4080 : : }
4081 : 0 : out:
4082 : 1105 : inode_unlock(target);
4083 : :
4084 : : /* We don't d_delete() NFS sillyrenamed files--they still exist. */
4085 [ + - + - ]: 1105 : if (!error && !(dentry->d_flags & DCACHE_NFSFS_RENAMED)) {
4086 : 1105 : fsnotify_link_count(target);
4087 : 1105 : d_delete(dentry);
4088 : : }
4089 : :
4090 : : return error;
4091 : : }
4092 : : EXPORT_SYMBOL(vfs_unlink);
4093 : :
4094 : : /*
4095 : : * Make sure that the actual truncation of the file will occur outside its
4096 : : * directory's i_mutex. Truncate can take a long time if there is a lot of
4097 : : * writeout happening, and we don't want to prevent access to the directory
4098 : : * while waiting on the I/O.
4099 : : */
4100 : 6331 : long do_unlinkat(int dfd, struct filename *name)
4101 : : {
4102 : 6331 : int error;
4103 : 6331 : struct dentry *dentry;
4104 : 6331 : struct path path;
4105 : 6331 : struct qstr last;
4106 : 6331 : int type;
4107 : 6331 : struct inode *inode = NULL;
4108 : 6331 : struct inode *delegated_inode = NULL;
4109 : 6331 : unsigned int lookup_flags = 0;
4110 : 6331 : retry:
4111 : 6331 : name = filename_parentat(dfd, name, lookup_flags, &path, &last, &type);
4112 [ + + ]: 6331 : if (IS_ERR(name))
4113 : 2020 : return PTR_ERR(name);
4114 : :
4115 : 4311 : error = -EISDIR;
4116 [ - + ]: 4311 : if (type != LAST_NORM)
4117 : 0 : goto exit1;
4118 : :
4119 : 4311 : error = mnt_want_write(path.mnt);
4120 [ - + ]: 4311 : if (error)
4121 : 0 : goto exit1;
4122 : 4311 : retry_deleg:
4123 : 4311 : inode_lock_nested(path.dentry->d_inode, I_MUTEX_PARENT);
4124 : 4311 : dentry = __lookup_hash(&last, path.dentry, lookup_flags);
4125 [ + - ]: 4311 : error = PTR_ERR(dentry);
4126 [ + - ]: 4311 : if (!IS_ERR(dentry)) {
4127 : : /* Why not before? Because we want correct error value */
4128 [ - + ]: 4311 : if (last.name[last.len])
4129 : 0 : goto slashes;
4130 : 4311 : inode = dentry->d_inode;
4131 [ + + ]: 4311 : if (d_is_negative(dentry))
4132 : 3206 : goto slashes;
4133 : 1105 : ihold(inode);
4134 : 1105 : error = security_path_unlink(&path, dentry);
4135 : 1105 : if (error)
4136 : : goto exit2;
4137 : 1105 : error = vfs_unlink(path.dentry->d_inode, dentry, &delegated_inode);
4138 : 4311 : exit2:
4139 : 4311 : dput(dentry);
4140 : : }
4141 : 4311 : inode_unlock(path.dentry->d_inode);
4142 [ + + ]: 4311 : if (inode)
4143 : 1105 : iput(inode); /* truncate the inode here */
4144 : 4311 : inode = NULL;
4145 [ - + ]: 4311 : if (delegated_inode) {
4146 : 0 : error = break_deleg_wait(&delegated_inode);
4147 [ # # ]: 0 : if (!error)
4148 : 0 : goto retry_deleg;
4149 : : }
4150 : 4311 : mnt_drop_write(path.mnt);
4151 : 4311 : exit1:
4152 : 4311 : path_put(&path);
4153 [ - + - + ]: 8622 : if (retry_estale(error, lookup_flags)) {
4154 : 0 : lookup_flags |= LOOKUP_REVAL;
4155 : 0 : inode = NULL;
4156 : 0 : goto retry;
4157 : : }
4158 : 4311 : putname(name);
4159 : 4311 : return error;
4160 : :
4161 : 3206 : slashes:
4162 [ - + ]: 3206 : if (d_is_negative(dentry))
4163 : : error = -ENOENT;
4164 [ # # # # ]: 0 : else if (d_is_dir(dentry))
4165 : : error = -EISDIR;
4166 : : else
4167 : 0 : error = -ENOTDIR;
4168 : 3206 : goto exit2;
4169 : : }
4170 : :
4171 : 0 : SYSCALL_DEFINE3(unlinkat, int, dfd, const char __user *, pathname, int, flag)
4172 : : {
4173 [ # # ]: 0 : if ((flag & ~AT_REMOVEDIR) != 0)
4174 : : return -EINVAL;
4175 : :
4176 [ # # ]: 0 : if (flag & AT_REMOVEDIR)
4177 : 0 : return do_rmdir(dfd, pathname);
4178 : :
4179 : 0 : return do_unlinkat(dfd, getname(pathname));
4180 : : }
4181 : :
4182 : 12558 : SYSCALL_DEFINE1(unlink, const char __user *, pathname)
4183 : : {
4184 : 6279 : return do_unlinkat(AT_FDCWD, getname(pathname));
4185 : : }
4186 : :
4187 : 2678 : int vfs_symlink(struct inode *dir, struct dentry *dentry, const char *oldname)
4188 : : {
4189 : 2678 : int error = may_create(dir, dentry);
4190 : :
4191 [ + - ]: 2678 : if (error)
4192 : : return error;
4193 : :
4194 [ + - ]: 2678 : if (!dir->i_op->symlink)
4195 : : return -EPERM;
4196 : :
4197 : 2678 : error = security_inode_symlink(dir, dentry, oldname);
4198 [ + - ]: 2678 : if (error)
4199 : : return error;
4200 : :
4201 : 2678 : error = dir->i_op->symlink(dir, dentry, oldname);
4202 [ + - ]: 2678 : if (!error)
4203 : 2678 : fsnotify_create(dir, dentry);
4204 : : return error;
4205 : : }
4206 : : EXPORT_SYMBOL(vfs_symlink);
4207 : :
4208 : 2769 : long do_symlinkat(const char __user *oldname, int newdfd,
4209 : : const char __user *newname)
4210 : : {
4211 : 2769 : int error;
4212 : 2769 : struct filename *from;
4213 : 2769 : struct dentry *dentry;
4214 : 2769 : struct path path;
4215 : 2769 : unsigned int lookup_flags = 0;
4216 : :
4217 : 2769 : from = getname(oldname);
4218 [ - + ]: 2769 : if (IS_ERR(from))
4219 : 0 : return PTR_ERR(from);
4220 : 2769 : retry:
4221 : 2769 : dentry = user_path_create(newdfd, newname, &path, lookup_flags);
4222 [ + + ]: 2769 : error = PTR_ERR(dentry);
4223 [ + + ]: 2769 : if (IS_ERR(dentry))
4224 : 91 : goto out_putname;
4225 : :
4226 : 2678 : error = security_path_symlink(&path, dentry, from->name);
4227 : 2678 : if (!error)
4228 : 2678 : error = vfs_symlink(path.dentry->d_inode, dentry, from->name);
4229 : 2678 : done_path_create(&path, dentry);
4230 [ - + - + ]: 5356 : if (retry_estale(error, lookup_flags)) {
4231 : 0 : lookup_flags |= LOOKUP_REVAL;
4232 : 0 : goto retry;
4233 : : }
4234 : 2678 : out_putname:
4235 : 2769 : putname(from);
4236 : 2769 : return error;
4237 : : }
4238 : :
4239 : 26 : SYSCALL_DEFINE3(symlinkat, const char __user *, oldname,
4240 : : int, newdfd, const char __user *, newname)
4241 : : {
4242 : 13 : return do_symlinkat(oldname, newdfd, newname);
4243 : : }
4244 : :
4245 : 5512 : SYSCALL_DEFINE2(symlink, const char __user *, oldname, const char __user *, newname)
4246 : : {
4247 : 2756 : return do_symlinkat(oldname, AT_FDCWD, newname);
4248 : : }
4249 : :
4250 : : /**
4251 : : * vfs_link - create a new link
4252 : : * @old_dentry: object to be linked
4253 : : * @dir: new parent
4254 : : * @new_dentry: where to create the new link
4255 : : * @delegated_inode: returns inode needing a delegation break
4256 : : *
4257 : : * The caller must hold dir->i_mutex
4258 : : *
4259 : : * If vfs_link discovers a delegation on the to-be-linked file in need
4260 : : * of breaking, it will return -EWOULDBLOCK and return a reference to the
4261 : : * inode in delegated_inode. The caller should then break the delegation
4262 : : * and retry. Because breaking a delegation may take a long time, the
4263 : : * caller should drop the i_mutex before doing so.
4264 : : *
4265 : : * Alternatively, a caller may pass NULL for delegated_inode. This may
4266 : : * be appropriate for callers that expect the underlying filesystem not
4267 : : * to be NFS exported.
4268 : : */
4269 : 0 : int vfs_link(struct dentry *old_dentry, struct inode *dir, struct dentry *new_dentry, struct inode **delegated_inode)
4270 : : {
4271 : 0 : struct inode *inode = old_dentry->d_inode;
4272 : 0 : unsigned max_links = dir->i_sb->s_max_links;
4273 : 0 : int error;
4274 : :
4275 [ # # ]: 0 : if (!inode)
4276 : : return -ENOENT;
4277 : :
4278 : 0 : error = may_create(dir, new_dentry);
4279 [ # # ]: 0 : if (error)
4280 : : return error;
4281 : :
4282 [ # # ]: 0 : if (dir->i_sb != inode->i_sb)
4283 : : return -EXDEV;
4284 : :
4285 : : /*
4286 : : * A link to an append-only or immutable file cannot be created.
4287 : : */
4288 [ # # ]: 0 : if (IS_APPEND(inode) || IS_IMMUTABLE(inode))
4289 : : return -EPERM;
4290 : : /*
4291 : : * Updating the link count will likely cause i_uid and i_gid to
4292 : : * be writen back improperly if their true value is unknown to
4293 : : * the vfs.
4294 : : */
4295 [ # # # # ]: 0 : if (HAS_UNMAPPED_ID(inode))
4296 : : return -EPERM;
4297 [ # # ]: 0 : if (!dir->i_op->link)
4298 : : return -EPERM;
4299 [ # # ]: 0 : if (S_ISDIR(inode->i_mode))
4300 : : return -EPERM;
4301 : :
4302 : 0 : error = security_inode_link(old_dentry, dir, new_dentry);
4303 [ # # ]: 0 : if (error)
4304 : : return error;
4305 : :
4306 : 0 : inode_lock(inode);
4307 : : /* Make sure we don't allow creating hardlink to an unlinked file */
4308 [ # # # # ]: 0 : if (inode->i_nlink == 0 && !(inode->i_state & I_LINKABLE))
4309 : : error = -ENOENT;
4310 [ # # # # ]: 0 : else if (max_links && inode->i_nlink >= max_links)
4311 : : error = -EMLINK;
4312 : : else {
4313 : 0 : error = try_break_deleg(inode, delegated_inode);
4314 [ # # ]: 0 : if (!error)
4315 : 0 : error = dir->i_op->link(old_dentry, dir, new_dentry);
4316 : : }
4317 : :
4318 [ # # # # ]: 0 : if (!error && (inode->i_state & I_LINKABLE)) {
4319 : 0 : spin_lock(&inode->i_lock);
4320 : 0 : inode->i_state &= ~I_LINKABLE;
4321 : 0 : spin_unlock(&inode->i_lock);
4322 : : }
4323 : 0 : inode_unlock(inode);
4324 [ # # ]: 0 : if (!error)
4325 : 0 : fsnotify_link(dir, inode, new_dentry);
4326 : : return error;
4327 : : }
4328 : : EXPORT_SYMBOL(vfs_link);
4329 : :
4330 : : /*
4331 : : * Hardlinks are often used in delicate situations. We avoid
4332 : : * security-related surprises by not following symlinks on the
4333 : : * newname. --KAB
4334 : : *
4335 : : * We don't follow them on the oldname either to be compatible
4336 : : * with linux 2.0, and to avoid hard-linking to directories
4337 : : * and other special files. --ADM
4338 : : */
4339 : 0 : int do_linkat(int olddfd, const char __user *oldname, int newdfd,
4340 : : const char __user *newname, int flags)
4341 : : {
4342 : 0 : struct dentry *new_dentry;
4343 : 0 : struct path old_path, new_path;
4344 : 0 : struct inode *delegated_inode = NULL;
4345 : 0 : int how = 0;
4346 : 0 : int error;
4347 : :
4348 [ # # ]: 0 : if ((flags & ~(AT_SYMLINK_FOLLOW | AT_EMPTY_PATH)) != 0)
4349 : : return -EINVAL;
4350 : : /*
4351 : : * To use null names we require CAP_DAC_READ_SEARCH
4352 : : * This ensures that not everyone will be able to create
4353 : : * handlink using the passed filedescriptor.
4354 : : */
4355 [ # # ]: 0 : if (flags & AT_EMPTY_PATH) {
4356 [ # # ]: 0 : if (!capable(CAP_DAC_READ_SEARCH))
4357 : : return -ENOENT;
4358 : : how = LOOKUP_EMPTY;
4359 : : }
4360 : :
4361 [ # # ]: 0 : if (flags & AT_SYMLINK_FOLLOW)
4362 : 0 : how |= LOOKUP_FOLLOW;
4363 : 0 : retry:
4364 : 0 : error = user_path_at(olddfd, oldname, how, &old_path);
4365 [ # # ]: 0 : if (error)
4366 : 0 : return error;
4367 : :
4368 : 0 : new_dentry = user_path_create(newdfd, newname, &new_path,
4369 : : (how & LOOKUP_REVAL));
4370 [ # # ]: 0 : error = PTR_ERR(new_dentry);
4371 [ # # ]: 0 : if (IS_ERR(new_dentry))
4372 : 0 : goto out;
4373 : :
4374 : 0 : error = -EXDEV;
4375 [ # # ]: 0 : if (old_path.mnt != new_path.mnt)
4376 : 0 : goto out_dput;
4377 : 0 : error = may_linkat(&old_path);
4378 [ # # ]: 0 : if (unlikely(error))
4379 : 0 : goto out_dput;
4380 : 0 : error = security_path_link(old_path.dentry, &new_path, new_dentry);
4381 : 0 : if (error)
4382 : : goto out_dput;
4383 : 0 : error = vfs_link(old_path.dentry, new_path.dentry->d_inode, new_dentry, &delegated_inode);
4384 : 0 : out_dput:
4385 : 0 : done_path_create(&new_path, new_dentry);
4386 [ # # ]: 0 : if (delegated_inode) {
4387 : 0 : error = break_deleg_wait(&delegated_inode);
4388 [ # # ]: 0 : if (!error) {
4389 : 0 : path_put(&old_path);
4390 : 0 : goto retry;
4391 : : }
4392 : : }
4393 [ # # # # ]: 0 : if (retry_estale(error, how)) {
4394 : 0 : path_put(&old_path);
4395 : 0 : how |= LOOKUP_REVAL;
4396 : 0 : goto retry;
4397 : : }
4398 : 0 : out:
4399 : 0 : path_put(&old_path);
4400 : :
4401 : 0 : return error;
4402 : : }
4403 : :
4404 : 0 : SYSCALL_DEFINE5(linkat, int, olddfd, const char __user *, oldname,
4405 : : int, newdfd, const char __user *, newname, int, flags)
4406 : : {
4407 : 0 : return do_linkat(olddfd, oldname, newdfd, newname, flags);
4408 : : }
4409 : :
4410 : 0 : SYSCALL_DEFINE2(link, const char __user *, oldname, const char __user *, newname)
4411 : : {
4412 : 0 : return do_linkat(AT_FDCWD, oldname, AT_FDCWD, newname, 0);
4413 : : }
4414 : :
4415 : : /**
4416 : : * vfs_rename - rename a filesystem object
4417 : : * @old_dir: parent of source
4418 : : * @old_dentry: source
4419 : : * @new_dir: parent of destination
4420 : : * @new_dentry: destination
4421 : : * @delegated_inode: returns an inode needing a delegation break
4422 : : * @flags: rename flags
4423 : : *
4424 : : * The caller must hold multiple mutexes--see lock_rename()).
4425 : : *
4426 : : * If vfs_rename discovers a delegation in need of breaking at either
4427 : : * the source or destination, it will return -EWOULDBLOCK and return a
4428 : : * reference to the inode in delegated_inode. The caller should then
4429 : : * break the delegation and retry. Because breaking a delegation may
4430 : : * take a long time, the caller should drop all locks before doing
4431 : : * so.
4432 : : *
4433 : : * Alternatively, a caller may pass NULL for delegated_inode. This may
4434 : : * be appropriate for callers that expect the underlying filesystem not
4435 : : * to be NFS exported.
4436 : : *
4437 : : * The worst of all namespace operations - renaming directory. "Perverted"
4438 : : * doesn't even start to describe it. Somebody in UCB had a heck of a trip...
4439 : : * Problems:
4440 : : *
4441 : : * a) we can get into loop creation.
4442 : : * b) race potential - two innocent renames can create a loop together.
4443 : : * That's where 4.4 screws up. Current fix: serialization on
4444 : : * sb->s_vfs_rename_mutex. We might be more accurate, but that's another
4445 : : * story.
4446 : : * c) we have to lock _four_ objects - parents and victim (if it exists),
4447 : : * and source (if it is not a directory).
4448 : : * And that - after we got ->i_mutex on parents (until then we don't know
4449 : : * whether the target exists). Solution: try to be smart with locking
4450 : : * order for inodes. We rely on the fact that tree topology may change
4451 : : * only under ->s_vfs_rename_mutex _and_ that parent of the object we
4452 : : * move will be locked. Thus we can rank directories by the tree
4453 : : * (ancestors first) and rank all non-directories after them.
4454 : : * That works since everybody except rename does "lock parent, lookup,
4455 : : * lock child" and rename is under ->s_vfs_rename_mutex.
4456 : : * HOWEVER, it relies on the assumption that any object with ->lookup()
4457 : : * has no more than 1 dentry. If "hybrid" objects will ever appear,
4458 : : * we'd better make sure that there's no link(2) for them.
4459 : : * d) conversion from fhandle to dentry may come in the wrong moment - when
4460 : : * we are removing the target. Solution: we will have to grab ->i_mutex
4461 : : * in the fhandle_to_dentry code. [FIXME - current nfsfh.c relies on
4462 : : * ->i_mutex on parents, which works but leads to some truly excessive
4463 : : * locking].
4464 : : */
4465 : 3029 : int vfs_rename(struct inode *old_dir, struct dentry *old_dentry,
4466 : : struct inode *new_dir, struct dentry *new_dentry,
4467 : : struct inode **delegated_inode, unsigned int flags)
4468 : : {
4469 : 3029 : int error;
4470 [ + - ]: 3029 : bool is_dir = d_is_dir(old_dentry);
4471 : 3029 : struct inode *source = old_dentry->d_inode;
4472 : 3029 : struct inode *target = new_dentry->d_inode;
4473 : 3029 : bool new_is_dir = false;
4474 : 3029 : unsigned max_links = new_dir->i_sb->s_max_links;
4475 : 3029 : struct name_snapshot old_name;
4476 : :
4477 [ + - ]: 3029 : if (source == target)
4478 : : return 0;
4479 : :
4480 : 3029 : error = may_delete(old_dir, old_dentry, is_dir);
4481 [ + - ]: 3029 : if (error)
4482 : : return error;
4483 : :
4484 [ + + ]: 3029 : if (!target) {
4485 : 2756 : error = may_create(new_dir, new_dentry);
4486 : : } else {
4487 [ + - ]: 273 : new_is_dir = d_is_dir(new_dentry);
4488 : :
4489 [ + - ]: 273 : if (!(flags & RENAME_EXCHANGE))
4490 : 273 : error = may_delete(new_dir, new_dentry, is_dir);
4491 : : else
4492 : 0 : error = may_delete(new_dir, new_dentry, new_is_dir);
4493 : : }
4494 [ + - ]: 3029 : if (error)
4495 : : return error;
4496 : :
4497 [ + - ]: 3029 : if (!old_dir->i_op->rename)
4498 : : return -EPERM;
4499 : :
4500 : : /*
4501 : : * If we are going to change the parent - check write permissions,
4502 : : * we'll need to flip '..'.
4503 : : */
4504 [ - + ]: 3029 : if (new_dir != old_dir) {
4505 [ # # ]: 0 : if (is_dir) {
4506 : 0 : error = inode_permission(source, MAY_WRITE);
4507 [ # # ]: 0 : if (error)
4508 : : return error;
4509 : : }
4510 [ # # # # ]: 0 : if ((flags & RENAME_EXCHANGE) && new_is_dir) {
4511 : 0 : error = inode_permission(target, MAY_WRITE);
4512 [ # # ]: 0 : if (error)
4513 : : return error;
4514 : : }
4515 : : }
4516 : :
4517 : 3029 : error = security_inode_rename(old_dir, old_dentry, new_dir, new_dentry,
4518 : : flags);
4519 [ + - ]: 3029 : if (error)
4520 : : return error;
4521 : :
4522 : 3029 : take_dentry_name_snapshot(&old_name, old_dentry);
4523 [ + - ]: 3029 : dget(new_dentry);
4524 [ - + - - ]: 3029 : if (!is_dir || (flags & RENAME_EXCHANGE))
4525 : 3029 : lock_two_nondirectories(source, target);
4526 [ # # ]: 0 : else if (target)
4527 : 0 : inode_lock(target);
4528 : :
4529 : 3029 : error = -EBUSY;
4530 [ - + - - : 3029 : if (is_local_mountpoint(old_dentry) || is_local_mountpoint(new_dentry))
- - ]
4531 : 0 : goto out;
4532 : :
4533 [ - + ]: 3029 : if (max_links && new_dir != old_dir) {
4534 : 0 : error = -EMLINK;
4535 [ # # # # ]: 0 : if (is_dir && !new_is_dir && new_dir->i_nlink >= max_links)
4536 : 0 : goto out;
4537 [ # # # # ]: 0 : if ((flags & RENAME_EXCHANGE) && !is_dir && new_is_dir &&
4538 [ # # ]: 0 : old_dir->i_nlink >= max_links)
4539 : 0 : goto out;
4540 : : }
4541 [ + - ]: 3029 : if (!is_dir) {
4542 : 3029 : error = try_break_deleg(source, delegated_inode);
4543 [ - + ]: 3029 : if (error)
4544 : 0 : goto out;
4545 : : }
4546 [ + + ]: 3029 : if (target && !new_is_dir) {
4547 : 273 : error = try_break_deleg(target, delegated_inode);
4548 [ - + ]: 273 : if (error)
4549 : 0 : goto out;
4550 : : }
4551 : 3029 : error = old_dir->i_op->rename(old_dir, old_dentry,
4552 : : new_dir, new_dentry, flags);
4553 [ - + ]: 3029 : if (error)
4554 : 0 : goto out;
4555 : :
4556 [ + - + + ]: 3029 : if (!(flags & RENAME_EXCHANGE) && target) {
4557 [ - + ]: 273 : if (is_dir) {
4558 : 0 : shrink_dcache_parent(new_dentry);
4559 : 0 : target->i_flags |= S_DEAD;
4560 : : }
4561 : 273 : dont_mount(new_dentry);
4562 [ - + ]: 273 : detach_mounts(new_dentry);
4563 : : }
4564 [ - + ]: 3029 : if (!(old_dir->i_sb->s_type->fs_flags & FS_RENAME_DOES_D_MOVE)) {
4565 [ + - ]: 3029 : if (!(flags & RENAME_EXCHANGE))
4566 : 3029 : d_move(old_dentry, new_dentry);
4567 : : else
4568 : 0 : d_exchange(old_dentry, new_dentry);
4569 : : }
4570 : 0 : out:
4571 [ - + - - ]: 3029 : if (!is_dir || (flags & RENAME_EXCHANGE))
4572 : 3029 : unlock_two_nondirectories(source, target);
4573 [ # # ]: 0 : else if (target)
4574 : 0 : inode_unlock(target);
4575 : 3029 : dput(new_dentry);
4576 [ + - ]: 3029 : if (!error) {
4577 : 3029 : fsnotify_move(old_dir, new_dir, &old_name.name, is_dir,
4578 [ - + ]: 3029 : !(flags & RENAME_EXCHANGE) ? target : NULL, old_dentry);
4579 [ - + ]: 3029 : if (flags & RENAME_EXCHANGE) {
4580 : 0 : fsnotify_move(new_dir, old_dir, &old_dentry->d_name,
4581 : : new_is_dir, NULL, new_dentry);
4582 : : }
4583 : : }
4584 : 3029 : release_dentry_name_snapshot(&old_name);
4585 : :
4586 : 3029 : return error;
4587 : : }
4588 : : EXPORT_SYMBOL(vfs_rename);
4589 : :
4590 : 3042 : static int do_renameat2(int olddfd, const char __user *oldname, int newdfd,
4591 : : const char __user *newname, unsigned int flags)
4592 : : {
4593 : 3042 : struct dentry *old_dentry, *new_dentry;
4594 : 3042 : struct dentry *trap;
4595 : 3042 : struct path old_path, new_path;
4596 : 3042 : struct qstr old_last, new_last;
4597 : 3042 : int old_type, new_type;
4598 : 3042 : struct inode *delegated_inode = NULL;
4599 : 3042 : struct filename *from;
4600 : 3042 : struct filename *to;
4601 : 3042 : unsigned int lookup_flags = 0, target_flags = LOOKUP_RENAME_TARGET;
4602 : 3042 : bool should_retry = false;
4603 : 3042 : int error;
4604 : :
4605 [ + - ]: 3042 : if (flags & ~(RENAME_NOREPLACE | RENAME_EXCHANGE | RENAME_WHITEOUT))
4606 : : return -EINVAL;
4607 : :
4608 [ - + ]: 3042 : if ((flags & (RENAME_NOREPLACE | RENAME_WHITEOUT)) &&
4609 [ # # ]: 0 : (flags & RENAME_EXCHANGE))
4610 : : return -EINVAL;
4611 : :
4612 [ - + - - ]: 3042 : if ((flags & RENAME_WHITEOUT) && !capable(CAP_MKNOD))
4613 : : return -EPERM;
4614 : :
4615 [ + - ]: 3042 : if (flags & RENAME_EXCHANGE)
4616 : 0 : target_flags = 0;
4617 : :
4618 : 3042 : retry:
4619 : 3042 : from = filename_parentat(olddfd, getname(oldname), lookup_flags,
4620 : : &old_path, &old_last, &old_type);
4621 [ - + ]: 3042 : if (IS_ERR(from)) {
4622 : 0 : error = PTR_ERR(from);
4623 : 0 : goto exit;
4624 : : }
4625 : :
4626 : 3042 : to = filename_parentat(newdfd, getname(newname), lookup_flags,
4627 : : &new_path, &new_last, &new_type);
4628 [ - + ]: 3042 : if (IS_ERR(to)) {
4629 : 0 : error = PTR_ERR(to);
4630 : 0 : goto exit1;
4631 : : }
4632 : :
4633 : 3042 : error = -EXDEV;
4634 [ - + ]: 3042 : if (old_path.mnt != new_path.mnt)
4635 : 0 : goto exit2;
4636 : :
4637 : 3042 : error = -EBUSY;
4638 [ - + ]: 3042 : if (old_type != LAST_NORM)
4639 : 0 : goto exit2;
4640 : :
4641 : 3042 : if (flags & RENAME_NOREPLACE)
4642 : : error = -EEXIST;
4643 [ - + ]: 3042 : if (new_type != LAST_NORM)
4644 : 0 : goto exit2;
4645 : :
4646 : 3042 : error = mnt_want_write(old_path.mnt);
4647 [ - + ]: 3042 : if (error)
4648 : 0 : goto exit2;
4649 : :
4650 : 3042 : retry_deleg:
4651 : 3042 : trap = lock_rename(new_path.dentry, old_path.dentry);
4652 : :
4653 : 3042 : old_dentry = __lookup_hash(&old_last, old_path.dentry, lookup_flags);
4654 [ - + ]: 3042 : error = PTR_ERR(old_dentry);
4655 [ - + ]: 3042 : if (IS_ERR(old_dentry))
4656 : 0 : goto exit3;
4657 : : /* source must exist */
4658 : 3042 : error = -ENOENT;
4659 [ + + ]: 3042 : if (d_is_negative(old_dentry))
4660 : 13 : goto exit4;
4661 : 3029 : new_dentry = __lookup_hash(&new_last, new_path.dentry, lookup_flags | target_flags);
4662 [ - + ]: 3029 : error = PTR_ERR(new_dentry);
4663 [ - + ]: 3029 : if (IS_ERR(new_dentry))
4664 : 0 : goto exit4;
4665 : 3029 : error = -EEXIST;
4666 [ - + - - ]: 3029 : if ((flags & RENAME_NOREPLACE) && d_is_positive(new_dentry))
4667 : 0 : goto exit5;
4668 [ - + ]: 3029 : if (flags & RENAME_EXCHANGE) {
4669 : 0 : error = -ENOENT;
4670 [ # # ]: 0 : if (d_is_negative(new_dentry))
4671 : 0 : goto exit5;
4672 : :
4673 [ # # # # ]: 0 : if (!d_is_dir(new_dentry)) {
4674 : 0 : error = -ENOTDIR;
4675 [ # # ]: 0 : if (new_last.name[new_last.len])
4676 : 0 : goto exit5;
4677 : : }
4678 : : }
4679 : : /* unless the source is a directory trailing slashes give -ENOTDIR */
4680 [ + - + - ]: 6058 : if (!d_is_dir(old_dentry)) {
4681 : 3029 : error = -ENOTDIR;
4682 [ - + ]: 3029 : if (old_last.name[old_last.len])
4683 : 0 : goto exit5;
4684 [ + - - + ]: 3029 : if (!(flags & RENAME_EXCHANGE) && new_last.name[new_last.len])
4685 : 0 : goto exit5;
4686 : : }
4687 : : /* source should not be ancestor of target */
4688 : 3029 : error = -EINVAL;
4689 [ - + ]: 3029 : if (old_dentry == trap)
4690 : 0 : goto exit5;
4691 : : /* target should not be an ancestor of source */
4692 [ + - ]: 3029 : if (!(flags & RENAME_EXCHANGE))
4693 : 3029 : error = -ENOTEMPTY;
4694 [ - + ]: 3029 : if (new_dentry == trap)
4695 : 0 : goto exit5;
4696 : :
4697 : 3029 : error = security_path_rename(&old_path, old_dentry,
4698 : : &new_path, new_dentry, flags);
4699 : 3029 : if (error)
4700 : : goto exit5;
4701 : 3029 : error = vfs_rename(old_path.dentry->d_inode, old_dentry,
4702 : 3029 : new_path.dentry->d_inode, new_dentry,
4703 : : &delegated_inode, flags);
4704 : 3029 : exit5:
4705 : 3029 : dput(new_dentry);
4706 : 3042 : exit4:
4707 : 3042 : dput(old_dentry);
4708 : 3042 : exit3:
4709 : 3042 : unlock_rename(new_path.dentry, old_path.dentry);
4710 [ - + ]: 3042 : if (delegated_inode) {
4711 : 0 : error = break_deleg_wait(&delegated_inode);
4712 [ # # ]: 0 : if (!error)
4713 : 0 : goto retry_deleg;
4714 : : }
4715 : 3042 : mnt_drop_write(old_path.mnt);
4716 : 3042 : exit2:
4717 [ - + - + ]: 3042 : if (retry_estale(error, lookup_flags))
4718 : 0 : should_retry = true;
4719 : 3042 : path_put(&new_path);
4720 : 3042 : putname(to);
4721 : 3042 : exit1:
4722 : 3042 : path_put(&old_path);
4723 : 3042 : putname(from);
4724 [ - + ]: 3042 : if (should_retry) {
4725 : 0 : should_retry = false;
4726 : 0 : lookup_flags |= LOOKUP_REVAL;
4727 : 0 : goto retry;
4728 : : }
4729 : 3042 : exit:
4730 : : return error;
4731 : : }
4732 : :
4733 : 0 : SYSCALL_DEFINE5(renameat2, int, olddfd, const char __user *, oldname,
4734 : : int, newdfd, const char __user *, newname, unsigned int, flags)
4735 : : {
4736 : 0 : return do_renameat2(olddfd, oldname, newdfd, newname, flags);
4737 : : }
4738 : :
4739 : 0 : SYSCALL_DEFINE4(renameat, int, olddfd, const char __user *, oldname,
4740 : : int, newdfd, const char __user *, newname)
4741 : : {
4742 : 0 : return do_renameat2(olddfd, oldname, newdfd, newname, 0);
4743 : : }
4744 : :
4745 : 6084 : SYSCALL_DEFINE2(rename, const char __user *, oldname, const char __user *, newname)
4746 : : {
4747 : 3042 : return do_renameat2(AT_FDCWD, oldname, AT_FDCWD, newname, 0);
4748 : : }
4749 : :
4750 : 0 : int vfs_whiteout(struct inode *dir, struct dentry *dentry)
4751 : : {
4752 : 0 : int error = may_create(dir, dentry);
4753 [ # # ]: 0 : if (error)
4754 : : return error;
4755 : :
4756 [ # # ]: 0 : if (!dir->i_op->mknod)
4757 : : return -EPERM;
4758 : :
4759 : 0 : return dir->i_op->mknod(dir, dentry,
4760 : : S_IFCHR | WHITEOUT_MODE, WHITEOUT_DEV);
4761 : : }
4762 : : EXPORT_SYMBOL(vfs_whiteout);
4763 : :
4764 : 19353 : int readlink_copy(char __user *buffer, int buflen, const char *link)
4765 : : {
4766 [ - + ]: 19353 : int len = PTR_ERR(link);
4767 [ - + ]: 19353 : if (IS_ERR(link))
4768 : 0 : goto out;
4769 : :
4770 : 19353 : len = strlen(link);
4771 [ - + ]: 19353 : if (len > (unsigned) buflen)
4772 : 0 : len = buflen;
4773 [ - + + - ]: 38706 : if (copy_to_user(buffer, link, len))
4774 : 0 : len = -EFAULT;
4775 : 19353 : out:
4776 : 19353 : return len;
4777 : : }
4778 : :
4779 : : /**
4780 : : * vfs_readlink - copy symlink body into userspace buffer
4781 : : * @dentry: dentry on which to get symbolic link
4782 : : * @buffer: user memory pointer
4783 : : * @buflen: size of buffer
4784 : : *
4785 : : * Does not touch atime. That's up to the caller if necessary
4786 : : *
4787 : : * Does not call security hook.
4788 : : */
4789 : 20576 : int vfs_readlink(struct dentry *dentry, char __user *buffer, int buflen)
4790 : : {
4791 [ + + ]: 20576 : struct inode *inode = d_inode(dentry);
4792 : 20576 : DEFINE_DELAYED_CALL(done);
4793 : 20576 : const char *link;
4794 : 20576 : int res;
4795 : :
4796 [ + + ]: 20576 : if (unlikely(!(inode->i_opflags & IOP_DEFAULT_READLINK))) {
4797 [ + + ]: 9668 : if (unlikely(inode->i_op->readlink))
4798 : 1223 : return inode->i_op->readlink(dentry, buffer, buflen);
4799 : :
4800 [ + - ]: 8445 : if (!d_is_symlink(dentry))
4801 : : return -EINVAL;
4802 : :
4803 : 8445 : spin_lock(&inode->i_lock);
4804 : 8445 : inode->i_opflags |= IOP_DEFAULT_READLINK;
4805 : 8445 : spin_unlock(&inode->i_lock);
4806 : : }
4807 : :
4808 [ + + ]: 19353 : link = READ_ONCE(inode->i_link);
4809 [ + + ]: 19353 : if (!link) {
4810 : 11838 : link = inode->i_op->get_link(dentry, inode, &done);
4811 [ - + ]: 11838 : if (IS_ERR(link))
4812 : 0 : return PTR_ERR(link);
4813 : : }
4814 : 19353 : res = readlink_copy(buffer, buflen, link);
4815 [ + + ]: 19353 : do_delayed_call(&done);
4816 : : return res;
4817 : : }
4818 : : EXPORT_SYMBOL(vfs_readlink);
4819 : :
4820 : : /**
4821 : : * vfs_get_link - get symlink body
4822 : : * @dentry: dentry on which to get symbolic link
4823 : : * @done: caller needs to free returned data with this
4824 : : *
4825 : : * Calls security hook and i_op->get_link() on the supplied inode.
4826 : : *
4827 : : * It does not touch atime. That's up to the caller if necessary.
4828 : : *
4829 : : * Does not work on "special" symlinks like /proc/$$/fd/N
4830 : : */
4831 : 0 : const char *vfs_get_link(struct dentry *dentry, struct delayed_call *done)
4832 : : {
4833 [ # # ]: 0 : const char *res = ERR_PTR(-EINVAL);
4834 [ # # ]: 0 : struct inode *inode = d_inode(dentry);
4835 : :
4836 [ # # ]: 0 : if (d_is_symlink(dentry)) {
4837 [ # # ]: 0 : res = ERR_PTR(security_inode_readlink(dentry));
4838 [ # # ]: 0 : if (!res)
4839 : 0 : res = inode->i_op->get_link(dentry, inode, done);
4840 : : }
4841 : 0 : return res;
4842 : : }
4843 : : EXPORT_SYMBOL(vfs_get_link);
4844 : :
4845 : : /* get the link contents into pagecache */
4846 : 0 : const char *page_get_link(struct dentry *dentry, struct inode *inode,
4847 : : struct delayed_call *callback)
4848 : : {
4849 : 0 : char *kaddr;
4850 : 0 : struct page *page;
4851 : 0 : struct address_space *mapping = inode->i_mapping;
4852 : :
4853 [ # # ]: 0 : if (!dentry) {
4854 : 0 : page = find_get_page(mapping, 0);
4855 [ # # ]: 0 : if (!page)
4856 : : return ERR_PTR(-ECHILD);
4857 [ # # ]: 0 : if (!PageUptodate(page)) {
4858 : 0 : put_page(page);
4859 : 0 : return ERR_PTR(-ECHILD);
4860 : : }
4861 : : } else {
4862 : 0 : page = read_mapping_page(mapping, 0, NULL);
4863 [ # # ]: 0 : if (IS_ERR(page))
4864 : : return (char*)page;
4865 : : }
4866 [ # # ]: 0 : set_delayed_call(callback, page_put_link, page);
4867 [ # # ]: 0 : BUG_ON(mapping_gfp_mask(mapping) & __GFP_HIGHMEM);
4868 : 0 : kaddr = page_address(page);
4869 : 0 : nd_terminate_link(kaddr, inode->i_size, PAGE_SIZE - 1);
4870 : 0 : return kaddr;
4871 : : }
4872 : :
4873 : : EXPORT_SYMBOL(page_get_link);
4874 : :
4875 : 0 : void page_put_link(void *arg)
4876 : : {
4877 : 0 : put_page(arg);
4878 : 0 : }
4879 : : EXPORT_SYMBOL(page_put_link);
4880 : :
4881 : 0 : int page_readlink(struct dentry *dentry, char __user *buffer, int buflen)
4882 : : {
4883 : 0 : DEFINE_DELAYED_CALL(done);
4884 : 0 : int res = readlink_copy(buffer, buflen,
4885 : : page_get_link(dentry, d_inode(dentry),
4886 : : &done));
4887 [ # # ]: 0 : do_delayed_call(&done);
4888 : 0 : return res;
4889 : : }
4890 : : EXPORT_SYMBOL(page_readlink);
4891 : :
4892 : : /*
4893 : : * The nofs argument instructs pagecache_write_begin to pass AOP_FLAG_NOFS
4894 : : */
4895 : 0 : int __page_symlink(struct inode *inode, const char *symname, int len, int nofs)
4896 : : {
4897 : 0 : struct address_space *mapping = inode->i_mapping;
4898 : 0 : struct page *page;
4899 : 0 : void *fsdata;
4900 : 0 : int err;
4901 : 0 : unsigned int flags = 0;
4902 [ # # ]: 0 : if (nofs)
4903 : 0 : flags |= AOP_FLAG_NOFS;
4904 : :
4905 : 0 : retry:
4906 : 0 : err = pagecache_write_begin(NULL, mapping, 0, len-1,
4907 : : flags, &page, &fsdata);
4908 [ # # ]: 0 : if (err)
4909 : 0 : goto fail;
4910 : :
4911 : 0 : memcpy(page_address(page), symname, len-1);
4912 : :
4913 : 0 : err = pagecache_write_end(NULL, mapping, 0, len-1, len-1,
4914 : : page, fsdata);
4915 [ # # ]: 0 : if (err < 0)
4916 : 0 : goto fail;
4917 [ # # ]: 0 : if (err < len-1)
4918 : 0 : goto retry;
4919 : :
4920 : 0 : mark_inode_dirty(inode);
4921 : 0 : return 0;
4922 : : fail:
4923 : : return err;
4924 : : }
4925 : : EXPORT_SYMBOL(__page_symlink);
4926 : :
4927 : 0 : int page_symlink(struct inode *inode, const char *symname, int len)
4928 : : {
4929 : 0 : return __page_symlink(inode, symname, len,
4930 : 0 : !mapping_gfp_constraint(inode->i_mapping, __GFP_FS));
4931 : : }
4932 : : EXPORT_SYMBOL(page_symlink);
4933 : :
4934 : : const struct inode_operations page_symlink_inode_operations = {
4935 : : .get_link = page_get_link,
4936 : : };
4937 : : EXPORT_SYMBOL(page_symlink_inode_operations);
|
