Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0-or-later
2 : : /*
3 : : * NET An implementation of the SOCKET network access protocol.
4 : : *
5 : : * Version: @(#)socket.c 1.1.93 18/02/95
6 : : *
7 : : * Authors: Orest Zborowski, <obz@Kodak.COM>
8 : : * Ross Biro
9 : : * Fred N. van Kempen, <waltje@uWalt.NL.Mugnet.ORG>
10 : : *
11 : : * Fixes:
12 : : * Anonymous : NOTSOCK/BADF cleanup. Error fix in
13 : : * shutdown()
14 : : * Alan Cox : verify_area() fixes
15 : : * Alan Cox : Removed DDI
16 : : * Jonathan Kamens : SOCK_DGRAM reconnect bug
17 : : * Alan Cox : Moved a load of checks to the very
18 : : * top level.
19 : : * Alan Cox : Move address structures to/from user
20 : : * mode above the protocol layers.
21 : : * Rob Janssen : Allow 0 length sends.
22 : : * Alan Cox : Asynchronous I/O support (cribbed from the
23 : : * tty drivers).
24 : : * Niibe Yutaka : Asynchronous I/O for writes (4.4BSD style)
25 : : * Jeff Uphoff : Made max number of sockets command-line
26 : : * configurable.
27 : : * Matti Aarnio : Made the number of sockets dynamic,
28 : : * to be allocated when needed, and mr.
29 : : * Uphoff's max is used as max to be
30 : : * allowed to allocate.
31 : : * Linus : Argh. removed all the socket allocation
32 : : * altogether: it's in the inode now.
33 : : * Alan Cox : Made sock_alloc()/sock_release() public
34 : : * for NetROM and future kernel nfsd type
35 : : * stuff.
36 : : * Alan Cox : sendmsg/recvmsg basics.
37 : : * Tom Dyas : Export net symbols.
38 : : * Marcin Dalecki : Fixed problems with CONFIG_NET="n".
39 : : * Alan Cox : Added thread locking to sys_* calls
40 : : * for sockets. May have errors at the
41 : : * moment.
42 : : * Kevin Buhr : Fixed the dumb errors in the above.
43 : : * Andi Kleen : Some small cleanups, optimizations,
44 : : * and fixed a copy_from_user() bug.
45 : : * Tigran Aivazian : sys_send(args) calls sys_sendto(args, NULL, 0)
46 : : * Tigran Aivazian : Made listen(2) backlog sanity checks
47 : : * protocol-independent
48 : : *
49 : : * This module is effectively the top level interface to the BSD socket
50 : : * paradigm.
51 : : *
52 : : * Based upon Swansea University Computer Society NET3.039
53 : : */
54 : :
55 : : #include <linux/mm.h>
56 : : #include <linux/socket.h>
57 : : #include <linux/file.h>
58 : : #include <linux/net.h>
59 : : #include <linux/interrupt.h>
60 : : #include <linux/thread_info.h>
61 : : #include <linux/rcupdate.h>
62 : : #include <linux/netdevice.h>
63 : : #include <linux/proc_fs.h>
64 : : #include <linux/seq_file.h>
65 : : #include <linux/mutex.h>
66 : : #include <linux/if_bridge.h>
67 : : #include <linux/if_frad.h>
68 : : #include <linux/if_vlan.h>
69 : : #include <linux/ptp_classify.h>
70 : : #include <linux/init.h>
71 : : #include <linux/poll.h>
72 : : #include <linux/cache.h>
73 : : #include <linux/module.h>
74 : : #include <linux/highmem.h>
75 : : #include <linux/mount.h>
76 : : #include <linux/pseudo_fs.h>
77 : : #include <linux/security.h>
78 : : #include <linux/syscalls.h>
79 : : #include <linux/compat.h>
80 : : #include <linux/kmod.h>
81 : : #include <linux/audit.h>
82 : : #include <linux/wireless.h>
83 : : #include <linux/nsproxy.h>
84 : : #include <linux/magic.h>
85 : : #include <linux/slab.h>
86 : : #include <linux/xattr.h>
87 : : #include <linux/nospec.h>
88 : : #include <linux/indirect_call_wrapper.h>
89 : :
90 : : #include <linux/uaccess.h>
91 : : #include <asm/unistd.h>
92 : :
93 : : #include <net/compat.h>
94 : : #include <net/wext.h>
95 : : #include <net/cls_cgroup.h>
96 : :
97 : : #include <net/sock.h>
98 : : #include <linux/netfilter.h>
99 : :
100 : : #include <linux/if_tun.h>
101 : : #include <linux/ipv6_route.h>
102 : : #include <linux/route.h>
103 : : #include <linux/sockios.h>
104 : : #include <net/busy_poll.h>
105 : : #include <linux/errqueue.h>
106 : :
107 : : #ifdef CONFIG_NET_RX_BUSY_POLL
108 : : unsigned int sysctl_net_busy_read __read_mostly;
109 : : unsigned int sysctl_net_busy_poll __read_mostly;
110 : : #endif
111 : :
112 : : static ssize_t sock_read_iter(struct kiocb *iocb, struct iov_iter *to);
113 : : static ssize_t sock_write_iter(struct kiocb *iocb, struct iov_iter *from);
114 : : static int sock_mmap(struct file *file, struct vm_area_struct *vma);
115 : :
116 : : static int sock_close(struct inode *inode, struct file *file);
117 : : static __poll_t sock_poll(struct file *file,
118 : : struct poll_table_struct *wait);
119 : : static long sock_ioctl(struct file *file, unsigned int cmd, unsigned long arg);
120 : : #ifdef CONFIG_COMPAT
121 : : static long compat_sock_ioctl(struct file *file,
122 : : unsigned int cmd, unsigned long arg);
123 : : #endif
124 : : static int sock_fasync(int fd, struct file *filp, int on);
125 : : static ssize_t sock_sendpage(struct file *file, struct page *page,
126 : : int offset, size_t size, loff_t *ppos, int more);
127 : : static ssize_t sock_splice_read(struct file *file, loff_t *ppos,
128 : : struct pipe_inode_info *pipe, size_t len,
129 : : unsigned int flags);
130 : :
131 : : /*
132 : : * Socket files have a set of 'special' operations as well as the generic file ones. These don't appear
133 : : * in the operation structures but are done directly via the socketcall() multiplexor.
134 : : */
135 : :
136 : : static const struct file_operations socket_file_ops = {
137 : : .owner = THIS_MODULE,
138 : : .llseek = no_llseek,
139 : : .read_iter = sock_read_iter,
140 : : .write_iter = sock_write_iter,
141 : : .poll = sock_poll,
142 : : .unlocked_ioctl = sock_ioctl,
143 : : #ifdef CONFIG_COMPAT
144 : : .compat_ioctl = compat_sock_ioctl,
145 : : #endif
146 : : .mmap = sock_mmap,
147 : : .release = sock_close,
148 : : .fasync = sock_fasync,
149 : : .sendpage = sock_sendpage,
150 : : .splice_write = generic_splice_sendpage,
151 : : .splice_read = sock_splice_read,
152 : : };
153 : :
154 : : /*
155 : : * The protocol list. Each protocol is registered in here.
156 : : */
157 : :
158 : : static DEFINE_SPINLOCK(net_family_lock);
159 : : static const struct net_proto_family __rcu *net_families[NPROTO] __read_mostly;
160 : :
161 : : /*
162 : : * Support routines.
163 : : * Move socket addresses back and forth across the kernel/user
164 : : * divide and look after the messy bits.
165 : : */
166 : :
167 : : /**
168 : : * move_addr_to_kernel - copy a socket address into kernel space
169 : : * @uaddr: Address in user space
170 : : * @kaddr: Address in kernel space
171 : : * @ulen: Length in user space
172 : : *
173 : : * The address is copied into kernel space. If the provided address is
174 : : * too long an error code of -EINVAL is returned. If the copy gives
175 : : * invalid addresses -EFAULT is returned. On a success 0 is returned.
176 : : */
177 : :
178 : 420633 : int move_addr_to_kernel(void __user *uaddr, int ulen, struct sockaddr_storage *kaddr)
179 : : {
180 [ + + ]: 420633 : if (ulen < 0 || ulen > sizeof(struct sockaddr_storage))
181 : : return -EINVAL;
182 [ + + ]: 419528 : if (ulen == 0)
183 : : return 0;
184 [ + - ]: 419077 : if (copy_from_user(kaddr, uaddr, ulen))
185 : : return -EFAULT;
186 : 419077 : return audit_sockaddr(ulen, kaddr);
187 : : }
188 : :
189 : : /**
190 : : * move_addr_to_user - copy an address to user space
191 : : * @kaddr: kernel space address
192 : : * @klen: length of address in kernel
193 : : * @uaddr: user space address
194 : : * @ulen: pointer to user length field
195 : : *
196 : : * The value pointed to by ulen on entry is the buffer length available.
197 : : * This is overwritten with the buffer space used. -EINVAL is returned
198 : : * if an overlong buffer is specified or a negative buffer size. -EFAULT
199 : : * is returned if either the buffer or the length field are not
200 : : * accessible.
201 : : * After copying the data up to the limit the user specifies, the true
202 : : * length of the data is written over the length limit the user
203 : : * specified. Zero is returned for a success.
204 : : */
205 : :
206 : 370714 : static int move_addr_to_user(struct sockaddr_storage *kaddr, int klen,
207 : : void __user *uaddr, int __user *ulen)
208 : : {
209 : : int err;
210 : : int len;
211 : :
212 [ - + ]: 370714 : BUG_ON(klen > sizeof(struct sockaddr_storage));
213 : 370714 : err = get_user(len, ulen);
214 [ + + ]: 370850 : if (err)
215 : : return err;
216 [ + + ]: 370291 : if (len > klen)
217 : : len = klen;
218 [ + + ]: 370291 : if (len < 0)
219 : : return -EINVAL;
220 [ + + ]: 371524 : if (len) {
221 [ + - ]: 313973 : if (audit_sockaddr(klen, kaddr))
222 : : return -ENOMEM;
223 [ + - ]: 629094 : if (copy_to_user(uaddr, kaddr, len))
224 : : return -EFAULT;
225 : : }
226 : : /*
227 : : * "fromlen shall refer to the value before truncation.."
228 : : * 1003.1g
229 : : */
230 : 372965 : return __put_user(klen, ulen);
231 : : }
232 : :
233 : : static struct kmem_cache *sock_inode_cachep __ro_after_init;
234 : :
235 : 167839 : static struct inode *sock_alloc_inode(struct super_block *sb)
236 : : {
237 : : struct socket_alloc *ei;
238 : :
239 : 167839 : ei = kmem_cache_alloc(sock_inode_cachep, GFP_KERNEL);
240 [ + + ]: 167850 : if (!ei)
241 : : return NULL;
242 : 167832 : init_waitqueue_head(&ei->socket.wq.wait);
243 : 167846 : ei->socket.wq.fasync_list = NULL;
244 : 167846 : ei->socket.wq.flags = 0;
245 : :
246 : 167846 : ei->socket.state = SS_UNCONNECTED;
247 : 167846 : ei->socket.flags = 0;
248 : 167846 : ei->socket.ops = NULL;
249 : 167846 : ei->socket.sk = NULL;
250 : 167846 : ei->socket.file = NULL;
251 : :
252 : 167846 : return &ei->vfs_inode;
253 : : }
254 : :
255 : 118915 : static void sock_free_inode(struct inode *inode)
256 : : {
257 : : struct socket_alloc *ei;
258 : :
259 : 118915 : ei = container_of(inode, struct socket_alloc, vfs_inode);
260 : 118915 : kmem_cache_free(sock_inode_cachep, ei);
261 : 118999 : }
262 : :
263 : 62725 : static void init_once(void *foo)
264 : : {
265 : : struct socket_alloc *ei = (struct socket_alloc *)foo;
266 : :
267 : 62725 : inode_init_once(&ei->vfs_inode);
268 : 62725 : }
269 : :
270 : 207 : static void init_inodecache(void)
271 : : {
272 : 207 : sock_inode_cachep = kmem_cache_create("sock_inode_cache",
273 : : sizeof(struct socket_alloc),
274 : : 0,
275 : : (SLAB_HWCACHE_ALIGN |
276 : : SLAB_RECLAIM_ACCOUNT |
277 : : SLAB_MEM_SPREAD | SLAB_ACCOUNT),
278 : : init_once);
279 [ - + ]: 207 : BUG_ON(sock_inode_cachep == NULL);
280 : 207 : }
281 : :
282 : : static const struct super_operations sockfs_ops = {
283 : : .alloc_inode = sock_alloc_inode,
284 : : .free_inode = sock_free_inode,
285 : : .statfs = simple_statfs,
286 : : };
287 : :
288 : : /*
289 : : * sockfs_dname() is called from d_path().
290 : : */
291 : 0 : static char *sockfs_dname(struct dentry *dentry, char *buffer, int buflen)
292 : : {
293 : 0 : return dynamic_dname(dentry, buffer, buflen, "socket:[%lu]",
294 : : d_inode(dentry)->i_ino);
295 : : }
296 : :
297 : : static const struct dentry_operations sockfs_dentry_operations = {
298 : : .d_dname = sockfs_dname,
299 : : };
300 : :
301 : 0 : static int sockfs_xattr_get(const struct xattr_handler *handler,
302 : : struct dentry *dentry, struct inode *inode,
303 : : const char *suffix, void *value, size_t size)
304 : : {
305 [ # # ]: 0 : if (value) {
306 [ # # ]: 0 : if (dentry->d_name.len + 1 > size)
307 : : return -ERANGE;
308 : 0 : memcpy(value, dentry->d_name.name, dentry->d_name.len + 1);
309 : : }
310 : 0 : return dentry->d_name.len + 1;
311 : : }
312 : :
313 : : #define XATTR_SOCKPROTONAME_SUFFIX "sockprotoname"
314 : : #define XATTR_NAME_SOCKPROTONAME (XATTR_SYSTEM_PREFIX XATTR_SOCKPROTONAME_SUFFIX)
315 : : #define XATTR_NAME_SOCKPROTONAME_LEN (sizeof(XATTR_NAME_SOCKPROTONAME)-1)
316 : :
317 : : static const struct xattr_handler sockfs_xattr_handler = {
318 : : .name = XATTR_NAME_SOCKPROTONAME,
319 : : .get = sockfs_xattr_get,
320 : : };
321 : :
322 : 0 : static int sockfs_security_xattr_set(const struct xattr_handler *handler,
323 : : struct dentry *dentry, struct inode *inode,
324 : : const char *suffix, const void *value,
325 : : size_t size, int flags)
326 : : {
327 : : /* Handled by LSM. */
328 : 0 : return -EAGAIN;
329 : : }
330 : :
331 : : static const struct xattr_handler sockfs_security_xattr_handler = {
332 : : .prefix = XATTR_SECURITY_PREFIX,
333 : : .set = sockfs_security_xattr_set,
334 : : };
335 : :
336 : : static const struct xattr_handler *sockfs_xattr_handlers[] = {
337 : : &sockfs_xattr_handler,
338 : : &sockfs_security_xattr_handler,
339 : : NULL
340 : : };
341 : :
342 : 207 : static int sockfs_init_fs_context(struct fs_context *fc)
343 : : {
344 : 207 : struct pseudo_fs_context *ctx = init_pseudo(fc, SOCKFS_MAGIC);
345 [ + - ]: 207 : if (!ctx)
346 : : return -ENOMEM;
347 : 207 : ctx->ops = &sockfs_ops;
348 : 207 : ctx->dops = &sockfs_dentry_operations;
349 : 207 : ctx->xattr = sockfs_xattr_handlers;
350 : 207 : return 0;
351 : : }
352 : :
353 : : static struct vfsmount *sock_mnt __read_mostly;
354 : :
355 : : static struct file_system_type sock_fs_type = {
356 : : .name = "sockfs",
357 : : .init_fs_context = sockfs_init_fs_context,
358 : : .kill_sb = kill_anon_super,
359 : : };
360 : :
361 : : /*
362 : : * Obtains the first available file descriptor and sets it up for use.
363 : : *
364 : : * These functions create file structures and maps them to fd space
365 : : * of the current process. On success it returns file descriptor
366 : : * and file struct implicitly stored in sock->file.
367 : : * Note that another thread may close file descriptor before we return
368 : : * from this function. We use the fact that now we do not refer
369 : : * to socket after mapping. If one day we will need it, this
370 : : * function will increment ref. count on file by 1.
371 : : *
372 : : * In any case returned fd MAY BE not valid!
373 : : * This race condition is unavoidable
374 : : * with shared fd spaces, we cannot solve it inside kernel,
375 : : * but we take care of internal coherence yet.
376 : : */
377 : :
378 : : /**
379 : : * sock_alloc_file - Bind a &socket to a &file
380 : : * @sock: socket
381 : : * @flags: file status flags
382 : : * @dname: protocol name
383 : : *
384 : : * Returns the &file bound with @sock, implicitly storing it
385 : : * in sock->file. If dname is %NULL, sets to "".
386 : : * On failure the return is a ERR pointer (see linux/err.h).
387 : : * This function uses GFP_KERNEL internally.
388 : : */
389 : :
390 : 162469 : struct file *sock_alloc_file(struct socket *sock, int flags, const char *dname)
391 : : {
392 : : struct file *file;
393 : :
394 [ + + ]: 162469 : if (!dname)
395 [ + + ]: 127988 : dname = sock->sk ? sock->sk->sk_prot_creator->name : "";
396 : :
397 : 324938 : file = alloc_file_pseudo(SOCK_INODE(sock), sock_mnt, dname,
398 : 162469 : O_RDWR | (flags & O_NONBLOCK),
399 : : &socket_file_ops);
400 [ - + ]: 162452 : if (IS_ERR(file)) {
401 : : sock_release(sock);
402 : 0 : return file;
403 : : }
404 : :
405 : 162452 : sock->file = file;
406 : 162452 : file->private_data = sock;
407 : 162452 : return file;
408 : : }
409 : : EXPORT_SYMBOL(sock_alloc_file);
410 : :
411 : 124231 : static int sock_map_fd(struct socket *sock, int flags)
412 : : {
413 : : struct file *newfile;
414 : 124231 : int fd = get_unused_fd_flags(flags);
415 [ - + ]: 124326 : if (unlikely(fd < 0)) {
416 : : sock_release(sock);
417 : 0 : return fd;
418 : : }
419 : :
420 : 124326 : newfile = sock_alloc_file(sock, flags, NULL);
421 [ + - ]: 124307 : if (!IS_ERR(newfile)) {
422 : 124307 : fd_install(fd, newfile);
423 : 124320 : return fd;
424 : : }
425 : :
426 : 0 : put_unused_fd(fd);
427 : 0 : return PTR_ERR(newfile);
428 : : }
429 : :
430 : : /**
431 : : * sock_from_file - Return the &socket bounded to @file.
432 : : * @file: file
433 : : * @err: pointer to an error code return
434 : : *
435 : : * On failure returns %NULL and assigns -ENOTSOCK to @err.
436 : : */
437 : :
438 : 15122 : struct socket *sock_from_file(struct file *file, int *err)
439 : : {
440 [ + + # # : 3415569 : if (file->f_op == &socket_file_ops)
+ + ]
441 : 3413706 : return file->private_data; /* set in sock_map_fd */
442 : :
443 : 1863 : *err = -ENOTSOCK;
444 : 1242 : return NULL;
445 : : }
446 : : EXPORT_SYMBOL(sock_from_file);
447 : :
448 : : /**
449 : : * sockfd_lookup - Go from a file number to its socket slot
450 : : * @fd: file handle
451 : : * @err: pointer to an error code return
452 : : *
453 : : * The file handle passed in is locked and the socket it is bound
454 : : * to is returned. If an error occurs the err pointer is overwritten
455 : : * with a negative errno code and NULL is returned. The function checks
456 : : * for both invalid handles and passing a handle which is not a socket.
457 : : *
458 : : * On a success the socket object pointer is returned.
459 : : */
460 : :
461 : 0 : struct socket *sockfd_lookup(int fd, int *err)
462 : : {
463 : : struct file *file;
464 : : struct socket *sock;
465 : :
466 : 0 : file = fget(fd);
467 [ # # ]: 0 : if (!file) {
468 : 0 : *err = -EBADF;
469 : 0 : return NULL;
470 : : }
471 : :
472 : : sock = sock_from_file(file, err);
473 [ # # ]: 0 : if (!sock)
474 : 0 : fput(file);
475 : 0 : return sock;
476 : : }
477 : : EXPORT_SYMBOL(sockfd_lookup);
478 : :
479 : 3399311 : static struct socket *sockfd_lookup_light(int fd, int *err, int *fput_needed)
480 : : {
481 : 3399311 : struct fd f = fdget(fd);
482 : : struct socket *sock;
483 : :
484 : 3400339 : *err = -EBADF;
485 [ + + ]: 3400339 : if (f.file) {
486 : : sock = sock_from_file(f.file, err);
487 [ + + ]: 3400447 : if (likely(sock)) {
488 : 3399828 : *fput_needed = f.flags & FDPUT_FPUT;
489 : 3399828 : return sock;
490 : : }
491 : : fdput(f);
492 : : }
493 : : return NULL;
494 : : }
495 : :
496 : 0 : static ssize_t sockfs_listxattr(struct dentry *dentry, char *buffer,
497 : : size_t size)
498 : : {
499 : : ssize_t len;
500 : : ssize_t used = 0;
501 : :
502 : 0 : len = security_inode_listsecurity(d_inode(dentry), buffer, size);
503 [ # # ]: 0 : if (len < 0)
504 : : return len;
505 : : used += len;
506 [ # # ]: 0 : if (buffer) {
507 [ # # ]: 0 : if (size < used)
508 : : return -ERANGE;
509 : 0 : buffer += len;
510 : : }
511 : :
512 : : len = (XATTR_NAME_SOCKPROTONAME_LEN + 1);
513 : 0 : used += len;
514 [ # # ]: 0 : if (buffer) {
515 [ # # ]: 0 : if (size < used)
516 : : return -ERANGE;
517 : 0 : memcpy(buffer, XATTR_NAME_SOCKPROTONAME, len);
518 : : buffer += len;
519 : : }
520 : :
521 : 0 : return used;
522 : : }
523 : :
524 : 0 : static int sockfs_setattr(struct dentry *dentry, struct iattr *iattr)
525 : : {
526 : 0 : int err = simple_setattr(dentry, iattr);
527 : :
528 [ # # # # ]: 0 : if (!err && (iattr->ia_valid & ATTR_UID)) {
529 : : struct socket *sock = SOCKET_I(d_inode(dentry));
530 : :
531 [ # # ]: 0 : if (sock->sk)
532 : 0 : sock->sk->sk_uid = iattr->ia_uid;
533 : : else
534 : : err = -ENOENT;
535 : : }
536 : :
537 : 0 : return err;
538 : : }
539 : :
540 : : static const struct inode_operations sockfs_inode_ops = {
541 : : .listxattr = sockfs_listxattr,
542 : : .setattr = sockfs_setattr,
543 : : };
544 : :
545 : : /**
546 : : * sock_alloc - allocate a socket
547 : : *
548 : : * Allocate a new inode and socket object. The two are bound together
549 : : * and initialised. The socket is then returned. If we are out of inodes
550 : : * NULL is returned. This functions uses GFP_KERNEL internally.
551 : : */
552 : :
553 : 167626 : struct socket *sock_alloc(void)
554 : : {
555 : : struct inode *inode;
556 : : struct socket *sock;
557 : :
558 : 167626 : inode = new_inode_pseudo(sock_mnt->mnt_sb);
559 [ + + ]: 167641 : if (!inode)
560 : : return NULL;
561 : :
562 : : sock = SOCKET_I(inode);
563 : :
564 : 167618 : inode->i_ino = get_next_ino();
565 : 167644 : inode->i_mode = S_IFSOCK | S_IRWXUGO;
566 : 167644 : inode->i_uid = current_fsuid();
567 : 167644 : inode->i_gid = current_fsgid();
568 : 167644 : inode->i_op = &sockfs_inode_ops;
569 : :
570 : 167644 : return sock;
571 : : }
572 : : EXPORT_SYMBOL(sock_alloc);
573 : :
574 : : /**
575 : : * sock_release - close a socket
576 : : * @sock: socket to close
577 : : *
578 : : * The socket is released from the protocol stack if it has a release
579 : : * callback, and the inode is then released if the socket is bound to
580 : : * an inode not a file.
581 : : */
582 : :
583 : 118998 : static void __sock_release(struct socket *sock, struct inode *inode)
584 : : {
585 [ + + ]: 118998 : if (sock->ops) {
586 : 118960 : struct module *owner = sock->ops->owner;
587 : :
588 [ + + ]: 118960 : if (inode)
589 : : inode_lock(inode);
590 : 118960 : sock->ops->release(sock);
591 : 118983 : sock->sk = NULL;
592 [ + + ]: 118983 : if (inode)
593 : : inode_unlock(inode);
594 : 118995 : sock->ops = NULL;
595 : 118995 : module_put(owner);
596 : : }
597 : :
598 [ - + ]: 118997 : if (sock->wq.fasync_list)
599 : 0 : pr_err("%s: fasync list not empty!\n", __func__);
600 : :
601 [ - + ]: 118997 : if (!sock->file) {
602 : 0 : iput(SOCK_INODE(sock));
603 : 118997 : return;
604 : : }
605 : 118997 : sock->file = NULL;
606 : : }
607 : :
608 : 0 : void sock_release(struct socket *sock)
609 : : {
610 : 1 : __sock_release(sock, NULL);
611 : 0 : }
612 : : EXPORT_SYMBOL(sock_release);
613 : :
614 : 0 : void __sock_tx_timestamp(__u16 tsflags, __u8 *tx_flags)
615 : : {
616 : 0 : u8 flags = *tx_flags;
617 : :
618 [ # # ]: 0 : if (tsflags & SOF_TIMESTAMPING_TX_HARDWARE)
619 : 0 : flags |= SKBTX_HW_TSTAMP;
620 : :
621 [ # # ]: 0 : if (tsflags & SOF_TIMESTAMPING_TX_SOFTWARE)
622 : 0 : flags |= SKBTX_SW_TSTAMP;
623 : :
624 [ # # ]: 0 : if (tsflags & SOF_TIMESTAMPING_TX_SCHED)
625 : 0 : flags |= SKBTX_SCHED_TSTAMP;
626 : :
627 : 0 : *tx_flags = flags;
628 : 0 : }
629 : : EXPORT_SYMBOL(__sock_tx_timestamp);
630 : :
631 : : INDIRECT_CALLABLE_DECLARE(int inet_sendmsg(struct socket *, struct msghdr *,
632 : : size_t));
633 : : INDIRECT_CALLABLE_DECLARE(int inet6_sendmsg(struct socket *, struct msghdr *,
634 : : size_t));
635 : 1540070 : static inline int sock_sendmsg_nosec(struct socket *sock, struct msghdr *msg)
636 : : {
637 : 3080140 : int ret = INDIRECT_CALL_INET(sock->ops->sendmsg, inet6_sendmsg,
638 : : inet_sendmsg, sock, msg,
639 : : msg_data_left(msg));
640 [ - + ]: 1546395 : BUG_ON(ret == -EIOCBQUEUED);
641 : 1546395 : return ret;
642 : : }
643 : :
644 : : /**
645 : : * sock_sendmsg - send a message through @sock
646 : : * @sock: socket
647 : : * @msg: message to send
648 : : *
649 : : * Sends @msg through @sock, passing through LSM.
650 : : * Returns the number of bytes sent, or an error code.
651 : : */
652 : 1546778 : int sock_sendmsg(struct socket *sock, struct msghdr *msg)
653 : : {
654 : 1546778 : int err = security_socket_sendmsg(sock, msg,
655 : : msg_data_left(msg));
656 : :
657 [ + + ]: 1546515 : return err ?: sock_sendmsg_nosec(sock, msg);
658 : : }
659 : : EXPORT_SYMBOL(sock_sendmsg);
660 : :
661 : : /**
662 : : * kernel_sendmsg - send a message through @sock (kernel-space)
663 : : * @sock: socket
664 : : * @msg: message header
665 : : * @vec: kernel vec
666 : : * @num: vec array length
667 : : * @size: total message data size
668 : : *
669 : : * Builds the message data with @vec and sends it through @sock.
670 : : * Returns the number of bytes sent, or an error code.
671 : : */
672 : :
673 : 0 : int kernel_sendmsg(struct socket *sock, struct msghdr *msg,
674 : : struct kvec *vec, size_t num, size_t size)
675 : : {
676 : 0 : iov_iter_kvec(&msg->msg_iter, WRITE, vec, num, size);
677 : 0 : return sock_sendmsg(sock, msg);
678 : : }
679 : : EXPORT_SYMBOL(kernel_sendmsg);
680 : :
681 : : /**
682 : : * kernel_sendmsg_locked - send a message through @sock (kernel-space)
683 : : * @sk: sock
684 : : * @msg: message header
685 : : * @vec: output s/g array
686 : : * @num: output s/g array length
687 : : * @size: total message data size
688 : : *
689 : : * Builds the message data with @vec and sends it through @sock.
690 : : * Returns the number of bytes sent, or an error code.
691 : : * Caller must hold @sk.
692 : : */
693 : :
694 : 0 : int kernel_sendmsg_locked(struct sock *sk, struct msghdr *msg,
695 : : struct kvec *vec, size_t num, size_t size)
696 : : {
697 : 0 : struct socket *sock = sk->sk_socket;
698 : :
699 [ # # ]: 0 : if (!sock->ops->sendmsg_locked)
700 : 0 : return sock_no_sendmsg_locked(sk, msg, size);
701 : :
702 : 0 : iov_iter_kvec(&msg->msg_iter, WRITE, vec, num, size);
703 : :
704 : 0 : return sock->ops->sendmsg_locked(sk, msg, msg_data_left(msg));
705 : : }
706 : : EXPORT_SYMBOL(kernel_sendmsg_locked);
707 : :
708 : : static bool skb_is_err_queue(const struct sk_buff *skb)
709 : : {
710 : : /* pkt_type of skbs enqueued on the error queue are set to
711 : : * PACKET_OUTGOING in skb_set_err_queue(). This is only safe to do
712 : : * in recvmsg, since skbs received on a local socket will never
713 : : * have a pkt_type of PACKET_OUTGOING.
714 : : */
715 : 0 : return skb->pkt_type == PACKET_OUTGOING;
716 : : }
717 : :
718 : : /* On transmit, software and hardware timestamps are returned independently.
719 : : * As the two skb clones share the hardware timestamp, which may be updated
720 : : * before the software timestamp is received, a hardware TX timestamp may be
721 : : * returned only if there is no software TX timestamp. Ignore false software
722 : : * timestamps, which may be made in the __sock_recv_timestamp() call when the
723 : : * option SO_TIMESTAMP_OLD(NS) is enabled on the socket, even when the skb has a
724 : : * hardware timestamp.
725 : : */
726 : : static bool skb_is_swtx_tstamp(const struct sk_buff *skb, int false_tstamp)
727 : : {
728 [ # # # # : 0 : return skb->tstamp && !false_tstamp && skb_is_err_queue(skb);
# # ]
729 : : }
730 : :
731 : 0 : static void put_ts_pktinfo(struct msghdr *msg, struct sk_buff *skb)
732 : : {
733 : : struct scm_ts_pktinfo ts_pktinfo;
734 : : struct net_device *orig_dev;
735 : :
736 [ # # ]: 0 : if (!skb_mac_header_was_set(skb))
737 : 0 : return;
738 : :
739 : 0 : memset(&ts_pktinfo, 0, sizeof(ts_pktinfo));
740 : :
741 : : rcu_read_lock();
742 : 0 : orig_dev = dev_get_by_napi_id(skb_napi_id(skb));
743 [ # # ]: 0 : if (orig_dev)
744 : 0 : ts_pktinfo.if_index = orig_dev->ifindex;
745 : : rcu_read_unlock();
746 : :
747 : 0 : ts_pktinfo.pkt_length = skb->len - skb_mac_offset(skb);
748 : 0 : put_cmsg(msg, SOL_SOCKET, SCM_TIMESTAMPING_PKTINFO,
749 : : sizeof(ts_pktinfo), &ts_pktinfo);
750 : : }
751 : :
752 : : /*
753 : : * called from sock_recv_timestamp() if sock_flag(sk, SOCK_RCVTSTAMP)
754 : : */
755 : 114943 : void __sock_recv_timestamp(struct msghdr *msg, struct sock *sk,
756 : : struct sk_buff *skb)
757 : : {
758 : 114943 : int need_software_tstamp = sock_flag(sk, SOCK_RCVTSTAMP);
759 : 114943 : int new_tstamp = sock_flag(sk, SOCK_TSTAMP_NEW);
760 : : struct scm_timestamping_internal tss;
761 : :
762 : : int empty = 1, false_tstamp = 0;
763 : : struct skb_shared_hwtstamps *shhwtstamps =
764 : : skb_hwtstamps(skb);
765 : :
766 : : /* Race occurred between timestamp enabling and packet
767 : : receiving. Fill in the current time for now. */
768 [ + + + + ]: 114943 : if (need_software_tstamp && skb->tstamp == 0) {
769 : : __net_timestamp(skb);
770 : : false_tstamp = 1;
771 : : }
772 : :
773 [ + + ]: 114943 : if (need_software_tstamp) {
774 [ + + ]: 114947 : if (!sock_flag(sk, SOCK_RCVTSTAMPNS)) {
775 [ - + ]: 114534 : if (new_tstamp) {
776 : : struct __kernel_sock_timeval tv;
777 : :
778 : 0 : skb_get_new_timestamp(skb, &tv);
779 : 0 : put_cmsg(msg, SOL_SOCKET, SO_TIMESTAMP_NEW,
780 : : sizeof(tv), &tv);
781 : : } else {
782 : : struct __kernel_old_timeval tv;
783 : :
784 : : skb_get_timestamp(skb, &tv);
785 : 114537 : put_cmsg(msg, SOL_SOCKET, SO_TIMESTAMP_OLD,
786 : : sizeof(tv), &tv);
787 : : }
788 : : } else {
789 [ - + ]: 413 : if (new_tstamp) {
790 : : struct __kernel_timespec ts;
791 : :
792 : 0 : skb_get_new_timestampns(skb, &ts);
793 : 0 : put_cmsg(msg, SOL_SOCKET, SO_TIMESTAMPNS_NEW,
794 : : sizeof(ts), &ts);
795 : : } else {
796 : : struct timespec ts;
797 : :
798 : : skb_get_timestampns(skb, &ts);
799 : 413 : put_cmsg(msg, SOL_SOCKET, SO_TIMESTAMPNS_OLD,
800 : : sizeof(ts), &ts);
801 : : }
802 : : }
803 : : }
804 : :
805 : 114953 : memset(&tss, 0, sizeof(tss));
806 [ - + - + ]: 114956 : if ((sk->sk_tsflags & SOF_TIMESTAMPING_SOFTWARE) &&
807 : 0 : ktime_to_timespec64_cond(skb->tstamp, tss.ts + 0))
808 : : empty = 0;
809 [ + + - + ]: 229900 : if (shhwtstamps &&
810 [ # # ]: 114944 : (sk->sk_tsflags & SOF_TIMESTAMPING_RAW_HARDWARE) &&
811 [ # # ]: 0 : !skb_is_swtx_tstamp(skb, false_tstamp) &&
812 : 0 : ktime_to_timespec64_cond(shhwtstamps->hwtstamp, tss.ts + 2)) {
813 : : empty = 0;
814 [ # # # # ]: 0 : if ((sk->sk_tsflags & SOF_TIMESTAMPING_OPT_PKTINFO) &&
815 : : !skb_is_err_queue(skb))
816 : 0 : put_ts_pktinfo(msg, skb);
817 : : }
818 [ - + ]: 114956 : if (!empty) {
819 [ # # ]: 0 : if (sock_flag(sk, SOCK_TSTAMP_NEW))
820 : 0 : put_cmsg_scm_timestamping64(msg, &tss);
821 : : else
822 : 0 : put_cmsg_scm_timestamping(msg, &tss);
823 : :
824 [ # # # # : 0 : if (skb_is_err_queue(skb) && skb->len &&
# # ]
825 : : SKB_EXT_ERR(skb)->opt_stats)
826 : 0 : put_cmsg(msg, SOL_SOCKET, SCM_TIMESTAMPING_OPT_STATS,
827 : 0 : skb->len, skb->data);
828 : : }
829 : 114956 : }
830 : : EXPORT_SYMBOL_GPL(__sock_recv_timestamp);
831 : :
832 : 0 : void __sock_recv_wifi_status(struct msghdr *msg, struct sock *sk,
833 : : struct sk_buff *skb)
834 : : {
835 : : int ack;
836 : :
837 [ # # ]: 0 : if (!sock_flag(sk, SOCK_WIFI_STATUS))
838 : 0 : return;
839 [ # # ]: 0 : if (!skb->wifi_acked_valid)
840 : : return;
841 : :
842 : 0 : ack = skb->wifi_acked;
843 : :
844 : 0 : put_cmsg(msg, SOL_SOCKET, SCM_WIFI_STATUS, sizeof(ack), &ack);
845 : : }
846 : : EXPORT_SYMBOL_GPL(__sock_recv_wifi_status);
847 : :
848 : 413 : static inline void sock_recv_drops(struct msghdr *msg, struct sock *sk,
849 : : struct sk_buff *skb)
850 : : {
851 [ - + # # : 413 : if (sock_flag(sk, SOCK_RXQ_OVFL) && skb && SOCK_SKB_CB(skb)->dropcount)
# # ]
852 : 0 : put_cmsg(msg, SOL_SOCKET, SO_RXQ_OVFL,
853 : 0 : sizeof(__u32), &SOCK_SKB_CB(skb)->dropcount);
854 : 413 : }
855 : :
856 : 413 : void __sock_recv_ts_and_drops(struct msghdr *msg, struct sock *sk,
857 : : struct sk_buff *skb)
858 : : {
859 : 413 : sock_recv_timestamp(msg, sk, skb);
860 : 413 : sock_recv_drops(msg, sk, skb);
861 : 413 : }
862 : : EXPORT_SYMBOL_GPL(__sock_recv_ts_and_drops);
863 : :
864 : : INDIRECT_CALLABLE_DECLARE(int inet_recvmsg(struct socket *, struct msghdr *,
865 : : size_t, int));
866 : : INDIRECT_CALLABLE_DECLARE(int inet6_recvmsg(struct socket *, struct msghdr *,
867 : : size_t, int));
868 : 0 : static inline int sock_recvmsg_nosec(struct socket *sock, struct msghdr *msg,
869 : : int flags)
870 : : {
871 : 4584002 : return INDIRECT_CALL_INET(sock->ops->recvmsg, inet6_recvmsg,
872 : : inet_recvmsg, sock, msg, msg_data_left(msg),
873 : : flags);
874 : : }
875 : :
876 : : /**
877 : : * sock_recvmsg - receive a message from @sock
878 : : * @sock: socket
879 : : * @msg: message to receive
880 : : * @flags: message flags
881 : : *
882 : : * Receives @msg from @sock, passing through LSM. Returns the total number
883 : : * of bytes received, or an error.
884 : : */
885 : 2293999 : int sock_recvmsg(struct socket *sock, struct msghdr *msg, int flags)
886 : : {
887 : 2293999 : int err = security_socket_recvmsg(sock, msg, msg_data_left(msg), flags);
888 : :
889 [ + + ]: 4588477 : return err ?: sock_recvmsg_nosec(sock, msg, flags);
890 : : }
891 : : EXPORT_SYMBOL(sock_recvmsg);
892 : :
893 : : /**
894 : : * kernel_recvmsg - Receive a message from a socket (kernel space)
895 : : * @sock: The socket to receive the message from
896 : : * @msg: Received message
897 : : * @vec: Input s/g array for message data
898 : : * @num: Size of input s/g array
899 : : * @size: Number of bytes to read
900 : : * @flags: Message flags (MSG_DONTWAIT, etc...)
901 : : *
902 : : * On return the msg structure contains the scatter/gather array passed in the
903 : : * vec argument. The array is modified so that it consists of the unfilled
904 : : * portion of the original array.
905 : : *
906 : : * The returned value is the total number of bytes received, or an error.
907 : : */
908 : :
909 : 0 : int kernel_recvmsg(struct socket *sock, struct msghdr *msg,
910 : : struct kvec *vec, size_t num, size_t size, int flags)
911 : : {
912 : 0 : mm_segment_t oldfs = get_fs();
913 : : int result;
914 : :
915 : 0 : iov_iter_kvec(&msg->msg_iter, READ, vec, num, size);
916 : : set_fs(KERNEL_DS);
917 : 0 : result = sock_recvmsg(sock, msg, flags);
918 : : set_fs(oldfs);
919 : 0 : return result;
920 : : }
921 : : EXPORT_SYMBOL(kernel_recvmsg);
922 : :
923 : 0 : static ssize_t sock_sendpage(struct file *file, struct page *page,
924 : : int offset, size_t size, loff_t *ppos, int more)
925 : : {
926 : : struct socket *sock;
927 : : int flags;
928 : :
929 : 0 : sock = file->private_data;
930 : :
931 [ # # ]: 0 : flags = (file->f_flags & O_NONBLOCK) ? MSG_DONTWAIT : 0;
932 : : /* more is a combination of MSG_MORE and MSG_SENDPAGE_NOTLAST */
933 : 0 : flags |= more;
934 : :
935 : 0 : return kernel_sendpage(sock, page, offset, size, flags);
936 : : }
937 : :
938 : 0 : static ssize_t sock_splice_read(struct file *file, loff_t *ppos,
939 : : struct pipe_inode_info *pipe, size_t len,
940 : : unsigned int flags)
941 : : {
942 : 0 : struct socket *sock = file->private_data;
943 : :
944 [ # # ]: 0 : if (unlikely(!sock->ops->splice_read))
945 : 0 : return generic_file_splice_read(file, ppos, pipe, len, flags);
946 : :
947 : 0 : return sock->ops->splice_read(sock, ppos, pipe, len, flags);
948 : : }
949 : :
950 : 78444 : static ssize_t sock_read_iter(struct kiocb *iocb, struct iov_iter *to)
951 : : {
952 : 78444 : struct file *file = iocb->ki_filp;
953 : 78444 : struct socket *sock = file->private_data;
954 : 78444 : struct msghdr msg = {.msg_iter = *to,
955 : : .msg_iocb = iocb};
956 : : ssize_t res;
957 : :
958 [ + + + + ]: 78444 : if (file->f_flags & O_NONBLOCK || (iocb->ki_flags & IOCB_NOWAIT))
959 : 55653 : msg.msg_flags = MSG_DONTWAIT;
960 : :
961 [ + + ]: 78444 : if (iocb->ki_pos != 0)
962 : : return -ESPIPE;
963 : :
964 [ + + ]: 78441 : if (!iov_iter_count(to)) /* Match SYS5 behaviour */
965 : : return 0;
966 : :
967 : 78446 : res = sock_recvmsg(sock, &msg, msg.msg_flags);
968 : 78032 : *to = msg.msg_iter;
969 : 78032 : return res;
970 : : }
971 : :
972 : 747299 : static ssize_t sock_write_iter(struct kiocb *iocb, struct iov_iter *from)
973 : : {
974 : 747299 : struct file *file = iocb->ki_filp;
975 : 747299 : struct socket *sock = file->private_data;
976 : 747299 : struct msghdr msg = {.msg_iter = *from,
977 : : .msg_iocb = iocb};
978 : : ssize_t res;
979 : :
980 [ + + ]: 747299 : if (iocb->ki_pos != 0)
981 : : return -ESPIPE;
982 : :
983 [ + + + + ]: 748325 : if (file->f_flags & O_NONBLOCK || (iocb->ki_flags & IOCB_NOWAIT))
984 : 615971 : msg.msg_flags = MSG_DONTWAIT;
985 : :
986 [ - + ]: 748325 : if (sock->type == SOCK_SEQPACKET)
987 : 0 : msg.msg_flags |= MSG_EOR;
988 : :
989 : 748325 : res = sock_sendmsg(sock, &msg);
990 : 751803 : *from = msg.msg_iter;
991 : 751803 : return res;
992 : : }
993 : :
994 : : /*
995 : : * Atomic setting of ioctl hooks to avoid race
996 : : * with module unload.
997 : : */
998 : :
999 : : static DEFINE_MUTEX(br_ioctl_mutex);
1000 : : static int (*br_ioctl_hook) (struct net *, unsigned int cmd, void __user *arg);
1001 : :
1002 : 0 : void brioctl_set(int (*hook) (struct net *, unsigned int, void __user *))
1003 : : {
1004 : 0 : mutex_lock(&br_ioctl_mutex);
1005 : 0 : br_ioctl_hook = hook;
1006 : 0 : mutex_unlock(&br_ioctl_mutex);
1007 : 0 : }
1008 : : EXPORT_SYMBOL(brioctl_set);
1009 : :
1010 : : static DEFINE_MUTEX(vlan_ioctl_mutex);
1011 : : static int (*vlan_ioctl_hook) (struct net *, void __user *arg);
1012 : :
1013 : 207 : void vlan_ioctl_set(int (*hook) (struct net *, void __user *))
1014 : : {
1015 : 207 : mutex_lock(&vlan_ioctl_mutex);
1016 : 207 : vlan_ioctl_hook = hook;
1017 : 207 : mutex_unlock(&vlan_ioctl_mutex);
1018 : 207 : }
1019 : : EXPORT_SYMBOL(vlan_ioctl_set);
1020 : :
1021 : : static DEFINE_MUTEX(dlci_ioctl_mutex);
1022 : : static int (*dlci_ioctl_hook) (unsigned int, void __user *);
1023 : :
1024 : 0 : void dlci_ioctl_set(int (*hook) (unsigned int, void __user *))
1025 : : {
1026 : 0 : mutex_lock(&dlci_ioctl_mutex);
1027 : 0 : dlci_ioctl_hook = hook;
1028 : 0 : mutex_unlock(&dlci_ioctl_mutex);
1029 : 0 : }
1030 : : EXPORT_SYMBOL(dlci_ioctl_set);
1031 : :
1032 : 83140 : static long sock_do_ioctl(struct net *net, struct socket *sock,
1033 : : unsigned int cmd, unsigned long arg)
1034 : : {
1035 : : int err;
1036 : 83140 : void __user *argp = (void __user *)arg;
1037 : :
1038 : 83140 : err = sock->ops->ioctl(sock, cmd, arg);
1039 : :
1040 : : /*
1041 : : * If this ioctl is unknown try to hand it down
1042 : : * to the NIC driver.
1043 : : */
1044 [ + + ]: 83139 : if (err != -ENOIOCTLCMD)
1045 : : return err;
1046 : :
1047 [ - + ]: 11127 : if (cmd == SIOCGIFCONF) {
1048 : : struct ifconf ifc;
1049 [ # # ]: 0 : if (copy_from_user(&ifc, argp, sizeof(struct ifconf)))
1050 : 0 : return -EFAULT;
1051 : 0 : rtnl_lock();
1052 : 0 : err = dev_ifconf(net, &ifc, sizeof(struct ifreq));
1053 : 0 : rtnl_unlock();
1054 [ # # # # ]: 0 : if (!err && copy_to_user(argp, &ifc, sizeof(struct ifconf)))
1055 : : err = -EFAULT;
1056 : : } else {
1057 : : struct ifreq ifr;
1058 : : bool need_copyout;
1059 [ + - ]: 11127 : if (copy_from_user(&ifr, argp, sizeof(struct ifreq)))
1060 : 0 : return -EFAULT;
1061 : 11127 : err = dev_ioctl(net, cmd, &ifr, &need_copyout);
1062 [ + + + - ]: 11127 : if (!err && need_copyout)
1063 [ + - ]: 3447 : if (copy_to_user(argp, &ifr, sizeof(struct ifreq)))
1064 : : return -EFAULT;
1065 : : }
1066 : 11127 : return err;
1067 : : }
1068 : :
1069 : : /*
1070 : : * With an ioctl, arg may well be a user mode pointer, but we don't know
1071 : : * what to do with it - that's up to the protocol still.
1072 : : */
1073 : :
1074 : : /**
1075 : : * get_net_ns - increment the refcount of the network namespace
1076 : : * @ns: common namespace (net)
1077 : : *
1078 : : * Returns the net's common namespace.
1079 : : */
1080 : :
1081 : 0 : struct ns_common *get_net_ns(struct ns_common *ns)
1082 : : {
1083 : 0 : return &get_net(container_of(ns, struct net, ns))->ns;
1084 : : }
1085 : : EXPORT_SYMBOL_GPL(get_net_ns);
1086 : :
1087 : 83967 : static long sock_ioctl(struct file *file, unsigned cmd, unsigned long arg)
1088 : : {
1089 : : struct socket *sock;
1090 : : struct sock *sk;
1091 : 83967 : void __user *argp = (void __user *)arg;
1092 : : int pid, err;
1093 : : struct net *net;
1094 : :
1095 : 83967 : sock = file->private_data;
1096 : 83967 : sk = sock->sk;
1097 : : net = sock_net(sk);
1098 [ - + ]: 83967 : if (unlikely(cmd >= SIOCDEVPRIVATE && cmd <= (SIOCDEVPRIVATE + 15))) {
1099 : : struct ifreq ifr;
1100 : : bool need_copyout;
1101 [ # # ]: 0 : if (copy_from_user(&ifr, argp, sizeof(struct ifreq)))
1102 : 0 : return -EFAULT;
1103 : 0 : err = dev_ioctl(net, cmd, &ifr, &need_copyout);
1104 [ # # # # ]: 0 : if (!err && need_copyout)
1105 [ # # ]: 0 : if (copy_to_user(argp, &ifr, sizeof(struct ifreq)))
1106 : : return -EFAULT;
1107 : : } else
1108 : : #ifdef CONFIG_WEXT_CORE
1109 [ + + ]: 83967 : if (cmd >= SIOCIWFIRST && cmd <= SIOCIWLAST) {
1110 : 414 : err = wext_handle_ioctl(net, cmd, argp);
1111 : : } else
1112 : : #endif
1113 [ - - - + : 83553 : switch (cmd) {
- - - -
+ ]
1114 : : case FIOSETOWN:
1115 : : case SIOCSPGRP:
1116 : : err = -EFAULT;
1117 [ # # ]: 0 : if (get_user(pid, (int __user *)argp))
1118 : : break;
1119 : 0 : err = f_setown(sock->file, pid, 1);
1120 : 0 : break;
1121 : : case FIOGETOWN:
1122 : : case SIOCGPGRP:
1123 : 0 : err = put_user(f_getown(sock->file),
1124 : : (int __user *)argp);
1125 : 0 : break;
1126 : : case SIOCGIFBR:
1127 : : case SIOCSIFBR:
1128 : : case SIOCBRADDBR:
1129 : : case SIOCBRDELBR:
1130 : : err = -ENOPKG;
1131 [ # # ]: 0 : if (!br_ioctl_hook)
1132 : 0 : request_module("bridge");
1133 : :
1134 : 0 : mutex_lock(&br_ioctl_mutex);
1135 [ # # ]: 0 : if (br_ioctl_hook)
1136 : 0 : err = br_ioctl_hook(net, cmd, argp);
1137 : 0 : mutex_unlock(&br_ioctl_mutex);
1138 : 0 : break;
1139 : : case SIOCGIFVLAN:
1140 : : case SIOCSIFVLAN:
1141 : : err = -ENOPKG;
1142 [ + + ]: 414 : if (!vlan_ioctl_hook)
1143 : 207 : request_module("8021q");
1144 : :
1145 : 414 : mutex_lock(&vlan_ioctl_mutex);
1146 [ + - ]: 414 : if (vlan_ioctl_hook)
1147 : 414 : err = vlan_ioctl_hook(net, argp);
1148 : 414 : mutex_unlock(&vlan_ioctl_mutex);
1149 : 414 : break;
1150 : : case SIOCADDDLCI:
1151 : : case SIOCDELDLCI:
1152 : : err = -ENOPKG;
1153 [ # # ]: 0 : if (!dlci_ioctl_hook)
1154 : 0 : request_module("dlci");
1155 : :
1156 : 0 : mutex_lock(&dlci_ioctl_mutex);
1157 [ # # ]: 0 : if (dlci_ioctl_hook)
1158 : 0 : err = dlci_ioctl_hook(cmd, argp);
1159 : 0 : mutex_unlock(&dlci_ioctl_mutex);
1160 : 0 : break;
1161 : : case SIOCGSKNS:
1162 : : err = -EPERM;
1163 [ # # ]: 0 : if (!ns_capable(net->user_ns, CAP_NET_ADMIN))
1164 : : break;
1165 : :
1166 : 0 : err = open_related_ns(&net->ns, get_net_ns);
1167 : 0 : break;
1168 : : case SIOCGSTAMP_OLD:
1169 : : case SIOCGSTAMPNS_OLD:
1170 [ # # ]: 0 : if (!sock->ops->gettstamp) {
1171 : : err = -ENOIOCTLCMD;
1172 : : break;
1173 : : }
1174 : 0 : err = sock->ops->gettstamp(sock, argp,
1175 : : cmd == SIOCGSTAMP_OLD,
1176 : : !IS_ENABLED(CONFIG_64BIT));
1177 : 0 : break;
1178 : : case SIOCGSTAMP_NEW:
1179 : : case SIOCGSTAMPNS_NEW:
1180 [ # # ]: 0 : if (!sock->ops->gettstamp) {
1181 : : err = -ENOIOCTLCMD;
1182 : : break;
1183 : : }
1184 : 0 : err = sock->ops->gettstamp(sock, argp,
1185 : : cmd == SIOCGSTAMP_NEW,
1186 : : false);
1187 : 0 : break;
1188 : : default:
1189 : 83139 : err = sock_do_ioctl(net, sock, cmd, arg);
1190 : 83140 : break;
1191 : : }
1192 : 83965 : return err;
1193 : : }
1194 : :
1195 : : /**
1196 : : * sock_create_lite - creates a socket
1197 : : * @family: protocol family (AF_INET, ...)
1198 : : * @type: communication type (SOCK_STREAM, ...)
1199 : : * @protocol: protocol (0, ...)
1200 : : * @res: new socket
1201 : : *
1202 : : * Creates a new socket and assigns it to @res, passing through LSM.
1203 : : * The new socket initialization is not complete, see kernel_accept().
1204 : : * Returns 0 or an error. On failure @res is set to %NULL.
1205 : : * This function internally uses GFP_KERNEL.
1206 : : */
1207 : :
1208 : 1656 : int sock_create_lite(int family, int type, int protocol, struct socket **res)
1209 : : {
1210 : : int err;
1211 : : struct socket *sock = NULL;
1212 : :
1213 : 1656 : err = security_socket_create(family, type, protocol, 1);
1214 [ + - ]: 1656 : if (err)
1215 : : goto out;
1216 : :
1217 : 1656 : sock = sock_alloc();
1218 [ + - ]: 1656 : if (!sock) {
1219 : : err = -ENOMEM;
1220 : : goto out;
1221 : : }
1222 : :
1223 : 1656 : sock->type = type;
1224 : 1656 : err = security_socket_post_create(sock, family, type, protocol, 1);
1225 [ + - ]: 1656 : if (err)
1226 : : goto out_release;
1227 : :
1228 : : out:
1229 : 1656 : *res = sock;
1230 : 1656 : return err;
1231 : : out_release:
1232 : : sock_release(sock);
1233 : : sock = NULL;
1234 : 0 : goto out;
1235 : : }
1236 : : EXPORT_SYMBOL(sock_create_lite);
1237 : :
1238 : : /* No kernel lock held - perfect */
1239 : 4016577 : static __poll_t sock_poll(struct file *file, poll_table *wait)
1240 : : {
1241 : 4016577 : struct socket *sock = file->private_data;
1242 : : __poll_t events = poll_requested_events(wait), flag = 0;
1243 : :
1244 [ + + ]: 4016577 : if (!sock->ops->poll)
1245 : : return 0;
1246 : :
1247 [ - + ]: 8029722 : if (sk_can_busy_loop(sock->sk)) {
1248 : : /* poll once if requested by the syscall */
1249 [ # # ]: 0 : if (events & POLL_BUSY_LOOP)
1250 : 0 : sk_busy_loop(sock->sk, 1);
1251 : :
1252 : : /* if this socket can poll_ll, tell the system call */
1253 : : flag = POLL_BUSY_LOOP;
1254 : : }
1255 : :
1256 : 4014861 : return sock->ops->poll(file, sock, wait) | flag;
1257 : : }
1258 : :
1259 : 0 : static int sock_mmap(struct file *file, struct vm_area_struct *vma)
1260 : : {
1261 : 0 : struct socket *sock = file->private_data;
1262 : :
1263 : 0 : return sock->ops->mmap(file, sock, vma);
1264 : : }
1265 : :
1266 : 118987 : static int sock_close(struct inode *inode, struct file *filp)
1267 : : {
1268 : 118987 : __sock_release(SOCKET_I(inode), inode);
1269 : 118969 : return 0;
1270 : : }
1271 : :
1272 : : /*
1273 : : * Update the socket async list
1274 : : *
1275 : : * Fasync_list locking strategy.
1276 : : *
1277 : : * 1. fasync_list is modified only under process context socket lock
1278 : : * i.e. under semaphore.
1279 : : * 2. fasync_list is used under read_lock(&sk->sk_callback_lock)
1280 : : * or under socket lock
1281 : : */
1282 : :
1283 : 0 : static int sock_fasync(int fd, struct file *filp, int on)
1284 : : {
1285 : 0 : struct socket *sock = filp->private_data;
1286 : 0 : struct sock *sk = sock->sk;
1287 : : struct socket_wq *wq = &sock->wq;
1288 : :
1289 [ # # ]: 0 : if (sk == NULL)
1290 : : return -EINVAL;
1291 : :
1292 : : lock_sock(sk);
1293 : 0 : fasync_helper(fd, filp, on, &wq->fasync_list);
1294 : :
1295 [ # # ]: 0 : if (!wq->fasync_list)
1296 : : sock_reset_flag(sk, SOCK_FASYNC);
1297 : : else
1298 : : sock_set_flag(sk, SOCK_FASYNC);
1299 : :
1300 : 0 : release_sock(sk);
1301 : 0 : return 0;
1302 : : }
1303 : :
1304 : : /* This function may be called only under rcu_lock */
1305 : :
1306 : 0 : int sock_wake_async(struct socket_wq *wq, int how, int band)
1307 : : {
1308 [ # # # # ]: 0 : if (!wq || !wq->fasync_list)
1309 : : return -1;
1310 : :
1311 [ # # # # : 0 : switch (how) {
# ]
1312 : : case SOCK_WAKE_WAITD:
1313 [ # # ]: 0 : if (test_bit(SOCKWQ_ASYNC_WAITDATA, &wq->flags))
1314 : : break;
1315 : : goto call_kill;
1316 : : case SOCK_WAKE_SPACE:
1317 [ # # ]: 0 : if (!test_and_clear_bit(SOCKWQ_ASYNC_NOSPACE, &wq->flags))
1318 : : break;
1319 : : /* fall through */
1320 : : case SOCK_WAKE_IO:
1321 : : call_kill:
1322 : 0 : kill_fasync(&wq->fasync_list, SIGIO, band);
1323 : 0 : break;
1324 : : case SOCK_WAKE_URG:
1325 : 0 : kill_fasync(&wq->fasync_list, SIGURG, band);
1326 : : }
1327 : :
1328 : : return 0;
1329 : : }
1330 : : EXPORT_SYMBOL(sock_wake_async);
1331 : :
1332 : : /**
1333 : : * __sock_create - creates a socket
1334 : : * @net: net namespace
1335 : : * @family: protocol family (AF_INET, ...)
1336 : : * @type: communication type (SOCK_STREAM, ...)
1337 : : * @protocol: protocol (0, ...)
1338 : : * @res: new socket
1339 : : * @kern: boolean for kernel space sockets
1340 : : *
1341 : : * Creates a new socket and assigns it to @res, passing through LSM.
1342 : : * Returns 0 or an error. On failure @res is set to %NULL. @kern must
1343 : : * be set to true if the socket resides in kernel space.
1344 : : * This function internally uses GFP_KERNEL.
1345 : : */
1346 : :
1347 : 131566 : int __sock_create(struct net *net, int family, int type, int protocol,
1348 : : struct socket **res, int kern)
1349 : : {
1350 : : int err;
1351 : : struct socket *sock;
1352 : : const struct net_proto_family *pf;
1353 : :
1354 : : /*
1355 : : * Check protocol is in range
1356 : : */
1357 [ + - ]: 131566 : if (family < 0 || family >= NPROTO)
1358 : : return -EAFNOSUPPORT;
1359 [ + + ]: 131568 : if (type < 0 || type >= SOCK_MAX)
1360 : : return -EINVAL;
1361 : :
1362 : : /* Compatibility.
1363 : :
1364 : : This uglymoron is moved from INET layer to here to avoid
1365 : : deadlock in module load.
1366 : : */
1367 [ - + ]: 131558 : if (family == PF_INET && type == SOCK_PACKET) {
1368 [ # # ]: 0 : pr_info_once("%s uses obsolete (PF_INET,SOCK_PACKET)\n",
1369 : : current->comm);
1370 : : family = PF_PACKET;
1371 : : }
1372 : :
1373 : 131558 : err = security_socket_create(family, type, protocol, kern);
1374 [ + + ]: 131563 : if (err)
1375 : : return err;
1376 : :
1377 : : /*
1378 : : * Allocate the socket and allow the family to set things up. if
1379 : : * the protocol is 0, the family is instructed to select an appropriate
1380 : : * default.
1381 : : */
1382 : 131567 : sock = sock_alloc();
1383 [ - + ]: 131566 : if (!sock) {
1384 [ # # ]: 0 : net_warn_ratelimited("socket: no more sockets\n");
1385 : : return -ENFILE; /* Not exactly a match, but its the
1386 : : closest posix thing */
1387 : : }
1388 : :
1389 : 131566 : sock->type = type;
1390 : :
1391 : : #ifdef CONFIG_MODULES
1392 : : /* Attempt to load a protocol module if the find failed.
1393 : : *
1394 : : * 12/09/1996 Marcin: But! this makes REALLY only sense, if the user
1395 : : * requested real, full-featured networking support upon configuration.
1396 : : * Otherwise module support will break!
1397 : : */
1398 [ - + ]: 263132 : if (rcu_access_pointer(net_families[family]) == NULL)
1399 : 0 : request_module("net-pf-%d", family);
1400 : : #endif
1401 : :
1402 : : rcu_read_lock();
1403 : 131553 : pf = rcu_dereference(net_families[family]);
1404 : : err = -EAFNOSUPPORT;
1405 [ + + ]: 131553 : if (!pf)
1406 : : goto out_release;
1407 : :
1408 : : /*
1409 : : * We will call the ->create function, that possibly is in a loadable
1410 : : * module, so we have to bump that loadable module refcnt first.
1411 : : */
1412 [ + + ]: 131527 : if (!try_module_get(pf->owner))
1413 : : goto out_release;
1414 : :
1415 : : /* Now protected by module ref count */
1416 : : rcu_read_unlock();
1417 : :
1418 : 131490 : err = pf->create(net, sock, protocol, kern);
1419 [ + + ]: 131569 : if (err < 0)
1420 : : goto out_module_put;
1421 : :
1422 : : /*
1423 : : * Now to bump the refcnt of the [loadable] module that owns this
1424 : : * socket at sock_release time we decrement its refcnt.
1425 : : */
1426 [ + + ]: 131561 : if (!try_module_get(sock->ops->owner))
1427 : : goto out_module_busy;
1428 : :
1429 : : /*
1430 : : * Now that we're done with the ->create function, the [loadable]
1431 : : * module can have its refcnt decremented
1432 : : */
1433 : 131570 : module_put(pf->owner);
1434 : 131548 : err = security_socket_post_create(sock, family, type, protocol, kern);
1435 [ + + ]: 131547 : if (err)
1436 : : goto out_sock_release;
1437 : 131558 : *res = sock;
1438 : :
1439 : 131558 : return 0;
1440 : :
1441 : : out_module_busy:
1442 : : err = -EAFNOSUPPORT;
1443 : : out_module_put:
1444 : 9 : sock->ops = NULL;
1445 : 9 : module_put(pf->owner);
1446 : : out_sock_release:
1447 : : sock_release(sock);
1448 : 0 : return err;
1449 : :
1450 : : out_release:
1451 : : rcu_read_unlock();
1452 : : goto out_sock_release;
1453 : : }
1454 : : EXPORT_SYMBOL(__sock_create);
1455 : :
1456 : : /**
1457 : : * sock_create - creates a socket
1458 : : * @family: protocol family (AF_INET, ...)
1459 : : * @type: communication type (SOCK_STREAM, ...)
1460 : : * @protocol: protocol (0, ...)
1461 : : * @res: new socket
1462 : : *
1463 : : * A wrapper around __sock_create().
1464 : : * Returns 0 or an error. This function internally uses GFP_KERNEL.
1465 : : */
1466 : :
1467 : 128033 : int sock_create(int family, int type, int protocol, struct socket **res)
1468 : : {
1469 : 128033 : return __sock_create(current->nsproxy->net_ns, family, type, protocol, res, 0);
1470 : : }
1471 : : EXPORT_SYMBOL(sock_create);
1472 : :
1473 : : /**
1474 : : * sock_create_kern - creates a socket (kernel space)
1475 : : * @net: net namespace
1476 : : * @family: protocol family (AF_INET, ...)
1477 : : * @type: communication type (SOCK_STREAM, ...)
1478 : : * @protocol: protocol (0, ...)
1479 : : * @res: new socket
1480 : : *
1481 : : * A wrapper around __sock_create().
1482 : : * Returns 0 or an error. This function internally uses GFP_KERNEL.
1483 : : */
1484 : :
1485 : 3519 : int sock_create_kern(struct net *net, int family, int type, int protocol, struct socket **res)
1486 : : {
1487 : 3519 : return __sock_create(net, family, type, protocol, res, 1);
1488 : : }
1489 : : EXPORT_SYMBOL(sock_create_kern);
1490 : :
1491 : 124291 : int __sys_socket(int family, int type, int protocol)
1492 : : {
1493 : : int retval;
1494 : : struct socket *sock;
1495 : : int flags;
1496 : :
1497 : : /* Check the SOCK_* constants for consistency. */
1498 : : BUILD_BUG_ON(SOCK_CLOEXEC != O_CLOEXEC);
1499 : : BUILD_BUG_ON((SOCK_MAX | SOCK_TYPE_MASK) != SOCK_TYPE_MASK);
1500 : : BUILD_BUG_ON(SOCK_CLOEXEC & SOCK_TYPE_MASK);
1501 : : BUILD_BUG_ON(SOCK_NONBLOCK & SOCK_TYPE_MASK);
1502 : :
1503 : : flags = type & ~SOCK_TYPE_MASK;
1504 [ + + ]: 124291 : if (flags & ~(SOCK_CLOEXEC | SOCK_NONBLOCK))
1505 : : return -EINVAL;
1506 : 124308 : type &= SOCK_TYPE_MASK;
1507 : :
1508 : : if (SOCK_NONBLOCK != O_NONBLOCK && (flags & SOCK_NONBLOCK))
1509 : : flags = (flags & ~SOCK_NONBLOCK) | O_NONBLOCK;
1510 : :
1511 : 124308 : retval = sock_create(family, type, protocol, &sock);
1512 [ + + ]: 124308 : if (retval < 0)
1513 : : return retval;
1514 : :
1515 : 124322 : return sock_map_fd(sock, flags & (O_CLOEXEC | O_NONBLOCK));
1516 : : }
1517 : :
1518 : 248640 : SYSCALL_DEFINE3(socket, int, family, int, type, int, protocol)
1519 : : {
1520 : 124326 : return __sys_socket(family, type, protocol);
1521 : : }
1522 : :
1523 : : /*
1524 : : * Create a pair of connected sockets.
1525 : : */
1526 : :
1527 : 1863 : int __sys_socketpair(int family, int type, int protocol, int __user *usockvec)
1528 : : {
1529 : : struct socket *sock1, *sock2;
1530 : : int fd1, fd2, err;
1531 : : struct file *newfile1, *newfile2;
1532 : : int flags;
1533 : :
1534 : 1863 : flags = type & ~SOCK_TYPE_MASK;
1535 [ + - ]: 1863 : if (flags & ~(SOCK_CLOEXEC | SOCK_NONBLOCK))
1536 : : return -EINVAL;
1537 : 1863 : type &= SOCK_TYPE_MASK;
1538 : :
1539 : : if (SOCK_NONBLOCK != O_NONBLOCK && (flags & SOCK_NONBLOCK))
1540 : : flags = (flags & ~SOCK_NONBLOCK) | O_NONBLOCK;
1541 : :
1542 : : /*
1543 : : * reserve descriptors and make sure we won't fail
1544 : : * to return them to userland.
1545 : : */
1546 : 1863 : fd1 = get_unused_fd_flags(flags);
1547 [ + - ]: 1863 : if (unlikely(fd1 < 0))
1548 : : return fd1;
1549 : :
1550 : 1863 : fd2 = get_unused_fd_flags(flags);
1551 [ - + ]: 1863 : if (unlikely(fd2 < 0)) {
1552 : 0 : put_unused_fd(fd1);
1553 : 0 : return fd2;
1554 : : }
1555 : :
1556 : 1863 : err = put_user(fd1, &usockvec[0]);
1557 [ + - ]: 1863 : if (err)
1558 : : goto out;
1559 : :
1560 : 3726 : err = put_user(fd2, &usockvec[1]);
1561 [ + - ]: 1863 : if (err)
1562 : : goto out;
1563 : :
1564 : : /*
1565 : : * Obtain the first socket and check if the underlying protocol
1566 : : * supports the socketpair call.
1567 : : */
1568 : :
1569 : 1863 : err = sock_create(family, type, protocol, &sock1);
1570 [ + - ]: 1863 : if (unlikely(err < 0))
1571 : : goto out;
1572 : :
1573 : 1863 : err = sock_create(family, type, protocol, &sock2);
1574 [ - + ]: 1863 : if (unlikely(err < 0)) {
1575 : 0 : sock_release(sock1);
1576 : : goto out;
1577 : : }
1578 : :
1579 : 1863 : err = security_socket_socketpair(sock1, sock2);
1580 [ - + ]: 1863 : if (unlikely(err)) {
1581 : 0 : sock_release(sock2);
1582 : 0 : sock_release(sock1);
1583 : : goto out;
1584 : : }
1585 : :
1586 : 1863 : err = sock1->ops->socketpair(sock1, sock2);
1587 [ - + ]: 1863 : if (unlikely(err < 0)) {
1588 : 0 : sock_release(sock2);
1589 : 0 : sock_release(sock1);
1590 : : goto out;
1591 : : }
1592 : :
1593 : 1863 : newfile1 = sock_alloc_file(sock1, flags, NULL);
1594 [ - + ]: 1863 : if (IS_ERR(newfile1)) {
1595 : : err = PTR_ERR(newfile1);
1596 : 0 : sock_release(sock2);
1597 : : goto out;
1598 : : }
1599 : :
1600 : 1863 : newfile2 = sock_alloc_file(sock2, flags, NULL);
1601 [ - + ]: 1863 : if (IS_ERR(newfile2)) {
1602 : : err = PTR_ERR(newfile2);
1603 : 0 : fput(newfile1);
1604 : 0 : goto out;
1605 : : }
1606 : :
1607 : 1863 : audit_fd_pair(fd1, fd2);
1608 : :
1609 : 1863 : fd_install(fd1, newfile1);
1610 : 1863 : fd_install(fd2, newfile2);
1611 : 1863 : return 0;
1612 : :
1613 : : out:
1614 : 0 : put_unused_fd(fd2);
1615 : 0 : put_unused_fd(fd1);
1616 : 0 : return err;
1617 : : }
1618 : :
1619 : 3726 : SYSCALL_DEFINE4(socketpair, int, family, int, type, int, protocol,
1620 : : int __user *, usockvec)
1621 : : {
1622 : 1863 : return __sys_socketpair(family, type, protocol, usockvec);
1623 : : }
1624 : :
1625 : : /*
1626 : : * Bind a name to a socket. Nothing much to do here since it's
1627 : : * the protocol's responsibility to handle the local address.
1628 : : *
1629 : : * We move the socket address to kernel space before we call
1630 : : * the protocol layer (having also checked the address is ok).
1631 : : */
1632 : :
1633 : 19286 : int __sys_bind(int fd, struct sockaddr __user *umyaddr, int addrlen)
1634 : : {
1635 : : struct socket *sock;
1636 : : struct sockaddr_storage address;
1637 : : int err, fput_needed;
1638 : :
1639 : 19286 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1640 [ + - ]: 19286 : if (sock) {
1641 : 19286 : err = move_addr_to_kernel(umyaddr, addrlen, &address);
1642 [ + - ]: 19286 : if (!err) {
1643 : 19286 : err = security_socket_bind(sock,
1644 : : (struct sockaddr *)&address,
1645 : : addrlen);
1646 [ + - ]: 19286 : if (!err)
1647 : 19286 : err = sock->ops->bind(sock,
1648 : : (struct sockaddr *)
1649 : : &address, addrlen);
1650 : : }
1651 : 19286 : fput_light(sock->file, fput_needed);
1652 : : }
1653 : 19286 : return err;
1654 : : }
1655 : :
1656 : 38572 : SYSCALL_DEFINE3(bind, int, fd, struct sockaddr __user *, umyaddr, int, addrlen)
1657 : : {
1658 : 19286 : return __sys_bind(fd, umyaddr, addrlen);
1659 : : }
1660 : :
1661 : : /*
1662 : : * Perform a listen. Basically, we allow the protocol to do anything
1663 : : * necessary for a listen, and if that works, we mark the socket as
1664 : : * ready for listening.
1665 : : */
1666 : :
1667 : 5175 : int __sys_listen(int fd, int backlog)
1668 : : {
1669 : : struct socket *sock;
1670 : : int err, fput_needed;
1671 : : int somaxconn;
1672 : :
1673 : 5175 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1674 [ + - ]: 5175 : if (sock) {
1675 : 10350 : somaxconn = sock_net(sock->sk)->core.sysctl_somaxconn;
1676 [ - + ]: 5175 : if ((unsigned int)backlog > somaxconn)
1677 : : backlog = somaxconn;
1678 : :
1679 : 5175 : err = security_socket_listen(sock, backlog);
1680 [ + - ]: 5175 : if (!err)
1681 : 5175 : err = sock->ops->listen(sock, backlog);
1682 : :
1683 : 5175 : fput_light(sock->file, fput_needed);
1684 : : }
1685 : 5175 : return err;
1686 : : }
1687 : :
1688 : 10350 : SYSCALL_DEFINE2(listen, int, fd, int, backlog)
1689 : : {
1690 : 5175 : return __sys_listen(fd, backlog);
1691 : : }
1692 : :
1693 : : /*
1694 : : * For accept, we attempt to create a new socket, set up the link
1695 : : * with the client, wake up the client, then return the new
1696 : : * connected fd. We collect the address of the connector in kernel
1697 : : * space and move it to user at the very end. This is unclean because
1698 : : * we open the socket then return an error.
1699 : : *
1700 : : * 1003.1g adds the ability to recvmsg() to query connection pending
1701 : : * status to recvmsg. We need to add that support in a way thats
1702 : : * clean when we restructure accept also.
1703 : : */
1704 : :
1705 : 34419 : int __sys_accept4(int fd, struct sockaddr __user *upeer_sockaddr,
1706 : : int __user *upeer_addrlen, int flags)
1707 : : {
1708 : : struct socket *sock, *newsock;
1709 : : struct file *newfile;
1710 : : int err, len, newfd, fput_needed;
1711 : : struct sockaddr_storage address;
1712 : :
1713 [ + - ]: 34419 : if (flags & ~(SOCK_CLOEXEC | SOCK_NONBLOCK))
1714 : : return -EINVAL;
1715 : :
1716 : : if (SOCK_NONBLOCK != O_NONBLOCK && (flags & SOCK_NONBLOCK))
1717 : : flags = (flags & ~SOCK_NONBLOCK) | O_NONBLOCK;
1718 : :
1719 : 34419 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1720 [ + - ]: 34419 : if (!sock)
1721 : : goto out;
1722 : :
1723 : 34419 : err = -ENFILE;
1724 : 34419 : newsock = sock_alloc();
1725 [ + + ]: 34419 : if (!newsock)
1726 : : goto out_put;
1727 : :
1728 : 34417 : newsock->type = sock->type;
1729 : 34417 : newsock->ops = sock->ops;
1730 : :
1731 : : /*
1732 : : * We don't need try_module_get here, as the listening socket (sock)
1733 : : * has the protocol module (sock->ops->owner) held.
1734 : : */
1735 : 34417 : __module_get(newsock->ops->owner);
1736 : :
1737 : 34419 : newfd = get_unused_fd_flags(flags);
1738 [ - + ]: 34419 : if (unlikely(newfd < 0)) {
1739 : 0 : err = newfd;
1740 : : sock_release(newsock);
1741 : : goto out_put;
1742 : : }
1743 : 34419 : newfile = sock_alloc_file(newsock, flags, sock->sk->sk_prot_creator->name);
1744 [ - + ]: 34418 : if (IS_ERR(newfile)) {
1745 : 0 : err = PTR_ERR(newfile);
1746 : 0 : put_unused_fd(newfd);
1747 : 0 : goto out_put;
1748 : : }
1749 : :
1750 : 34418 : err = security_socket_accept(sock, newsock);
1751 [ + - ]: 34418 : if (err)
1752 : : goto out_fd;
1753 : :
1754 : 34418 : err = sock->ops->accept(sock, newsock, sock->file->f_flags, false);
1755 [ + + ]: 34419 : if (err < 0)
1756 : : goto out_fd;
1757 : :
1758 [ + + ]: 34003 : if (upeer_sockaddr) {
1759 : 11330 : len = newsock->ops->getname(newsock,
1760 : : (struct sockaddr *)&address, 2);
1761 [ - + ]: 11330 : if (len < 0) {
1762 : 0 : err = -ECONNABORTED;
1763 : 0 : goto out_fd;
1764 : : }
1765 : 11330 : err = move_addr_to_user(&address,
1766 : : len, upeer_sockaddr, upeer_addrlen);
1767 [ + - ]: 11330 : if (err < 0)
1768 : : goto out_fd;
1769 : : }
1770 : :
1771 : : /* File flags are not inherited via accept() unlike another OSes. */
1772 : :
1773 : 34003 : fd_install(newfd, newfile);
1774 : 34005 : err = newfd;
1775 : :
1776 : : out_put:
1777 : 34418 : fput_light(sock->file, fput_needed);
1778 : : out:
1779 : 34418 : return err;
1780 : : out_fd:
1781 : 416 : fput(newfile);
1782 : 414 : put_unused_fd(newfd);
1783 : 414 : goto out_put;
1784 : : }
1785 : :
1786 : 59839 : SYSCALL_DEFINE4(accept4, int, fd, struct sockaddr __user *, upeer_sockaddr,
1787 : : int __user *, upeer_addrlen, int, flags)
1788 : : {
1789 : 29920 : return __sys_accept4(fd, upeer_sockaddr, upeer_addrlen, flags);
1790 : : }
1791 : :
1792 : 8998 : SYSCALL_DEFINE3(accept, int, fd, struct sockaddr __user *, upeer_sockaddr,
1793 : : int __user *, upeer_addrlen)
1794 : : {
1795 : 4499 : return __sys_accept4(fd, upeer_sockaddr, upeer_addrlen, 0);
1796 : : }
1797 : :
1798 : : /*
1799 : : * Attempt to connect to a socket with the server address. The address
1800 : : * is in user space so we verify it is OK and move it to kernel space.
1801 : : *
1802 : : * For 1003.1g we need to add clean support for a bind to AF_UNSPEC to
1803 : : * break bindings
1804 : : *
1805 : : * NOTE: 1003.1g draft 6.3 is broken with respect to AX.25/NetROM and
1806 : : * other SEQPACKET protocols that take time to connect() as it doesn't
1807 : : * include the -EINPROGRESS status for such sockets.
1808 : : */
1809 : :
1810 : 92784 : int __sys_connect(int fd, struct sockaddr __user *uservaddr, int addrlen)
1811 : : {
1812 : : struct socket *sock;
1813 : : struct sockaddr_storage address;
1814 : : int err, fput_needed;
1815 : :
1816 : 92784 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1817 [ + + ]: 92786 : if (!sock)
1818 : : goto out;
1819 : 92777 : err = move_addr_to_kernel(uservaddr, addrlen, &address);
1820 [ + + ]: 92783 : if (err < 0)
1821 : : goto out_put;
1822 : :
1823 : 92778 : err =
1824 : 92778 : security_socket_connect(sock, (struct sockaddr *)&address, addrlen);
1825 [ + + ]: 92778 : if (err)
1826 : : goto out_put;
1827 : :
1828 : 185376 : err = sock->ops->connect(sock, (struct sockaddr *)&address, addrlen,
1829 : 92688 : sock->file->f_flags);
1830 : : out_put:
1831 : 92865 : fput_light(sock->file, fput_needed);
1832 : : out:
1833 : 92875 : return err;
1834 : : }
1835 : :
1836 : 185572 : SYSCALL_DEFINE3(connect, int, fd, struct sockaddr __user *, uservaddr,
1837 : : int, addrlen)
1838 : : {
1839 : 92790 : return __sys_connect(fd, uservaddr, addrlen);
1840 : : }
1841 : :
1842 : : /*
1843 : : * Get the local address ('name') of a socket object. Move the obtained
1844 : : * name to user space.
1845 : : */
1846 : :
1847 : 26752 : int __sys_getsockname(int fd, struct sockaddr __user *usockaddr,
1848 : : int __user *usockaddr_len)
1849 : : {
1850 : : struct socket *sock;
1851 : : struct sockaddr_storage address;
1852 : : int err, fput_needed;
1853 : :
1854 : 26752 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1855 [ + + ]: 26754 : if (!sock)
1856 : : goto out;
1857 : :
1858 : 26738 : err = security_socket_getsockname(sock);
1859 [ + + ]: 26753 : if (err)
1860 : : goto out_put;
1861 : :
1862 : 26735 : err = sock->ops->getname(sock, (struct sockaddr *)&address, 0);
1863 [ + - ]: 26752 : if (err < 0)
1864 : : goto out_put;
1865 : : /* "err" is actually length in this case */
1866 : 26753 : err = move_addr_to_user(&address, err, usockaddr, usockaddr_len);
1867 : :
1868 : : out_put:
1869 : 26771 : fput_light(sock->file, fput_needed);
1870 : : out:
1871 : 26787 : return err;
1872 : : }
1873 : :
1874 : 53507 : SYSCALL_DEFINE3(getsockname, int, fd, struct sockaddr __user *, usockaddr,
1875 : : int __user *, usockaddr_len)
1876 : : {
1877 : 26754 : return __sys_getsockname(fd, usockaddr, usockaddr_len);
1878 : : }
1879 : :
1880 : : /*
1881 : : * Get the remote address ('name') of a socket object. Move the obtained
1882 : : * name to user space.
1883 : : */
1884 : :
1885 : 4347 : int __sys_getpeername(int fd, struct sockaddr __user *usockaddr,
1886 : : int __user *usockaddr_len)
1887 : : {
1888 : : struct socket *sock;
1889 : : struct sockaddr_storage address;
1890 : : int err, fput_needed;
1891 : :
1892 : 4347 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1893 [ + + ]: 4347 : if (sock != NULL) {
1894 : 3726 : err = security_socket_getpeername(sock);
1895 [ - + ]: 3726 : if (err) {
1896 : 0 : fput_light(sock->file, fput_needed);
1897 : 0 : return err;
1898 : : }
1899 : :
1900 : 3726 : err = sock->ops->getname(sock, (struct sockaddr *)&address, 1);
1901 [ + + ]: 3726 : if (err >= 0)
1902 : : /* "err" is actually length in this case */
1903 : 3725 : err = move_addr_to_user(&address, err, usockaddr,
1904 : : usockaddr_len);
1905 : 3727 : fput_light(sock->file, fput_needed);
1906 : : }
1907 : 4347 : return err;
1908 : : }
1909 : :
1910 : 8692 : SYSCALL_DEFINE3(getpeername, int, fd, struct sockaddr __user *, usockaddr,
1911 : : int __user *, usockaddr_len)
1912 : : {
1913 : 4347 : return __sys_getpeername(fd, usockaddr, usockaddr_len);
1914 : : }
1915 : :
1916 : : /*
1917 : : * Send a datagram to a given address. We move the address into kernel
1918 : : * space and check the user space data area is readable before invoking
1919 : : * the protocol.
1920 : : */
1921 : 79255 : int __sys_sendto(int fd, void __user *buff, size_t len, unsigned int flags,
1922 : : struct sockaddr __user *addr, int addr_len)
1923 : : {
1924 : : struct socket *sock;
1925 : : struct sockaddr_storage address;
1926 : : int err;
1927 : : struct msghdr msg;
1928 : : struct iovec iov;
1929 : : int fput_needed;
1930 : :
1931 : 79255 : err = import_single_range(WRITE, buff, len, &iov, &msg.msg_iter);
1932 [ + + ]: 79255 : if (unlikely(err))
1933 : : return err;
1934 : 79246 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1935 [ + + ]: 79255 : if (!sock)
1936 : : goto out;
1937 : :
1938 : 79247 : msg.msg_name = NULL;
1939 : 79247 : msg.msg_control = NULL;
1940 : 79247 : msg.msg_controllen = 0;
1941 : 79247 : msg.msg_namelen = 0;
1942 [ + + ]: 79247 : if (addr) {
1943 : 18273 : err = move_addr_to_kernel(addr, addr_len, &address);
1944 [ + - ]: 18273 : if (err < 0)
1945 : : goto out_put;
1946 : 18273 : msg.msg_name = (struct sockaddr *)&address;
1947 : 18273 : msg.msg_namelen = addr_len;
1948 : : }
1949 [ + + ]: 79247 : if (sock->file->f_flags & O_NONBLOCK)
1950 : 45114 : flags |= MSG_DONTWAIT;
1951 : 79247 : msg.msg_flags = flags;
1952 : 79247 : err = sock_sendmsg(sock, &msg);
1953 : :
1954 : : out_put:
1955 : 79254 : fput_light(sock->file, fput_needed);
1956 : : out:
1957 : 79253 : return err;
1958 : : }
1959 : :
1960 : 36546 : SYSCALL_DEFINE6(sendto, int, fd, void __user *, buff, size_t, len,
1961 : : unsigned int, flags, struct sockaddr __user *, addr,
1962 : : int, addr_len)
1963 : : {
1964 : 18273 : return __sys_sendto(fd, buff, len, flags, addr, addr_len);
1965 : : }
1966 : :
1967 : : /*
1968 : : * Send a datagram down a socket.
1969 : : */
1970 : :
1971 : 121964 : SYSCALL_DEFINE4(send, int, fd, void __user *, buff, size_t, len,
1972 : : unsigned int, flags)
1973 : : {
1974 : 60982 : return __sys_sendto(fd, buff, len, flags, NULL, 0);
1975 : : }
1976 : :
1977 : : /*
1978 : : * Receive a frame from the socket and optionally record the address of the
1979 : : * sender. We verify the buffers are writable and if needed move the
1980 : : * sender address from kernel to user space.
1981 : : */
1982 : 84958 : int __sys_recvfrom(int fd, void __user *ubuf, size_t size, unsigned int flags,
1983 : : struct sockaddr __user *addr, int __user *addr_len)
1984 : : {
1985 : : struct socket *sock;
1986 : : struct iovec iov;
1987 : : struct msghdr msg;
1988 : : struct sockaddr_storage address;
1989 : : int err, err2;
1990 : : int fput_needed;
1991 : :
1992 : 84958 : err = import_single_range(READ, ubuf, size, &iov, &msg.msg_iter);
1993 [ + - ]: 84958 : if (unlikely(err))
1994 : : return err;
1995 : 84958 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
1996 [ + - ]: 84958 : if (!sock)
1997 : : goto out;
1998 : :
1999 : 84958 : msg.msg_control = NULL;
2000 : 84958 : msg.msg_controllen = 0;
2001 : : /* Save some cycles and don't copy the address if not needed */
2002 [ + + ]: 84958 : msg.msg_name = addr ? (struct sockaddr *)&address : NULL;
2003 : : /* We assume all kernel code knows the size of sockaddr_storage */
2004 : 84958 : msg.msg_namelen = 0;
2005 : 84958 : msg.msg_iocb = NULL;
2006 : 84958 : msg.msg_flags = 0;
2007 [ + + ]: 84958 : if (sock->file->f_flags & O_NONBLOCK)
2008 : 51728 : flags |= MSG_DONTWAIT;
2009 : 84958 : err = sock_recvmsg(sock, &msg, flags);
2010 : :
2011 [ + + + + ]: 84751 : if (err >= 0 && addr != NULL) {
2012 : 30740 : err2 = move_addr_to_user(&address,
2013 : : msg.msg_namelen, addr, addr_len);
2014 [ - + ]: 30740 : if (err2 < 0)
2015 : 0 : err = err2;
2016 : : }
2017 : :
2018 : 84751 : fput_light(sock->file, fput_needed);
2019 : : out:
2020 : 84750 : return err;
2021 : : }
2022 : :
2023 : 61480 : SYSCALL_DEFINE6(recvfrom, int, fd, void __user *, ubuf, size_t, size,
2024 : : unsigned int, flags, struct sockaddr __user *, addr,
2025 : : int __user *, addr_len)
2026 : : {
2027 : 30740 : return __sys_recvfrom(fd, ubuf, size, flags, addr, addr_len);
2028 : : }
2029 : :
2030 : : /*
2031 : : * Receive a datagram from a socket.
2032 : : */
2033 : :
2034 : 108229 : SYSCALL_DEFINE4(recv, int, fd, void __user *, ubuf, size_t, size,
2035 : : unsigned int, flags)
2036 : : {
2037 : 54218 : return __sys_recvfrom(fd, ubuf, size, flags, NULL, NULL);
2038 : : }
2039 : :
2040 : : /*
2041 : : * Set a socket option. Because we don't know the option lengths we have
2042 : : * to pass the user mode parameter for the protocols to sort out.
2043 : : */
2044 : :
2045 : 73366 : static int __sys_setsockopt(int fd, int level, int optname,
2046 : : char __user *optval, int optlen)
2047 : : {
2048 : 73366 : mm_segment_t oldfs = get_fs();
2049 : 73366 : char *kernel_optval = NULL;
2050 : : int err, fput_needed;
2051 : : struct socket *sock;
2052 : :
2053 [ + - ]: 73366 : if (optlen < 0)
2054 : : return -EINVAL;
2055 : :
2056 : 73419 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2057 [ + + ]: 73421 : if (sock != NULL) {
2058 : 73421 : err = security_socket_setsockopt(sock, level, optname);
2059 [ + + ]: 73421 : if (err)
2060 : : goto out_put;
2061 : :
2062 [ + + ]: 73355 : err = BPF_CGROUP_RUN_PROG_SETSOCKOPT(sock->sk, &level,
2063 : : &optname, optval, &optlen,
2064 : : &kernel_optval);
2065 : :
2066 [ + + ]: 73384 : if (err < 0) {
2067 : : goto out_put;
2068 [ - + ]: 73388 : } else if (err > 0) {
2069 : 0 : err = 0;
2070 : 0 : goto out_put;
2071 : : }
2072 : :
2073 [ - + ]: 73388 : if (kernel_optval) {
2074 : : set_fs(KERNEL_DS);
2075 : 0 : optval = (char __user __force *)kernel_optval;
2076 : : }
2077 : :
2078 [ + + ]: 73388 : if (level == SOL_SOCKET)
2079 : 66175 : err =
2080 : 66141 : sock_setsockopt(sock, level, optname, optval,
2081 : : optlen);
2082 : : else
2083 : 7247 : err =
2084 : 7247 : sock->ops->setsockopt(sock, level, optname, optval,
2085 : : optlen);
2086 : :
2087 [ - + ]: 73422 : if (kernel_optval) {
2088 : : set_fs(oldfs);
2089 : 0 : kfree(kernel_optval);
2090 : : }
2091 : : out_put:
2092 : 73422 : fput_light(sock->file, fput_needed);
2093 : : }
2094 : 73422 : return err;
2095 : : }
2096 : :
2097 : 146776 : SYSCALL_DEFINE5(setsockopt, int, fd, int, level, int, optname,
2098 : : char __user *, optval, int, optlen)
2099 : : {
2100 : 73368 : return __sys_setsockopt(fd, level, optname, optval, optlen);
2101 : : }
2102 : :
2103 : : /*
2104 : : * Get a socket option. Because we don't know the option lengths we have
2105 : : * to pass a user mode parameter for the protocols to sort out.
2106 : : */
2107 : :
2108 : 102937 : static int __sys_getsockopt(int fd, int level, int optname,
2109 : : char __user *optval, int __user *optlen)
2110 : : {
2111 : : int err, fput_needed;
2112 : : struct socket *sock;
2113 : : int max_optlen;
2114 : :
2115 : 102937 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2116 [ + + ]: 102972 : if (sock != NULL) {
2117 : 102943 : err = security_socket_getsockopt(sock, level, optname);
2118 [ + + ]: 102967 : if (err)
2119 : : goto out_put;
2120 : :
2121 [ + + ]: 203809 : max_optlen = BPF_CGROUP_GETSOCKOPT_MAX_OPTLEN(optlen);
2122 : :
2123 [ + + ]: 102933 : if (level == SOL_SOCKET)
2124 : 102726 : err =
2125 : 102726 : sock_getsockopt(sock, level, optname, optval,
2126 : : optlen);
2127 : : else
2128 : 207 : err =
2129 : 207 : sock->ops->getsockopt(sock, level, optname, optval,
2130 : : optlen);
2131 : :
2132 [ + + ]: 205885 : err = BPF_CGROUP_RUN_PROG_GETSOCKOPT(sock->sk, level, optname,
2133 : : optval, optlen,
2134 : : max_optlen, err);
2135 : : out_put:
2136 : 102958 : fput_light(sock->file, fput_needed);
2137 : : }
2138 : 102987 : return err;
2139 : : }
2140 : :
2141 : 205941 : SYSCALL_DEFINE5(getsockopt, int, fd, int, level, int, optname,
2142 : : char __user *, optval, int __user *, optlen)
2143 : : {
2144 : 102974 : return __sys_getsockopt(fd, level, optname, optval, optlen);
2145 : : }
2146 : :
2147 : : /*
2148 : : * Shutdown a socket.
2149 : : */
2150 : :
2151 : 30189 : int __sys_shutdown(int fd, int how)
2152 : : {
2153 : : int err, fput_needed;
2154 : : struct socket *sock;
2155 : :
2156 : 30189 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2157 [ + - ]: 30188 : if (sock != NULL) {
2158 : 30189 : err = security_socket_shutdown(sock, how);
2159 [ + + ]: 30189 : if (!err)
2160 : 30177 : err = sock->ops->shutdown(sock, how);
2161 : 30200 : fput_light(sock->file, fput_needed);
2162 : : }
2163 : 30199 : return err;
2164 : : }
2165 : :
2166 : 60376 : SYSCALL_DEFINE2(shutdown, int, fd, int, how)
2167 : : {
2168 : 30189 : return __sys_shutdown(fd, how);
2169 : : }
2170 : :
2171 : : /* A couple of helpful macros for getting the address of the 32/64 bit
2172 : : * fields which are the same type (int / unsigned) on our platforms.
2173 : : */
2174 : : #define COMPAT_MSG(msg, member) ((MSG_CMSG_COMPAT & flags) ? &msg##_compat->member : &msg->member)
2175 : : #define COMPAT_NAMELEN(msg) COMPAT_MSG(msg, msg_namelen)
2176 : : #define COMPAT_FLAGS(msg) COMPAT_MSG(msg, msg_flags)
2177 : :
2178 : : struct used_address {
2179 : : struct sockaddr_storage name;
2180 : : unsigned int name_len;
2181 : : };
2182 : :
2183 : 2842751 : static int copy_msghdr_from_user(struct msghdr *kmsg,
2184 : : struct user_msghdr __user *umsg,
2185 : : struct sockaddr __user **save_addr,
2186 : : struct iovec **iov)
2187 : : {
2188 : : struct user_msghdr msg;
2189 : : ssize_t err;
2190 : :
2191 [ + + ]: 2843336 : if (copy_from_user(&msg, umsg, sizeof(*umsg)))
2192 : : return -EFAULT;
2193 : :
2194 : 2843480 : kmsg->msg_control = (void __force *)msg.msg_control;
2195 : 2843480 : kmsg->msg_controllen = msg.msg_controllen;
2196 : 2843480 : kmsg->msg_flags = msg.msg_flags;
2197 : :
2198 : 2843480 : kmsg->msg_namelen = msg.msg_namelen;
2199 [ + + ]: 2843480 : if (!msg.msg_name)
2200 : 2256968 : kmsg->msg_namelen = 0;
2201 : :
2202 [ + - ]: 2843480 : if (kmsg->msg_namelen < 0)
2203 : : return -EINVAL;
2204 : :
2205 [ - + ]: 2846416 : if (kmsg->msg_namelen > sizeof(struct sockaddr_storage))
2206 : 0 : kmsg->msg_namelen = sizeof(struct sockaddr_storage);
2207 : :
2208 [ + + ]: 2846416 : if (save_addr)
2209 : 2129402 : *save_addr = msg.msg_name;
2210 : :
2211 [ + + + - ]: 2846416 : if (msg.msg_name && kmsg->msg_namelen) {
2212 [ + + ]: 589454 : if (!save_addr) {
2213 : 289607 : err = move_addr_to_kernel(msg.msg_name,
2214 : : kmsg->msg_namelen,
2215 : 289607 : kmsg->msg_name);
2216 [ + + ]: 289859 : if (err < 0)
2217 : : return err;
2218 : : }
2219 : : } else {
2220 : 2256962 : kmsg->msg_name = NULL;
2221 : 2256962 : kmsg->msg_namelen = 0;
2222 : : }
2223 : :
2224 [ + - ]: 2843156 : if (msg.msg_iovlen > UIO_MAXIOV)
2225 : : return -EMSGSIZE;
2226 : :
2227 : 2843156 : kmsg->msg_iocb = NULL;
2228 : :
2229 : 5686312 : err = import_iovec(save_addr ? READ : WRITE,
2230 : 2843156 : msg.msg_iov, msg.msg_iovlen,
2231 : : UIO_FASTIOV, iov, &kmsg->msg_iter);
2232 : 2844501 : return err < 0 ? err : 0;
2233 : : }
2234 : :
2235 : 715905 : static int ____sys_sendmsg(struct socket *sock, struct msghdr *msg_sys,
2236 : : unsigned int flags, struct used_address *used_address,
2237 : : unsigned int allowed_msghdr_flags)
2238 : : {
2239 : : unsigned char ctl[sizeof(struct cmsghdr) + 20]
2240 : : __aligned(sizeof(__kernel_size_t));
2241 : : /* 20 is size of ipv6_pktinfo */
2242 : : unsigned char *ctl_buf = ctl;
2243 : : int ctl_len;
2244 : : ssize_t err;
2245 : :
2246 : : err = -ENOBUFS;
2247 : :
2248 [ + + ]: 715905 : if (msg_sys->msg_controllen > INT_MAX)
2249 : : goto out;
2250 : 713593 : flags |= (msg_sys->msg_flags & allowed_msghdr_flags);
2251 : : ctl_len = msg_sys->msg_controllen;
2252 : : if ((MSG_CMSG_COMPAT & flags) && ctl_len) {
2253 : : err =
2254 : : cmsghdr_from_user_compat_to_kern(msg_sys, sock->sk, ctl,
2255 : : sizeof(ctl));
2256 : : if (err)
2257 : : goto out;
2258 : : ctl_buf = msg_sys->msg_control;
2259 : : ctl_len = msg_sys->msg_controllen;
2260 [ + + ]: 713593 : } else if (ctl_len) {
2261 : : BUILD_BUG_ON(sizeof(struct cmsghdr) !=
2262 : : CMSG_ALIGN(sizeof(struct cmsghdr)));
2263 [ - + ]: 83619 : if (ctl_len > sizeof(ctl)) {
2264 : 0 : ctl_buf = sock_kmalloc(sock->sk, ctl_len, GFP_KERNEL);
2265 [ # # ]: 0 : if (ctl_buf == NULL)
2266 : : goto out;
2267 : : }
2268 : : err = -EFAULT;
2269 : : /*
2270 : : * Careful! Before this, msg_sys->msg_control contains a user pointer.
2271 : : * Afterwards, it will be a kernel pointer. Thus the compiler-assisted
2272 : : * checking falls down on this.
2273 : : */
2274 [ + + ]: 83723 : if (copy_from_user(ctl_buf,
2275 : 83621 : (void __user __force *)msg_sys->msg_control,
2276 : : ctl_len))
2277 : : goto out_freectl;
2278 : 83620 : msg_sys->msg_control = ctl_buf;
2279 : : }
2280 : 713594 : msg_sys->msg_flags = flags;
2281 : :
2282 [ + + ]: 713594 : if (sock->file->f_flags & O_NONBLOCK)
2283 : 552648 : msg_sys->msg_flags |= MSG_DONTWAIT;
2284 : : /*
2285 : : * If this is sendmmsg() and current destination address is same as
2286 : : * previously succeeded address, omit asking LSM's decision.
2287 : : * used_address->name_len is initialized to UINT_MAX so that the first
2288 : : * destination address never matches.
2289 : : */
2290 [ + + - + : 713594 : if (used_address && msg_sys->msg_name &&
# # ]
2291 [ # # ]: 0 : used_address->name_len == msg_sys->msg_namelen &&
2292 : 0 : !memcmp(&used_address->name, msg_sys->msg_name,
2293 : : used_address->name_len)) {
2294 : 0 : err = sock_sendmsg_nosec(sock, msg_sys);
2295 : 0 : goto out_freectl;
2296 : : }
2297 : 713594 : err = sock_sendmsg(sock, msg_sys);
2298 : : /*
2299 : : * If this is sendmmsg() and sending to current destination address was
2300 : : * successful, remember it.
2301 : : */
2302 [ + + ]: 716200 : if (used_address && err >= 0) {
2303 : 414 : used_address->name_len = msg_sys->msg_namelen;
2304 [ - + ]: 414 : if (msg_sys->msg_name)
2305 : 0 : memcpy(&used_address->name, msg_sys->msg_name,
2306 : : used_address->name_len);
2307 : : }
2308 : :
2309 : : out_freectl:
2310 [ - + ]: 716303 : if (ctl_buf != ctl)
2311 : 0 : sock_kfree_s(sock->sk, ctl_buf, ctl_len);
2312 : : out:
2313 : 718613 : return err;
2314 : : }
2315 : :
2316 : : static int sendmsg_copy_msghdr(struct msghdr *msg,
2317 : : struct user_msghdr __user *umsg, unsigned flags,
2318 : : struct iovec **iov)
2319 : : {
2320 : : int err;
2321 : :
2322 : : if (flags & MSG_CMSG_COMPAT) {
2323 : : struct compat_msghdr __user *msg_compat;
2324 : :
2325 : : msg_compat = (struct compat_msghdr __user *) umsg;
2326 : : err = get_compat_msghdr(msg, msg_compat, NULL, iov);
2327 : : } else {
2328 : 716144 : err = copy_msghdr_from_user(msg, umsg, NULL, iov);
2329 : : }
2330 [ # # - + ]: 716138 : if (err < 0)
2331 : : return err;
2332 : :
2333 : : return 0;
2334 : : }
2335 : :
2336 : 716144 : static int ___sys_sendmsg(struct socket *sock, struct user_msghdr __user *msg,
2337 : : struct msghdr *msg_sys, unsigned int flags,
2338 : : struct used_address *used_address,
2339 : : unsigned int allowed_msghdr_flags)
2340 : : {
2341 : : struct sockaddr_storage address;
2342 : 716144 : struct iovec iovstack[UIO_FASTIOV], *iov = iovstack;
2343 : : ssize_t err;
2344 : :
2345 : 716144 : msg_sys->msg_name = &address;
2346 : :
2347 : : err = sendmsg_copy_msghdr(msg_sys, msg, flags, &iov);
2348 [ + + ]: 716138 : if (err < 0)
2349 : : return err;
2350 : :
2351 : 714245 : err = ____sys_sendmsg(sock, msg_sys, flags, used_address,
2352 : : allowed_msghdr_flags);
2353 : 714376 : kfree(iov);
2354 : 715840 : return err;
2355 : : }
2356 : :
2357 : : /*
2358 : : * BSD sendmsg interface
2359 : : */
2360 : 0 : long __sys_sendmsg_sock(struct socket *sock, struct user_msghdr __user *umsg,
2361 : : unsigned int flags)
2362 : : {
2363 : 0 : struct iovec iovstack[UIO_FASTIOV], *iov = iovstack;
2364 : : struct sockaddr_storage address;
2365 : 0 : struct msghdr msg = { .msg_name = &address };
2366 : : ssize_t err;
2367 : :
2368 : : err = sendmsg_copy_msghdr(&msg, umsg, flags, &iov);
2369 [ # # ]: 0 : if (err)
2370 : : return err;
2371 : : /* disallow ancillary data requests from this path */
2372 [ # # # # ]: 0 : if (msg.msg_control || msg.msg_controllen) {
2373 : : err = -EINVAL;
2374 : : goto out;
2375 : : }
2376 : :
2377 : 0 : err = ____sys_sendmsg(sock, &msg, flags, NULL, 0);
2378 : : out:
2379 : 0 : kfree(iov);
2380 : 0 : return err;
2381 : : }
2382 : :
2383 : 715339 : long __sys_sendmsg(int fd, struct user_msghdr __user *msg, unsigned int flags,
2384 : : bool forbid_cmsg_compat)
2385 : : {
2386 : : int fput_needed, err;
2387 : : struct msghdr msg_sys;
2388 : : struct socket *sock;
2389 : :
2390 : : if (forbid_cmsg_compat && (flags & MSG_CMSG_COMPAT))
2391 : : return -EINVAL;
2392 : :
2393 : 715339 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2394 [ + + ]: 715734 : if (!sock)
2395 : : goto out;
2396 : :
2397 : 714992 : err = ___sys_sendmsg(sock, msg, &msg_sys, flags, NULL, 0);
2398 : :
2399 : 712721 : fput_light(sock->file, fput_needed);
2400 : : out:
2401 : 713481 : return err;
2402 : : }
2403 : :
2404 : 1429686 : SYSCALL_DEFINE3(sendmsg, int, fd, struct user_msghdr __user *, msg, unsigned int, flags)
2405 : : {
2406 : 716032 : return __sys_sendmsg(fd, msg, flags, true);
2407 : : }
2408 : :
2409 : : /*
2410 : : * Linux sendmmsg interface
2411 : : */
2412 : :
2413 : 207 : int __sys_sendmmsg(int fd, struct mmsghdr __user *mmsg, unsigned int vlen,
2414 : : unsigned int flags, bool forbid_cmsg_compat)
2415 : : {
2416 : : int fput_needed, err, datagrams;
2417 : : struct socket *sock;
2418 : : struct mmsghdr __user *entry;
2419 : : struct compat_mmsghdr __user *compat_entry;
2420 : : struct msghdr msg_sys;
2421 : : struct used_address used_address;
2422 : : unsigned int oflags = flags;
2423 : :
2424 : : if (forbid_cmsg_compat && (flags & MSG_CMSG_COMPAT))
2425 : : return -EINVAL;
2426 : :
2427 [ - + ]: 207 : if (vlen > UIO_MAXIOV)
2428 : : vlen = UIO_MAXIOV;
2429 : :
2430 : : datagrams = 0;
2431 : :
2432 : 207 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2433 [ - + ]: 207 : if (!sock)
2434 : 0 : return err;
2435 : :
2436 : 207 : used_address.name_len = UINT_MAX;
2437 : : entry = mmsg;
2438 : : compat_entry = (struct compat_mmsghdr __user *)mmsg;
2439 : 207 : err = 0;
2440 : 207 : flags |= MSG_BATCH;
2441 : :
2442 [ + + ]: 828 : while (datagrams < vlen) {
2443 [ + + ]: 414 : if (datagrams == vlen - 1)
2444 : : flags = oflags;
2445 : :
2446 : : if (MSG_CMSG_COMPAT & flags) {
2447 : : err = ___sys_sendmsg(sock, (struct user_msghdr __user *)compat_entry,
2448 : : &msg_sys, flags, &used_address, MSG_EOR);
2449 : : if (err < 0)
2450 : : break;
2451 : : err = __put_user(err, &compat_entry->msg_len);
2452 : : ++compat_entry;
2453 : : } else {
2454 : 414 : err = ___sys_sendmsg(sock,
2455 : : (struct user_msghdr __user *)entry,
2456 : : &msg_sys, flags, &used_address, MSG_EOR);
2457 [ + - ]: 414 : if (err < 0)
2458 : : break;
2459 : 828 : err = put_user(err, &entry->msg_len);
2460 : 414 : ++entry;
2461 : : }
2462 : :
2463 [ + - ]: 414 : if (err)
2464 : : break;
2465 : 414 : ++datagrams;
2466 [ + - ]: 414 : if (msg_data_left(&msg_sys))
2467 : : break;
2468 : 414 : cond_resched();
2469 : : }
2470 : :
2471 : 207 : fput_light(sock->file, fput_needed);
2472 : :
2473 : : /* We only return an error if no datagrams were able to be sent */
2474 [ - + ]: 207 : if (datagrams != 0)
2475 : : return datagrams;
2476 : :
2477 : 0 : return err;
2478 : : }
2479 : :
2480 : 414 : SYSCALL_DEFINE4(sendmmsg, int, fd, struct mmsghdr __user *, mmsg,
2481 : : unsigned int, vlen, unsigned int, flags)
2482 : : {
2483 : 207 : return __sys_sendmmsg(fd, mmsg, vlen, flags, true);
2484 : : }
2485 : :
2486 : : static int recvmsg_copy_msghdr(struct msghdr *msg,
2487 : : struct user_msghdr __user *umsg, unsigned flags,
2488 : : struct sockaddr __user **uaddr,
2489 : : struct iovec **iov)
2490 : : {
2491 : : ssize_t err;
2492 : :
2493 : : if (MSG_CMSG_COMPAT & flags) {
2494 : : struct compat_msghdr __user *msg_compat;
2495 : :
2496 : : msg_compat = (struct compat_msghdr __user *) umsg;
2497 : : err = get_compat_msghdr(msg, msg_compat, uaddr, iov);
2498 : : } else {
2499 : 2129781 : err = copy_msghdr_from_user(msg, umsg, uaddr, iov);
2500 : : }
2501 [ # # - + ]: 2128312 : if (err < 0)
2502 : : return err;
2503 : :
2504 : : return 0;
2505 : : }
2506 : :
2507 : 2130350 : static int ____sys_recvmsg(struct socket *sock, struct msghdr *msg_sys,
2508 : : struct user_msghdr __user *msg,
2509 : : struct sockaddr __user *uaddr,
2510 : : unsigned int flags, int nosec)
2511 : : {
2512 : : struct compat_msghdr __user *msg_compat =
2513 : : (struct compat_msghdr __user *) msg;
2514 : 2130350 : int __user *uaddr_len = COMPAT_NAMELEN(msg);
2515 : : struct sockaddr_storage addr;
2516 : : unsigned long cmsg_ptr;
2517 : : int len;
2518 : : ssize_t err;
2519 : :
2520 : 2130350 : msg_sys->msg_name = &addr;
2521 : 2130350 : cmsg_ptr = (unsigned long)msg_sys->msg_control;
2522 : 2130350 : msg_sys->msg_flags = flags & (MSG_CMSG_CLOEXEC|MSG_CMSG_COMPAT);
2523 : :
2524 : : /* We assume all kernel code knows the size of sockaddr_storage */
2525 : 2130350 : msg_sys->msg_namelen = 0;
2526 : :
2527 [ + + ]: 2130350 : if (sock->file->f_flags & O_NONBLOCK)
2528 : 1785888 : flags |= MSG_DONTWAIT;
2529 [ + + ]: 2130350 : err = (nosec ? sock_recvmsg_nosec : sock_recvmsg)(sock, msg_sys, flags);
2530 [ + + ]: 2130361 : if (err < 0)
2531 : : goto out;
2532 : : len = err;
2533 : :
2534 [ + + ]: 1442679 : if (uaddr != NULL) {
2535 : 298485 : err = move_addr_to_user(&addr,
2536 : : msg_sys->msg_namelen, uaddr,
2537 : : uaddr_len);
2538 [ + + ]: 298791 : if (err < 0)
2539 : : goto out;
2540 : : }
2541 : 2886614 : err = __put_user((msg_sys->msg_flags & ~MSG_CMSG_COMPAT),
2542 : : COMPAT_FLAGS(msg));
2543 [ + + ]: 1439869 : if (err)
2544 : : goto out;
2545 : : if (MSG_CMSG_COMPAT & flags)
2546 : : err = __put_user((unsigned long)msg_sys->msg_control - cmsg_ptr,
2547 : : &msg_compat->msg_controllen);
2548 : : else
2549 : 2880294 : err = __put_user((unsigned long)msg_sys->msg_control - cmsg_ptr,
2550 : : &msg->msg_controllen);
2551 [ + + ]: 1441603 : if (err)
2552 : : goto out;
2553 : : err = len;
2554 : : out:
2555 : 2128685 : return err;
2556 : : }
2557 : :
2558 : 2129781 : static int ___sys_recvmsg(struct socket *sock, struct user_msghdr __user *msg,
2559 : : struct msghdr *msg_sys, unsigned int flags, int nosec)
2560 : : {
2561 : 2129781 : struct iovec iovstack[UIO_FASTIOV], *iov = iovstack;
2562 : : /* user mode address pointers */
2563 : : struct sockaddr __user *uaddr;
2564 : : ssize_t err;
2565 : :
2566 : : err = recvmsg_copy_msghdr(msg_sys, msg, flags, &uaddr, &iov);
2567 [ + + ]: 2128312 : if (err < 0)
2568 : : return err;
2569 : :
2570 : 2128567 : err = ____sys_recvmsg(sock, msg_sys, msg, uaddr, flags, nosec);
2571 : 2128070 : kfree(iov);
2572 : 2130088 : return err;
2573 : : }
2574 : :
2575 : : /*
2576 : : * BSD recvmsg interface
2577 : : */
2578 : :
2579 : 0 : long __sys_recvmsg_sock(struct socket *sock, struct user_msghdr __user *umsg,
2580 : : unsigned int flags)
2581 : : {
2582 : 0 : struct iovec iovstack[UIO_FASTIOV], *iov = iovstack;
2583 : : struct sockaddr_storage address;
2584 : 0 : struct msghdr msg = { .msg_name = &address };
2585 : : struct sockaddr __user *uaddr;
2586 : : ssize_t err;
2587 : :
2588 : : err = recvmsg_copy_msghdr(&msg, umsg, flags, &uaddr, &iov);
2589 [ # # ]: 0 : if (err)
2590 : : return err;
2591 : : /* disallow ancillary data requests from this path */
2592 [ # # # # ]: 0 : if (msg.msg_control || msg.msg_controllen) {
2593 : : err = -EINVAL;
2594 : : goto out;
2595 : : }
2596 : :
2597 : 0 : err = ____sys_recvmsg(sock, &msg, umsg, uaddr, flags, 0);
2598 : : out:
2599 : 0 : kfree(iov);
2600 : 0 : return err;
2601 : : }
2602 : :
2603 : 2129605 : long __sys_recvmsg(int fd, struct user_msghdr __user *msg, unsigned int flags,
2604 : : bool forbid_cmsg_compat)
2605 : : {
2606 : : int fput_needed, err;
2607 : : struct msghdr msg_sys;
2608 : : struct socket *sock;
2609 : :
2610 : : if (forbid_cmsg_compat && (flags & MSG_CMSG_COMPAT))
2611 : : return -EINVAL;
2612 : :
2613 : 2129605 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2614 [ + + ]: 2130547 : if (!sock)
2615 : : goto out;
2616 : :
2617 : 2129632 : err = ___sys_recvmsg(sock, msg, &msg_sys, flags, 0);
2618 : :
2619 : 2130042 : fput_light(sock->file, fput_needed);
2620 : : out:
2621 : 2130973 : return err;
2622 : : }
2623 : :
2624 : 4261395 : SYSCALL_DEFINE3(recvmsg, int, fd, struct user_msghdr __user *, msg,
2625 : : unsigned int, flags)
2626 : : {
2627 : 2130779 : return __sys_recvmsg(fd, msg, flags, true);
2628 : : }
2629 : :
2630 : : /*
2631 : : * Linux recvmmsg interface
2632 : : */
2633 : :
2634 : 0 : static int do_recvmmsg(int fd, struct mmsghdr __user *mmsg,
2635 : : unsigned int vlen, unsigned int flags,
2636 : : struct timespec64 *timeout)
2637 : : {
2638 : : int fput_needed, err, datagrams;
2639 : : struct socket *sock;
2640 : : struct mmsghdr __user *entry;
2641 : : struct compat_mmsghdr __user *compat_entry;
2642 : : struct msghdr msg_sys;
2643 : : struct timespec64 end_time;
2644 : : struct timespec64 timeout64;
2645 : :
2646 [ # # # # ]: 0 : if (timeout &&
2647 : 0 : poll_select_set_timeout(&end_time, timeout->tv_sec,
2648 : : timeout->tv_nsec))
2649 : : return -EINVAL;
2650 : :
2651 : : datagrams = 0;
2652 : :
2653 : 0 : sock = sockfd_lookup_light(fd, &err, &fput_needed);
2654 [ # # ]: 0 : if (!sock)
2655 : 0 : return err;
2656 : :
2657 [ # # ]: 0 : if (likely(!(flags & MSG_ERRQUEUE))) {
2658 : 0 : err = sock_error(sock->sk);
2659 [ # # ]: 0 : if (err) {
2660 : : datagrams = err;
2661 : : goto out_put;
2662 : : }
2663 : : }
2664 : :
2665 : : entry = mmsg;
2666 : : compat_entry = (struct compat_mmsghdr __user *)mmsg;
2667 : :
2668 [ # # ]: 0 : while (datagrams < vlen) {
2669 : : /*
2670 : : * No need to ask LSM for more than the first datagram.
2671 : : */
2672 : : if (MSG_CMSG_COMPAT & flags) {
2673 : : err = ___sys_recvmsg(sock, (struct user_msghdr __user *)compat_entry,
2674 : : &msg_sys, flags & ~MSG_WAITFORONE,
2675 : : datagrams);
2676 : : if (err < 0)
2677 : : break;
2678 : : err = __put_user(err, &compat_entry->msg_len);
2679 : : ++compat_entry;
2680 : : } else {
2681 : 0 : err = ___sys_recvmsg(sock,
2682 : : (struct user_msghdr __user *)entry,
2683 : : &msg_sys, flags & ~MSG_WAITFORONE,
2684 : : datagrams);
2685 [ # # ]: 0 : if (err < 0)
2686 : : break;
2687 : 0 : err = put_user(err, &entry->msg_len);
2688 : 0 : ++entry;
2689 : : }
2690 : :
2691 [ # # ]: 0 : if (err)
2692 : : break;
2693 : 0 : ++datagrams;
2694 : :
2695 : : /* MSG_WAITFORONE turns on MSG_DONTWAIT after one packet */
2696 [ # # ]: 0 : if (flags & MSG_WAITFORONE)
2697 : 0 : flags |= MSG_DONTWAIT;
2698 : :
2699 [ # # ]: 0 : if (timeout) {
2700 : 0 : ktime_get_ts64(&timeout64);
2701 : 0 : *timeout = timespec64_sub(end_time, timeout64);
2702 [ # # ]: 0 : if (timeout->tv_sec < 0) {
2703 : 0 : timeout->tv_sec = timeout->tv_nsec = 0;
2704 : 0 : break;
2705 : : }
2706 : :
2707 : : /* Timeout, return less than vlen datagrams */
2708 [ # # # # ]: 0 : if (timeout->tv_nsec == 0 && timeout->tv_sec == 0)
2709 : : break;
2710 : : }
2711 : :
2712 : : /* Out of band data, return right away */
2713 [ # # ]: 0 : if (msg_sys.msg_flags & MSG_OOB)
2714 : : break;
2715 : 0 : cond_resched();
2716 : : }
2717 : :
2718 [ # # ]: 0 : if (err == 0)
2719 : : goto out_put;
2720 : :
2721 [ # # ]: 0 : if (datagrams == 0) {
2722 : : datagrams = err;
2723 : : goto out_put;
2724 : : }
2725 : :
2726 : : /*
2727 : : * We may return less entries than requested (vlen) if the
2728 : : * sock is non block and there aren't enough datagrams...
2729 : : */
2730 [ # # ]: 0 : if (err != -EAGAIN) {
2731 : : /*
2732 : : * ... or if recvmsg returns an error after we
2733 : : * received some datagrams, where we record the
2734 : : * error to return on the next call or if the
2735 : : * app asks about it using getsockopt(SO_ERROR).
2736 : : */
2737 : 0 : sock->sk->sk_err = -err;
2738 : : }
2739 : : out_put:
2740 : 0 : fput_light(sock->file, fput_needed);
2741 : :
2742 : 0 : return datagrams;
2743 : : }
2744 : :
2745 : 0 : int __sys_recvmmsg(int fd, struct mmsghdr __user *mmsg,
2746 : : unsigned int vlen, unsigned int flags,
2747 : : struct __kernel_timespec __user *timeout,
2748 : : struct old_timespec32 __user *timeout32)
2749 : : {
2750 : : int datagrams;
2751 : : struct timespec64 timeout_sys;
2752 : :
2753 [ # # # # ]: 0 : if (timeout && get_timespec64(&timeout_sys, timeout))
2754 : : return -EFAULT;
2755 : :
2756 [ # # # # ]: 0 : if (timeout32 && get_old_timespec32(&timeout_sys, timeout32))
2757 : : return -EFAULT;
2758 : :
2759 [ # # ]: 0 : if (!timeout && !timeout32)
2760 : 0 : return do_recvmmsg(fd, mmsg, vlen, flags, NULL);
2761 : :
2762 : 0 : datagrams = do_recvmmsg(fd, mmsg, vlen, flags, &timeout_sys);
2763 : :
2764 [ # # ]: 0 : if (datagrams <= 0)
2765 : : return datagrams;
2766 : :
2767 [ # # # # ]: 0 : if (timeout && put_timespec64(&timeout_sys, timeout))
2768 : : datagrams = -EFAULT;
2769 : :
2770 [ # # # # ]: 0 : if (timeout32 && put_old_timespec32(&timeout_sys, timeout32))
2771 : : datagrams = -EFAULT;
2772 : :
2773 : 0 : return datagrams;
2774 : : }
2775 : :
2776 : 0 : SYSCALL_DEFINE5(recvmmsg, int, fd, struct mmsghdr __user *, mmsg,
2777 : : unsigned int, vlen, unsigned int, flags,
2778 : : struct __kernel_timespec __user *, timeout)
2779 : : {
2780 : : if (flags & MSG_CMSG_COMPAT)
2781 : : return -EINVAL;
2782 : :
2783 : 0 : return __sys_recvmmsg(fd, mmsg, vlen, flags, timeout, NULL);
2784 : : }
2785 : :
2786 : : #ifdef CONFIG_COMPAT_32BIT_TIME
2787 : 0 : SYSCALL_DEFINE5(recvmmsg_time32, int, fd, struct mmsghdr __user *, mmsg,
2788 : : unsigned int, vlen, unsigned int, flags,
2789 : : struct old_timespec32 __user *, timeout)
2790 : : {
2791 : : if (flags & MSG_CMSG_COMPAT)
2792 : : return -EINVAL;
2793 : :
2794 : 0 : return __sys_recvmmsg(fd, mmsg, vlen, flags, NULL, timeout);
2795 : : }
2796 : : #endif
2797 : :
2798 : : #ifdef __ARCH_WANT_SYS_SOCKETCALL
2799 : : /* Argument list sizes for sys_socketcall */
2800 : : #define AL(x) ((x) * sizeof(unsigned long))
2801 : : static const unsigned char nargs[21] = {
2802 : : AL(0), AL(3), AL(3), AL(3), AL(2), AL(3),
2803 : : AL(3), AL(3), AL(4), AL(4), AL(4), AL(6),
2804 : : AL(6), AL(2), AL(5), AL(5), AL(3), AL(3),
2805 : : AL(4), AL(5), AL(4)
2806 : : };
2807 : :
2808 : : #undef AL
2809 : :
2810 : : /*
2811 : : * System call vectors.
2812 : : *
2813 : : * Argument checking cleaned up. Saved 20% in size.
2814 : : * This function doesn't need to set the kernel lock because
2815 : : * it is set by the callees.
2816 : : */
2817 : :
2818 : : SYSCALL_DEFINE2(socketcall, int, call, unsigned long __user *, args)
2819 : : {
2820 : : unsigned long a[AUDITSC_ARGS];
2821 : : unsigned long a0, a1;
2822 : : int err;
2823 : : unsigned int len;
2824 : :
2825 : : if (call < 1 || call > SYS_SENDMMSG)
2826 : : return -EINVAL;
2827 : : call = array_index_nospec(call, SYS_SENDMMSG + 1);
2828 : :
2829 : : len = nargs[call];
2830 : : if (len > sizeof(a))
2831 : : return -EINVAL;
2832 : :
2833 : : /* copy_from_user should be SMP safe. */
2834 : : if (copy_from_user(a, args, len))
2835 : : return -EFAULT;
2836 : :
2837 : : err = audit_socketcall(nargs[call] / sizeof(unsigned long), a);
2838 : : if (err)
2839 : : return err;
2840 : :
2841 : : a0 = a[0];
2842 : : a1 = a[1];
2843 : :
2844 : : switch (call) {
2845 : : case SYS_SOCKET:
2846 : : err = __sys_socket(a0, a1, a[2]);
2847 : : break;
2848 : : case SYS_BIND:
2849 : : err = __sys_bind(a0, (struct sockaddr __user *)a1, a[2]);
2850 : : break;
2851 : : case SYS_CONNECT:
2852 : : err = __sys_connect(a0, (struct sockaddr __user *)a1, a[2]);
2853 : : break;
2854 : : case SYS_LISTEN:
2855 : : err = __sys_listen(a0, a1);
2856 : : break;
2857 : : case SYS_ACCEPT:
2858 : : err = __sys_accept4(a0, (struct sockaddr __user *)a1,
2859 : : (int __user *)a[2], 0);
2860 : : break;
2861 : : case SYS_GETSOCKNAME:
2862 : : err =
2863 : : __sys_getsockname(a0, (struct sockaddr __user *)a1,
2864 : : (int __user *)a[2]);
2865 : : break;
2866 : : case SYS_GETPEERNAME:
2867 : : err =
2868 : : __sys_getpeername(a0, (struct sockaddr __user *)a1,
2869 : : (int __user *)a[2]);
2870 : : break;
2871 : : case SYS_SOCKETPAIR:
2872 : : err = __sys_socketpair(a0, a1, a[2], (int __user *)a[3]);
2873 : : break;
2874 : : case SYS_SEND:
2875 : : err = __sys_sendto(a0, (void __user *)a1, a[2], a[3],
2876 : : NULL, 0);
2877 : : break;
2878 : : case SYS_SENDTO:
2879 : : err = __sys_sendto(a0, (void __user *)a1, a[2], a[3],
2880 : : (struct sockaddr __user *)a[4], a[5]);
2881 : : break;
2882 : : case SYS_RECV:
2883 : : err = __sys_recvfrom(a0, (void __user *)a1, a[2], a[3],
2884 : : NULL, NULL);
2885 : : break;
2886 : : case SYS_RECVFROM:
2887 : : err = __sys_recvfrom(a0, (void __user *)a1, a[2], a[3],
2888 : : (struct sockaddr __user *)a[4],
2889 : : (int __user *)a[5]);
2890 : : break;
2891 : : case SYS_SHUTDOWN:
2892 : : err = __sys_shutdown(a0, a1);
2893 : : break;
2894 : : case SYS_SETSOCKOPT:
2895 : : err = __sys_setsockopt(a0, a1, a[2], (char __user *)a[3],
2896 : : a[4]);
2897 : : break;
2898 : : case SYS_GETSOCKOPT:
2899 : : err =
2900 : : __sys_getsockopt(a0, a1, a[2], (char __user *)a[3],
2901 : : (int __user *)a[4]);
2902 : : break;
2903 : : case SYS_SENDMSG:
2904 : : err = __sys_sendmsg(a0, (struct user_msghdr __user *)a1,
2905 : : a[2], true);
2906 : : break;
2907 : : case SYS_SENDMMSG:
2908 : : err = __sys_sendmmsg(a0, (struct mmsghdr __user *)a1, a[2],
2909 : : a[3], true);
2910 : : break;
2911 : : case SYS_RECVMSG:
2912 : : err = __sys_recvmsg(a0, (struct user_msghdr __user *)a1,
2913 : : a[2], true);
2914 : : break;
2915 : : case SYS_RECVMMSG:
2916 : : if (IS_ENABLED(CONFIG_64BIT) || !IS_ENABLED(CONFIG_64BIT_TIME))
2917 : : err = __sys_recvmmsg(a0, (struct mmsghdr __user *)a1,
2918 : : a[2], a[3],
2919 : : (struct __kernel_timespec __user *)a[4],
2920 : : NULL);
2921 : : else
2922 : : err = __sys_recvmmsg(a0, (struct mmsghdr __user *)a1,
2923 : : a[2], a[3], NULL,
2924 : : (struct old_timespec32 __user *)a[4]);
2925 : : break;
2926 : : case SYS_ACCEPT4:
2927 : : err = __sys_accept4(a0, (struct sockaddr __user *)a1,
2928 : : (int __user *)a[2], a[3]);
2929 : : break;
2930 : : default:
2931 : : err = -EINVAL;
2932 : : break;
2933 : : }
2934 : : return err;
2935 : : }
2936 : :
2937 : : #endif /* __ARCH_WANT_SYS_SOCKETCALL */
2938 : :
2939 : : /**
2940 : : * sock_register - add a socket protocol handler
2941 : : * @ops: description of protocol
2942 : : *
2943 : : * This function is called by a protocol handler that wants to
2944 : : * advertise its address family, and have it linked into the
2945 : : * socket interface. The value ops->family corresponds to the
2946 : : * socket system call protocol family.
2947 : : */
2948 : 1035 : int sock_register(const struct net_proto_family *ops)
2949 : : {
2950 : : int err;
2951 : :
2952 [ - + ]: 1035 : if (ops->family >= NPROTO) {
2953 : 0 : pr_crit("protocol %d >= NPROTO(%d)\n", ops->family, NPROTO);
2954 : 0 : return -ENOBUFS;
2955 : : }
2956 : :
2957 : : spin_lock(&net_family_lock);
2958 [ + - ]: 1035 : if (rcu_dereference_protected(net_families[ops->family],
2959 : : lockdep_is_held(&net_family_lock)))
2960 : : err = -EEXIST;
2961 : : else {
2962 : 1035 : rcu_assign_pointer(net_families[ops->family], ops);
2963 : : err = 0;
2964 : : }
2965 : : spin_unlock(&net_family_lock);
2966 : :
2967 : 1035 : pr_info("NET: Registered protocol family %d\n", ops->family);
2968 : 1035 : return err;
2969 : : }
2970 : : EXPORT_SYMBOL(sock_register);
2971 : :
2972 : : /**
2973 : : * sock_unregister - remove a protocol handler
2974 : : * @family: protocol family to remove
2975 : : *
2976 : : * This function is called by a protocol handler that wants to
2977 : : * remove its address family, and have it unlinked from the
2978 : : * new socket creation.
2979 : : *
2980 : : * If protocol handler is a module, then it can use module reference
2981 : : * counts to protect against new references. If protocol handler is not
2982 : : * a module then it needs to provide its own protection in
2983 : : * the ops->create routine.
2984 : : */
2985 : 0 : void sock_unregister(int family)
2986 : : {
2987 [ # # ]: 0 : BUG_ON(family < 0 || family >= NPROTO);
2988 : :
2989 : : spin_lock(&net_family_lock);
2990 : 0 : RCU_INIT_POINTER(net_families[family], NULL);
2991 : : spin_unlock(&net_family_lock);
2992 : :
2993 : 0 : synchronize_rcu();
2994 : :
2995 : 0 : pr_info("NET: Unregistered protocol family %d\n", family);
2996 : 0 : }
2997 : : EXPORT_SYMBOL(sock_unregister);
2998 : :
2999 : 0 : bool sock_is_registered(int family)
3000 : : {
3001 [ # # # # ]: 0 : return family < NPROTO && rcu_access_pointer(net_families[family]);
3002 : : }
3003 : :
3004 : 207 : static int __init sock_init(void)
3005 : : {
3006 : : int err;
3007 : : /*
3008 : : * Initialize the network sysctl infrastructure.
3009 : : */
3010 : 207 : err = net_sysctl_init();
3011 [ + - ]: 207 : if (err)
3012 : : goto out;
3013 : :
3014 : : /*
3015 : : * Initialize skbuff SLAB cache
3016 : : */
3017 : 207 : skb_init();
3018 : :
3019 : : /*
3020 : : * Initialize the protocols module.
3021 : : */
3022 : :
3023 : 207 : init_inodecache();
3024 : :
3025 : 207 : err = register_filesystem(&sock_fs_type);
3026 [ + - ]: 207 : if (err)
3027 : : goto out_fs;
3028 : 207 : sock_mnt = kern_mount(&sock_fs_type);
3029 [ - + ]: 207 : if (IS_ERR(sock_mnt)) {
3030 : : err = PTR_ERR(sock_mnt);
3031 : : goto out_mount;
3032 : : }
3033 : :
3034 : : /* The real protocol initialization is performed in later initcalls.
3035 : : */
3036 : :
3037 : : #ifdef CONFIG_NETFILTER
3038 : 207 : err = netfilter_init();
3039 : : if (err)
3040 : : goto out;
3041 : : #endif
3042 : :
3043 : : ptp_classifier_init();
3044 : :
3045 : : out:
3046 : 207 : return err;
3047 : :
3048 : : out_mount:
3049 : 0 : unregister_filesystem(&sock_fs_type);
3050 : : out_fs:
3051 : : goto out;
3052 : : }
3053 : :
3054 : : core_initcall(sock_init); /* early initcall */
3055 : :
3056 : : #ifdef CONFIG_PROC_FS
3057 : 0 : void socket_seq_show(struct seq_file *seq)
3058 : : {
3059 : 0 : seq_printf(seq, "sockets: used %d\n",
3060 : 0 : sock_inuse_get(seq->private));
3061 : 0 : }
3062 : : #endif /* CONFIG_PROC_FS */
3063 : :
3064 : : #ifdef CONFIG_COMPAT
3065 : : static int compat_dev_ifconf(struct net *net, struct compat_ifconf __user *uifc32)
3066 : : {
3067 : : struct compat_ifconf ifc32;
3068 : : struct ifconf ifc;
3069 : : int err;
3070 : :
3071 : : if (copy_from_user(&ifc32, uifc32, sizeof(struct compat_ifconf)))
3072 : : return -EFAULT;
3073 : :
3074 : : ifc.ifc_len = ifc32.ifc_len;
3075 : : ifc.ifc_req = compat_ptr(ifc32.ifcbuf);
3076 : :
3077 : : rtnl_lock();
3078 : : err = dev_ifconf(net, &ifc, sizeof(struct compat_ifreq));
3079 : : rtnl_unlock();
3080 : : if (err)
3081 : : return err;
3082 : :
3083 : : ifc32.ifc_len = ifc.ifc_len;
3084 : : if (copy_to_user(uifc32, &ifc32, sizeof(struct compat_ifconf)))
3085 : : return -EFAULT;
3086 : :
3087 : : return 0;
3088 : : }
3089 : :
3090 : : static int ethtool_ioctl(struct net *net, struct compat_ifreq __user *ifr32)
3091 : : {
3092 : : struct compat_ethtool_rxnfc __user *compat_rxnfc;
3093 : : bool convert_in = false, convert_out = false;
3094 : : size_t buf_size = 0;
3095 : : struct ethtool_rxnfc __user *rxnfc = NULL;
3096 : : struct ifreq ifr;
3097 : : u32 rule_cnt = 0, actual_rule_cnt;
3098 : : u32 ethcmd;
3099 : : u32 data;
3100 : : int ret;
3101 : :
3102 : : if (get_user(data, &ifr32->ifr_ifru.ifru_data))
3103 : : return -EFAULT;
3104 : :
3105 : : compat_rxnfc = compat_ptr(data);
3106 : :
3107 : : if (get_user(ethcmd, &compat_rxnfc->cmd))
3108 : : return -EFAULT;
3109 : :
3110 : : /* Most ethtool structures are defined without padding.
3111 : : * Unfortunately struct ethtool_rxnfc is an exception.
3112 : : */
3113 : : switch (ethcmd) {
3114 : : default:
3115 : : break;
3116 : : case ETHTOOL_GRXCLSRLALL:
3117 : : /* Buffer size is variable */
3118 : : if (get_user(rule_cnt, &compat_rxnfc->rule_cnt))
3119 : : return -EFAULT;
3120 : : if (rule_cnt > KMALLOC_MAX_SIZE / sizeof(u32))
3121 : : return -ENOMEM;
3122 : : buf_size += rule_cnt * sizeof(u32);
3123 : : /* fall through */
3124 : : case ETHTOOL_GRXRINGS:
3125 : : case ETHTOOL_GRXCLSRLCNT:
3126 : : case ETHTOOL_GRXCLSRULE:
3127 : : case ETHTOOL_SRXCLSRLINS:
3128 : : convert_out = true;
3129 : : /* fall through */
3130 : : case ETHTOOL_SRXCLSRLDEL:
3131 : : buf_size += sizeof(struct ethtool_rxnfc);
3132 : : convert_in = true;
3133 : : rxnfc = compat_alloc_user_space(buf_size);
3134 : : break;
3135 : : }
3136 : :
3137 : : if (copy_from_user(&ifr.ifr_name, &ifr32->ifr_name, IFNAMSIZ))
3138 : : return -EFAULT;
3139 : :
3140 : : ifr.ifr_data = convert_in ? rxnfc : (void __user *)compat_rxnfc;
3141 : :
3142 : : if (convert_in) {
3143 : : /* We expect there to be holes between fs.m_ext and
3144 : : * fs.ring_cookie and at the end of fs, but nowhere else.
3145 : : */
3146 : : BUILD_BUG_ON(offsetof(struct compat_ethtool_rxnfc, fs.m_ext) +
3147 : : sizeof(compat_rxnfc->fs.m_ext) !=
3148 : : offsetof(struct ethtool_rxnfc, fs.m_ext) +
3149 : : sizeof(rxnfc->fs.m_ext));
3150 : : BUILD_BUG_ON(
3151 : : offsetof(struct compat_ethtool_rxnfc, fs.location) -
3152 : : offsetof(struct compat_ethtool_rxnfc, fs.ring_cookie) !=
3153 : : offsetof(struct ethtool_rxnfc, fs.location) -
3154 : : offsetof(struct ethtool_rxnfc, fs.ring_cookie));
3155 : :
3156 : : if (copy_in_user(rxnfc, compat_rxnfc,
3157 : : (void __user *)(&rxnfc->fs.m_ext + 1) -
3158 : : (void __user *)rxnfc) ||
3159 : : copy_in_user(&rxnfc->fs.ring_cookie,
3160 : : &compat_rxnfc->fs.ring_cookie,
3161 : : (void __user *)(&rxnfc->fs.location + 1) -
3162 : : (void __user *)&rxnfc->fs.ring_cookie))
3163 : : return -EFAULT;
3164 : : if (ethcmd == ETHTOOL_GRXCLSRLALL) {
3165 : : if (put_user(rule_cnt, &rxnfc->rule_cnt))
3166 : : return -EFAULT;
3167 : : } else if (copy_in_user(&rxnfc->rule_cnt,
3168 : : &compat_rxnfc->rule_cnt,
3169 : : sizeof(rxnfc->rule_cnt)))
3170 : : return -EFAULT;
3171 : : }
3172 : :
3173 : : ret = dev_ioctl(net, SIOCETHTOOL, &ifr, NULL);
3174 : : if (ret)
3175 : : return ret;
3176 : :
3177 : : if (convert_out) {
3178 : : if (copy_in_user(compat_rxnfc, rxnfc,
3179 : : (const void __user *)(&rxnfc->fs.m_ext + 1) -
3180 : : (const void __user *)rxnfc) ||
3181 : : copy_in_user(&compat_rxnfc->fs.ring_cookie,
3182 : : &rxnfc->fs.ring_cookie,
3183 : : (const void __user *)(&rxnfc->fs.location + 1) -
3184 : : (const void __user *)&rxnfc->fs.ring_cookie) ||
3185 : : copy_in_user(&compat_rxnfc->rule_cnt, &rxnfc->rule_cnt,
3186 : : sizeof(rxnfc->rule_cnt)))
3187 : : return -EFAULT;
3188 : :
3189 : : if (ethcmd == ETHTOOL_GRXCLSRLALL) {
3190 : : /* As an optimisation, we only copy the actual
3191 : : * number of rules that the underlying
3192 : : * function returned. Since Mallory might
3193 : : * change the rule count in user memory, we
3194 : : * check that it is less than the rule count
3195 : : * originally given (as the user buffer size),
3196 : : * which has been range-checked.
3197 : : */
3198 : : if (get_user(actual_rule_cnt, &rxnfc->rule_cnt))
3199 : : return -EFAULT;
3200 : : if (actual_rule_cnt < rule_cnt)
3201 : : rule_cnt = actual_rule_cnt;
3202 : : if (copy_in_user(&compat_rxnfc->rule_locs[0],
3203 : : &rxnfc->rule_locs[0],
3204 : : rule_cnt * sizeof(u32)))
3205 : : return -EFAULT;
3206 : : }
3207 : : }
3208 : :
3209 : : return 0;
3210 : : }
3211 : :
3212 : : static int compat_siocwandev(struct net *net, struct compat_ifreq __user *uifr32)
3213 : : {
3214 : : compat_uptr_t uptr32;
3215 : : struct ifreq ifr;
3216 : : void __user *saved;
3217 : : int err;
3218 : :
3219 : : if (copy_from_user(&ifr, uifr32, sizeof(struct compat_ifreq)))
3220 : : return -EFAULT;
3221 : :
3222 : : if (get_user(uptr32, &uifr32->ifr_settings.ifs_ifsu))
3223 : : return -EFAULT;
3224 : :
3225 : : saved = ifr.ifr_settings.ifs_ifsu.raw_hdlc;
3226 : : ifr.ifr_settings.ifs_ifsu.raw_hdlc = compat_ptr(uptr32);
3227 : :
3228 : : err = dev_ioctl(net, SIOCWANDEV, &ifr, NULL);
3229 : : if (!err) {
3230 : : ifr.ifr_settings.ifs_ifsu.raw_hdlc = saved;
3231 : : if (copy_to_user(uifr32, &ifr, sizeof(struct compat_ifreq)))
3232 : : err = -EFAULT;
3233 : : }
3234 : : return err;
3235 : : }
3236 : :
3237 : : /* Handle ioctls that use ifreq::ifr_data and just need struct ifreq converted */
3238 : : static int compat_ifr_data_ioctl(struct net *net, unsigned int cmd,
3239 : : struct compat_ifreq __user *u_ifreq32)
3240 : : {
3241 : : struct ifreq ifreq;
3242 : : u32 data32;
3243 : :
3244 : : if (copy_from_user(ifreq.ifr_name, u_ifreq32->ifr_name, IFNAMSIZ))
3245 : : return -EFAULT;
3246 : : if (get_user(data32, &u_ifreq32->ifr_data))
3247 : : return -EFAULT;
3248 : : ifreq.ifr_data = compat_ptr(data32);
3249 : :
3250 : : return dev_ioctl(net, cmd, &ifreq, NULL);
3251 : : }
3252 : :
3253 : : static int compat_ifreq_ioctl(struct net *net, struct socket *sock,
3254 : : unsigned int cmd,
3255 : : struct compat_ifreq __user *uifr32)
3256 : : {
3257 : : struct ifreq __user *uifr;
3258 : : int err;
3259 : :
3260 : : /* Handle the fact that while struct ifreq has the same *layout* on
3261 : : * 32/64 for everything but ifreq::ifru_ifmap and ifreq::ifru_data,
3262 : : * which are handled elsewhere, it still has different *size* due to
3263 : : * ifreq::ifru_ifmap (which is 16 bytes on 32 bit, 24 bytes on 64-bit,
3264 : : * resulting in struct ifreq being 32 and 40 bytes respectively).
3265 : : * As a result, if the struct happens to be at the end of a page and
3266 : : * the next page isn't readable/writable, we get a fault. To prevent
3267 : : * that, copy back and forth to the full size.
3268 : : */
3269 : :
3270 : : uifr = compat_alloc_user_space(sizeof(*uifr));
3271 : : if (copy_in_user(uifr, uifr32, sizeof(*uifr32)))
3272 : : return -EFAULT;
3273 : :
3274 : : err = sock_do_ioctl(net, sock, cmd, (unsigned long)uifr);
3275 : :
3276 : : if (!err) {
3277 : : switch (cmd) {
3278 : : case SIOCGIFFLAGS:
3279 : : case SIOCGIFMETRIC:
3280 : : case SIOCGIFMTU:
3281 : : case SIOCGIFMEM:
3282 : : case SIOCGIFHWADDR:
3283 : : case SIOCGIFINDEX:
3284 : : case SIOCGIFADDR:
3285 : : case SIOCGIFBRDADDR:
3286 : : case SIOCGIFDSTADDR:
3287 : : case SIOCGIFNETMASK:
3288 : : case SIOCGIFPFLAGS:
3289 : : case SIOCGIFTXQLEN:
3290 : : case SIOCGMIIPHY:
3291 : : case SIOCGMIIREG:
3292 : : case SIOCGIFNAME:
3293 : : if (copy_in_user(uifr32, uifr, sizeof(*uifr32)))
3294 : : err = -EFAULT;
3295 : : break;
3296 : : }
3297 : : }
3298 : : return err;
3299 : : }
3300 : :
3301 : : static int compat_sioc_ifmap(struct net *net, unsigned int cmd,
3302 : : struct compat_ifreq __user *uifr32)
3303 : : {
3304 : : struct ifreq ifr;
3305 : : struct compat_ifmap __user *uifmap32;
3306 : : int err;
3307 : :
3308 : : uifmap32 = &uifr32->ifr_ifru.ifru_map;
3309 : : err = copy_from_user(&ifr, uifr32, sizeof(ifr.ifr_name));
3310 : : err |= get_user(ifr.ifr_map.mem_start, &uifmap32->mem_start);
3311 : : err |= get_user(ifr.ifr_map.mem_end, &uifmap32->mem_end);
3312 : : err |= get_user(ifr.ifr_map.base_addr, &uifmap32->base_addr);
3313 : : err |= get_user(ifr.ifr_map.irq, &uifmap32->irq);
3314 : : err |= get_user(ifr.ifr_map.dma, &uifmap32->dma);
3315 : : err |= get_user(ifr.ifr_map.port, &uifmap32->port);
3316 : : if (err)
3317 : : return -EFAULT;
3318 : :
3319 : : err = dev_ioctl(net, cmd, &ifr, NULL);
3320 : :
3321 : : if (cmd == SIOCGIFMAP && !err) {
3322 : : err = copy_to_user(uifr32, &ifr, sizeof(ifr.ifr_name));
3323 : : err |= put_user(ifr.ifr_map.mem_start, &uifmap32->mem_start);
3324 : : err |= put_user(ifr.ifr_map.mem_end, &uifmap32->mem_end);
3325 : : err |= put_user(ifr.ifr_map.base_addr, &uifmap32->base_addr);
3326 : : err |= put_user(ifr.ifr_map.irq, &uifmap32->irq);
3327 : : err |= put_user(ifr.ifr_map.dma, &uifmap32->dma);
3328 : : err |= put_user(ifr.ifr_map.port, &uifmap32->port);
3329 : : if (err)
3330 : : err = -EFAULT;
3331 : : }
3332 : : return err;
3333 : : }
3334 : :
3335 : : struct rtentry32 {
3336 : : u32 rt_pad1;
3337 : : struct sockaddr rt_dst; /* target address */
3338 : : struct sockaddr rt_gateway; /* gateway addr (RTF_GATEWAY) */
3339 : : struct sockaddr rt_genmask; /* target network mask (IP) */
3340 : : unsigned short rt_flags;
3341 : : short rt_pad2;
3342 : : u32 rt_pad3;
3343 : : unsigned char rt_tos;
3344 : : unsigned char rt_class;
3345 : : short rt_pad4;
3346 : : short rt_metric; /* +1 for binary compatibility! */
3347 : : /* char * */ u32 rt_dev; /* forcing the device at add */
3348 : : u32 rt_mtu; /* per route MTU/Window */
3349 : : u32 rt_window; /* Window clamping */
3350 : : unsigned short rt_irtt; /* Initial RTT */
3351 : : };
3352 : :
3353 : : struct in6_rtmsg32 {
3354 : : struct in6_addr rtmsg_dst;
3355 : : struct in6_addr rtmsg_src;
3356 : : struct in6_addr rtmsg_gateway;
3357 : : u32 rtmsg_type;
3358 : : u16 rtmsg_dst_len;
3359 : : u16 rtmsg_src_len;
3360 : : u32 rtmsg_metric;
3361 : : u32 rtmsg_info;
3362 : : u32 rtmsg_flags;
3363 : : s32 rtmsg_ifindex;
3364 : : };
3365 : :
3366 : : static int routing_ioctl(struct net *net, struct socket *sock,
3367 : : unsigned int cmd, void __user *argp)
3368 : : {
3369 : : int ret;
3370 : : void *r = NULL;
3371 : : struct in6_rtmsg r6;
3372 : : struct rtentry r4;
3373 : : char devname[16];
3374 : : u32 rtdev;
3375 : : mm_segment_t old_fs = get_fs();
3376 : :
3377 : : if (sock && sock->sk && sock->sk->sk_family == AF_INET6) { /* ipv6 */
3378 : : struct in6_rtmsg32 __user *ur6 = argp;
3379 : : ret = copy_from_user(&r6.rtmsg_dst, &(ur6->rtmsg_dst),
3380 : : 3 * sizeof(struct in6_addr));
3381 : : ret |= get_user(r6.rtmsg_type, &(ur6->rtmsg_type));
3382 : : ret |= get_user(r6.rtmsg_dst_len, &(ur6->rtmsg_dst_len));
3383 : : ret |= get_user(r6.rtmsg_src_len, &(ur6->rtmsg_src_len));
3384 : : ret |= get_user(r6.rtmsg_metric, &(ur6->rtmsg_metric));
3385 : : ret |= get_user(r6.rtmsg_info, &(ur6->rtmsg_info));
3386 : : ret |= get_user(r6.rtmsg_flags, &(ur6->rtmsg_flags));
3387 : : ret |= get_user(r6.rtmsg_ifindex, &(ur6->rtmsg_ifindex));
3388 : :
3389 : : r = (void *) &r6;
3390 : : } else { /* ipv4 */
3391 : : struct rtentry32 __user *ur4 = argp;
3392 : : ret = copy_from_user(&r4.rt_dst, &(ur4->rt_dst),
3393 : : 3 * sizeof(struct sockaddr));
3394 : : ret |= get_user(r4.rt_flags, &(ur4->rt_flags));
3395 : : ret |= get_user(r4.rt_metric, &(ur4->rt_metric));
3396 : : ret |= get_user(r4.rt_mtu, &(ur4->rt_mtu));
3397 : : ret |= get_user(r4.rt_window, &(ur4->rt_window));
3398 : : ret |= get_user(r4.rt_irtt, &(ur4->rt_irtt));
3399 : : ret |= get_user(rtdev, &(ur4->rt_dev));
3400 : : if (rtdev) {
3401 : : ret |= copy_from_user(devname, compat_ptr(rtdev), 15);
3402 : : r4.rt_dev = (char __user __force *)devname;
3403 : : devname[15] = 0;
3404 : : } else
3405 : : r4.rt_dev = NULL;
3406 : :
3407 : : r = (void *) &r4;
3408 : : }
3409 : :
3410 : : if (ret) {
3411 : : ret = -EFAULT;
3412 : : goto out;
3413 : : }
3414 : :
3415 : : set_fs(KERNEL_DS);
3416 : : ret = sock_do_ioctl(net, sock, cmd, (unsigned long) r);
3417 : : set_fs(old_fs);
3418 : :
3419 : : out:
3420 : : return ret;
3421 : : }
3422 : :
3423 : : /* Since old style bridge ioctl's endup using SIOCDEVPRIVATE
3424 : : * for some operations; this forces use of the newer bridge-utils that
3425 : : * use compatible ioctls
3426 : : */
3427 : : static int old_bridge_ioctl(compat_ulong_t __user *argp)
3428 : : {
3429 : : compat_ulong_t tmp;
3430 : :
3431 : : if (get_user(tmp, argp))
3432 : : return -EFAULT;
3433 : : if (tmp == BRCTL_GET_VERSION)
3434 : : return BRCTL_VERSION + 1;
3435 : : return -EINVAL;
3436 : : }
3437 : :
3438 : : static int compat_sock_ioctl_trans(struct file *file, struct socket *sock,
3439 : : unsigned int cmd, unsigned long arg)
3440 : : {
3441 : : void __user *argp = compat_ptr(arg);
3442 : : struct sock *sk = sock->sk;
3443 : : struct net *net = sock_net(sk);
3444 : :
3445 : : if (cmd >= SIOCDEVPRIVATE && cmd <= (SIOCDEVPRIVATE + 15))
3446 : : return compat_ifr_data_ioctl(net, cmd, argp);
3447 : :
3448 : : switch (cmd) {
3449 : : case SIOCSIFBR:
3450 : : case SIOCGIFBR:
3451 : : return old_bridge_ioctl(argp);
3452 : : case SIOCGIFCONF:
3453 : : return compat_dev_ifconf(net, argp);
3454 : : case SIOCETHTOOL:
3455 : : return ethtool_ioctl(net, argp);
3456 : : case SIOCWANDEV:
3457 : : return compat_siocwandev(net, argp);
3458 : : case SIOCGIFMAP:
3459 : : case SIOCSIFMAP:
3460 : : return compat_sioc_ifmap(net, cmd, argp);
3461 : : case SIOCADDRT:
3462 : : case SIOCDELRT:
3463 : : return routing_ioctl(net, sock, cmd, argp);
3464 : : case SIOCGSTAMP_OLD:
3465 : : case SIOCGSTAMPNS_OLD:
3466 : : if (!sock->ops->gettstamp)
3467 : : return -ENOIOCTLCMD;
3468 : : return sock->ops->gettstamp(sock, argp, cmd == SIOCGSTAMP_OLD,
3469 : : !COMPAT_USE_64BIT_TIME);
3470 : :
3471 : : case SIOCBONDSLAVEINFOQUERY:
3472 : : case SIOCBONDINFOQUERY:
3473 : : case SIOCSHWTSTAMP:
3474 : : case SIOCGHWTSTAMP:
3475 : : return compat_ifr_data_ioctl(net, cmd, argp);
3476 : :
3477 : : case FIOSETOWN:
3478 : : case SIOCSPGRP:
3479 : : case FIOGETOWN:
3480 : : case SIOCGPGRP:
3481 : : case SIOCBRADDBR:
3482 : : case SIOCBRDELBR:
3483 : : case SIOCGIFVLAN:
3484 : : case SIOCSIFVLAN:
3485 : : case SIOCADDDLCI:
3486 : : case SIOCDELDLCI:
3487 : : case SIOCGSKNS:
3488 : : case SIOCGSTAMP_NEW:
3489 : : case SIOCGSTAMPNS_NEW:
3490 : : return sock_ioctl(file, cmd, arg);
3491 : :
3492 : : case SIOCGIFFLAGS:
3493 : : case SIOCSIFFLAGS:
3494 : : case SIOCGIFMETRIC:
3495 : : case SIOCSIFMETRIC:
3496 : : case SIOCGIFMTU:
3497 : : case SIOCSIFMTU:
3498 : : case SIOCGIFMEM:
3499 : : case SIOCSIFMEM:
3500 : : case SIOCGIFHWADDR:
3501 : : case SIOCSIFHWADDR:
3502 : : case SIOCADDMULTI:
3503 : : case SIOCDELMULTI:
3504 : : case SIOCGIFINDEX:
3505 : : case SIOCGIFADDR:
3506 : : case SIOCSIFADDR:
3507 : : case SIOCSIFHWBROADCAST:
3508 : : case SIOCDIFADDR:
3509 : : case SIOCGIFBRDADDR:
3510 : : case SIOCSIFBRDADDR:
3511 : : case SIOCGIFDSTADDR:
3512 : : case SIOCSIFDSTADDR:
3513 : : case SIOCGIFNETMASK:
3514 : : case SIOCSIFNETMASK:
3515 : : case SIOCSIFPFLAGS:
3516 : : case SIOCGIFPFLAGS:
3517 : : case SIOCGIFTXQLEN:
3518 : : case SIOCSIFTXQLEN:
3519 : : case SIOCBRADDIF:
3520 : : case SIOCBRDELIF:
3521 : : case SIOCGIFNAME:
3522 : : case SIOCSIFNAME:
3523 : : case SIOCGMIIPHY:
3524 : : case SIOCGMIIREG:
3525 : : case SIOCSMIIREG:
3526 : : case SIOCBONDENSLAVE:
3527 : : case SIOCBONDRELEASE:
3528 : : case SIOCBONDSETHWADDR:
3529 : : case SIOCBONDCHANGEACTIVE:
3530 : : return compat_ifreq_ioctl(net, sock, cmd, argp);
3531 : :
3532 : : case SIOCSARP:
3533 : : case SIOCGARP:
3534 : : case SIOCDARP:
3535 : : case SIOCOUTQNSD:
3536 : : case SIOCATMARK:
3537 : : return sock_do_ioctl(net, sock, cmd, arg);
3538 : : }
3539 : :
3540 : : return -ENOIOCTLCMD;
3541 : : }
3542 : :
3543 : : static long compat_sock_ioctl(struct file *file, unsigned int cmd,
3544 : : unsigned long arg)
3545 : : {
3546 : : struct socket *sock = file->private_data;
3547 : : int ret = -ENOIOCTLCMD;
3548 : : struct sock *sk;
3549 : : struct net *net;
3550 : :
3551 : : sk = sock->sk;
3552 : : net = sock_net(sk);
3553 : :
3554 : : if (sock->ops->compat_ioctl)
3555 : : ret = sock->ops->compat_ioctl(sock, cmd, arg);
3556 : :
3557 : : if (ret == -ENOIOCTLCMD &&
3558 : : (cmd >= SIOCIWFIRST && cmd <= SIOCIWLAST))
3559 : : ret = compat_wext_handle_ioctl(net, cmd, arg);
3560 : :
3561 : : if (ret == -ENOIOCTLCMD)
3562 : : ret = compat_sock_ioctl_trans(file, sock, cmd, arg);
3563 : :
3564 : : return ret;
3565 : : }
3566 : : #endif
3567 : :
3568 : : /**
3569 : : * kernel_bind - bind an address to a socket (kernel space)
3570 : : * @sock: socket
3571 : : * @addr: address
3572 : : * @addrlen: length of address
3573 : : *
3574 : : * Returns 0 or an error.
3575 : : */
3576 : :
3577 : 0 : int kernel_bind(struct socket *sock, struct sockaddr *addr, int addrlen)
3578 : : {
3579 : 0 : return sock->ops->bind(sock, addr, addrlen);
3580 : : }
3581 : : EXPORT_SYMBOL(kernel_bind);
3582 : :
3583 : : /**
3584 : : * kernel_listen - move socket to listening state (kernel space)
3585 : : * @sock: socket
3586 : : * @backlog: pending connections queue size
3587 : : *
3588 : : * Returns 0 or an error.
3589 : : */
3590 : :
3591 : 0 : int kernel_listen(struct socket *sock, int backlog)
3592 : : {
3593 : 0 : return sock->ops->listen(sock, backlog);
3594 : : }
3595 : : EXPORT_SYMBOL(kernel_listen);
3596 : :
3597 : : /**
3598 : : * kernel_accept - accept a connection (kernel space)
3599 : : * @sock: listening socket
3600 : : * @newsock: new connected socket
3601 : : * @flags: flags
3602 : : *
3603 : : * @flags must be SOCK_CLOEXEC, SOCK_NONBLOCK or 0.
3604 : : * If it fails, @newsock is guaranteed to be %NULL.
3605 : : * Returns 0 or an error.
3606 : : */
3607 : :
3608 : 0 : int kernel_accept(struct socket *sock, struct socket **newsock, int flags)
3609 : : {
3610 : 0 : struct sock *sk = sock->sk;
3611 : : int err;
3612 : :
3613 : 0 : err = sock_create_lite(sk->sk_family, sk->sk_type, sk->sk_protocol,
3614 : : newsock);
3615 [ # # ]: 0 : if (err < 0)
3616 : : goto done;
3617 : :
3618 : 0 : err = sock->ops->accept(sock, *newsock, flags, true);
3619 [ # # ]: 0 : if (err < 0) {
3620 : 0 : sock_release(*newsock);
3621 : 0 : *newsock = NULL;
3622 : 0 : goto done;
3623 : : }
3624 : :
3625 : 0 : (*newsock)->ops = sock->ops;
3626 : 0 : __module_get((*newsock)->ops->owner);
3627 : :
3628 : : done:
3629 : 0 : return err;
3630 : : }
3631 : : EXPORT_SYMBOL(kernel_accept);
3632 : :
3633 : : /**
3634 : : * kernel_connect - connect a socket (kernel space)
3635 : : * @sock: socket
3636 : : * @addr: address
3637 : : * @addrlen: address length
3638 : : * @flags: flags (O_NONBLOCK, ...)
3639 : : *
3640 : : * For datagram sockets, @addr is the addres to which datagrams are sent
3641 : : * by default, and the only address from which datagrams are received.
3642 : : * For stream sockets, attempts to connect to @addr.
3643 : : * Returns 0 or an error code.
3644 : : */
3645 : :
3646 : 0 : int kernel_connect(struct socket *sock, struct sockaddr *addr, int addrlen,
3647 : : int flags)
3648 : : {
3649 : 0 : return sock->ops->connect(sock, addr, addrlen, flags);
3650 : : }
3651 : : EXPORT_SYMBOL(kernel_connect);
3652 : :
3653 : : /**
3654 : : * kernel_getsockname - get the address which the socket is bound (kernel space)
3655 : : * @sock: socket
3656 : : * @addr: address holder
3657 : : *
3658 : : * Fills the @addr pointer with the address which the socket is bound.
3659 : : * Returns 0 or an error code.
3660 : : */
3661 : :
3662 : 0 : int kernel_getsockname(struct socket *sock, struct sockaddr *addr)
3663 : : {
3664 : 0 : return sock->ops->getname(sock, addr, 0);
3665 : : }
3666 : : EXPORT_SYMBOL(kernel_getsockname);
3667 : :
3668 : : /**
3669 : : * kernel_peername - get the address which the socket is connected (kernel space)
3670 : : * @sock: socket
3671 : : * @addr: address holder
3672 : : *
3673 : : * Fills the @addr pointer with the address which the socket is connected.
3674 : : * Returns 0 or an error code.
3675 : : */
3676 : :
3677 : 0 : int kernel_getpeername(struct socket *sock, struct sockaddr *addr)
3678 : : {
3679 : 0 : return sock->ops->getname(sock, addr, 1);
3680 : : }
3681 : : EXPORT_SYMBOL(kernel_getpeername);
3682 : :
3683 : : /**
3684 : : * kernel_getsockopt - get a socket option (kernel space)
3685 : : * @sock: socket
3686 : : * @level: API level (SOL_SOCKET, ...)
3687 : : * @optname: option tag
3688 : : * @optval: option value
3689 : : * @optlen: option length
3690 : : *
3691 : : * Assigns the option length to @optlen.
3692 : : * Returns 0 or an error.
3693 : : */
3694 : :
3695 : 0 : int kernel_getsockopt(struct socket *sock, int level, int optname,
3696 : : char *optval, int *optlen)
3697 : : {
3698 : 0 : mm_segment_t oldfs = get_fs();
3699 : : char __user *uoptval;
3700 : : int __user *uoptlen;
3701 : : int err;
3702 : :
3703 : : uoptval = (char __user __force *) optval;
3704 : : uoptlen = (int __user __force *) optlen;
3705 : :
3706 : : set_fs(KERNEL_DS);
3707 [ # # ]: 0 : if (level == SOL_SOCKET)
3708 : 0 : err = sock_getsockopt(sock, level, optname, uoptval, uoptlen);
3709 : : else
3710 : 0 : err = sock->ops->getsockopt(sock, level, optname, uoptval,
3711 : : uoptlen);
3712 : : set_fs(oldfs);
3713 : 0 : return err;
3714 : : }
3715 : : EXPORT_SYMBOL(kernel_getsockopt);
3716 : :
3717 : : /**
3718 : : * kernel_setsockopt - set a socket option (kernel space)
3719 : : * @sock: socket
3720 : : * @level: API level (SOL_SOCKET, ...)
3721 : : * @optname: option tag
3722 : : * @optval: option value
3723 : : * @optlen: option length
3724 : : *
3725 : : * Returns 0 or an error.
3726 : : */
3727 : :
3728 : 0 : int kernel_setsockopt(struct socket *sock, int level, int optname,
3729 : : char *optval, unsigned int optlen)
3730 : : {
3731 : 0 : mm_segment_t oldfs = get_fs();
3732 : : char __user *uoptval;
3733 : : int err;
3734 : :
3735 : : uoptval = (char __user __force *) optval;
3736 : :
3737 : : set_fs(KERNEL_DS);
3738 [ # # ]: 0 : if (level == SOL_SOCKET)
3739 : 0 : err = sock_setsockopt(sock, level, optname, uoptval, optlen);
3740 : : else
3741 : 0 : err = sock->ops->setsockopt(sock, level, optname, uoptval,
3742 : : optlen);
3743 : : set_fs(oldfs);
3744 : 0 : return err;
3745 : : }
3746 : : EXPORT_SYMBOL(kernel_setsockopt);
3747 : :
3748 : : /**
3749 : : * kernel_sendpage - send a &page through a socket (kernel space)
3750 : : * @sock: socket
3751 : : * @page: page
3752 : : * @offset: page offset
3753 : : * @size: total size in bytes
3754 : : * @flags: flags (MSG_DONTWAIT, ...)
3755 : : *
3756 : : * Returns the total amount sent in bytes or an error.
3757 : : */
3758 : :
3759 : 0 : int kernel_sendpage(struct socket *sock, struct page *page, int offset,
3760 : : size_t size, int flags)
3761 : : {
3762 [ # # ]: 0 : if (sock->ops->sendpage)
3763 : 0 : return sock->ops->sendpage(sock, page, offset, size, flags);
3764 : :
3765 : 0 : return sock_no_sendpage(sock, page, offset, size, flags);
3766 : : }
3767 : : EXPORT_SYMBOL(kernel_sendpage);
3768 : :
3769 : : /**
3770 : : * kernel_sendpage_locked - send a &page through the locked sock (kernel space)
3771 : : * @sk: sock
3772 : : * @page: page
3773 : : * @offset: page offset
3774 : : * @size: total size in bytes
3775 : : * @flags: flags (MSG_DONTWAIT, ...)
3776 : : *
3777 : : * Returns the total amount sent in bytes or an error.
3778 : : * Caller must hold @sk.
3779 : : */
3780 : :
3781 : 0 : int kernel_sendpage_locked(struct sock *sk, struct page *page, int offset,
3782 : : size_t size, int flags)
3783 : : {
3784 : 0 : struct socket *sock = sk->sk_socket;
3785 : :
3786 [ # # ]: 0 : if (sock->ops->sendpage_locked)
3787 : 0 : return sock->ops->sendpage_locked(sk, page, offset, size,
3788 : : flags);
3789 : :
3790 : 0 : return sock_no_sendpage_locked(sk, page, offset, size, flags);
3791 : : }
3792 : : EXPORT_SYMBOL(kernel_sendpage_locked);
3793 : :
3794 : : /**
3795 : : * kernel_shutdown - shut down part of a full-duplex connection (kernel space)
3796 : : * @sock: socket
3797 : : * @how: connection part
3798 : : *
3799 : : * Returns 0 or an error.
3800 : : */
3801 : :
3802 : 0 : int kernel_sock_shutdown(struct socket *sock, enum sock_shutdown_cmd how)
3803 : : {
3804 : 0 : return sock->ops->shutdown(sock, how);
3805 : : }
3806 : : EXPORT_SYMBOL(kernel_sock_shutdown);
3807 : :
3808 : : /**
3809 : : * kernel_sock_ip_overhead - returns the IP overhead imposed by a socket
3810 : : * @sk: socket
3811 : : *
3812 : : * This routine returns the IP overhead imposed by a socket i.e.
3813 : : * the length of the underlying IP header, depending on whether
3814 : : * this is an IPv4 or IPv6 socket and the length from IP options turned
3815 : : * on at the socket. Assumes that the caller has a lock on the socket.
3816 : : */
3817 : :
3818 : 0 : u32 kernel_sock_ip_overhead(struct sock *sk)
3819 : : {
3820 : : struct inet_sock *inet;
3821 : : struct ip_options_rcu *opt;
3822 : : u32 overhead = 0;
3823 : : #if IS_ENABLED(CONFIG_IPV6)
3824 : : struct ipv6_pinfo *np;
3825 : : struct ipv6_txoptions *optv6 = NULL;
3826 : : #endif /* IS_ENABLED(CONFIG_IPV6) */
3827 : :
3828 [ # # ]: 0 : if (!sk)
3829 : : return overhead;
3830 : :
3831 [ # # # ]: 0 : switch (sk->sk_family) {
3832 : : case AF_INET:
3833 : : inet = inet_sk(sk);
3834 : : overhead += sizeof(struct iphdr);
3835 : 0 : opt = rcu_dereference_protected(inet->inet_opt,
3836 : : sock_owned_by_user(sk));
3837 [ # # ]: 0 : if (opt)
3838 : 0 : overhead += opt->opt.optlen;
3839 : 0 : return overhead;
3840 : : #if IS_ENABLED(CONFIG_IPV6)
3841 : : case AF_INET6:
3842 : : np = inet6_sk(sk);
3843 : : overhead += sizeof(struct ipv6hdr);
3844 [ # # ]: 0 : if (np)
3845 : 0 : optv6 = rcu_dereference_protected(np->opt,
3846 : : sock_owned_by_user(sk));
3847 [ # # ]: 0 : if (optv6)
3848 : 0 : overhead += (optv6->opt_flen + optv6->opt_nflen);
3849 : 0 : return overhead;
3850 : : #endif /* IS_ENABLED(CONFIG_IPV6) */
3851 : : default: /* Returns 0 overhead if the socket is not ipv4 or ipv6 */
3852 : : return overhead;
3853 : : }
3854 : : }
3855 : : EXPORT_SYMBOL(kernel_sock_ip_overhead);
|
