LCOV - code coverage report
Current view: top level - ipc - shm.c (source / functions) Hit Total Coverage
Test: Real Lines: 260 471 55.2 %
Date: 2020-10-17 15:46:16 Functions: 1 46 2.2 %
Legend: Neither, QEMU, Real, Both Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : // SPDX-License-Identifier: GPL-2.0
       2                 :            : /*
       3                 :            :  * linux/ipc/shm.c
       4                 :            :  * Copyright (C) 1992, 1993 Krishna Balasubramanian
       5                 :            :  *       Many improvements/fixes by Bruno Haible.
       6                 :            :  * Replaced `struct shm_desc' by `struct vm_area_struct', July 1994.
       7                 :            :  * Fixed the shm swap deallocation (shm_unuse()), August 1998 Andrea Arcangeli.
       8                 :            :  *
       9                 :            :  * /proc/sysvipc/shm support (c) 1999 Dragos Acostachioaie <dragos@iname.com>
      10                 :            :  * BIGMEM support, Andrea Arcangeli <andrea@suse.de>
      11                 :            :  * SMP thread shm, Jean-Luc Boyard <jean-luc.boyard@siemens.fr>
      12                 :            :  * HIGHMEM support, Ingo Molnar <mingo@redhat.com>
      13                 :            :  * Make shmmax, shmall, shmmni sysctl'able, Christoph Rohland <cr@sap.com>
      14                 :            :  * Shared /dev/zero support, Kanoj Sarcar <kanoj@sgi.com>
      15                 :            :  * Move the mm functionality over to mm/shmem.c, Christoph Rohland <cr@sap.com>
      16                 :            :  *
      17                 :            :  * support for audit of ipc object properties and permission changes
      18                 :            :  * Dustin Kirkland <dustin.kirkland@us.ibm.com>
      19                 :            :  *
      20                 :            :  * namespaces support
      21                 :            :  * OpenVZ, SWsoft Inc.
      22                 :            :  * Pavel Emelianov <xemul@openvz.org>
      23                 :            :  *
      24                 :            :  * Better ipc lock (kern_ipc_perm.lock) handling
      25                 :            :  * Davidlohr Bueso <davidlohr.bueso@hp.com>, June 2013.
      26                 :            :  */
      27                 :            : 
      28                 :            : #include <linux/slab.h>
      29                 :            : #include <linux/mm.h>
      30                 :            : #include <linux/hugetlb.h>
      31                 :            : #include <linux/shm.h>
      32                 :            : #include <linux/init.h>
      33                 :            : #include <linux/file.h>
      34                 :            : #include <linux/mman.h>
      35                 :            : #include <linux/shmem_fs.h>
      36                 :            : #include <linux/security.h>
      37                 :            : #include <linux/syscalls.h>
      38                 :            : #include <linux/audit.h>
      39                 :            : #include <linux/capability.h>
      40                 :            : #include <linux/ptrace.h>
      41                 :            : #include <linux/seq_file.h>
      42                 :            : #include <linux/rwsem.h>
      43                 :            : #include <linux/nsproxy.h>
      44                 :            : #include <linux/mount.h>
      45                 :            : #include <linux/ipc_namespace.h>
      46                 :            : #include <linux/rhashtable.h>
      47                 :            : 
      48                 :            : #include <linux/uaccess.h>
      49                 :            : 
      50                 :            : #include "util.h"
      51                 :            : 
      52                 :            : struct shmid_kernel /* private to the kernel */
      53                 :            : {
      54                 :            :         struct kern_ipc_perm    shm_perm;
      55                 :            :         struct file             *shm_file;
      56                 :            :         unsigned long           shm_nattch;
      57                 :            :         unsigned long           shm_segsz;
      58                 :            :         time64_t                shm_atim;
      59                 :            :         time64_t                shm_dtim;
      60                 :            :         time64_t                shm_ctim;
      61                 :            :         struct pid              *shm_cprid;
      62                 :            :         struct pid              *shm_lprid;
      63                 :            :         struct user_struct      *mlock_user;
      64                 :            : 
      65                 :            :         /* The task created the shm object.  NULL if the task is dead. */
      66                 :            :         struct task_struct      *shm_creator;
      67                 :            :         struct list_head        shm_clist;      /* list by creator */
      68                 :            : } __randomize_layout;
      69                 :            : 
      70                 :            : /* shm_mode upper byte flags */
      71                 :            : #define SHM_DEST        01000   /* segment will be destroyed on last detach */
      72                 :            : #define SHM_LOCKED      02000   /* segment will not be swapped */
      73                 :            : 
      74                 :            : struct shm_file_data {
      75                 :            :         int id;
      76                 :            :         struct ipc_namespace *ns;
      77                 :            :         struct file *file;
      78                 :            :         const struct vm_operations_struct *vm_ops;
      79                 :            : };
      80                 :            : 
      81                 :            : #define shm_file_data(file) (*((struct shm_file_data **)&(file)->private_data))
      82                 :            : 
      83                 :            : static const struct file_operations shm_file_operations;
      84                 :            : static const struct vm_operations_struct shm_vm_ops;
      85                 :            : 
      86                 :            : #define shm_ids(ns)     ((ns)->ids[IPC_SHM_IDS])
      87                 :            : 
      88                 :            : #define shm_unlock(shp)                 \
      89                 :            :         ipc_unlock(&(shp)->shm_perm)
      90                 :            : 
      91                 :            : static int newseg(struct ipc_namespace *, struct ipc_params *);
      92                 :            : static void shm_open(struct vm_area_struct *vma);
      93                 :            : static void shm_close(struct vm_area_struct *vma);
      94                 :            : static void shm_destroy(struct ipc_namespace *ns, struct shmid_kernel *shp);
      95                 :            : #ifdef CONFIG_PROC_FS
      96                 :            : static int sysvipc_shm_proc_show(struct seq_file *s, void *it);
      97                 :            : #endif
      98                 :            : 
      99                 :          0 : void shm_init_ns(struct ipc_namespace *ns)
     100                 :            : {
     101                 :          3 :         ns->shm_ctlmax = SHMMAX;
     102                 :          3 :         ns->shm_ctlall = SHMALL;
     103                 :          3 :         ns->shm_ctlmni = SHMMNI;
     104                 :          3 :         ns->shm_rmid_forced = 0;
     105                 :          3 :         ns->shm_tot = 0;
     106                 :          3 :         ipc_init_ids(&shm_ids(ns));
     107                 :          0 : }
     108                 :            : 
     109                 :            : /*
     110                 :            :  * Called with shm_ids.rwsem (writer) and the shp structure locked.
     111                 :            :  * Only shm_ids.rwsem remains locked on exit.
     112                 :            :  */
     113                 :          3 : static void do_shm_rmid(struct ipc_namespace *ns, struct kern_ipc_perm *ipcp)
     114                 :            : {
     115                 :            :         struct shmid_kernel *shp;
     116                 :            : 
     117                 :            :         shp = container_of(ipcp, struct shmid_kernel, shm_perm);
     118                 :            : 
     119                 :          3 :         if (shp->shm_nattch) {
     120                 :          3 :                 shp->shm_perm.mode |= SHM_DEST;
     121                 :            :                 /* Do not find it any more */
     122                 :          3 :                 ipc_set_key_private(&shm_ids(ns), &shp->shm_perm);
     123                 :            :                 shm_unlock(shp);
     124                 :            :         } else
     125                 :          0 :                 shm_destroy(ns, shp);
     126                 :          3 : }
     127                 :            : 
     128                 :            : #ifdef CONFIG_IPC_NS
     129                 :          0 : void shm_exit_ns(struct ipc_namespace *ns)
     130                 :            : {
     131                 :          0 :         free_ipcs(ns, &shm_ids(ns), do_shm_rmid);
     132                 :          0 :         idr_destroy(&ns->ids[IPC_SHM_IDS].ipcs_idr);
     133                 :          0 :         rhashtable_destroy(&ns->ids[IPC_SHM_IDS].key_ht);
     134                 :          0 : }
     135                 :            : #endif
     136                 :            : 
     137                 :          3 : static int __init ipc_ns_init(void)
     138                 :            : {
     139                 :            :         shm_init_ns(&init_ipc_ns);
     140                 :          3 :         return 0;
     141                 :            : }
     142                 :            : 
     143                 :            : pure_initcall(ipc_ns_init);
     144                 :            : 
     145                 :          3 : void __init shm_init(void)
     146                 :            : {
     147                 :          3 :         ipc_init_proc_interface("sysvipc/shm",
     148                 :            : #if BITS_PER_LONG <= 32
     149                 :            :                                 "       key      shmid perms       size  cpid  lpid nattch   uid   gid  cuid  cgid      atime      dtime      ctime        rss       swap\n",
     150                 :            : #else
     151                 :            :                                 "       key      shmid perms                  size  cpid  lpid nattch   uid   gid  cuid  cgid      atime      dtime      ctime                   rss                  swap\n",
     152                 :            : #endif
     153                 :            :                                 IPC_SHM_IDS, sysvipc_shm_proc_show);
     154                 :          3 : }
     155                 :            : 
     156                 :            : static inline struct shmid_kernel *shm_obtain_object(struct ipc_namespace *ns, int id)
     157                 :            : {
     158                 :          0 :         struct kern_ipc_perm *ipcp = ipc_obtain_object_idr(&shm_ids(ns), id);
     159                 :            : 
     160                 :            :         if (IS_ERR(ipcp))
     161                 :            :                 return ERR_CAST(ipcp);
     162                 :            : 
     163                 :            :         return container_of(ipcp, struct shmid_kernel, shm_perm);
     164                 :            : }
     165                 :            : 
     166                 :            : static inline struct shmid_kernel *shm_obtain_object_check(struct ipc_namespace *ns, int id)
     167                 :            : {
     168                 :          3 :         struct kern_ipc_perm *ipcp = ipc_obtain_object_check(&shm_ids(ns), id);
     169                 :            : 
     170                 :            :         if (IS_ERR(ipcp))
     171                 :            :                 return ERR_CAST(ipcp);
     172                 :            : 
     173                 :            :         return container_of(ipcp, struct shmid_kernel, shm_perm);
     174                 :            : }
     175                 :            : 
     176                 :            : /*
     177                 :            :  * shm_lock_(check_) routines are called in the paths where the rwsem
     178                 :            :  * is not necessarily held.
     179                 :            :  */
     180                 :          3 : static inline struct shmid_kernel *shm_lock(struct ipc_namespace *ns, int id)
     181                 :            : {
     182                 :            :         struct kern_ipc_perm *ipcp;
     183                 :            : 
     184                 :            :         rcu_read_lock();
     185                 :          3 :         ipcp = ipc_obtain_object_idr(&shm_ids(ns), id);
     186                 :          3 :         if (IS_ERR(ipcp))
     187                 :            :                 goto err;
     188                 :            : 
     189                 :            :         ipc_lock_object(ipcp);
     190                 :            :         /*
     191                 :            :          * ipc_rmid() may have already freed the ID while ipc_lock_object()
     192                 :            :          * was spinning: here verify that the structure is still valid.
     193                 :            :          * Upon races with RMID, return -EIDRM, thus indicating that
     194                 :            :          * the ID points to a removed identifier.
     195                 :            :          */
     196                 :          3 :         if (ipc_valid_object(ipcp)) {
     197                 :            :                 /* return a locked ipc object upon success */
     198                 :            :                 return container_of(ipcp, struct shmid_kernel, shm_perm);
     199                 :            :         }
     200                 :            : 
     201                 :            :         ipc_unlock_object(ipcp);
     202                 :            :         ipcp = ERR_PTR(-EIDRM);
     203                 :            : err:
     204                 :            :         rcu_read_unlock();
     205                 :            :         /*
     206                 :            :          * Callers of shm_lock() must validate the status of the returned ipc
     207                 :            :          * object pointer and error out as appropriate.
     208                 :            :          */
     209                 :          0 :         return ERR_CAST(ipcp);
     210                 :            : }
     211                 :            : 
     212                 :            : static inline void shm_lock_by_ptr(struct shmid_kernel *ipcp)
     213                 :            : {
     214                 :            :         rcu_read_lock();
     215                 :            :         ipc_lock_object(&ipcp->shm_perm);
     216                 :            : }
     217                 :            : 
     218                 :          3 : static void shm_rcu_free(struct rcu_head *head)
     219                 :            : {
     220                 :          3 :         struct kern_ipc_perm *ptr = container_of(head, struct kern_ipc_perm,
     221                 :            :                                                         rcu);
     222                 :            :         struct shmid_kernel *shp = container_of(ptr, struct shmid_kernel,
     223                 :            :                                                         shm_perm);
     224                 :          3 :         security_shm_free(&shp->shm_perm);
     225                 :          3 :         kvfree(shp);
     226                 :          3 : }
     227                 :            : 
     228                 :            : static inline void shm_rmid(struct ipc_namespace *ns, struct shmid_kernel *s)
     229                 :            : {
     230                 :            :         list_del(&s->shm_clist);
     231                 :          3 :         ipc_rmid(&shm_ids(ns), &s->shm_perm);
     232                 :            : }
     233                 :            : 
     234                 :            : 
     235                 :          3 : static int __shm_open(struct vm_area_struct *vma)
     236                 :            : {
     237                 :          3 :         struct file *file = vma->vm_file;
     238                 :          3 :         struct shm_file_data *sfd = shm_file_data(file);
     239                 :            :         struct shmid_kernel *shp;
     240                 :            : 
     241                 :          3 :         shp = shm_lock(sfd->ns, sfd->id);
     242                 :            : 
     243                 :          3 :         if (IS_ERR(shp))
     244                 :          0 :                 return PTR_ERR(shp);
     245                 :            : 
     246                 :          3 :         if (shp->shm_file != sfd->file) {
     247                 :            :                 /* ID was reused */
     248                 :            :                 shm_unlock(shp);
     249                 :          0 :                 return -EINVAL;
     250                 :            :         }
     251                 :            : 
     252                 :          3 :         shp->shm_atim = ktime_get_real_seconds();
     253                 :          3 :         ipc_update_pid(&shp->shm_lprid, task_tgid(current));
     254                 :          3 :         shp->shm_nattch++;
     255                 :            :         shm_unlock(shp);
     256                 :          3 :         return 0;
     257                 :            : }
     258                 :            : 
     259                 :            : /* This is called by fork, once for every shm attach. */
     260                 :          3 : static void shm_open(struct vm_area_struct *vma)
     261                 :            : {
     262                 :          3 :         int err = __shm_open(vma);
     263                 :            :         /*
     264                 :            :          * We raced in the idr lookup or with shm_destroy().
     265                 :            :          * Either way, the ID is busted.
     266                 :            :          */
     267                 :          3 :         WARN_ON_ONCE(err);
     268                 :          3 : }
     269                 :            : 
     270                 :            : /*
     271                 :            :  * shm_destroy - free the struct shmid_kernel
     272                 :            :  *
     273                 :            :  * @ns: namespace
     274                 :            :  * @shp: struct to free
     275                 :            :  *
     276                 :            :  * It has to be called with shp and shm_ids.rwsem (writer) locked,
     277                 :            :  * but returns with shp unlocked and freed.
     278                 :            :  */
     279                 :          3 : static void shm_destroy(struct ipc_namespace *ns, struct shmid_kernel *shp)
     280                 :            : {
     281                 :            :         struct file *shm_file;
     282                 :            : 
     283                 :          3 :         shm_file = shp->shm_file;
     284                 :          3 :         shp->shm_file = NULL;
     285                 :          3 :         ns->shm_tot -= (shp->shm_segsz + PAGE_SIZE - 1) >> PAGE_SHIFT;
     286                 :            :         shm_rmid(ns, shp);
     287                 :            :         shm_unlock(shp);
     288                 :            :         if (!is_file_hugepages(shm_file))
     289                 :          3 :                 shmem_lock(shm_file, 0, shp->mlock_user);
     290                 :            :         else if (shp->mlock_user)
     291                 :            :                 user_shm_unlock(i_size_read(file_inode(shm_file)),
     292                 :            :                                 shp->mlock_user);
     293                 :          3 :         fput(shm_file);
     294                 :          3 :         ipc_update_pid(&shp->shm_cprid, NULL);
     295                 :          3 :         ipc_update_pid(&shp->shm_lprid, NULL);
     296                 :          3 :         ipc_rcu_putref(&shp->shm_perm, shm_rcu_free);
     297                 :          3 : }
     298                 :            : 
     299                 :            : /*
     300                 :            :  * shm_may_destroy - identifies whether shm segment should be destroyed now
     301                 :            :  *
     302                 :            :  * Returns true if and only if there are no active users of the segment and
     303                 :            :  * one of the following is true:
     304                 :            :  *
     305                 :            :  * 1) shmctl(id, IPC_RMID, NULL) was called for this shp
     306                 :            :  *
     307                 :            :  * 2) sysctl kernel.shm_rmid_forced is set to 1.
     308                 :            :  */
     309                 :            : static bool shm_may_destroy(struct ipc_namespace *ns, struct shmid_kernel *shp)
     310                 :            : {
     311                 :          3 :         return (shp->shm_nattch == 0) &&
     312                 :          3 :                (ns->shm_rmid_forced ||
     313                 :          3 :                 (shp->shm_perm.mode & SHM_DEST));
     314                 :            : }
     315                 :            : 
     316                 :            : /*
     317                 :            :  * remove the attach descriptor vma.
     318                 :            :  * free memory for segment if it is marked destroyed.
     319                 :            :  * The descriptor has already been removed from the current->mm->mmap list
     320                 :            :  * and will later be kfree()d.
     321                 :            :  */
     322                 :          3 : static void shm_close(struct vm_area_struct *vma)
     323                 :            : {
     324                 :          3 :         struct file *file = vma->vm_file;
     325                 :          3 :         struct shm_file_data *sfd = shm_file_data(file);
     326                 :            :         struct shmid_kernel *shp;
     327                 :          3 :         struct ipc_namespace *ns = sfd->ns;
     328                 :            : 
     329                 :          3 :         down_write(&shm_ids(ns).rwsem);
     330                 :            :         /* remove from the list of attaches of the shm segment */
     331                 :          3 :         shp = shm_lock(ns, sfd->id);
     332                 :            : 
     333                 :            :         /*
     334                 :            :          * We raced in the idr lookup or with shm_destroy().
     335                 :            :          * Either way, the ID is busted.
     336                 :            :          */
     337                 :          3 :         if (WARN_ON_ONCE(IS_ERR(shp)))
     338                 :            :                 goto done; /* no-op */
     339                 :            : 
     340                 :          3 :         ipc_update_pid(&shp->shm_lprid, task_tgid(current));
     341                 :          3 :         shp->shm_dtim = ktime_get_real_seconds();
     342                 :          3 :         shp->shm_nattch--;
     343                 :          3 :         if (shm_may_destroy(ns, shp))
     344                 :          3 :                 shm_destroy(ns, shp);
     345                 :            :         else
     346                 :            :                 shm_unlock(shp);
     347                 :            : done:
     348                 :          3 :         up_write(&shm_ids(ns).rwsem);
     349                 :          3 : }
     350                 :            : 
     351                 :            : /* Called with ns->shm_ids(ns).rwsem locked */
     352                 :          0 : static int shm_try_destroy_orphaned(int id, void *p, void *data)
     353                 :            : {
     354                 :            :         struct ipc_namespace *ns = data;
     355                 :            :         struct kern_ipc_perm *ipcp = p;
     356                 :            :         struct shmid_kernel *shp = container_of(ipcp, struct shmid_kernel, shm_perm);
     357                 :            : 
     358                 :            :         /*
     359                 :            :          * We want to destroy segments without users and with already
     360                 :            :          * exit'ed originating process.
     361                 :            :          *
     362                 :            :          * As shp->* are changed under rwsem, it's safe to skip shp locking.
     363                 :            :          */
     364                 :          0 :         if (shp->shm_creator != NULL)
     365                 :            :                 return 0;
     366                 :            : 
     367                 :          0 :         if (shm_may_destroy(ns, shp)) {
     368                 :            :                 shm_lock_by_ptr(shp);
     369                 :          0 :                 shm_destroy(ns, shp);
     370                 :            :         }
     371                 :            :         return 0;
     372                 :            : }
     373                 :            : 
     374                 :          0 : void shm_destroy_orphaned(struct ipc_namespace *ns)
     375                 :            : {
     376                 :          0 :         down_write(&shm_ids(ns).rwsem);
     377                 :          0 :         if (shm_ids(ns).in_use)
     378                 :          0 :                 idr_for_each(&shm_ids(ns).ipcs_idr, &shm_try_destroy_orphaned, ns);
     379                 :          0 :         up_write(&shm_ids(ns).rwsem);
     380                 :          0 : }
     381                 :            : 
     382                 :            : /* Locking assumes this will only be called with task == current */
     383                 :          3 : void exit_shm(struct task_struct *task)
     384                 :            : {
     385                 :          3 :         struct ipc_namespace *ns = task->nsproxy->ipc_ns;
     386                 :            :         struct shmid_kernel *shp, *n;
     387                 :            : 
     388                 :          3 :         if (list_empty(&task->sysvshm.shm_clist))
     389                 :            :                 return;
     390                 :            : 
     391                 :            :         /*
     392                 :            :          * If kernel.shm_rmid_forced is not set then only keep track of
     393                 :            :          * which shmids are orphaned, so that a later set of the sysctl
     394                 :            :          * can clean them up.
     395                 :            :          */
     396                 :          1 :         if (!ns->shm_rmid_forced) {
     397                 :          1 :                 down_read(&shm_ids(ns).rwsem);
     398                 :          1 :                 list_for_each_entry(shp, &task->sysvshm.shm_clist, shm_clist)
     399                 :          1 :                         shp->shm_creator = NULL;
     400                 :            :                 /*
     401                 :            :                  * Only under read lock but we are only called on current
     402                 :            :                  * so no entry on the list will be shared.
     403                 :            :                  */
     404                 :            :                 list_del(&task->sysvshm.shm_clist);
     405                 :          1 :                 up_read(&shm_ids(ns).rwsem);
     406                 :          1 :                 return;
     407                 :            :         }
     408                 :            : 
     409                 :            :         /*
     410                 :            :          * Destroy all already created segments, that were not yet mapped,
     411                 :            :          * and mark any mapped as orphan to cover the sysctl toggling.
     412                 :            :          * Destroy is skipped if shm_may_destroy() returns false.
     413                 :            :          */
     414                 :          0 :         down_write(&shm_ids(ns).rwsem);
     415                 :          0 :         list_for_each_entry_safe(shp, n, &task->sysvshm.shm_clist, shm_clist) {
     416                 :          0 :                 shp->shm_creator = NULL;
     417                 :            : 
     418                 :          0 :                 if (shm_may_destroy(ns, shp)) {
     419                 :            :                         shm_lock_by_ptr(shp);
     420                 :          0 :                         shm_destroy(ns, shp);
     421                 :            :                 }
     422                 :            :         }
     423                 :            : 
     424                 :            :         /* Remove the list head from any segments still attached. */
     425                 :            :         list_del(&task->sysvshm.shm_clist);
     426                 :          0 :         up_write(&shm_ids(ns).rwsem);
     427                 :            : }
     428                 :            : 
     429                 :          3 : static vm_fault_t shm_fault(struct vm_fault *vmf)
     430                 :            : {
     431                 :          3 :         struct file *file = vmf->vma->vm_file;
     432                 :          3 :         struct shm_file_data *sfd = shm_file_data(file);
     433                 :            : 
     434                 :          3 :         return sfd->vm_ops->fault(vmf);
     435                 :            : }
     436                 :            : 
     437                 :          0 : static int shm_split(struct vm_area_struct *vma, unsigned long addr)
     438                 :            : {
     439                 :          0 :         struct file *file = vma->vm_file;
     440                 :          0 :         struct shm_file_data *sfd = shm_file_data(file);
     441                 :            : 
     442                 :          0 :         if (sfd->vm_ops->split)
     443                 :          0 :                 return sfd->vm_ops->split(vma, addr);
     444                 :            : 
     445                 :            :         return 0;
     446                 :            : }
     447                 :            : 
     448                 :          0 : static unsigned long shm_pagesize(struct vm_area_struct *vma)
     449                 :            : {
     450                 :          0 :         struct file *file = vma->vm_file;
     451                 :          0 :         struct shm_file_data *sfd = shm_file_data(file);
     452                 :            : 
     453                 :          0 :         if (sfd->vm_ops->pagesize)
     454                 :          0 :                 return sfd->vm_ops->pagesize(vma);
     455                 :            : 
     456                 :            :         return PAGE_SIZE;
     457                 :            : }
     458                 :            : 
     459                 :            : #ifdef CONFIG_NUMA
     460                 :            : static int shm_set_policy(struct vm_area_struct *vma, struct mempolicy *new)
     461                 :            : {
     462                 :            :         struct file *file = vma->vm_file;
     463                 :            :         struct shm_file_data *sfd = shm_file_data(file);
     464                 :            :         int err = 0;
     465                 :            : 
     466                 :            :         if (sfd->vm_ops->set_policy)
     467                 :            :                 err = sfd->vm_ops->set_policy(vma, new);
     468                 :            :         return err;
     469                 :            : }
     470                 :            : 
     471                 :            : static struct mempolicy *shm_get_policy(struct vm_area_struct *vma,
     472                 :            :                                         unsigned long addr)
     473                 :            : {
     474                 :            :         struct file *file = vma->vm_file;
     475                 :            :         struct shm_file_data *sfd = shm_file_data(file);
     476                 :            :         struct mempolicy *pol = NULL;
     477                 :            : 
     478                 :            :         if (sfd->vm_ops->get_policy)
     479                 :            :                 pol = sfd->vm_ops->get_policy(vma, addr);
     480                 :            :         else if (vma->vm_policy)
     481                 :            :                 pol = vma->vm_policy;
     482                 :            : 
     483                 :            :         return pol;
     484                 :            : }
     485                 :            : #endif
     486                 :            : 
     487                 :          3 : static int shm_mmap(struct file *file, struct vm_area_struct *vma)
     488                 :            : {
     489                 :          3 :         struct shm_file_data *sfd = shm_file_data(file);
     490                 :            :         int ret;
     491                 :            : 
     492                 :            :         /*
     493                 :            :          * In case of remap_file_pages() emulation, the file can represent an
     494                 :            :          * IPC ID that was removed, and possibly even reused by another shm
     495                 :            :          * segment already.  Propagate this case as an error to caller.
     496                 :            :          */
     497                 :          3 :         ret = __shm_open(vma);
     498                 :          3 :         if (ret)
     499                 :            :                 return ret;
     500                 :            : 
     501                 :          3 :         ret = call_mmap(sfd->file, vma);
     502                 :          3 :         if (ret) {
     503                 :          0 :                 shm_close(vma);
     504                 :          0 :                 return ret;
     505                 :            :         }
     506                 :          3 :         sfd->vm_ops = vma->vm_ops;
     507                 :            : #ifdef CONFIG_MMU
     508                 :          3 :         WARN_ON(!sfd->vm_ops->fault);
     509                 :            : #endif
     510                 :          3 :         vma->vm_ops = &shm_vm_ops;
     511                 :          3 :         return 0;
     512                 :            : }
     513                 :            : 
     514                 :          3 : static int shm_release(struct inode *ino, struct file *file)
     515                 :            : {
     516                 :          3 :         struct shm_file_data *sfd = shm_file_data(file);
     517                 :            : 
     518                 :          3 :         put_ipc_ns(sfd->ns);
     519                 :          3 :         fput(sfd->file);
     520                 :          3 :         shm_file_data(file) = NULL;
     521                 :          3 :         kfree(sfd);
     522                 :          3 :         return 0;
     523                 :            : }
     524                 :            : 
     525                 :          0 : static int shm_fsync(struct file *file, loff_t start, loff_t end, int datasync)
     526                 :            : {
     527                 :          0 :         struct shm_file_data *sfd = shm_file_data(file);
     528                 :            : 
     529                 :          0 :         if (!sfd->file->f_op->fsync)
     530                 :            :                 return -EINVAL;
     531                 :          0 :         return sfd->file->f_op->fsync(sfd->file, start, end, datasync);
     532                 :            : }
     533                 :            : 
     534                 :          0 : static long shm_fallocate(struct file *file, int mode, loff_t offset,
     535                 :            :                           loff_t len)
     536                 :            : {
     537                 :          0 :         struct shm_file_data *sfd = shm_file_data(file);
     538                 :            : 
     539                 :          0 :         if (!sfd->file->f_op->fallocate)
     540                 :            :                 return -EOPNOTSUPP;
     541                 :          0 :         return sfd->file->f_op->fallocate(file, mode, offset, len);
     542                 :            : }
     543                 :            : 
     544                 :          3 : static unsigned long shm_get_unmapped_area(struct file *file,
     545                 :            :         unsigned long addr, unsigned long len, unsigned long pgoff,
     546                 :            :         unsigned long flags)
     547                 :            : {
     548                 :          3 :         struct shm_file_data *sfd = shm_file_data(file);
     549                 :            : 
     550                 :          3 :         return sfd->file->f_op->get_unmapped_area(sfd->file, addr, len,
     551                 :            :                                                 pgoff, flags);
     552                 :            : }
     553                 :            : 
     554                 :            : static const struct file_operations shm_file_operations = {
     555                 :            :         .mmap           = shm_mmap,
     556                 :            :         .fsync          = shm_fsync,
     557                 :            :         .release        = shm_release,
     558                 :            :         .get_unmapped_area      = shm_get_unmapped_area,
     559                 :            :         .llseek         = noop_llseek,
     560                 :            :         .fallocate      = shm_fallocate,
     561                 :            : };
     562                 :            : 
     563                 :            : /*
     564                 :            :  * shm_file_operations_huge is now identical to shm_file_operations,
     565                 :            :  * but we keep it distinct for the sake of is_file_shm_hugepages().
     566                 :            :  */
     567                 :            : static const struct file_operations shm_file_operations_huge = {
     568                 :            :         .mmap           = shm_mmap,
     569                 :            :         .fsync          = shm_fsync,
     570                 :            :         .release        = shm_release,
     571                 :            :         .get_unmapped_area      = shm_get_unmapped_area,
     572                 :            :         .llseek         = noop_llseek,
     573                 :            :         .fallocate      = shm_fallocate,
     574                 :            : };
     575                 :            : 
     576                 :          0 : bool is_file_shm_hugepages(struct file *file)
     577                 :            : {
     578                 :          0 :         return file->f_op == &shm_file_operations_huge;
     579                 :            : }
     580                 :            : 
     581                 :            : static const struct vm_operations_struct shm_vm_ops = {
     582                 :            :         .open   = shm_open,     /* callback for a new vm-area open */
     583                 :            :         .close  = shm_close,    /* callback for when the vm-area is released */
     584                 :            :         .fault  = shm_fault,
     585                 :            :         .split  = shm_split,
     586                 :            :         .pagesize = shm_pagesize,
     587                 :            : #if defined(CONFIG_NUMA)
     588                 :            :         .set_policy = shm_set_policy,
     589                 :            :         .get_policy = shm_get_policy,
     590                 :            : #endif
     591                 :            : };
     592                 :            : 
     593                 :            : /**
     594                 :            :  * newseg - Create a new shared memory segment
     595                 :            :  * @ns: namespace
     596                 :            :  * @params: ptr to the structure that contains key, size and shmflg
     597                 :            :  *
     598                 :            :  * Called with shm_ids.rwsem held as a writer.
     599                 :            :  */
     600                 :          3 : static int newseg(struct ipc_namespace *ns, struct ipc_params *params)
     601                 :            : {
     602                 :          3 :         key_t key = params->key;
     603                 :          3 :         int shmflg = params->flg;
     604                 :          3 :         size_t size = params->u.size;
     605                 :            :         int error;
     606                 :            :         struct shmid_kernel *shp;
     607                 :          3 :         size_t numpages = (size + PAGE_SIZE - 1) >> PAGE_SHIFT;
     608                 :            :         struct file *file;
     609                 :            :         char name[13];
     610                 :            :         vm_flags_t acctflag = 0;
     611                 :            : 
     612                 :          3 :         if (size < SHMMIN || size > ns->shm_ctlmax)
     613                 :            :                 return -EINVAL;
     614                 :            : 
     615                 :          3 :         if (numpages << PAGE_SHIFT < size)
     616                 :            :                 return -ENOSPC;
     617                 :            : 
     618                 :          3 :         if (ns->shm_tot + numpages < ns->shm_tot ||
     619                 :          3 :                         ns->shm_tot + numpages > ns->shm_ctlall)
     620                 :            :                 return -ENOSPC;
     621                 :            : 
     622                 :            :         shp = kvmalloc(sizeof(*shp), GFP_KERNEL);
     623                 :          3 :         if (unlikely(!shp))
     624                 :            :                 return -ENOMEM;
     625                 :            : 
     626                 :          3 :         shp->shm_perm.key = key;
     627                 :          3 :         shp->shm_perm.mode = (shmflg & S_IRWXUGO);
     628                 :          3 :         shp->mlock_user = NULL;
     629                 :            : 
     630                 :          3 :         shp->shm_perm.security = NULL;
     631                 :          3 :         error = security_shm_alloc(&shp->shm_perm);
     632                 :          3 :         if (error) {
     633                 :          0 :                 kvfree(shp);
     634                 :          0 :                 return error;
     635                 :            :         }
     636                 :            : 
     637                 :          3 :         sprintf(name, "SYSV%08x", key);
     638                 :          3 :         if (shmflg & SHM_HUGETLB) {
     639                 :            :                 struct hstate *hs;
     640                 :            :                 size_t hugesize;
     641                 :            : 
     642                 :            :                 hs = hstate_sizelog((shmflg >> SHM_HUGE_SHIFT) & SHM_HUGE_MASK);
     643                 :            :                 if (!hs) {
     644                 :            :                         error = -EINVAL;
     645                 :            :                         goto no_file;
     646                 :            :                 }
     647                 :            :                 hugesize = ALIGN(size, huge_page_size(hs));
     648                 :            : 
     649                 :            :                 /* hugetlb_file_setup applies strict accounting */
     650                 :            :                 if (shmflg & SHM_NORESERVE)
     651                 :            :                         acctflag = VM_NORESERVE;
     652                 :            :                 file = hugetlb_file_setup(name, hugesize, acctflag,
     653                 :            :                                   &shp->mlock_user, HUGETLB_SHMFS_INODE,
     654                 :            :                                 (shmflg >> SHM_HUGE_SHIFT) & SHM_HUGE_MASK);
     655                 :            :         } else {
     656                 :            :                 /*
     657                 :            :                  * Do not allow no accounting for OVERCOMMIT_NEVER, even
     658                 :            :                  * if it's asked for.
     659                 :            :                  */
     660                 :          3 :                 if  ((shmflg & SHM_NORESERVE) &&
     661                 :          0 :                                 sysctl_overcommit_memory != OVERCOMMIT_NEVER)
     662                 :            :                         acctflag = VM_NORESERVE;
     663                 :          3 :                 file = shmem_kernel_file_setup(name, size, acctflag);
     664                 :            :         }
     665                 :            :         error = PTR_ERR(file);
     666                 :          3 :         if (IS_ERR(file))
     667                 :            :                 goto no_file;
     668                 :            : 
     669                 :          3 :         shp->shm_cprid = get_pid(task_tgid(current));
     670                 :          3 :         shp->shm_lprid = NULL;
     671                 :          3 :         shp->shm_atim = shp->shm_dtim = 0;
     672                 :          3 :         shp->shm_ctim = ktime_get_real_seconds();
     673                 :          3 :         shp->shm_segsz = size;
     674                 :          3 :         shp->shm_nattch = 0;
     675                 :          3 :         shp->shm_file = file;
     676                 :          3 :         shp->shm_creator = current;
     677                 :            : 
     678                 :            :         /* ipc_addid() locks shp upon success. */
     679                 :          3 :         error = ipc_addid(&shm_ids(ns), &shp->shm_perm, ns->shm_ctlmni);
     680                 :          3 :         if (error < 0)
     681                 :            :                 goto no_id;
     682                 :            : 
     683                 :          3 :         list_add(&shp->shm_clist, &current->sysvshm.shm_clist);
     684                 :            : 
     685                 :            :         /*
     686                 :            :          * shmid gets reported as "inode#" in /proc/pid/maps.
     687                 :            :          * proc-ps tools use this. Changing this will break them.
     688                 :            :          */
     689                 :          3 :         file_inode(file)->i_ino = shp->shm_perm.id;
     690                 :            : 
     691                 :          3 :         ns->shm_tot += numpages;
     692                 :          3 :         error = shp->shm_perm.id;
     693                 :            : 
     694                 :            :         ipc_unlock_object(&shp->shm_perm);
     695                 :            :         rcu_read_unlock();
     696                 :          3 :         return error;
     697                 :            : 
     698                 :            : no_id:
     699                 :          0 :         ipc_update_pid(&shp->shm_cprid, NULL);
     700                 :          0 :         ipc_update_pid(&shp->shm_lprid, NULL);
     701                 :            :         if (is_file_hugepages(file) && shp->mlock_user)
     702                 :            :                 user_shm_unlock(size, shp->mlock_user);
     703                 :          0 :         fput(file);
     704                 :          0 :         ipc_rcu_putref(&shp->shm_perm, shm_rcu_free);
     705                 :          0 :         return error;
     706                 :            : no_file:
     707                 :          0 :         call_rcu(&shp->shm_perm.rcu, shm_rcu_free);
     708                 :          0 :         return error;
     709                 :            : }
     710                 :            : 
     711                 :            : /*
     712                 :            :  * Called with shm_ids.rwsem and ipcp locked.
     713                 :            :  */
     714                 :          0 : static inline int shm_more_checks(struct kern_ipc_perm *ipcp,
     715                 :            :                                 struct ipc_params *params)
     716                 :            : {
     717                 :            :         struct shmid_kernel *shp;
     718                 :            : 
     719                 :            :         shp = container_of(ipcp, struct shmid_kernel, shm_perm);
     720                 :          0 :         if (shp->shm_segsz < params->u.size)
     721                 :            :                 return -EINVAL;
     722                 :            : 
     723                 :          0 :         return 0;
     724                 :            : }
     725                 :            : 
     726                 :          3 : long ksys_shmget(key_t key, size_t size, int shmflg)
     727                 :            : {
     728                 :            :         struct ipc_namespace *ns;
     729                 :            :         static const struct ipc_ops shm_ops = {
     730                 :            :                 .getnew = newseg,
     731                 :            :                 .associate = security_shm_associate,
     732                 :            :                 .more_checks = shm_more_checks,
     733                 :            :         };
     734                 :            :         struct ipc_params shm_params;
     735                 :            : 
     736                 :          3 :         ns = current->nsproxy->ipc_ns;
     737                 :            : 
     738                 :          3 :         shm_params.key = key;
     739                 :          3 :         shm_params.flg = shmflg;
     740                 :          3 :         shm_params.u.size = size;
     741                 :            : 
     742                 :          3 :         return ipcget(ns, &shm_ids(ns), &shm_ops, &shm_params);
     743                 :            : }
     744                 :            : 
     745                 :          3 : SYSCALL_DEFINE3(shmget, key_t, key, size_t, size, int, shmflg)
     746                 :            : {
     747                 :          3 :         return ksys_shmget(key, size, shmflg);
     748                 :            : }
     749                 :            : 
     750                 :          3 : static inline unsigned long copy_shmid_to_user(void __user *buf, struct shmid64_ds *in, int version)
     751                 :            : {
     752                 :          3 :         switch (version) {
     753                 :            :         case IPC_64:
     754                 :          3 :                 return copy_to_user(buf, in, sizeof(*in));
     755                 :            :         case IPC_OLD:
     756                 :            :             {
     757                 :            :                 struct shmid_ds out;
     758                 :            : 
     759                 :          0 :                 memset(&out, 0, sizeof(out));
     760                 :          0 :                 ipc64_perm_to_ipc_perm(&in->shm_perm, &out.shm_perm);
     761                 :          0 :                 out.shm_segsz   = in->shm_segsz;
     762                 :          0 :                 out.shm_atime   = in->shm_atime;
     763                 :          0 :                 out.shm_dtime   = in->shm_dtime;
     764                 :          0 :                 out.shm_ctime   = in->shm_ctime;
     765                 :          0 :                 out.shm_cpid    = in->shm_cpid;
     766                 :          0 :                 out.shm_lpid    = in->shm_lpid;
     767                 :          0 :                 out.shm_nattch  = in->shm_nattch;
     768                 :            : 
     769                 :            :                 return copy_to_user(buf, &out, sizeof(out));
     770                 :            :             }
     771                 :            :         default:
     772                 :            :                 return -EINVAL;
     773                 :            :         }
     774                 :            : }
     775                 :            : 
     776                 :            : static inline unsigned long
     777                 :          0 : copy_shmid_from_user(struct shmid64_ds *out, void __user *buf, int version)
     778                 :            : {
     779                 :          0 :         switch (version) {
     780                 :            :         case IPC_64:
     781                 :          0 :                 if (copy_from_user(out, buf, sizeof(*out)))
     782                 :            :                         return -EFAULT;
     783                 :          0 :                 return 0;
     784                 :            :         case IPC_OLD:
     785                 :            :             {
     786                 :            :                 struct shmid_ds tbuf_old;
     787                 :            : 
     788                 :          0 :                 if (copy_from_user(&tbuf_old, buf, sizeof(tbuf_old)))
     789                 :            :                         return -EFAULT;
     790                 :            : 
     791                 :          0 :                 out->shm_perm.uid    = tbuf_old.shm_perm.uid;
     792                 :          0 :                 out->shm_perm.gid    = tbuf_old.shm_perm.gid;
     793                 :          0 :                 out->shm_perm.mode   = tbuf_old.shm_perm.mode;
     794                 :            : 
     795                 :          0 :                 return 0;
     796                 :            :             }
     797                 :            :         default:
     798                 :            :                 return -EINVAL;
     799                 :            :         }
     800                 :            : }
     801                 :            : 
     802                 :          0 : static inline unsigned long copy_shminfo_to_user(void __user *buf, struct shminfo64 *in, int version)
     803                 :            : {
     804                 :          0 :         switch (version) {
     805                 :            :         case IPC_64:
     806                 :          0 :                 return copy_to_user(buf, in, sizeof(*in));
     807                 :            :         case IPC_OLD:
     808                 :            :             {
     809                 :            :                 struct shminfo out;
     810                 :            : 
     811                 :          0 :                 if (in->shmmax > INT_MAX)
     812                 :          0 :                         out.shmmax = INT_MAX;
     813                 :            :                 else
     814                 :          0 :                         out.shmmax = (int)in->shmmax;
     815                 :            : 
     816                 :          0 :                 out.shmmin      = in->shmmin;
     817                 :          0 :                 out.shmmni      = in->shmmni;
     818                 :          0 :                 out.shmseg      = in->shmseg;
     819                 :          0 :                 out.shmall      = in->shmall;
     820                 :            : 
     821                 :            :                 return copy_to_user(buf, &out, sizeof(out));
     822                 :            :             }
     823                 :            :         default:
     824                 :            :                 return -EINVAL;
     825                 :            :         }
     826                 :            : }
     827                 :            : 
     828                 :            : /*
     829                 :            :  * Calculate and add used RSS and swap pages of a shm.
     830                 :            :  * Called with shm_ids.rwsem held as a reader
     831                 :            :  */
     832                 :          0 : static void shm_add_rss_swap(struct shmid_kernel *shp,
     833                 :            :         unsigned long *rss_add, unsigned long *swp_add)
     834                 :            : {
     835                 :            :         struct inode *inode;
     836                 :            : 
     837                 :          0 :         inode = file_inode(shp->shm_file);
     838                 :            : 
     839                 :            :         if (is_file_hugepages(shp->shm_file)) {
     840                 :            :                 struct address_space *mapping = inode->i_mapping;
     841                 :            :                 struct hstate *h = hstate_file(shp->shm_file);
     842                 :            :                 *rss_add += pages_per_huge_page(h) * mapping->nrpages;
     843                 :            :         } else {
     844                 :            : #ifdef CONFIG_SHMEM
     845                 :            :                 struct shmem_inode_info *info = SHMEM_I(inode);
     846                 :            : 
     847                 :            :                 spin_lock_irq(&info->lock);
     848                 :          0 :                 *rss_add += inode->i_mapping->nrpages;
     849                 :          0 :                 *swp_add += info->swapped;
     850                 :            :                 spin_unlock_irq(&info->lock);
     851                 :            : #else
     852                 :            :                 *rss_add += inode->i_mapping->nrpages;
     853                 :            : #endif
     854                 :            :         }
     855                 :          0 : }
     856                 :            : 
     857                 :            : /*
     858                 :            :  * Called with shm_ids.rwsem held as a reader
     859                 :            :  */
     860                 :          0 : static void shm_get_stat(struct ipc_namespace *ns, unsigned long *rss,
     861                 :            :                 unsigned long *swp)
     862                 :            : {
     863                 :            :         int next_id;
     864                 :            :         int total, in_use;
     865                 :            : 
     866                 :          0 :         *rss = 0;
     867                 :          0 :         *swp = 0;
     868                 :            : 
     869                 :          0 :         in_use = shm_ids(ns).in_use;
     870                 :            : 
     871                 :          0 :         for (total = 0, next_id = 0; total < in_use; next_id++) {
     872                 :            :                 struct kern_ipc_perm *ipc;
     873                 :            :                 struct shmid_kernel *shp;
     874                 :            : 
     875                 :          0 :                 ipc = idr_find(&shm_ids(ns).ipcs_idr, next_id);
     876                 :          0 :                 if (ipc == NULL)
     877                 :          0 :                         continue;
     878                 :            :                 shp = container_of(ipc, struct shmid_kernel, shm_perm);
     879                 :            : 
     880                 :          0 :                 shm_add_rss_swap(shp, rss, swp);
     881                 :            : 
     882                 :          0 :                 total++;
     883                 :            :         }
     884                 :          0 : }
     885                 :            : 
     886                 :            : /*
     887                 :            :  * This function handles some shmctl commands which require the rwsem
     888                 :            :  * to be held in write mode.
     889                 :            :  * NOTE: no locks must be held, the rwsem is taken inside this function.
     890                 :            :  */
     891                 :          3 : static int shmctl_down(struct ipc_namespace *ns, int shmid, int cmd,
     892                 :            :                        struct shmid64_ds *shmid64)
     893                 :            : {
     894                 :            :         struct kern_ipc_perm *ipcp;
     895                 :            :         struct shmid_kernel *shp;
     896                 :            :         int err;
     897                 :            : 
     898                 :          3 :         down_write(&shm_ids(ns).rwsem);
     899                 :            :         rcu_read_lock();
     900                 :            : 
     901                 :          3 :         ipcp = ipcctl_obtain_check(ns, &shm_ids(ns), shmid, cmd,
     902                 :            :                                       &shmid64->shm_perm, 0);
     903                 :          3 :         if (IS_ERR(ipcp)) {
     904                 :            :                 err = PTR_ERR(ipcp);
     905                 :          0 :                 goto out_unlock1;
     906                 :            :         }
     907                 :            : 
     908                 :            :         shp = container_of(ipcp, struct shmid_kernel, shm_perm);
     909                 :            : 
     910                 :          3 :         err = security_shm_shmctl(&shp->shm_perm, cmd);
     911                 :          3 :         if (err)
     912                 :            :                 goto out_unlock1;
     913                 :            : 
     914                 :          3 :         switch (cmd) {
     915                 :            :         case IPC_RMID:
     916                 :            :                 ipc_lock_object(&shp->shm_perm);
     917                 :            :                 /* do_shm_rmid unlocks the ipc object and rcu */
     918                 :          3 :                 do_shm_rmid(ns, ipcp);
     919                 :          3 :                 goto out_up;
     920                 :            :         case IPC_SET:
     921                 :            :                 ipc_lock_object(&shp->shm_perm);
     922                 :          0 :                 err = ipc_update_perm(&shmid64->shm_perm, ipcp);
     923                 :          0 :                 if (err)
     924                 :            :                         goto out_unlock0;
     925                 :          0 :                 shp->shm_ctim = ktime_get_real_seconds();
     926                 :          0 :                 break;
     927                 :            :         default:
     928                 :            :                 err = -EINVAL;
     929                 :            :                 goto out_unlock1;
     930                 :            :         }
     931                 :            : 
     932                 :            : out_unlock0:
     933                 :            :         ipc_unlock_object(&shp->shm_perm);
     934                 :            : out_unlock1:
     935                 :            :         rcu_read_unlock();
     936                 :            : out_up:
     937                 :          3 :         up_write(&shm_ids(ns).rwsem);
     938                 :          3 :         return err;
     939                 :            : }
     940                 :            : 
     941                 :          0 : static int shmctl_ipc_info(struct ipc_namespace *ns,
     942                 :            :                            struct shminfo64 *shminfo)
     943                 :            : {
     944                 :          0 :         int err = security_shm_shmctl(NULL, IPC_INFO);
     945                 :          0 :         if (!err) {
     946                 :          0 :                 memset(shminfo, 0, sizeof(*shminfo));
     947                 :          0 :                 shminfo->shmmni = shminfo->shmseg = ns->shm_ctlmni;
     948                 :          0 :                 shminfo->shmmax = ns->shm_ctlmax;
     949                 :          0 :                 shminfo->shmall = ns->shm_ctlall;
     950                 :          0 :                 shminfo->shmmin = SHMMIN;
     951                 :          0 :                 down_read(&shm_ids(ns).rwsem);
     952                 :            :                 err = ipc_get_maxidx(&shm_ids(ns));
     953                 :          0 :                 up_read(&shm_ids(ns).rwsem);
     954                 :          0 :                 if (err < 0)
     955                 :            :                         err = 0;
     956                 :            :         }
     957                 :          0 :         return err;
     958                 :            : }
     959                 :            : 
     960                 :          0 : static int shmctl_shm_info(struct ipc_namespace *ns,
     961                 :            :                            struct shm_info *shm_info)
     962                 :            : {
     963                 :          0 :         int err = security_shm_shmctl(NULL, SHM_INFO);
     964                 :          0 :         if (!err) {
     965                 :          0 :                 memset(shm_info, 0, sizeof(*shm_info));
     966                 :          0 :                 down_read(&shm_ids(ns).rwsem);
     967                 :          0 :                 shm_info->used_ids = shm_ids(ns).in_use;
     968                 :          0 :                 shm_get_stat(ns, &shm_info->shm_rss, &shm_info->shm_swp);
     969                 :          0 :                 shm_info->shm_tot = ns->shm_tot;
     970                 :          0 :                 shm_info->swap_attempts = 0;
     971                 :          0 :                 shm_info->swap_successes = 0;
     972                 :            :                 err = ipc_get_maxidx(&shm_ids(ns));
     973                 :          0 :                 up_read(&shm_ids(ns).rwsem);
     974                 :          0 :                 if (err < 0)
     975                 :            :                         err = 0;
     976                 :            :         }
     977                 :          0 :         return err;
     978                 :            : }
     979                 :            : 
     980                 :          3 : static int shmctl_stat(struct ipc_namespace *ns, int shmid,
     981                 :            :                         int cmd, struct shmid64_ds *tbuf)
     982                 :            : {
     983                 :            :         struct shmid_kernel *shp;
     984                 :            :         int err;
     985                 :            : 
     986                 :          3 :         memset(tbuf, 0, sizeof(*tbuf));
     987                 :            : 
     988                 :            :         rcu_read_lock();
     989                 :          3 :         if (cmd == SHM_STAT || cmd == SHM_STAT_ANY) {
     990                 :            :                 shp = shm_obtain_object(ns, shmid);
     991                 :          0 :                 if (IS_ERR(shp)) {
     992                 :            :                         err = PTR_ERR(shp);
     993                 :          0 :                         goto out_unlock;
     994                 :            :                 }
     995                 :            :         } else { /* IPC_STAT */
     996                 :            :                 shp = shm_obtain_object_check(ns, shmid);
     997                 :          3 :                 if (IS_ERR(shp)) {
     998                 :            :                         err = PTR_ERR(shp);
     999                 :          0 :                         goto out_unlock;
    1000                 :            :                 }
    1001                 :            :         }
    1002                 :            : 
    1003                 :            :         /*
    1004                 :            :          * Semantically SHM_STAT_ANY ought to be identical to
    1005                 :            :          * that functionality provided by the /proc/sysvipc/
    1006                 :            :          * interface. As such, only audit these calls and
    1007                 :            :          * do not do traditional S_IRUGO permission checks on
    1008                 :            :          * the ipc object.
    1009                 :            :          */
    1010                 :          3 :         if (cmd == SHM_STAT_ANY)
    1011                 :          0 :                 audit_ipc_obj(&shp->shm_perm);
    1012                 :            :         else {
    1013                 :            :                 err = -EACCES;
    1014                 :          3 :                 if (ipcperms(ns, &shp->shm_perm, S_IRUGO))
    1015                 :            :                         goto out_unlock;
    1016                 :            :         }
    1017                 :            : 
    1018                 :          3 :         err = security_shm_shmctl(&shp->shm_perm, cmd);
    1019                 :          3 :         if (err)
    1020                 :            :                 goto out_unlock;
    1021                 :            : 
    1022                 :            :         ipc_lock_object(&shp->shm_perm);
    1023                 :            : 
    1024                 :          3 :         if (!ipc_valid_object(&shp->shm_perm)) {
    1025                 :            :                 ipc_unlock_object(&shp->shm_perm);
    1026                 :            :                 err = -EIDRM;
    1027                 :          0 :                 goto out_unlock;
    1028                 :            :         }
    1029                 :            : 
    1030                 :          3 :         kernel_to_ipc64_perm(&shp->shm_perm, &tbuf->shm_perm);
    1031                 :          3 :         tbuf->shm_segsz      = shp->shm_segsz;
    1032                 :          3 :         tbuf->shm_atime      = shp->shm_atim;
    1033                 :          3 :         tbuf->shm_dtime      = shp->shm_dtim;
    1034                 :          3 :         tbuf->shm_ctime      = shp->shm_ctim;
    1035                 :            : #ifndef CONFIG_64BIT
    1036                 :          3 :         tbuf->shm_atime_high = shp->shm_atim >> 32;
    1037                 :          3 :         tbuf->shm_dtime_high = shp->shm_dtim >> 32;
    1038                 :          3 :         tbuf->shm_ctime_high = shp->shm_ctim >> 32;
    1039                 :            : #endif
    1040                 :          3 :         tbuf->shm_cpid       = pid_vnr(shp->shm_cprid);
    1041                 :          3 :         tbuf->shm_lpid       = pid_vnr(shp->shm_lprid);
    1042                 :          3 :         tbuf->shm_nattch = shp->shm_nattch;
    1043                 :            : 
    1044                 :          3 :         if (cmd == IPC_STAT) {
    1045                 :            :                 /*
    1046                 :            :                  * As defined in SUS:
    1047                 :            :                  * Return 0 on success
    1048                 :            :                  */
    1049                 :            :                 err = 0;
    1050                 :            :         } else {
    1051                 :            :                 /*
    1052                 :            :                  * SHM_STAT and SHM_STAT_ANY (both Linux specific)
    1053                 :            :                  * Return the full id, including the sequence number
    1054                 :            :                  */
    1055                 :          0 :                 err = shp->shm_perm.id;
    1056                 :            :         }
    1057                 :            : 
    1058                 :            :         ipc_unlock_object(&shp->shm_perm);
    1059                 :            : out_unlock:
    1060                 :            :         rcu_read_unlock();
    1061                 :          3 :         return err;
    1062                 :            : }
    1063                 :            : 
    1064                 :          0 : static int shmctl_do_lock(struct ipc_namespace *ns, int shmid, int cmd)
    1065                 :            : {
    1066                 :            :         struct shmid_kernel *shp;
    1067                 :            :         struct file *shm_file;
    1068                 :            :         int err;
    1069                 :            : 
    1070                 :            :         rcu_read_lock();
    1071                 :            :         shp = shm_obtain_object_check(ns, shmid);
    1072                 :          0 :         if (IS_ERR(shp)) {
    1073                 :            :                 err = PTR_ERR(shp);
    1074                 :          0 :                 goto out_unlock1;
    1075                 :            :         }
    1076                 :            : 
    1077                 :          0 :         audit_ipc_obj(&(shp->shm_perm));
    1078                 :          0 :         err = security_shm_shmctl(&shp->shm_perm, cmd);
    1079                 :          0 :         if (err)
    1080                 :            :                 goto out_unlock1;
    1081                 :            : 
    1082                 :            :         ipc_lock_object(&shp->shm_perm);
    1083                 :            : 
    1084                 :            :         /* check if shm_destroy() is tearing down shp */
    1085                 :          0 :         if (!ipc_valid_object(&shp->shm_perm)) {
    1086                 :            :                 err = -EIDRM;
    1087                 :            :                 goto out_unlock0;
    1088                 :            :         }
    1089                 :            : 
    1090                 :          0 :         if (!ns_capable(ns->user_ns, CAP_IPC_LOCK)) {
    1091                 :          0 :                 kuid_t euid = current_euid();
    1092                 :            : 
    1093                 :          0 :                 if (!uid_eq(euid, shp->shm_perm.uid) &&
    1094                 :            :                     !uid_eq(euid, shp->shm_perm.cuid)) {
    1095                 :            :                         err = -EPERM;
    1096                 :            :                         goto out_unlock0;
    1097                 :            :                 }
    1098                 :          0 :                 if (cmd == SHM_LOCK && !rlimit(RLIMIT_MEMLOCK)) {
    1099                 :            :                         err = -EPERM;
    1100                 :            :                         goto out_unlock0;
    1101                 :            :                 }
    1102                 :            :         }
    1103                 :            : 
    1104                 :          0 :         shm_file = shp->shm_file;
    1105                 :            :         if (is_file_hugepages(shm_file))
    1106                 :            :                 goto out_unlock0;
    1107                 :            : 
    1108                 :          0 :         if (cmd == SHM_LOCK) {
    1109                 :          0 :                 struct user_struct *user = current_user();
    1110                 :            : 
    1111                 :          0 :                 err = shmem_lock(shm_file, 1, user);
    1112                 :          0 :                 if (!err && !(shp->shm_perm.mode & SHM_LOCKED)) {
    1113                 :          0 :                         shp->shm_perm.mode |= SHM_LOCKED;
    1114                 :          0 :                         shp->mlock_user = user;
    1115                 :            :                 }
    1116                 :            :                 goto out_unlock0;
    1117                 :            :         }
    1118                 :            : 
    1119                 :            :         /* SHM_UNLOCK */
    1120                 :          0 :         if (!(shp->shm_perm.mode & SHM_LOCKED))
    1121                 :            :                 goto out_unlock0;
    1122                 :          0 :         shmem_lock(shm_file, 0, shp->mlock_user);
    1123                 :          0 :         shp->shm_perm.mode &= ~SHM_LOCKED;
    1124                 :          0 :         shp->mlock_user = NULL;
    1125                 :            :         get_file(shm_file);
    1126                 :            :         ipc_unlock_object(&shp->shm_perm);
    1127                 :            :         rcu_read_unlock();
    1128                 :          0 :         shmem_unlock_mapping(shm_file->f_mapping);
    1129                 :            : 
    1130                 :          0 :         fput(shm_file);
    1131                 :          0 :         return err;
    1132                 :            : 
    1133                 :            : out_unlock0:
    1134                 :            :         ipc_unlock_object(&shp->shm_perm);
    1135                 :            : out_unlock1:
    1136                 :            :         rcu_read_unlock();
    1137                 :          0 :         return err;
    1138                 :            : }
    1139                 :            : 
    1140                 :          3 : static long ksys_shmctl(int shmid, int cmd, struct shmid_ds __user *buf, int version)
    1141                 :            : {
    1142                 :            :         int err;
    1143                 :            :         struct ipc_namespace *ns;
    1144                 :            :         struct shmid64_ds sem64;
    1145                 :            : 
    1146                 :          3 :         if (cmd < 0 || shmid < 0)
    1147                 :            :                 return -EINVAL;
    1148                 :            : 
    1149                 :          3 :         ns = current->nsproxy->ipc_ns;
    1150                 :            : 
    1151                 :          3 :         switch (cmd) {
    1152                 :            :         case IPC_INFO: {
    1153                 :            :                 struct shminfo64 shminfo;
    1154                 :          0 :                 err = shmctl_ipc_info(ns, &shminfo);
    1155                 :          0 :                 if (err < 0)
    1156                 :            :                         return err;
    1157                 :          0 :                 if (copy_shminfo_to_user(buf, &shminfo, version))
    1158                 :            :                         err = -EFAULT;
    1159                 :          0 :                 return err;
    1160                 :            :         }
    1161                 :            :         case SHM_INFO: {
    1162                 :            :                 struct shm_info shm_info;
    1163                 :          0 :                 err = shmctl_shm_info(ns, &shm_info);
    1164                 :          0 :                 if (err < 0)
    1165                 :            :                         return err;
    1166                 :          0 :                 if (copy_to_user(buf, &shm_info, sizeof(shm_info)))
    1167                 :            :                         err = -EFAULT;
    1168                 :          0 :                 return err;
    1169                 :            :         }
    1170                 :            :         case SHM_STAT:
    1171                 :            :         case SHM_STAT_ANY:
    1172                 :            :         case IPC_STAT: {
    1173                 :          3 :                 err = shmctl_stat(ns, shmid, cmd, &sem64);
    1174                 :          3 :                 if (err < 0)
    1175                 :            :                         return err;
    1176                 :          3 :                 if (copy_shmid_to_user(buf, &sem64, version))
    1177                 :            :                         err = -EFAULT;
    1178                 :          3 :                 return err;
    1179                 :            :         }
    1180                 :            :         case IPC_SET:
    1181                 :          0 :                 if (copy_shmid_from_user(&sem64, buf, version))
    1182                 :            :                         return -EFAULT;
    1183                 :            :                 /* fallthru */
    1184                 :            :         case IPC_RMID:
    1185                 :          3 :                 return shmctl_down(ns, shmid, cmd, &sem64);
    1186                 :            :         case SHM_LOCK:
    1187                 :            :         case SHM_UNLOCK:
    1188                 :          0 :                 return shmctl_do_lock(ns, shmid, cmd);
    1189                 :            :         default:
    1190                 :            :                 return -EINVAL;
    1191                 :            :         }
    1192                 :            : }
    1193                 :            : 
    1194                 :          0 : SYSCALL_DEFINE3(shmctl, int, shmid, int, cmd, struct shmid_ds __user *, buf)
    1195                 :            : {
    1196                 :          0 :         return ksys_shmctl(shmid, cmd, buf, IPC_64);
    1197                 :            : }
    1198                 :            : 
    1199                 :            : #ifdef CONFIG_ARCH_WANT_IPC_PARSE_VERSION
    1200                 :          3 : long ksys_old_shmctl(int shmid, int cmd, struct shmid_ds __user *buf)
    1201                 :            : {
    1202                 :          3 :         int version = ipc_parse_version(&cmd);
    1203                 :            : 
    1204                 :          3 :         return ksys_shmctl(shmid, cmd, buf, version);
    1205                 :            : }
    1206                 :            : 
    1207                 :          3 : SYSCALL_DEFINE3(old_shmctl, int, shmid, int, cmd, struct shmid_ds __user *, buf)
    1208                 :            : {
    1209                 :          3 :         return ksys_old_shmctl(shmid, cmd, buf);
    1210                 :            : }
    1211                 :            : #endif
    1212                 :            : 
    1213                 :            : #ifdef CONFIG_COMPAT
    1214                 :            : 
    1215                 :            : struct compat_shmid_ds {
    1216                 :            :         struct compat_ipc_perm shm_perm;
    1217                 :            :         int shm_segsz;
    1218                 :            :         old_time32_t shm_atime;
    1219                 :            :         old_time32_t shm_dtime;
    1220                 :            :         old_time32_t shm_ctime;
    1221                 :            :         compat_ipc_pid_t shm_cpid;
    1222                 :            :         compat_ipc_pid_t shm_lpid;
    1223                 :            :         unsigned short shm_nattch;
    1224                 :            :         unsigned short shm_unused;
    1225                 :            :         compat_uptr_t shm_unused2;
    1226                 :            :         compat_uptr_t shm_unused3;
    1227                 :            : };
    1228                 :            : 
    1229                 :            : struct compat_shminfo64 {
    1230                 :            :         compat_ulong_t shmmax;
    1231                 :            :         compat_ulong_t shmmin;
    1232                 :            :         compat_ulong_t shmmni;
    1233                 :            :         compat_ulong_t shmseg;
    1234                 :            :         compat_ulong_t shmall;
    1235                 :            :         compat_ulong_t __unused1;
    1236                 :            :         compat_ulong_t __unused2;
    1237                 :            :         compat_ulong_t __unused3;
    1238                 :            :         compat_ulong_t __unused4;
    1239                 :            : };
    1240                 :            : 
    1241                 :            : struct compat_shm_info {
    1242                 :            :         compat_int_t used_ids;
    1243                 :            :         compat_ulong_t shm_tot, shm_rss, shm_swp;
    1244                 :            :         compat_ulong_t swap_attempts, swap_successes;
    1245                 :            : };
    1246                 :            : 
    1247                 :            : static int copy_compat_shminfo_to_user(void __user *buf, struct shminfo64 *in,
    1248                 :            :                                         int version)
    1249                 :            : {
    1250                 :            :         if (in->shmmax > INT_MAX)
    1251                 :            :                 in->shmmax = INT_MAX;
    1252                 :            :         if (version == IPC_64) {
    1253                 :            :                 struct compat_shminfo64 info;
    1254                 :            :                 memset(&info, 0, sizeof(info));
    1255                 :            :                 info.shmmax = in->shmmax;
    1256                 :            :                 info.shmmin = in->shmmin;
    1257                 :            :                 info.shmmni = in->shmmni;
    1258                 :            :                 info.shmseg = in->shmseg;
    1259                 :            :                 info.shmall = in->shmall;
    1260                 :            :                 return copy_to_user(buf, &info, sizeof(info));
    1261                 :            :         } else {
    1262                 :            :                 struct shminfo info;
    1263                 :            :                 memset(&info, 0, sizeof(info));
    1264                 :            :                 info.shmmax = in->shmmax;
    1265                 :            :                 info.shmmin = in->shmmin;
    1266                 :            :                 info.shmmni = in->shmmni;
    1267                 :            :                 info.shmseg = in->shmseg;
    1268                 :            :                 info.shmall = in->shmall;
    1269                 :            :                 return copy_to_user(buf, &info, sizeof(info));
    1270                 :            :         }
    1271                 :            : }
    1272                 :            : 
    1273                 :            : static int put_compat_shm_info(struct shm_info *ip,
    1274                 :            :                                 struct compat_shm_info __user *uip)
    1275                 :            : {
    1276                 :            :         struct compat_shm_info info;
    1277                 :            : 
    1278                 :            :         memset(&info, 0, sizeof(info));
    1279                 :            :         info.used_ids = ip->used_ids;
    1280                 :            :         info.shm_tot = ip->shm_tot;
    1281                 :            :         info.shm_rss = ip->shm_rss;
    1282                 :            :         info.shm_swp = ip->shm_swp;
    1283                 :            :         info.swap_attempts = ip->swap_attempts;
    1284                 :            :         info.swap_successes = ip->swap_successes;
    1285                 :            :         return copy_to_user(uip, &info, sizeof(info));
    1286                 :            : }
    1287                 :            : 
    1288                 :            : static int copy_compat_shmid_to_user(void __user *buf, struct shmid64_ds *in,
    1289                 :            :                                         int version)
    1290                 :            : {
    1291                 :            :         if (version == IPC_64) {
    1292                 :            :                 struct compat_shmid64_ds v;
    1293                 :            :                 memset(&v, 0, sizeof(v));
    1294                 :            :                 to_compat_ipc64_perm(&v.shm_perm, &in->shm_perm);
    1295                 :            :                 v.shm_atime      = lower_32_bits(in->shm_atime);
    1296                 :            :                 v.shm_atime_high = upper_32_bits(in->shm_atime);
    1297                 :            :                 v.shm_dtime      = lower_32_bits(in->shm_dtime);
    1298                 :            :                 v.shm_dtime_high = upper_32_bits(in->shm_dtime);
    1299                 :            :                 v.shm_ctime      = lower_32_bits(in->shm_ctime);
    1300                 :            :                 v.shm_ctime_high = upper_32_bits(in->shm_ctime);
    1301                 :            :                 v.shm_segsz = in->shm_segsz;
    1302                 :            :                 v.shm_nattch = in->shm_nattch;
    1303                 :            :                 v.shm_cpid = in->shm_cpid;
    1304                 :            :                 v.shm_lpid = in->shm_lpid;
    1305                 :            :                 return copy_to_user(buf, &v, sizeof(v));
    1306                 :            :         } else {
    1307                 :            :                 struct compat_shmid_ds v;
    1308                 :            :                 memset(&v, 0, sizeof(v));
    1309                 :            :                 to_compat_ipc_perm(&v.shm_perm, &in->shm_perm);
    1310                 :            :                 v.shm_perm.key = in->shm_perm.key;
    1311                 :            :                 v.shm_atime = in->shm_atime;
    1312                 :            :                 v.shm_dtime = in->shm_dtime;
    1313                 :            :                 v.shm_ctime = in->shm_ctime;
    1314                 :            :                 v.shm_segsz = in->shm_segsz;
    1315                 :            :                 v.shm_nattch = in->shm_nattch;
    1316                 :            :                 v.shm_cpid = in->shm_cpid;
    1317                 :            :                 v.shm_lpid = in->shm_lpid;
    1318                 :            :                 return copy_to_user(buf, &v, sizeof(v));
    1319                 :            :         }
    1320                 :            : }
    1321                 :            : 
    1322                 :            : static int copy_compat_shmid_from_user(struct shmid64_ds *out, void __user *buf,
    1323                 :            :                                         int version)
    1324                 :            : {
    1325                 :            :         memset(out, 0, sizeof(*out));
    1326                 :            :         if (version == IPC_64) {
    1327                 :            :                 struct compat_shmid64_ds __user *p = buf;
    1328                 :            :                 return get_compat_ipc64_perm(&out->shm_perm, &p->shm_perm);
    1329                 :            :         } else {
    1330                 :            :                 struct compat_shmid_ds __user *p = buf;
    1331                 :            :                 return get_compat_ipc_perm(&out->shm_perm, &p->shm_perm);
    1332                 :            :         }
    1333                 :            : }
    1334                 :            : 
    1335                 :            : long compat_ksys_shmctl(int shmid, int cmd, void __user *uptr, int version)
    1336                 :            : {
    1337                 :            :         struct ipc_namespace *ns;
    1338                 :            :         struct shmid64_ds sem64;
    1339                 :            :         int err;
    1340                 :            : 
    1341                 :            :         ns = current->nsproxy->ipc_ns;
    1342                 :            : 
    1343                 :            :         if (cmd < 0 || shmid < 0)
    1344                 :            :                 return -EINVAL;
    1345                 :            : 
    1346                 :            :         switch (cmd) {
    1347                 :            :         case IPC_INFO: {
    1348                 :            :                 struct shminfo64 shminfo;
    1349                 :            :                 err = shmctl_ipc_info(ns, &shminfo);
    1350                 :            :                 if (err < 0)
    1351                 :            :                         return err;
    1352                 :            :                 if (copy_compat_shminfo_to_user(uptr, &shminfo, version))
    1353                 :            :                         err = -EFAULT;
    1354                 :            :                 return err;
    1355                 :            :         }
    1356                 :            :         case SHM_INFO: {
    1357                 :            :                 struct shm_info shm_info;
    1358                 :            :                 err = shmctl_shm_info(ns, &shm_info);
    1359                 :            :                 if (err < 0)
    1360                 :            :                         return err;
    1361                 :            :                 if (put_compat_shm_info(&shm_info, uptr))
    1362                 :            :                         err = -EFAULT;
    1363                 :            :                 return err;
    1364                 :            :         }
    1365                 :            :         case IPC_STAT:
    1366                 :            :         case SHM_STAT_ANY:
    1367                 :            :         case SHM_STAT:
    1368                 :            :                 err = shmctl_stat(ns, shmid, cmd, &sem64);
    1369                 :            :                 if (err < 0)
    1370                 :            :                         return err;
    1371                 :            :                 if (copy_compat_shmid_to_user(uptr, &sem64, version))
    1372                 :            :                         err = -EFAULT;
    1373                 :            :                 return err;
    1374                 :            : 
    1375                 :            :         case IPC_SET:
    1376                 :            :                 if (copy_compat_shmid_from_user(&sem64, uptr, version))
    1377                 :            :                         return -EFAULT;
    1378                 :            :                 /* fallthru */
    1379                 :            :         case IPC_RMID:
    1380                 :            :                 return shmctl_down(ns, shmid, cmd, &sem64);
    1381                 :            :         case SHM_LOCK:
    1382                 :            :         case SHM_UNLOCK:
    1383                 :            :                 return shmctl_do_lock(ns, shmid, cmd);
    1384                 :            :                 break;
    1385                 :            :         default:
    1386                 :            :                 return -EINVAL;
    1387                 :            :         }
    1388                 :            :         return err;
    1389                 :            : }
    1390                 :            : 
    1391                 :            : COMPAT_SYSCALL_DEFINE3(shmctl, int, shmid, int, cmd, void __user *, uptr)
    1392                 :            : {
    1393                 :            :         return compat_ksys_shmctl(shmid, cmd, uptr, IPC_64);
    1394                 :            : }
    1395                 :            : 
    1396                 :            : #ifdef CONFIG_ARCH_WANT_COMPAT_IPC_PARSE_VERSION
    1397                 :            : long compat_ksys_old_shmctl(int shmid, int cmd, void __user *uptr)
    1398                 :            : {
    1399                 :            :         int version = compat_ipc_parse_version(&cmd);
    1400                 :            : 
    1401                 :            :         return compat_ksys_shmctl(shmid, cmd, uptr, version);
    1402                 :            : }
    1403                 :            : 
    1404                 :            : COMPAT_SYSCALL_DEFINE3(old_shmctl, int, shmid, int, cmd, void __user *, uptr)
    1405                 :            : {
    1406                 :            :         return compat_ksys_old_shmctl(shmid, cmd, uptr);
    1407                 :            : }
    1408                 :            : #endif
    1409                 :            : #endif
    1410                 :            : 
    1411                 :            : /*
    1412                 :            :  * Fix shmaddr, allocate descriptor, map shm, add attach descriptor to lists.
    1413                 :            :  *
    1414                 :            :  * NOTE! Despite the name, this is NOT a direct system call entrypoint. The
    1415                 :            :  * "raddr" thing points to kernel space, and there has to be a wrapper around
    1416                 :            :  * this.
    1417                 :            :  */
    1418                 :          3 : long do_shmat(int shmid, char __user *shmaddr, int shmflg,
    1419                 :            :               ulong *raddr, unsigned long shmlba)
    1420                 :            : {
    1421                 :            :         struct shmid_kernel *shp;
    1422                 :          3 :         unsigned long addr = (unsigned long)shmaddr;
    1423                 :            :         unsigned long size;
    1424                 :            :         struct file *file, *base;
    1425                 :            :         int    err;
    1426                 :            :         unsigned long flags = MAP_SHARED;
    1427                 :            :         unsigned long prot;
    1428                 :            :         int acc_mode;
    1429                 :            :         struct ipc_namespace *ns;
    1430                 :            :         struct shm_file_data *sfd;
    1431                 :            :         int f_flags;
    1432                 :          3 :         unsigned long populate = 0;
    1433                 :            : 
    1434                 :            :         err = -EINVAL;
    1435                 :          3 :         if (shmid < 0)
    1436                 :            :                 goto out;
    1437                 :            : 
    1438                 :          3 :         if (addr) {
    1439                 :          0 :                 if (addr & (shmlba - 1)) {
    1440                 :          0 :                         if (shmflg & SHM_RND) {
    1441                 :          0 :                                 addr &= ~(shmlba - 1);  /* round down */
    1442                 :            : 
    1443                 :            :                                 /*
    1444                 :            :                                  * Ensure that the round-down is non-nil
    1445                 :            :                                  * when remapping. This can happen for
    1446                 :            :                                  * cases when addr < shmlba.
    1447                 :            :                                  */
    1448                 :          0 :                                 if (!addr && (shmflg & SHM_REMAP))
    1449                 :            :                                         goto out;
    1450                 :            :                         } else
    1451                 :            : #ifndef __ARCH_FORCE_SHMLBA
    1452                 :            :                                 if (addr & ~PAGE_MASK)
    1453                 :            : #endif
    1454                 :            :                                         goto out;
    1455                 :            :                 }
    1456                 :            : 
    1457                 :            :                 flags |= MAP_FIXED;
    1458                 :          3 :         } else if ((shmflg & SHM_REMAP))
    1459                 :            :                 goto out;
    1460                 :            : 
    1461                 :          3 :         if (shmflg & SHM_RDONLY) {
    1462                 :            :                 prot = PROT_READ;
    1463                 :            :                 acc_mode = S_IRUGO;
    1464                 :            :                 f_flags = O_RDONLY;
    1465                 :            :         } else {
    1466                 :            :                 prot = PROT_READ | PROT_WRITE;
    1467                 :            :                 acc_mode = S_IRUGO | S_IWUGO;
    1468                 :            :                 f_flags = O_RDWR;
    1469                 :            :         }
    1470                 :          3 :         if (shmflg & SHM_EXEC) {
    1471                 :          0 :                 prot |= PROT_EXEC;
    1472                 :          0 :                 acc_mode |= S_IXUGO;
    1473                 :            :         }
    1474                 :            : 
    1475                 :            :         /*
    1476                 :            :          * We cannot rely on the fs check since SYSV IPC does have an
    1477                 :            :          * additional creator id...
    1478                 :            :          */
    1479                 :          3 :         ns = current->nsproxy->ipc_ns;
    1480                 :            :         rcu_read_lock();
    1481                 :            :         shp = shm_obtain_object_check(ns, shmid);
    1482                 :          3 :         if (IS_ERR(shp)) {
    1483                 :            :                 err = PTR_ERR(shp);
    1484                 :          0 :                 goto out_unlock;
    1485                 :            :         }
    1486                 :            : 
    1487                 :            :         err = -EACCES;
    1488                 :          3 :         if (ipcperms(ns, &shp->shm_perm, acc_mode))
    1489                 :            :                 goto out_unlock;
    1490                 :            : 
    1491                 :          3 :         err = security_shm_shmat(&shp->shm_perm, shmaddr, shmflg);
    1492                 :          3 :         if (err)
    1493                 :            :                 goto out_unlock;
    1494                 :            : 
    1495                 :            :         ipc_lock_object(&shp->shm_perm);
    1496                 :            : 
    1497                 :            :         /* check if shm_destroy() is tearing down shp */
    1498                 :          3 :         if (!ipc_valid_object(&shp->shm_perm)) {
    1499                 :            :                 ipc_unlock_object(&shp->shm_perm);
    1500                 :            :                 err = -EIDRM;
    1501                 :          0 :                 goto out_unlock;
    1502                 :            :         }
    1503                 :            : 
    1504                 :            :         /*
    1505                 :            :          * We need to take a reference to the real shm file to prevent the
    1506                 :            :          * pointer from becoming stale in cases where the lifetime of the outer
    1507                 :            :          * file extends beyond that of the shm segment.  It's not usually
    1508                 :            :          * possible, but it can happen during remap_file_pages() emulation as
    1509                 :            :          * that unmaps the memory, then does ->mmap() via file reference only.
    1510                 :            :          * We'll deny the ->mmap() if the shm segment was since removed, but to
    1511                 :            :          * detect shm ID reuse we need to compare the file pointers.
    1512                 :            :          */
    1513                 :          3 :         base = get_file(shp->shm_file);
    1514                 :          3 :         shp->shm_nattch++;
    1515                 :          3 :         size = i_size_read(file_inode(base));
    1516                 :            :         ipc_unlock_object(&shp->shm_perm);
    1517                 :            :         rcu_read_unlock();
    1518                 :            : 
    1519                 :            :         err = -ENOMEM;
    1520                 :          3 :         sfd = kzalloc(sizeof(*sfd), GFP_KERNEL);
    1521                 :          3 :         if (!sfd) {
    1522                 :          0 :                 fput(base);
    1523                 :          0 :                 goto out_nattch;
    1524                 :            :         }
    1525                 :            : 
    1526                 :          3 :         file = alloc_file_clone(base, f_flags,
    1527                 :            :                           is_file_hugepages(base) ?
    1528                 :            :                                 &shm_file_operations_huge :
    1529                 :            :                                 &shm_file_operations);
    1530                 :            :         err = PTR_ERR(file);
    1531                 :          3 :         if (IS_ERR(file)) {
    1532                 :          0 :                 kfree(sfd);
    1533                 :          0 :                 fput(base);
    1534                 :          0 :                 goto out_nattch;
    1535                 :            :         }
    1536                 :            : 
    1537                 :          3 :         sfd->id = shp->shm_perm.id;
    1538                 :          3 :         sfd->ns = get_ipc_ns(ns);
    1539                 :          3 :         sfd->file = base;
    1540                 :          3 :         sfd->vm_ops = NULL;
    1541                 :          3 :         file->private_data = sfd;
    1542                 :            : 
    1543                 :          3 :         err = security_mmap_file(file, prot, flags);
    1544                 :          3 :         if (err)
    1545                 :            :                 goto out_fput;
    1546                 :            : 
    1547                 :          3 :         if (down_write_killable(&current->mm->mmap_sem)) {
    1548                 :            :                 err = -EINTR;
    1549                 :            :                 goto out_fput;
    1550                 :            :         }
    1551                 :            : 
    1552                 :          3 :         if (addr && !(shmflg & SHM_REMAP)) {
    1553                 :            :                 err = -EINVAL;
    1554                 :          0 :                 if (addr + size < addr)
    1555                 :            :                         goto invalid;
    1556                 :            : 
    1557                 :          0 :                 if (find_vma_intersection(current->mm, addr, addr + size))
    1558                 :            :                         goto invalid;
    1559                 :            :         }
    1560                 :            : 
    1561                 :            :         addr = do_mmap_pgoff(file, addr, size, prot, flags, 0, &populate, NULL);
    1562                 :          3 :         *raddr = addr;
    1563                 :            :         err = 0;
    1564                 :          3 :         if (IS_ERR_VALUE(addr))
    1565                 :          0 :                 err = (long)addr;
    1566                 :            : invalid:
    1567                 :          3 :         up_write(&current->mm->mmap_sem);
    1568                 :          3 :         if (populate)
    1569                 :            :                 mm_populate(addr, populate);
    1570                 :            : 
    1571                 :            : out_fput:
    1572                 :          3 :         fput(file);
    1573                 :            : 
    1574                 :            : out_nattch:
    1575                 :          3 :         down_write(&shm_ids(ns).rwsem);
    1576                 :          3 :         shp = shm_lock(ns, shmid);
    1577                 :          3 :         shp->shm_nattch--;
    1578                 :          3 :         if (shm_may_destroy(ns, shp))
    1579                 :          0 :                 shm_destroy(ns, shp);
    1580                 :            :         else
    1581                 :            :                 shm_unlock(shp);
    1582                 :          3 :         up_write(&shm_ids(ns).rwsem);
    1583                 :          3 :         return err;
    1584                 :            : 
    1585                 :            : out_unlock:
    1586                 :            :         rcu_read_unlock();
    1587                 :            : out:
    1588                 :          0 :         return err;
    1589                 :            : }
    1590                 :            : 
    1591                 :          3 : SYSCALL_DEFINE3(shmat, int, shmid, char __user *, shmaddr, int, shmflg)
    1592                 :            : {
    1593                 :            :         unsigned long ret;
    1594                 :            :         long err;
    1595                 :            : 
    1596                 :          3 :         err = do_shmat(shmid, shmaddr, shmflg, &ret, SHMLBA);
    1597                 :          3 :         if (err)
    1598                 :            :                 return err;
    1599                 :            :         force_successful_syscall_return();
    1600                 :          3 :         return (long)ret;
    1601                 :            : }
    1602                 :            : 
    1603                 :            : #ifdef CONFIG_COMPAT
    1604                 :            : 
    1605                 :            : #ifndef COMPAT_SHMLBA
    1606                 :            : #define COMPAT_SHMLBA   SHMLBA
    1607                 :            : #endif
    1608                 :            : 
    1609                 :            : COMPAT_SYSCALL_DEFINE3(shmat, int, shmid, compat_uptr_t, shmaddr, int, shmflg)
    1610                 :            : {
    1611                 :            :         unsigned long ret;
    1612                 :            :         long err;
    1613                 :            : 
    1614                 :            :         err = do_shmat(shmid, compat_ptr(shmaddr), shmflg, &ret, COMPAT_SHMLBA);
    1615                 :            :         if (err)
    1616                 :            :                 return err;
    1617                 :            :         force_successful_syscall_return();
    1618                 :            :         return (long)ret;
    1619                 :            : }
    1620                 :            : #endif
    1621                 :            : 
    1622                 :            : /*
    1623                 :            :  * detach and kill segment if marked destroyed.
    1624                 :            :  * The work is done in shm_close.
    1625                 :            :  */
    1626                 :          3 : long ksys_shmdt(char __user *shmaddr)
    1627                 :            : {
    1628                 :          3 :         struct mm_struct *mm = current->mm;
    1629                 :            :         struct vm_area_struct *vma;
    1630                 :          3 :         unsigned long addr = (unsigned long)shmaddr;
    1631                 :            :         int retval = -EINVAL;
    1632                 :            : #ifdef CONFIG_MMU
    1633                 :            :         loff_t size = 0;
    1634                 :            :         struct file *file;
    1635                 :            :         struct vm_area_struct *next;
    1636                 :            : #endif
    1637                 :            : 
    1638                 :          3 :         if (addr & ~PAGE_MASK)
    1639                 :            :                 return retval;
    1640                 :            : 
    1641                 :          3 :         if (down_write_killable(&mm->mmap_sem))
    1642                 :            :                 return -EINTR;
    1643                 :            : 
    1644                 :            :         /*
    1645                 :            :          * This function tries to be smart and unmap shm segments that
    1646                 :            :          * were modified by partial mlock or munmap calls:
    1647                 :            :          * - It first determines the size of the shm segment that should be
    1648                 :            :          *   unmapped: It searches for a vma that is backed by shm and that
    1649                 :            :          *   started at address shmaddr. It records it's size and then unmaps
    1650                 :            :          *   it.
    1651                 :            :          * - Then it unmaps all shm vmas that started at shmaddr and that
    1652                 :            :          *   are within the initially determined size and that are from the
    1653                 :            :          *   same shm segment from which we determined the size.
    1654                 :            :          * Errors from do_munmap are ignored: the function only fails if
    1655                 :            :          * it's called with invalid parameters or if it's called to unmap
    1656                 :            :          * a part of a vma. Both calls in this function are for full vmas,
    1657                 :            :          * the parameters are directly copied from the vma itself and always
    1658                 :            :          * valid - therefore do_munmap cannot fail. (famous last words?)
    1659                 :            :          */
    1660                 :            :         /*
    1661                 :            :          * If it had been mremap()'d, the starting address would not
    1662                 :            :          * match the usual checks anyway. So assume all vma's are
    1663                 :            :          * above the starting address given.
    1664                 :            :          */
    1665                 :          3 :         vma = find_vma(mm, addr);
    1666                 :            : 
    1667                 :            : #ifdef CONFIG_MMU
    1668                 :          3 :         while (vma) {
    1669                 :          3 :                 next = vma->vm_next;
    1670                 :            : 
    1671                 :            :                 /*
    1672                 :            :                  * Check if the starting address would match, i.e. it's
    1673                 :            :                  * a fragment created by mprotect() and/or munmap(), or it
    1674                 :            :                  * otherwise it starts at this address with no hassles.
    1675                 :            :                  */
    1676                 :          3 :                 if ((vma->vm_ops == &shm_vm_ops) &&
    1677                 :          3 :                         (vma->vm_start - addr)/PAGE_SIZE == vma->vm_pgoff) {
    1678                 :            : 
    1679                 :            :                         /*
    1680                 :            :                          * Record the file of the shm segment being
    1681                 :            :                          * unmapped.  With mremap(), someone could place
    1682                 :            :                          * page from another segment but with equal offsets
    1683                 :            :                          * in the range we are unmapping.
    1684                 :            :                          */
    1685                 :          3 :                         file = vma->vm_file;
    1686                 :            :                         size = i_size_read(file_inode(vma->vm_file));
    1687                 :          3 :                         do_munmap(mm, vma->vm_start, vma->vm_end - vma->vm_start, NULL);
    1688                 :            :                         /*
    1689                 :            :                          * We discovered the size of the shm segment, so
    1690                 :            :                          * break out of here and fall through to the next
    1691                 :            :                          * loop that uses the size information to stop
    1692                 :            :                          * searching for matching vma's.
    1693                 :            :                          */
    1694                 :            :                         retval = 0;
    1695                 :          3 :                         vma = next;
    1696                 :          3 :                         break;
    1697                 :            :                 }
    1698                 :            :                 vma = next;
    1699                 :            :         }
    1700                 :            : 
    1701                 :            :         /*
    1702                 :            :          * We need look no further than the maximum address a fragment
    1703                 :            :          * could possibly have landed at. Also cast things to loff_t to
    1704                 :            :          * prevent overflows and make comparisons vs. equal-width types.
    1705                 :            :          */
    1706                 :          3 :         size = PAGE_ALIGN(size);
    1707                 :          3 :         while (vma && (loff_t)(vma->vm_end - addr) <= size) {
    1708                 :          0 :                 next = vma->vm_next;
    1709                 :            : 
    1710                 :            :                 /* finding a matching vma now does not alter retval */
    1711                 :          0 :                 if ((vma->vm_ops == &shm_vm_ops) &&
    1712                 :          0 :                     ((vma->vm_start - addr)/PAGE_SIZE == vma->vm_pgoff) &&
    1713                 :          0 :                     (vma->vm_file == file))
    1714                 :          0 :                         do_munmap(mm, vma->vm_start, vma->vm_end - vma->vm_start, NULL);
    1715                 :            :                 vma = next;
    1716                 :            :         }
    1717                 :            : 
    1718                 :            : #else   /* CONFIG_MMU */
    1719                 :            :         /* under NOMMU conditions, the exact address to be destroyed must be
    1720                 :            :          * given
    1721                 :            :          */
    1722                 :            :         if (vma && vma->vm_start == addr && vma->vm_ops == &shm_vm_ops) {
    1723                 :            :                 do_munmap(mm, vma->vm_start, vma->vm_end - vma->vm_start, NULL);
    1724                 :            :                 retval = 0;
    1725                 :            :         }
    1726                 :            : 
    1727                 :            : #endif
    1728                 :            : 
    1729                 :          3 :         up_write(&mm->mmap_sem);
    1730                 :          3 :         return retval;
    1731                 :            : }
    1732                 :            : 
    1733                 :          3 : SYSCALL_DEFINE1(shmdt, char __user *, shmaddr)
    1734                 :            : {
    1735                 :          3 :         return ksys_shmdt(shmaddr);
    1736                 :            : }
    1737                 :            : 
    1738                 :            : #ifdef CONFIG_PROC_FS
    1739                 :          0 : static int sysvipc_shm_proc_show(struct seq_file *s, void *it)
    1740                 :            : {
    1741                 :          0 :         struct pid_namespace *pid_ns = ipc_seq_pid_ns(s);
    1742                 :            :         struct user_namespace *user_ns = seq_user_ns(s);
    1743                 :            :         struct kern_ipc_perm *ipcp = it;
    1744                 :            :         struct shmid_kernel *shp;
    1745                 :          0 :         unsigned long rss = 0, swp = 0;
    1746                 :            : 
    1747                 :            :         shp = container_of(ipcp, struct shmid_kernel, shm_perm);
    1748                 :          0 :         shm_add_rss_swap(shp, &rss, &swp);
    1749                 :            : 
    1750                 :            : #if BITS_PER_LONG <= 32
    1751                 :            : #define SIZE_SPEC "%10lu"
    1752                 :            : #else
    1753                 :            : #define SIZE_SPEC "%21lu"
    1754                 :            : #endif
    1755                 :            : 
    1756                 :          0 :         seq_printf(s,
    1757                 :            :                    "%10d %10d  %4o " SIZE_SPEC " %5u %5u  "
    1758                 :            :                    "%5lu %5u %5u %5u %5u %10llu %10llu %10llu "
    1759                 :            :                    SIZE_SPEC " " SIZE_SPEC "\n",
    1760                 :            :                    shp->shm_perm.key,
    1761                 :            :                    shp->shm_perm.id,
    1762                 :          0 :                    shp->shm_perm.mode,
    1763                 :            :                    shp->shm_segsz,
    1764                 :            :                    pid_nr_ns(shp->shm_cprid, pid_ns),
    1765                 :            :                    pid_nr_ns(shp->shm_lprid, pid_ns),
    1766                 :            :                    shp->shm_nattch,
    1767                 :            :                    from_kuid_munged(user_ns, shp->shm_perm.uid),
    1768                 :            :                    from_kgid_munged(user_ns, shp->shm_perm.gid),
    1769                 :            :                    from_kuid_munged(user_ns, shp->shm_perm.cuid),
    1770                 :            :                    from_kgid_munged(user_ns, shp->shm_perm.cgid),
    1771                 :            :                    shp->shm_atim,
    1772                 :            :                    shp->shm_dtim,
    1773                 :            :                    shp->shm_ctim,
    1774                 :            :                    rss * PAGE_SIZE,
    1775                 :            :                    swp * PAGE_SIZE);
    1776                 :            : 
    1777                 :          0 :         return 0;
    1778                 :            : }
    1779                 :            : #endif
    

Generated by: LCOV version 1.14