LCOV - code coverage report
Current view: top level - fs/proc - proc_sysctl.c (source / functions) Hit Total Coverage
Test: Real Lines: 498 662 75.2 %
Date: 2020-10-17 15:46:16 Functions: 0 62 0.0 %
Legend: Neither, QEMU, Real, Both Branches: 0 0 -

           Branch data     Line data    Source code
       1                 :            : // SPDX-License-Identifier: GPL-2.0
       2                 :            : /*
       3                 :            :  * /proc/sys support
       4                 :            :  */
       5                 :            : #include <linux/init.h>
       6                 :            : #include <linux/sysctl.h>
       7                 :            : #include <linux/poll.h>
       8                 :            : #include <linux/proc_fs.h>
       9                 :            : #include <linux/printk.h>
      10                 :            : #include <linux/security.h>
      11                 :            : #include <linux/sched.h>
      12                 :            : #include <linux/cred.h>
      13                 :            : #include <linux/namei.h>
      14                 :            : #include <linux/mm.h>
      15                 :            : #include <linux/module.h>
      16                 :            : #include <linux/bpf-cgroup.h>
      17                 :            : #include "internal.h"
      18                 :            : 
      19                 :            : static const struct dentry_operations proc_sys_dentry_operations;
      20                 :            : static const struct file_operations proc_sys_file_operations;
      21                 :            : static const struct inode_operations proc_sys_inode_operations;
      22                 :            : static const struct file_operations proc_sys_dir_file_operations;
      23                 :            : static const struct inode_operations proc_sys_dir_operations;
      24                 :            : 
      25                 :            : /* shared constants to be used in various sysctls */
      26                 :            : const int sysctl_vals[] = { 0, 1, INT_MAX };
      27                 :            : EXPORT_SYMBOL(sysctl_vals);
      28                 :            : 
      29                 :            : /* Support for permanently empty directories */
      30                 :            : 
      31                 :            : struct ctl_table sysctl_mount_point[] = {
      32                 :            :         { }
      33                 :            : };
      34                 :            : 
      35                 :            : static bool is_empty_dir(struct ctl_table_header *head)
      36                 :            : {
      37                 :          3 :         return head->ctl_table[0].child == sysctl_mount_point;
      38                 :            : }
      39                 :            : 
      40                 :            : static void set_empty_dir(struct ctl_dir *dir)
      41                 :            : {
      42                 :          3 :         dir->header.ctl_table[0].child = sysctl_mount_point;
      43                 :            : }
      44                 :            : 
      45                 :            : static void clear_empty_dir(struct ctl_dir *dir)
      46                 :            : 
      47                 :            : {
      48                 :          0 :         dir->header.ctl_table[0].child = NULL;
      49                 :            : }
      50                 :            : 
      51                 :          3 : void proc_sys_poll_notify(struct ctl_table_poll *poll)
      52                 :            : {
      53                 :          3 :         if (!poll)
      54                 :          3 :                 return;
      55                 :            : 
      56                 :          3 :         atomic_inc(&poll->event);
      57                 :          3 :         wake_up_interruptible(&poll->wait);
      58                 :            : }
      59                 :            : 
      60                 :            : static struct ctl_table root_table[] = {
      61                 :            :         {
      62                 :            :                 .procname = "",
      63                 :            :                 .mode = S_IFDIR|S_IRUGO|S_IXUGO,
      64                 :            :         },
      65                 :            :         { }
      66                 :            : };
      67                 :            : static struct ctl_table_root sysctl_table_root = {
      68                 :            :         .default_set.dir.header = {
      69                 :            :                 {{.count = 1,
      70                 :            :                   .nreg = 1,
      71                 :            :                   .ctl_table = root_table }},
      72                 :            :                 .ctl_table_arg = root_table,
      73                 :            :                 .root = &sysctl_table_root,
      74                 :            :                 .set = &sysctl_table_root.default_set,
      75                 :            :         },
      76                 :            : };
      77                 :            : 
      78                 :            : static DEFINE_SPINLOCK(sysctl_lock);
      79                 :            : 
      80                 :            : static void drop_sysctl_table(struct ctl_table_header *header);
      81                 :            : static int sysctl_follow_link(struct ctl_table_header **phead,
      82                 :            :         struct ctl_table **pentry);
      83                 :            : static int insert_links(struct ctl_table_header *head);
      84                 :            : static void put_links(struct ctl_table_header *header);
      85                 :            : 
      86                 :          0 : static void sysctl_print_dir(struct ctl_dir *dir)
      87                 :            : {
      88                 :          0 :         if (dir->header.parent)
      89                 :          0 :                 sysctl_print_dir(dir->header.parent);
      90                 :          0 :         pr_cont("%s/", dir->header.ctl_table[0].procname);
      91                 :          0 : }
      92                 :            : 
      93                 :            : static int namecmp(const char *name1, int len1, const char *name2, int len2)
      94                 :            : {
      95                 :            :         int minlen;
      96                 :            :         int cmp;
      97                 :            : 
      98                 :            :         minlen = len1;
      99                 :          3 :         if (minlen > len2)
     100                 :            :                 minlen = len2;
     101                 :            : 
     102                 :          3 :         cmp = memcmp(name1, name2, minlen);
     103                 :          3 :         if (cmp == 0)
     104                 :          3 :                 cmp = len1 - len2;
     105                 :            :         return cmp;
     106                 :            : }
     107                 :            : 
     108                 :            : /* Called under sysctl_lock */
     109                 :          3 : static struct ctl_table *find_entry(struct ctl_table_header **phead,
     110                 :            :         struct ctl_dir *dir, const char *name, int namelen)
     111                 :            : {
     112                 :            :         struct ctl_table_header *head;
     113                 :            :         struct ctl_table *entry;
     114                 :          3 :         struct rb_node *node = dir->root.rb_node;
     115                 :            : 
     116                 :          3 :         while (node)
     117                 :            :         {
     118                 :            :                 struct ctl_node *ctl_node;
     119                 :            :                 const char *procname;
     120                 :            :                 int cmp;
     121                 :            : 
     122                 :            :                 ctl_node = rb_entry(node, struct ctl_node, node);
     123                 :          3 :                 head = ctl_node->header;
     124                 :          3 :                 entry = &head->ctl_table[ctl_node - head->node];
     125                 :          3 :                 procname = entry->procname;
     126                 :            : 
     127                 :          3 :                 cmp = namecmp(name, namelen, procname, strlen(procname));
     128                 :          3 :                 if (cmp < 0)
     129                 :          3 :                         node = node->rb_left;
     130                 :          3 :                 else if (cmp > 0)
     131                 :          3 :                         node = node->rb_right;
     132                 :            :                 else {
     133                 :          3 :                         *phead = head;
     134                 :          3 :                         return entry;
     135                 :            :                 }
     136                 :            :         }
     137                 :            :         return NULL;
     138                 :            : }
     139                 :            : 
     140                 :          3 : static int insert_entry(struct ctl_table_header *head, struct ctl_table *entry)
     141                 :            : {
     142                 :          3 :         struct rb_node *node = &head->node[entry - head->ctl_table].node;
     143                 :          3 :         struct rb_node **p = &head->parent->root.rb_node;
     144                 :            :         struct rb_node *parent = NULL;
     145                 :          3 :         const char *name = entry->procname;
     146                 :          3 :         int namelen = strlen(name);
     147                 :            : 
     148                 :          3 :         while (*p) {
     149                 :            :                 struct ctl_table_header *parent_head;
     150                 :            :                 struct ctl_table *parent_entry;
     151                 :            :                 struct ctl_node *parent_node;
     152                 :            :                 const char *parent_name;
     153                 :            :                 int cmp;
     154                 :            : 
     155                 :            :                 parent = *p;
     156                 :            :                 parent_node = rb_entry(parent, struct ctl_node, node);
     157                 :          3 :                 parent_head = parent_node->header;
     158                 :          3 :                 parent_entry = &parent_head->ctl_table[parent_node - parent_head->node];
     159                 :          3 :                 parent_name = parent_entry->procname;
     160                 :            : 
     161                 :          3 :                 cmp = namecmp(name, namelen, parent_name, strlen(parent_name));
     162                 :          3 :                 if (cmp < 0)
     163                 :          3 :                         p = &(*p)->rb_left;
     164                 :          3 :                 else if (cmp > 0)
     165                 :          3 :                         p = &(*p)->rb_right;
     166                 :            :                 else {
     167                 :          0 :                         pr_err("sysctl duplicate entry: ");
     168                 :          0 :                         sysctl_print_dir(head->parent);
     169                 :          0 :                         pr_cont("/%s\n", entry->procname);
     170                 :          0 :                         return -EEXIST;
     171                 :            :                 }
     172                 :            :         }
     173                 :            : 
     174                 :            :         rb_link_node(node, parent, p);
     175                 :          3 :         rb_insert_color(node, &head->parent->root);
     176                 :          3 :         return 0;
     177                 :            : }
     178                 :            : 
     179                 :          1 : static void erase_entry(struct ctl_table_header *head, struct ctl_table *entry)
     180                 :            : {
     181                 :          1 :         struct rb_node *node = &head->node[entry - head->ctl_table].node;
     182                 :            : 
     183                 :          1 :         rb_erase(node, &head->parent->root);
     184                 :          1 : }
     185                 :            : 
     186                 :            : static void init_header(struct ctl_table_header *head,
     187                 :            :         struct ctl_table_root *root, struct ctl_table_set *set,
     188                 :            :         struct ctl_node *node, struct ctl_table *table)
     189                 :            : {
     190                 :          3 :         head->ctl_table = table;
     191                 :          3 :         head->ctl_table_arg = table;
     192                 :          3 :         head->used = 0;
     193                 :          3 :         head->count = 1;
     194                 :          3 :         head->nreg = 1;
     195                 :          3 :         head->unregistering = NULL;
     196                 :          3 :         head->root = root;
     197                 :          3 :         head->set = set;
     198                 :          3 :         head->parent = NULL;
     199                 :          3 :         head->node = node;
     200                 :          3 :         INIT_HLIST_HEAD(&head->inodes);
     201                 :          3 :         if (node) {
     202                 :            :                 struct ctl_table *entry;
     203                 :          3 :                 for (entry = table; entry->procname; entry++, node++)
     204                 :          3 :                         node->header = head;
     205                 :            :         }
     206                 :            : }
     207                 :            : 
     208                 :          1 : static void erase_header(struct ctl_table_header *head)
     209                 :            : {
     210                 :            :         struct ctl_table *entry;
     211                 :          1 :         for (entry = head->ctl_table; entry->procname; entry++)
     212                 :          1 :                 erase_entry(head, entry);
     213                 :          1 : }
     214                 :            : 
     215                 :          3 : static int insert_header(struct ctl_dir *dir, struct ctl_table_header *header)
     216                 :            : {
     217                 :            :         struct ctl_table *entry;
     218                 :            :         int err;
     219                 :            : 
     220                 :            :         /* Is this a permanently empty directory? */
     221                 :          3 :         if (is_empty_dir(&dir->header))
     222                 :            :                 return -EROFS;
     223                 :            : 
     224                 :            :         /* Am I creating a permanently empty directory? */
     225                 :          3 :         if (header->ctl_table == sysctl_mount_point) {
     226                 :          3 :                 if (!RB_EMPTY_ROOT(&dir->root))
     227                 :            :                         return -EINVAL;
     228                 :            :                 set_empty_dir(dir);
     229                 :            :         }
     230                 :            : 
     231                 :          3 :         dir->header.nreg++;
     232                 :          3 :         header->parent = dir;
     233                 :          3 :         err = insert_links(header);
     234                 :          3 :         if (err)
     235                 :            :                 goto fail_links;
     236                 :          3 :         for (entry = header->ctl_table; entry->procname; entry++) {
     237                 :          3 :                 err = insert_entry(header, entry);
     238                 :          3 :                 if (err)
     239                 :            :                         goto fail;
     240                 :            :         }
     241                 :            :         return 0;
     242                 :            : fail:
     243                 :          0 :         erase_header(header);
     244                 :          0 :         put_links(header);
     245                 :            : fail_links:
     246                 :          0 :         if (header->ctl_table == sysctl_mount_point)
     247                 :            :                 clear_empty_dir(dir);
     248                 :          0 :         header->parent = NULL;
     249                 :          0 :         drop_sysctl_table(&dir->header);
     250                 :          0 :         return err;
     251                 :            : }
     252                 :            : 
     253                 :            : /* called under sysctl_lock */
     254                 :            : static int use_table(struct ctl_table_header *p)
     255                 :            : {
     256                 :          3 :         if (unlikely(p->unregistering))
     257                 :            :                 return 0;
     258                 :          3 :         p->used++;
     259                 :            :         return 1;
     260                 :            : }
     261                 :            : 
     262                 :            : /* called under sysctl_lock */
     263                 :          3 : static void unuse_table(struct ctl_table_header *p)
     264                 :            : {
     265                 :          3 :         if (!--p->used)
     266                 :          3 :                 if (unlikely(p->unregistering))
     267                 :          0 :                         complete(p->unregistering);
     268                 :          3 : }
     269                 :            : 
     270                 :          1 : static void proc_sys_prune_dcache(struct ctl_table_header *head)
     271                 :            : {
     272                 :            :         struct inode *inode;
     273                 :            :         struct proc_inode *ei;
     274                 :            :         struct hlist_node *node;
     275                 :            :         struct super_block *sb;
     276                 :            : 
     277                 :            :         rcu_read_lock();
     278                 :            :         for (;;) {
     279                 :          1 :                 node = hlist_first_rcu(&head->inodes);
     280                 :          1 :                 if (!node)
     281                 :            :                         break;
     282                 :            :                 ei = hlist_entry(node, struct proc_inode, sysctl_inodes);
     283                 :            :                 spin_lock(&sysctl_lock);
     284                 :            :                 hlist_del_init_rcu(&ei->sysctl_inodes);
     285                 :            :                 spin_unlock(&sysctl_lock);
     286                 :            : 
     287                 :          0 :                 inode = &ei->vfs_inode;
     288                 :          0 :                 sb = inode->i_sb;
     289                 :          0 :                 if (!atomic_inc_not_zero(&sb->s_active))
     290                 :          0 :                         continue;
     291                 :          0 :                 inode = igrab(inode);
     292                 :            :                 rcu_read_unlock();
     293                 :          0 :                 if (unlikely(!inode)) {
     294                 :          0 :                         deactivate_super(sb);
     295                 :            :                         rcu_read_lock();
     296                 :          0 :                         continue;
     297                 :            :                 }
     298                 :            : 
     299                 :          0 :                 d_prune_aliases(inode);
     300                 :          0 :                 iput(inode);
     301                 :          0 :                 deactivate_super(sb);
     302                 :            : 
     303                 :            :                 rcu_read_lock();
     304                 :            :         }
     305                 :            :         rcu_read_unlock();
     306                 :          1 : }
     307                 :            : 
     308                 :            : /* called under sysctl_lock, will reacquire if has to wait */
     309                 :          1 : static void start_unregistering(struct ctl_table_header *p)
     310                 :            : {
     311                 :            :         /*
     312                 :            :          * if p->used is 0, nobody will ever touch that entry again;
     313                 :            :          * we'll eliminate all paths to it before dropping sysctl_lock
     314                 :            :          */
     315                 :          1 :         if (unlikely(p->used)) {
     316                 :            :                 struct completion wait;
     317                 :            :                 init_completion(&wait);
     318                 :          0 :                 p->unregistering = &wait;
     319                 :            :                 spin_unlock(&sysctl_lock);
     320                 :          0 :                 wait_for_completion(&wait);
     321                 :            :         } else {
     322                 :            :                 /* anything non-NULL; we'll never dereference it */
     323                 :          1 :                 p->unregistering = ERR_PTR(-EINVAL);
     324                 :            :                 spin_unlock(&sysctl_lock);
     325                 :            :         }
     326                 :            :         /*
     327                 :            :          * Prune dentries for unregistered sysctls: namespaced sysctls
     328                 :            :          * can have duplicate names and contaminate dcache very badly.
     329                 :            :          */
     330                 :          1 :         proc_sys_prune_dcache(p);
     331                 :            :         /*
     332                 :            :          * do not remove from the list until nobody holds it; walking the
     333                 :            :          * list in do_sysctl() relies on that.
     334                 :            :          */
     335                 :            :         spin_lock(&sysctl_lock);
     336                 :          1 :         erase_header(p);
     337                 :          1 : }
     338                 :            : 
     339                 :          3 : static struct ctl_table_header *sysctl_head_grab(struct ctl_table_header *head)
     340                 :            : {
     341                 :          3 :         BUG_ON(!head);
     342                 :            :         spin_lock(&sysctl_lock);
     343                 :          3 :         if (!use_table(head))
     344                 :            :                 head = ERR_PTR(-ENOENT);
     345                 :            :         spin_unlock(&sysctl_lock);
     346                 :          3 :         return head;
     347                 :            : }
     348                 :            : 
     349                 :          3 : static void sysctl_head_finish(struct ctl_table_header *head)
     350                 :            : {
     351                 :          3 :         if (!head)
     352                 :          3 :                 return;
     353                 :            :         spin_lock(&sysctl_lock);
     354                 :          3 :         unuse_table(head);
     355                 :            :         spin_unlock(&sysctl_lock);
     356                 :            : }
     357                 :            : 
     358                 :            : static struct ctl_table_set *
     359                 :            : lookup_header_set(struct ctl_table_root *root)
     360                 :            : {
     361                 :          3 :         struct ctl_table_set *set = &root->default_set;
     362                 :          3 :         if (root->lookup)
     363                 :          3 :                 set = root->lookup(root);
     364                 :            :         return set;
     365                 :            : }
     366                 :            : 
     367                 :          3 : static struct ctl_table *lookup_entry(struct ctl_table_header **phead,
     368                 :            :                                       struct ctl_dir *dir,
     369                 :            :                                       const char *name, int namelen)
     370                 :            : {
     371                 :            :         struct ctl_table_header *head;
     372                 :            :         struct ctl_table *entry;
     373                 :            : 
     374                 :            :         spin_lock(&sysctl_lock);
     375                 :          3 :         entry = find_entry(&head, dir, name, namelen);
     376                 :          3 :         if (entry && use_table(head))
     377                 :          3 :                 *phead = head;
     378                 :            :         else
     379                 :            :                 entry = NULL;
     380                 :            :         spin_unlock(&sysctl_lock);
     381                 :          3 :         return entry;
     382                 :            : }
     383                 :            : 
     384                 :          0 : static struct ctl_node *first_usable_entry(struct rb_node *node)
     385                 :            : {
     386                 :            :         struct ctl_node *ctl_node;
     387                 :            : 
     388                 :          0 :         for (;node; node = rb_next(node)) {
     389                 :            :                 ctl_node = rb_entry(node, struct ctl_node, node);
     390                 :          0 :                 if (use_table(ctl_node->header))
     391                 :          0 :                         return ctl_node;
     392                 :            :         }
     393                 :            :         return NULL;
     394                 :            : }
     395                 :            : 
     396                 :          0 : static void first_entry(struct ctl_dir *dir,
     397                 :            :         struct ctl_table_header **phead, struct ctl_table **pentry)
     398                 :            : {
     399                 :            :         struct ctl_table_header *head = NULL;
     400                 :            :         struct ctl_table *entry = NULL;
     401                 :            :         struct ctl_node *ctl_node;
     402                 :            : 
     403                 :            :         spin_lock(&sysctl_lock);
     404                 :          0 :         ctl_node = first_usable_entry(rb_first(&dir->root));
     405                 :            :         spin_unlock(&sysctl_lock);
     406                 :          0 :         if (ctl_node) {
     407                 :          0 :                 head = ctl_node->header;
     408                 :          0 :                 entry = &head->ctl_table[ctl_node - head->node];
     409                 :            :         }
     410                 :          0 :         *phead = head;
     411                 :          0 :         *pentry = entry;
     412                 :          0 : }
     413                 :            : 
     414                 :          0 : static void next_entry(struct ctl_table_header **phead, struct ctl_table **pentry)
     415                 :            : {
     416                 :          0 :         struct ctl_table_header *head = *phead;
     417                 :          0 :         struct ctl_table *entry = *pentry;
     418                 :          0 :         struct ctl_node *ctl_node = &head->node[entry - head->ctl_table];
     419                 :            : 
     420                 :            :         spin_lock(&sysctl_lock);
     421                 :          0 :         unuse_table(head);
     422                 :            : 
     423                 :          0 :         ctl_node = first_usable_entry(rb_next(&ctl_node->node));
     424                 :            :         spin_unlock(&sysctl_lock);
     425                 :            :         head = NULL;
     426                 :          0 :         if (ctl_node) {
     427                 :          0 :                 head = ctl_node->header;
     428                 :          0 :                 entry = &head->ctl_table[ctl_node - head->node];
     429                 :            :         }
     430                 :          0 :         *phead = head;
     431                 :          0 :         *pentry = entry;
     432                 :          0 : }
     433                 :            : 
     434                 :            : /*
     435                 :            :  * sysctl_perm does NOT grant the superuser all rights automatically, because
     436                 :            :  * some sysctl variables are readonly even to root.
     437                 :            :  */
     438                 :            : 
     439                 :          3 : static int test_perm(int mode, int op)
     440                 :            : {
     441                 :          3 :         if (uid_eq(current_euid(), GLOBAL_ROOT_UID))
     442                 :          3 :                 mode >>= 6;
     443                 :          3 :         else if (in_egroup_p(GLOBAL_ROOT_GID))
     444                 :          0 :                 mode >>= 3;
     445                 :          3 :         if ((op & ~mode & (MAY_READ|MAY_WRITE|MAY_EXEC)) == 0)
     446                 :            :                 return 0;
     447                 :          3 :         return -EACCES;
     448                 :            : }
     449                 :            : 
     450                 :          3 : static int sysctl_perm(struct ctl_table_header *head, struct ctl_table *table, int op)
     451                 :            : {
     452                 :          3 :         struct ctl_table_root *root = head->root;
     453                 :            :         int mode;
     454                 :            : 
     455                 :          3 :         if (root->permissions)
     456                 :          3 :                 mode = root->permissions(head, table);
     457                 :            :         else
     458                 :          3 :                 mode = table->mode;
     459                 :            : 
     460                 :          3 :         return test_perm(mode, op);
     461                 :            : }
     462                 :            : 
     463                 :          3 : static struct inode *proc_sys_make_inode(struct super_block *sb,
     464                 :            :                 struct ctl_table_header *head, struct ctl_table *table)
     465                 :            : {
     466                 :          3 :         struct ctl_table_root *root = head->root;
     467                 :            :         struct inode *inode;
     468                 :            :         struct proc_inode *ei;
     469                 :            : 
     470                 :          3 :         inode = new_inode(sb);
     471                 :          3 :         if (!inode)
     472                 :            :                 return ERR_PTR(-ENOMEM);
     473                 :            : 
     474                 :          3 :         inode->i_ino = get_next_ino();
     475                 :            : 
     476                 :            :         ei = PROC_I(inode);
     477                 :            : 
     478                 :            :         spin_lock(&sysctl_lock);
     479                 :          3 :         if (unlikely(head->unregistering)) {
     480                 :            :                 spin_unlock(&sysctl_lock);
     481                 :          0 :                 iput(inode);
     482                 :          0 :                 return ERR_PTR(-ENOENT);
     483                 :            :         }
     484                 :          3 :         ei->sysctl = head;
     485                 :          3 :         ei->sysctl_entry = table;
     486                 :          3 :         hlist_add_head_rcu(&ei->sysctl_inodes, &head->inodes);
     487                 :          3 :         head->count++;
     488                 :            :         spin_unlock(&sysctl_lock);
     489                 :            : 
     490                 :          3 :         inode->i_mtime = inode->i_atime = inode->i_ctime = current_time(inode);
     491                 :          3 :         inode->i_mode = table->mode;
     492                 :          3 :         if (!S_ISDIR(table->mode)) {
     493                 :          3 :                 inode->i_mode |= S_IFREG;
     494                 :          3 :                 inode->i_op = &proc_sys_inode_operations;
     495                 :          3 :                 inode->i_fop = &proc_sys_file_operations;
     496                 :            :         } else {
     497                 :          3 :                 inode->i_mode |= S_IFDIR;
     498                 :          3 :                 inode->i_op = &proc_sys_dir_operations;
     499                 :          3 :                 inode->i_fop = &proc_sys_dir_file_operations;
     500                 :          3 :                 if (is_empty_dir(head))
     501                 :          3 :                         make_empty_dir_inode(inode);
     502                 :            :         }
     503                 :            : 
     504                 :          3 :         if (root->set_ownership)
     505                 :          3 :                 root->set_ownership(head, table, &inode->i_uid, &inode->i_gid);
     506                 :            :         else {
     507                 :          3 :                 inode->i_uid = GLOBAL_ROOT_UID;
     508                 :          3 :                 inode->i_gid = GLOBAL_ROOT_GID;
     509                 :            :         }
     510                 :            : 
     511                 :          3 :         return inode;
     512                 :            : }
     513                 :            : 
     514                 :          3 : void proc_sys_evict_inode(struct inode *inode, struct ctl_table_header *head)
     515                 :            : {
     516                 :            :         spin_lock(&sysctl_lock);
     517                 :            :         hlist_del_init_rcu(&PROC_I(inode)->sysctl_inodes);
     518                 :          3 :         if (!--head->count)
     519                 :          0 :                 kfree_rcu(head, rcu);
     520                 :            :         spin_unlock(&sysctl_lock);
     521                 :          3 : }
     522                 :            : 
     523                 :            : static struct ctl_table_header *grab_header(struct inode *inode)
     524                 :            : {
     525                 :          3 :         struct ctl_table_header *head = PROC_I(inode)->sysctl;
     526                 :          3 :         if (!head)
     527                 :            :                 head = &sysctl_table_root.default_set.dir.header;
     528                 :          3 :         return sysctl_head_grab(head);
     529                 :            : }
     530                 :            : 
     531                 :          3 : static struct dentry *proc_sys_lookup(struct inode *dir, struct dentry *dentry,
     532                 :            :                                         unsigned int flags)
     533                 :            : {
     534                 :            :         struct ctl_table_header *head = grab_header(dir);
     535                 :          3 :         struct ctl_table_header *h = NULL;
     536                 :            :         const struct qstr *name = &dentry->d_name;
     537                 :            :         struct ctl_table *p;
     538                 :            :         struct inode *inode;
     539                 :            :         struct dentry *err = ERR_PTR(-ENOENT);
     540                 :            :         struct ctl_dir *ctl_dir;
     541                 :            :         int ret;
     542                 :            : 
     543                 :          3 :         if (IS_ERR(head))
     544                 :            :                 return ERR_CAST(head);
     545                 :            : 
     546                 :            :         ctl_dir = container_of(head, struct ctl_dir, header);
     547                 :            : 
     548                 :          3 :         p = lookup_entry(&h, ctl_dir, name->name, name->len);
     549                 :          3 :         if (!p)
     550                 :            :                 goto out;
     551                 :            : 
     552                 :          3 :         if (S_ISLNK(p->mode)) {
     553                 :          3 :                 ret = sysctl_follow_link(&h, &p);
     554                 :            :                 err = ERR_PTR(ret);
     555                 :          3 :                 if (ret)
     556                 :            :                         goto out;
     557                 :            :         }
     558                 :            : 
     559                 :          3 :         inode = proc_sys_make_inode(dir->i_sb, h ? h : head, p);
     560                 :          3 :         if (IS_ERR(inode)) {
     561                 :            :                 err = ERR_CAST(inode);
     562                 :            :                 goto out;
     563                 :            :         }
     564                 :            : 
     565                 :          3 :         d_set_d_op(dentry, &proc_sys_dentry_operations);
     566                 :          3 :         err = d_splice_alias(inode, dentry);
     567                 :            : 
     568                 :            : out:
     569                 :          3 :         if (h)
     570                 :          3 :                 sysctl_head_finish(h);
     571                 :          3 :         sysctl_head_finish(head);
     572                 :          3 :         return err;
     573                 :            : }
     574                 :            : 
     575                 :          3 : static ssize_t proc_sys_call_handler(struct file *filp, void __user *buf,
     576                 :            :                 size_t count, loff_t *ppos, int write)
     577                 :            : {
     578                 :            :         struct inode *inode = file_inode(filp);
     579                 :            :         struct ctl_table_header *head = grab_header(inode);
     580                 :          3 :         struct ctl_table *table = PROC_I(inode)->sysctl_entry;
     581                 :          3 :         void *new_buf = NULL;
     582                 :            :         ssize_t error;
     583                 :            : 
     584                 :          3 :         if (IS_ERR(head))
     585                 :          0 :                 return PTR_ERR(head);
     586                 :            : 
     587                 :            :         /*
     588                 :            :          * At this point we know that the sysctl was not unregistered
     589                 :            :          * and won't be until we finish.
     590                 :            :          */
     591                 :            :         error = -EPERM;
     592                 :          3 :         if (sysctl_perm(head, table, write ? MAY_WRITE : MAY_READ))
     593                 :            :                 goto out;
     594                 :            : 
     595                 :            :         /* if that can happen at all, it should be -EINVAL, not -EISDIR */
     596                 :            :         error = -EINVAL;
     597                 :          3 :         if (!table->proc_handler)
     598                 :            :                 goto out;
     599                 :            : 
     600                 :          3 :         error = BPF_CGROUP_RUN_PROG_SYSCTL(head, table, write, buf, &count,
     601                 :            :                                            ppos, &new_buf);
     602                 :          3 :         if (error)
     603                 :            :                 goto out;
     604                 :            : 
     605                 :            :         /* careful: calling conventions are nasty here */
     606                 :          3 :         if (new_buf) {
     607                 :            :                 mm_segment_t old_fs;
     608                 :            : 
     609                 :          0 :                 old_fs = get_fs();
     610                 :            :                 set_fs(KERNEL_DS);
     611                 :          0 :                 error = table->proc_handler(table, write, (void __user *)new_buf,
     612                 :            :                                             &count, ppos);
     613                 :            :                 set_fs(old_fs);
     614                 :          0 :                 kfree(new_buf);
     615                 :            :         } else {
     616                 :          3 :                 error = table->proc_handler(table, write, buf, &count, ppos);
     617                 :            :         }
     618                 :            : 
     619                 :          3 :         if (!error)
     620                 :          3 :                 error = count;
     621                 :            : out:
     622                 :          3 :         sysctl_head_finish(head);
     623                 :            : 
     624                 :          3 :         return error;
     625                 :            : }
     626                 :            : 
     627                 :          3 : static ssize_t proc_sys_read(struct file *filp, char __user *buf,
     628                 :            :                                 size_t count, loff_t *ppos)
     629                 :            : {
     630                 :          3 :         return proc_sys_call_handler(filp, (void __user *)buf, count, ppos, 0);
     631                 :            : }
     632                 :            : 
     633                 :          3 : static ssize_t proc_sys_write(struct file *filp, const char __user *buf,
     634                 :            :                                 size_t count, loff_t *ppos)
     635                 :            : {
     636                 :          3 :         return proc_sys_call_handler(filp, (void __user *)buf, count, ppos, 1);
     637                 :            : }
     638                 :            : 
     639                 :          3 : static int proc_sys_open(struct inode *inode, struct file *filp)
     640                 :            : {
     641                 :            :         struct ctl_table_header *head = grab_header(inode);
     642                 :          3 :         struct ctl_table *table = PROC_I(inode)->sysctl_entry;
     643                 :            : 
     644                 :            :         /* sysctl was unregistered */
     645                 :          3 :         if (IS_ERR(head))
     646                 :          0 :                 return PTR_ERR(head);
     647                 :            : 
     648                 :          3 :         if (table->poll)
     649                 :          3 :                 filp->private_data = proc_sys_poll_event(table->poll);
     650                 :            : 
     651                 :          3 :         sysctl_head_finish(head);
     652                 :            : 
     653                 :          3 :         return 0;
     654                 :            : }
     655                 :            : 
     656                 :          3 : static __poll_t proc_sys_poll(struct file *filp, poll_table *wait)
     657                 :            : {
     658                 :            :         struct inode *inode = file_inode(filp);
     659                 :            :         struct ctl_table_header *head = grab_header(inode);
     660                 :          3 :         struct ctl_table *table = PROC_I(inode)->sysctl_entry;
     661                 :            :         __poll_t ret = DEFAULT_POLLMASK;
     662                 :            :         unsigned long event;
     663                 :            : 
     664                 :            :         /* sysctl was unregistered */
     665                 :          3 :         if (IS_ERR(head))
     666                 :            :                 return EPOLLERR | EPOLLHUP;
     667                 :            : 
     668                 :          3 :         if (!table->proc_handler)
     669                 :            :                 goto out;
     670                 :            : 
     671                 :          3 :         if (!table->poll)
     672                 :            :                 goto out;
     673                 :            : 
     674                 :          3 :         event = (unsigned long)filp->private_data;
     675                 :          3 :         poll_wait(filp, &table->poll->wait, wait);
     676                 :            : 
     677                 :          3 :         if (event != atomic_read(&table->poll->event)) {
     678                 :          0 :                 filp->private_data = proc_sys_poll_event(table->poll);
     679                 :            :                 ret = EPOLLIN | EPOLLRDNORM | EPOLLERR | EPOLLPRI;
     680                 :            :         }
     681                 :            : 
     682                 :            : out:
     683                 :          3 :         sysctl_head_finish(head);
     684                 :            : 
     685                 :          3 :         return ret;
     686                 :            : }
     687                 :            : 
     688                 :          0 : static bool proc_sys_fill_cache(struct file *file,
     689                 :            :                                 struct dir_context *ctx,
     690                 :            :                                 struct ctl_table_header *head,
     691                 :            :                                 struct ctl_table *table)
     692                 :            : {
     693                 :          0 :         struct dentry *child, *dir = file->f_path.dentry;
     694                 :            :         struct inode *inode;
     695                 :            :         struct qstr qname;
     696                 :            :         ino_t ino = 0;
     697                 :            :         unsigned type = DT_UNKNOWN;
     698                 :            : 
     699                 :          0 :         qname.name = table->procname;
     700                 :          0 :         qname.len  = strlen(table->procname);
     701                 :          0 :         qname.hash = full_name_hash(dir, qname.name, qname.len);
     702                 :            : 
     703                 :          0 :         child = d_lookup(dir, &qname);
     704                 :          0 :         if (!child) {
     705                 :          0 :                 DECLARE_WAIT_QUEUE_HEAD_ONSTACK(wq);
     706                 :          0 :                 child = d_alloc_parallel(dir, &qname, &wq);
     707                 :          0 :                 if (IS_ERR(child))
     708                 :          0 :                         return false;
     709                 :          0 :                 if (d_in_lookup(child)) {
     710                 :            :                         struct dentry *res;
     711                 :          0 :                         inode = proc_sys_make_inode(dir->d_sb, head, table);
     712                 :          0 :                         if (IS_ERR(inode)) {
     713                 :          0 :                                 d_lookup_done(child);
     714                 :          0 :                                 dput(child);
     715                 :          0 :                                 return false;
     716                 :            :                         }
     717                 :          0 :                         d_set_d_op(child, &proc_sys_dentry_operations);
     718                 :          0 :                         res = d_splice_alias(inode, child);
     719                 :          0 :                         d_lookup_done(child);
     720                 :          0 :                         if (unlikely(res)) {
     721                 :          0 :                                 if (IS_ERR(res)) {
     722                 :          0 :                                         dput(child);
     723                 :          0 :                                         return false;
     724                 :            :                                 }
     725                 :          0 :                                 dput(child);
     726                 :            :                                 child = res;
     727                 :            :                         }
     728                 :            :                 }
     729                 :            :         }
     730                 :            :         inode = d_inode(child);
     731                 :          0 :         ino  = inode->i_ino;
     732                 :          0 :         type = inode->i_mode >> 12;
     733                 :          0 :         dput(child);
     734                 :          0 :         return dir_emit(ctx, qname.name, qname.len, ino, type);
     735                 :            : }
     736                 :            : 
     737                 :          0 : static bool proc_sys_link_fill_cache(struct file *file,
     738                 :            :                                     struct dir_context *ctx,
     739                 :            :                                     struct ctl_table_header *head,
     740                 :            :                                     struct ctl_table *table)
     741                 :            : {
     742                 :            :         bool ret = true;
     743                 :            : 
     744                 :          0 :         head = sysctl_head_grab(head);
     745                 :          0 :         if (IS_ERR(head))
     746                 :            :                 return false;
     747                 :            : 
     748                 :            :         /* It is not an error if we can not follow the link ignore it */
     749                 :          0 :         if (sysctl_follow_link(&head, &table))
     750                 :            :                 goto out;
     751                 :            : 
     752                 :          0 :         ret = proc_sys_fill_cache(file, ctx, head, table);
     753                 :            : out:
     754                 :          0 :         sysctl_head_finish(head);
     755                 :          0 :         return ret;
     756                 :            : }
     757                 :            : 
     758                 :          0 : static int scan(struct ctl_table_header *head, struct ctl_table *table,
     759                 :            :                 unsigned long *pos, struct file *file,
     760                 :            :                 struct dir_context *ctx)
     761                 :            : {
     762                 :            :         bool res;
     763                 :            : 
     764                 :          0 :         if ((*pos)++ < ctx->pos)
     765                 :            :                 return true;
     766                 :            : 
     767                 :          0 :         if (unlikely(S_ISLNK(table->mode)))
     768                 :          0 :                 res = proc_sys_link_fill_cache(file, ctx, head, table);
     769                 :            :         else
     770                 :          0 :                 res = proc_sys_fill_cache(file, ctx, head, table);
     771                 :            : 
     772                 :          0 :         if (res)
     773                 :          0 :                 ctx->pos = *pos;
     774                 :            : 
     775                 :          0 :         return res;
     776                 :            : }
     777                 :            : 
     778                 :          0 : static int proc_sys_readdir(struct file *file, struct dir_context *ctx)
     779                 :            : {
     780                 :            :         struct ctl_table_header *head = grab_header(file_inode(file));
     781                 :          0 :         struct ctl_table_header *h = NULL;
     782                 :            :         struct ctl_table *entry;
     783                 :            :         struct ctl_dir *ctl_dir;
     784                 :            :         unsigned long pos;
     785                 :            : 
     786                 :          0 :         if (IS_ERR(head))
     787                 :          0 :                 return PTR_ERR(head);
     788                 :            : 
     789                 :            :         ctl_dir = container_of(head, struct ctl_dir, header);
     790                 :            : 
     791                 :          0 :         if (!dir_emit_dots(file, ctx))
     792                 :            :                 goto out;
     793                 :            : 
     794                 :          0 :         pos = 2;
     795                 :            : 
     796                 :          0 :         for (first_entry(ctl_dir, &h, &entry); h; next_entry(&h, &entry)) {
     797                 :          0 :                 if (!scan(h, entry, &pos, file, ctx)) {
     798                 :          0 :                         sysctl_head_finish(h);
     799                 :          0 :                         break;
     800                 :            :                 }
     801                 :            :         }
     802                 :            : out:
     803                 :          0 :         sysctl_head_finish(head);
     804                 :          0 :         return 0;
     805                 :            : }
     806                 :            : 
     807                 :          3 : static int proc_sys_permission(struct inode *inode, int mask)
     808                 :            : {
     809                 :            :         /*
     810                 :            :          * sysctl entries that are not writeable,
     811                 :            :          * are _NOT_ writeable, capabilities or not.
     812                 :            :          */
     813                 :            :         struct ctl_table_header *head;
     814                 :            :         struct ctl_table *table;
     815                 :            :         int error;
     816                 :            : 
     817                 :            :         /* Executable files are not allowed under /proc/sys/ */
     818                 :          3 :         if ((mask & MAY_EXEC) && S_ISREG(inode->i_mode))
     819                 :            :                 return -EACCES;
     820                 :            : 
     821                 :            :         head = grab_header(inode);
     822                 :          3 :         if (IS_ERR(head))
     823                 :          0 :                 return PTR_ERR(head);
     824                 :            : 
     825                 :          3 :         table = PROC_I(inode)->sysctl_entry;
     826                 :          3 :         if (!table) /* global root - r-xr-xr-x */
     827                 :          3 :                 error = mask & MAY_WRITE ? -EACCES : 0;
     828                 :            :         else /* Use the permissions on the sysctl table entry */
     829                 :          3 :                 error = sysctl_perm(head, table, mask & ~MAY_NOT_BLOCK);
     830                 :            : 
     831                 :          3 :         sysctl_head_finish(head);
     832                 :          3 :         return error;
     833                 :            : }
     834                 :            : 
     835                 :          3 : static int proc_sys_setattr(struct dentry *dentry, struct iattr *attr)
     836                 :            : {
     837                 :            :         struct inode *inode = d_inode(dentry);
     838                 :            :         int error;
     839                 :            : 
     840                 :          3 :         if (attr->ia_valid & (ATTR_MODE | ATTR_UID | ATTR_GID))
     841                 :            :                 return -EPERM;
     842                 :            : 
     843                 :          3 :         error = setattr_prepare(dentry, attr);
     844                 :          3 :         if (error)
     845                 :            :                 return error;
     846                 :            : 
     847                 :          3 :         setattr_copy(inode, attr);
     848                 :            :         mark_inode_dirty(inode);
     849                 :          3 :         return 0;
     850                 :            : }
     851                 :            : 
     852                 :          3 : static int proc_sys_getattr(const struct path *path, struct kstat *stat,
     853                 :            :                             u32 request_mask, unsigned int query_flags)
     854                 :            : {
     855                 :          3 :         struct inode *inode = d_inode(path->dentry);
     856                 :            :         struct ctl_table_header *head = grab_header(inode);
     857                 :          3 :         struct ctl_table *table = PROC_I(inode)->sysctl_entry;
     858                 :            : 
     859                 :          3 :         if (IS_ERR(head))
     860                 :          0 :                 return PTR_ERR(head);
     861                 :            : 
     862                 :          3 :         generic_fillattr(inode, stat);
     863                 :          3 :         if (table)
     864                 :          3 :                 stat->mode = (stat->mode & S_IFMT) | table->mode;
     865                 :            : 
     866                 :          3 :         sysctl_head_finish(head);
     867                 :          3 :         return 0;
     868                 :            : }
     869                 :            : 
     870                 :            : static const struct file_operations proc_sys_file_operations = {
     871                 :            :         .open           = proc_sys_open,
     872                 :            :         .poll           = proc_sys_poll,
     873                 :            :         .read           = proc_sys_read,
     874                 :            :         .write          = proc_sys_write,
     875                 :            :         .llseek         = default_llseek,
     876                 :            : };
     877                 :            : 
     878                 :            : static const struct file_operations proc_sys_dir_file_operations = {
     879                 :            :         .read           = generic_read_dir,
     880                 :            :         .iterate_shared = proc_sys_readdir,
     881                 :            :         .llseek         = generic_file_llseek,
     882                 :            : };
     883                 :            : 
     884                 :            : static const struct inode_operations proc_sys_inode_operations = {
     885                 :            :         .permission     = proc_sys_permission,
     886                 :            :         .setattr        = proc_sys_setattr,
     887                 :            :         .getattr        = proc_sys_getattr,
     888                 :            : };
     889                 :            : 
     890                 :            : static const struct inode_operations proc_sys_dir_operations = {
     891                 :            :         .lookup         = proc_sys_lookup,
     892                 :            :         .permission     = proc_sys_permission,
     893                 :            :         .setattr        = proc_sys_setattr,
     894                 :            :         .getattr        = proc_sys_getattr,
     895                 :            : };
     896                 :            : 
     897                 :          3 : static int proc_sys_revalidate(struct dentry *dentry, unsigned int flags)
     898                 :            : {
     899                 :          3 :         if (flags & LOOKUP_RCU)
     900                 :            :                 return -ECHILD;
     901                 :          3 :         return !PROC_I(d_inode(dentry))->sysctl->unregistering;
     902                 :            : }
     903                 :            : 
     904                 :          3 : static int proc_sys_delete(const struct dentry *dentry)
     905                 :            : {
     906                 :          3 :         return !!PROC_I(d_inode(dentry))->sysctl->unregistering;
     907                 :            : }
     908                 :            : 
     909                 :          3 : static int sysctl_is_seen(struct ctl_table_header *p)
     910                 :            : {
     911                 :          3 :         struct ctl_table_set *set = p->set;
     912                 :            :         int res;
     913                 :            :         spin_lock(&sysctl_lock);
     914                 :          3 :         if (p->unregistering)
     915                 :            :                 res = 0;
     916                 :          3 :         else if (!set->is_seen)
     917                 :            :                 res = 1;
     918                 :            :         else
     919                 :          3 :                 res = set->is_seen(set);
     920                 :            :         spin_unlock(&sysctl_lock);
     921                 :          3 :         return res;
     922                 :            : }
     923                 :            : 
     924                 :          3 : static int proc_sys_compare(const struct dentry *dentry,
     925                 :            :                 unsigned int len, const char *str, const struct qstr *name)
     926                 :            : {
     927                 :            :         struct ctl_table_header *head;
     928                 :            :         struct inode *inode;
     929                 :            : 
     930                 :            :         /* Although proc doesn't have negative dentries, rcu-walk means
     931                 :            :          * that inode here can be NULL */
     932                 :            :         /* AV: can it, indeed? */
     933                 :            :         inode = d_inode_rcu(dentry);
     934                 :          3 :         if (!inode)
     935                 :            :                 return 1;
     936                 :          3 :         if (name->len != len)
     937                 :            :                 return 1;
     938                 :          3 :         if (memcmp(name->name, str, len))
     939                 :            :                 return 1;
     940                 :          3 :         head = rcu_dereference(PROC_I(inode)->sysctl);
     941                 :          3 :         return !head || !sysctl_is_seen(head);
     942                 :            : }
     943                 :            : 
     944                 :            : static const struct dentry_operations proc_sys_dentry_operations = {
     945                 :            :         .d_revalidate   = proc_sys_revalidate,
     946                 :            :         .d_delete       = proc_sys_delete,
     947                 :            :         .d_compare      = proc_sys_compare,
     948                 :            : };
     949                 :            : 
     950                 :          3 : static struct ctl_dir *find_subdir(struct ctl_dir *dir,
     951                 :            :                                    const char *name, int namelen)
     952                 :            : {
     953                 :            :         struct ctl_table_header *head;
     954                 :            :         struct ctl_table *entry;
     955                 :            : 
     956                 :          3 :         entry = find_entry(&head, dir, name, namelen);
     957                 :          3 :         if (!entry)
     958                 :            :                 return ERR_PTR(-ENOENT);
     959                 :          3 :         if (!S_ISDIR(entry->mode))
     960                 :            :                 return ERR_PTR(-ENOTDIR);
     961                 :          3 :         return container_of(head, struct ctl_dir, header);
     962                 :            : }
     963                 :            : 
     964                 :          3 : static struct ctl_dir *new_dir(struct ctl_table_set *set,
     965                 :            :                                const char *name, int namelen)
     966                 :            : {
     967                 :            :         struct ctl_table *table;
     968                 :            :         struct ctl_dir *new;
     969                 :            :         struct ctl_node *node;
     970                 :            :         char *new_name;
     971                 :            : 
     972                 :          3 :         new = kzalloc(sizeof(*new) + sizeof(struct ctl_node) +
     973                 :            :                       sizeof(struct ctl_table)*2 +  namelen + 1,
     974                 :            :                       GFP_KERNEL);
     975                 :          3 :         if (!new)
     976                 :            :                 return NULL;
     977                 :            : 
     978                 :          3 :         node = (struct ctl_node *)(new + 1);
     979                 :          3 :         table = (struct ctl_table *)(node + 1);
     980                 :          3 :         new_name = (char *)(table + 2);
     981                 :          3 :         memcpy(new_name, name, namelen);
     982                 :          3 :         new_name[namelen] = '\0';
     983                 :          3 :         table[0].procname = new_name;
     984                 :          3 :         table[0].mode = S_IFDIR|S_IRUGO|S_IXUGO;
     985                 :          3 :         init_header(&new->header, set->dir.header.root, set, node, table);
     986                 :            : 
     987                 :          3 :         return new;
     988                 :            : }
     989                 :            : 
     990                 :            : /**
     991                 :            :  * get_subdir - find or create a subdir with the specified name.
     992                 :            :  * @dir:  Directory to create the subdirectory in
     993                 :            :  * @name: The name of the subdirectory to find or create
     994                 :            :  * @namelen: The length of name
     995                 :            :  *
     996                 :            :  * Takes a directory with an elevated reference count so we know that
     997                 :            :  * if we drop the lock the directory will not go away.  Upon success
     998                 :            :  * the reference is moved from @dir to the returned subdirectory.
     999                 :            :  * Upon error an error code is returned and the reference on @dir is
    1000                 :            :  * simply dropped.
    1001                 :            :  */
    1002                 :          3 : static struct ctl_dir *get_subdir(struct ctl_dir *dir,
    1003                 :            :                                   const char *name, int namelen)
    1004                 :            : {
    1005                 :          3 :         struct ctl_table_set *set = dir->header.set;
    1006                 :            :         struct ctl_dir *subdir, *new = NULL;
    1007                 :            :         int err;
    1008                 :            : 
    1009                 :            :         spin_lock(&sysctl_lock);
    1010                 :          3 :         subdir = find_subdir(dir, name, namelen);
    1011                 :          3 :         if (!IS_ERR(subdir))
    1012                 :            :                 goto found;
    1013                 :          3 :         if (PTR_ERR(subdir) != -ENOENT)
    1014                 :            :                 goto failed;
    1015                 :            : 
    1016                 :            :         spin_unlock(&sysctl_lock);
    1017                 :          3 :         new = new_dir(set, name, namelen);
    1018                 :            :         spin_lock(&sysctl_lock);
    1019                 :            :         subdir = ERR_PTR(-ENOMEM);
    1020                 :          3 :         if (!new)
    1021                 :            :                 goto failed;
    1022                 :            : 
    1023                 :            :         /* Was the subdir added while we dropped the lock? */
    1024                 :          3 :         subdir = find_subdir(dir, name, namelen);
    1025                 :          3 :         if (!IS_ERR(subdir))
    1026                 :            :                 goto found;
    1027                 :          3 :         if (PTR_ERR(subdir) != -ENOENT)
    1028                 :            :                 goto failed;
    1029                 :            : 
    1030                 :            :         /* Nope.  Use the our freshly made directory entry. */
    1031                 :          3 :         err = insert_header(dir, &new->header);
    1032                 :            :         subdir = ERR_PTR(err);
    1033                 :          3 :         if (err)
    1034                 :            :                 goto failed;
    1035                 :            :         subdir = new;
    1036                 :            : found:
    1037                 :          3 :         subdir->header.nreg++;
    1038                 :            : failed:
    1039                 :          3 :         if (IS_ERR(subdir)) {
    1040                 :          0 :                 pr_err("sysctl could not get directory: ");
    1041                 :          0 :                 sysctl_print_dir(dir);
    1042                 :          0 :                 pr_cont("/%*.*s %ld\n",
    1043                 :            :                         namelen, namelen, name, PTR_ERR(subdir));
    1044                 :            :         }
    1045                 :          3 :         drop_sysctl_table(&dir->header);
    1046                 :          3 :         if (new)
    1047                 :          3 :                 drop_sysctl_table(&new->header);
    1048                 :            :         spin_unlock(&sysctl_lock);
    1049                 :          3 :         return subdir;
    1050                 :            : }
    1051                 :            : 
    1052                 :          3 : static struct ctl_dir *xlate_dir(struct ctl_table_set *set, struct ctl_dir *dir)
    1053                 :            : {
    1054                 :            :         struct ctl_dir *parent;
    1055                 :            :         const char *procname;
    1056                 :          3 :         if (!dir->header.parent)
    1057                 :          3 :                 return &set->dir;
    1058                 :          3 :         parent = xlate_dir(set, dir->header.parent);
    1059                 :          3 :         if (IS_ERR(parent))
    1060                 :            :                 return parent;
    1061                 :          3 :         procname = dir->header.ctl_table[0].procname;
    1062                 :          3 :         return find_subdir(parent, procname, strlen(procname));
    1063                 :            : }
    1064                 :            : 
    1065                 :          3 : static int sysctl_follow_link(struct ctl_table_header **phead,
    1066                 :            :         struct ctl_table **pentry)
    1067                 :            : {
    1068                 :            :         struct ctl_table_header *head;
    1069                 :            :         struct ctl_table_root *root;
    1070                 :            :         struct ctl_table_set *set;
    1071                 :            :         struct ctl_table *entry;
    1072                 :            :         struct ctl_dir *dir;
    1073                 :            :         int ret;
    1074                 :            : 
    1075                 :            :         ret = 0;
    1076                 :            :         spin_lock(&sysctl_lock);
    1077                 :          3 :         root = (*pentry)->data;
    1078                 :            :         set = lookup_header_set(root);
    1079                 :          3 :         dir = xlate_dir(set, (*phead)->parent);
    1080                 :          3 :         if (IS_ERR(dir))
    1081                 :            :                 ret = PTR_ERR(dir);
    1082                 :            :         else {
    1083                 :          3 :                 const char *procname = (*pentry)->procname;
    1084                 :          3 :                 head = NULL;
    1085                 :          3 :                 entry = find_entry(&head, dir, procname, strlen(procname));
    1086                 :            :                 ret = -ENOENT;
    1087                 :          3 :                 if (entry && use_table(head)) {
    1088                 :          3 :                         unuse_table(*phead);
    1089                 :          3 :                         *phead = head;
    1090                 :          3 :                         *pentry = entry;
    1091                 :            :                         ret = 0;
    1092                 :            :                 }
    1093                 :            :         }
    1094                 :            : 
    1095                 :            :         spin_unlock(&sysctl_lock);
    1096                 :          3 :         return ret;
    1097                 :            : }
    1098                 :            : 
    1099                 :          0 : static int sysctl_err(const char *path, struct ctl_table *table, char *fmt, ...)
    1100                 :            : {
    1101                 :            :         struct va_format vaf;
    1102                 :            :         va_list args;
    1103                 :            : 
    1104                 :          0 :         va_start(args, fmt);
    1105                 :          0 :         vaf.fmt = fmt;
    1106                 :          0 :         vaf.va = &args;
    1107                 :            : 
    1108                 :          0 :         pr_err("sysctl table check failed: %s/%s %pV\n",
    1109                 :            :                path, table->procname, &vaf);
    1110                 :            : 
    1111                 :          0 :         va_end(args);
    1112                 :          0 :         return -EINVAL;
    1113                 :            : }
    1114                 :            : 
    1115                 :          3 : static int sysctl_check_table_array(const char *path, struct ctl_table *table)
    1116                 :            : {
    1117                 :            :         int err = 0;
    1118                 :            : 
    1119                 :          3 :         if ((table->proc_handler == proc_douintvec) ||
    1120                 :            :             (table->proc_handler == proc_douintvec_minmax)) {
    1121                 :          3 :                 if (table->maxlen != sizeof(unsigned int))
    1122                 :          0 :                         err |= sysctl_err(path, table, "array not allowed");
    1123                 :            :         }
    1124                 :            : 
    1125                 :          3 :         return err;
    1126                 :            : }
    1127                 :            : 
    1128                 :          3 : static int sysctl_check_table(const char *path, struct ctl_table *table)
    1129                 :            : {
    1130                 :            :         int err = 0;
    1131                 :          3 :         for (; table->procname; table++) {
    1132                 :          3 :                 if (table->child)
    1133                 :          0 :                         err |= sysctl_err(path, table, "Not a file");
    1134                 :            : 
    1135                 :          3 :                 if ((table->proc_handler == proc_dostring) ||
    1136                 :          3 :                     (table->proc_handler == proc_dointvec) ||
    1137                 :          3 :                     (table->proc_handler == proc_douintvec) ||
    1138                 :          3 :                     (table->proc_handler == proc_douintvec_minmax) ||
    1139                 :          3 :                     (table->proc_handler == proc_dointvec_minmax) ||
    1140                 :          3 :                     (table->proc_handler == proc_dointvec_jiffies) ||
    1141                 :          3 :                     (table->proc_handler == proc_dointvec_userhz_jiffies) ||
    1142                 :          3 :                     (table->proc_handler == proc_dointvec_ms_jiffies) ||
    1143                 :          3 :                     (table->proc_handler == proc_doulongvec_minmax) ||
    1144                 :            :                     (table->proc_handler == proc_doulongvec_ms_jiffies_minmax)) {
    1145                 :          3 :                         if (!table->data)
    1146                 :          0 :                                 err |= sysctl_err(path, table, "No data");
    1147                 :          3 :                         if (!table->maxlen)
    1148                 :          0 :                                 err |= sysctl_err(path, table, "No maxlen");
    1149                 :            :                         else
    1150                 :          3 :                                 err |= sysctl_check_table_array(path, table);
    1151                 :            :                 }
    1152                 :          3 :                 if (!table->proc_handler)
    1153                 :          0 :                         err |= sysctl_err(path, table, "No proc_handler");
    1154                 :            : 
    1155                 :          3 :                 if ((table->mode & (S_IRUGO|S_IWUGO)) != table->mode)
    1156                 :          0 :                         err |= sysctl_err(path, table, "bogus .mode 0%o",
    1157                 :            :                                 table->mode);
    1158                 :            :         }
    1159                 :          3 :         return err;
    1160                 :            : }
    1161                 :            : 
    1162                 :          3 : static struct ctl_table_header *new_links(struct ctl_dir *dir, struct ctl_table *table,
    1163                 :            :         struct ctl_table_root *link_root)
    1164                 :            : {
    1165                 :            :         struct ctl_table *link_table, *entry, *link;
    1166                 :            :         struct ctl_table_header *links;
    1167                 :            :         struct ctl_node *node;
    1168                 :            :         char *link_name;
    1169                 :            :         int nr_entries, name_bytes;
    1170                 :            : 
    1171                 :            :         name_bytes = 0;
    1172                 :            :         nr_entries = 0;
    1173                 :          3 :         for (entry = table; entry->procname; entry++) {
    1174                 :          3 :                 nr_entries++;
    1175                 :          3 :                 name_bytes += strlen(entry->procname) + 1;
    1176                 :            :         }
    1177                 :            : 
    1178                 :          3 :         links = kzalloc(sizeof(struct ctl_table_header) +
    1179                 :          3 :                         sizeof(struct ctl_node)*nr_entries +
    1180                 :          3 :                         sizeof(struct ctl_table)*(nr_entries + 1) +
    1181                 :            :                         name_bytes,
    1182                 :            :                         GFP_KERNEL);
    1183                 :            : 
    1184                 :          3 :         if (!links)
    1185                 :            :                 return NULL;
    1186                 :            : 
    1187                 :          3 :         node = (struct ctl_node *)(links + 1);
    1188                 :          3 :         link_table = (struct ctl_table *)(node + nr_entries);
    1189                 :          3 :         link_name = (char *)&link_table[nr_entries + 1];
    1190                 :            : 
    1191                 :          3 :         for (link = link_table, entry = table; entry->procname; link++, entry++) {
    1192                 :          3 :                 int len = strlen(entry->procname) + 1;
    1193                 :          3 :                 memcpy(link_name, entry->procname, len);
    1194                 :          3 :                 link->procname = link_name;
    1195                 :          3 :                 link->mode = S_IFLNK|S_IRWXUGO;
    1196                 :          3 :                 link->data = link_root;
    1197                 :          3 :                 link_name += len;
    1198                 :            :         }
    1199                 :          3 :         init_header(links, dir->header.root, dir->header.set, node, link_table);
    1200                 :          3 :         links->nreg = nr_entries;
    1201                 :            : 
    1202                 :          3 :         return links;
    1203                 :            : }
    1204                 :            : 
    1205                 :          3 : static bool get_links(struct ctl_dir *dir,
    1206                 :            :         struct ctl_table *table, struct ctl_table_root *link_root)
    1207                 :            : {
    1208                 :            :         struct ctl_table_header *head;
    1209                 :            :         struct ctl_table *entry, *link;
    1210                 :            : 
    1211                 :            :         /* Are there links available for every entry in table? */
    1212                 :          3 :         for (entry = table; entry->procname; entry++) {
    1213                 :            :                 const char *procname = entry->procname;
    1214                 :          3 :                 link = find_entry(&head, dir, procname, strlen(procname));
    1215                 :          3 :                 if (!link)
    1216                 :            :                         return false;
    1217                 :          3 :                 if (S_ISDIR(link->mode) && S_ISDIR(entry->mode))
    1218                 :          3 :                         continue;
    1219                 :          1 :                 if (S_ISLNK(link->mode) && (link->data == link_root))
    1220                 :          1 :                         continue;
    1221                 :            :                 return false;
    1222                 :            :         }
    1223                 :            : 
    1224                 :            :         /* The checks passed.  Increase the registration count on the links */
    1225                 :          3 :         for (entry = table; entry->procname; entry++) {
    1226                 :            :                 const char *procname = entry->procname;
    1227                 :          3 :                 link = find_entry(&head, dir, procname, strlen(procname));
    1228                 :          3 :                 head->nreg++;
    1229                 :            :         }
    1230                 :            :         return true;
    1231                 :            : }
    1232                 :            : 
    1233                 :          3 : static int insert_links(struct ctl_table_header *head)
    1234                 :            : {
    1235                 :            :         struct ctl_table_set *root_set = &sysctl_table_root.default_set;
    1236                 :            :         struct ctl_dir *core_parent = NULL;
    1237                 :            :         struct ctl_table_header *links;
    1238                 :            :         int err;
    1239                 :            : 
    1240                 :          3 :         if (head->set == root_set)
    1241                 :            :                 return 0;
    1242                 :            : 
    1243                 :          3 :         core_parent = xlate_dir(root_set, head->parent);
    1244                 :          3 :         if (IS_ERR(core_parent))
    1245                 :            :                 return 0;
    1246                 :            : 
    1247                 :          3 :         if (get_links(core_parent, head->ctl_table, head->root))
    1248                 :            :                 return 0;
    1249                 :            : 
    1250                 :          3 :         core_parent->header.nreg++;
    1251                 :            :         spin_unlock(&sysctl_lock);
    1252                 :            : 
    1253                 :          3 :         links = new_links(core_parent, head->ctl_table, head->root);
    1254                 :            : 
    1255                 :            :         spin_lock(&sysctl_lock);
    1256                 :            :         err = -ENOMEM;
    1257                 :          3 :         if (!links)
    1258                 :            :                 goto out;
    1259                 :            : 
    1260                 :            :         err = 0;
    1261                 :          3 :         if (get_links(core_parent, head->ctl_table, head->root)) {
    1262                 :          0 :                 kfree(links);
    1263                 :          0 :                 goto out;
    1264                 :            :         }
    1265                 :            : 
    1266                 :          3 :         err = insert_header(core_parent, links);
    1267                 :          3 :         if (err)
    1268                 :          0 :                 kfree(links);
    1269                 :            : out:
    1270                 :          3 :         drop_sysctl_table(&core_parent->header);
    1271                 :          3 :         return err;
    1272                 :            : }
    1273                 :            : 
    1274                 :            : /**
    1275                 :            :  * __register_sysctl_table - register a leaf sysctl table
    1276                 :            :  * @set: Sysctl tree to register on
    1277                 :            :  * @path: The path to the directory the sysctl table is in.
    1278                 :            :  * @table: the top-level table structure
    1279                 :            :  *
    1280                 :            :  * Register a sysctl table hierarchy. @table should be a filled in ctl_table
    1281                 :            :  * array. A completely 0 filled entry terminates the table.
    1282                 :            :  *
    1283                 :            :  * The members of the &struct ctl_table structure are used as follows:
    1284                 :            :  *
    1285                 :            :  * procname - the name of the sysctl file under /proc/sys. Set to %NULL to not
    1286                 :            :  *            enter a sysctl file
    1287                 :            :  *
    1288                 :            :  * data - a pointer to data for use by proc_handler
    1289                 :            :  *
    1290                 :            :  * maxlen - the maximum size in bytes of the data
    1291                 :            :  *
    1292                 :            :  * mode - the file permissions for the /proc/sys file
    1293                 :            :  *
    1294                 :            :  * child - must be %NULL.
    1295                 :            :  *
    1296                 :            :  * proc_handler - the text handler routine (described below)
    1297                 :            :  *
    1298                 :            :  * extra1, extra2 - extra pointers usable by the proc handler routines
    1299                 :            :  *
    1300                 :            :  * Leaf nodes in the sysctl tree will be represented by a single file
    1301                 :            :  * under /proc; non-leaf nodes will be represented by directories.
    1302                 :            :  *
    1303                 :            :  * There must be a proc_handler routine for any terminal nodes.
    1304                 :            :  * Several default handlers are available to cover common cases -
    1305                 :            :  *
    1306                 :            :  * proc_dostring(), proc_dointvec(), proc_dointvec_jiffies(),
    1307                 :            :  * proc_dointvec_userhz_jiffies(), proc_dointvec_minmax(),
    1308                 :            :  * proc_doulongvec_ms_jiffies_minmax(), proc_doulongvec_minmax()
    1309                 :            :  *
    1310                 :            :  * It is the handler's job to read the input buffer from user memory
    1311                 :            :  * and process it. The handler should return 0 on success.
    1312                 :            :  *
    1313                 :            :  * This routine returns %NULL on a failure to register, and a pointer
    1314                 :            :  * to the table header on success.
    1315                 :            :  */
    1316                 :          3 : struct ctl_table_header *__register_sysctl_table(
    1317                 :            :         struct ctl_table_set *set,
    1318                 :            :         const char *path, struct ctl_table *table)
    1319                 :            : {
    1320                 :          3 :         struct ctl_table_root *root = set->dir.header.root;
    1321                 :            :         struct ctl_table_header *header;
    1322                 :            :         const char *name, *nextname;
    1323                 :            :         struct ctl_dir *dir;
    1324                 :            :         struct ctl_table *entry;
    1325                 :            :         struct ctl_node *node;
    1326                 :            :         int nr_entries = 0;
    1327                 :            : 
    1328                 :          3 :         for (entry = table; entry->procname; entry++)
    1329                 :          3 :                 nr_entries++;
    1330                 :            : 
    1331                 :          3 :         header = kzalloc(sizeof(struct ctl_table_header) +
    1332                 :          3 :                          sizeof(struct ctl_node)*nr_entries, GFP_KERNEL);
    1333                 :          3 :         if (!header)
    1334                 :            :                 return NULL;
    1335                 :            : 
    1336                 :          3 :         node = (struct ctl_node *)(header + 1);
    1337                 :            :         init_header(header, root, set, node, table);
    1338                 :          3 :         if (sysctl_check_table(path, table))
    1339                 :            :                 goto fail;
    1340                 :            : 
    1341                 :            :         spin_lock(&sysctl_lock);
    1342                 :          3 :         dir = &set->dir;
    1343                 :            :         /* Reference moved down the diretory tree get_subdir */
    1344                 :          3 :         dir->header.nreg++;
    1345                 :            :         spin_unlock(&sysctl_lock);
    1346                 :            : 
    1347                 :            :         /* Find the directory for the ctl_table */
    1348                 :          3 :         for (name = path; name; name = nextname) {
    1349                 :            :                 int namelen;
    1350                 :          3 :                 nextname = strchr(name, '/');
    1351                 :          3 :                 if (nextname) {
    1352                 :          3 :                         namelen = nextname - name;
    1353                 :          3 :                         nextname++;
    1354                 :            :                 } else {
    1355                 :          3 :                         namelen = strlen(name);
    1356                 :            :                 }
    1357                 :          3 :                 if (namelen == 0)
    1358                 :          3 :                         continue;
    1359                 :            : 
    1360                 :          3 :                 dir = get_subdir(dir, name, namelen);
    1361                 :          3 :                 if (IS_ERR(dir))
    1362                 :            :                         goto fail;
    1363                 :            :         }
    1364                 :            : 
    1365                 :            :         spin_lock(&sysctl_lock);
    1366                 :          3 :         if (insert_header(dir, header))
    1367                 :            :                 goto fail_put_dir_locked;
    1368                 :            : 
    1369                 :          3 :         drop_sysctl_table(&dir->header);
    1370                 :            :         spin_unlock(&sysctl_lock);
    1371                 :            : 
    1372                 :          3 :         return header;
    1373                 :            : 
    1374                 :            : fail_put_dir_locked:
    1375                 :          0 :         drop_sysctl_table(&dir->header);
    1376                 :            :         spin_unlock(&sysctl_lock);
    1377                 :            : fail:
    1378                 :          0 :         kfree(header);
    1379                 :          0 :         dump_stack();
    1380                 :          0 :         return NULL;
    1381                 :            : }
    1382                 :            : 
    1383                 :            : /**
    1384                 :            :  * register_sysctl - register a sysctl table
    1385                 :            :  * @path: The path to the directory the sysctl table is in.
    1386                 :            :  * @table: the table structure
    1387                 :            :  *
    1388                 :            :  * Register a sysctl table. @table should be a filled in ctl_table
    1389                 :            :  * array. A completely 0 filled entry terminates the table.
    1390                 :            :  *
    1391                 :            :  * See __register_sysctl_table for more details.
    1392                 :            :  */
    1393                 :          3 : struct ctl_table_header *register_sysctl(const char *path, struct ctl_table *table)
    1394                 :            : {
    1395                 :          3 :         return __register_sysctl_table(&sysctl_table_root.default_set,
    1396                 :            :                                         path, table);
    1397                 :            : }
    1398                 :            : EXPORT_SYMBOL(register_sysctl);
    1399                 :            : 
    1400                 :          3 : static char *append_path(const char *path, char *pos, const char *name)
    1401                 :            : {
    1402                 :            :         int namelen;
    1403                 :          3 :         namelen = strlen(name);
    1404                 :          3 :         if (((pos - path) + namelen + 2) >= PATH_MAX)
    1405                 :            :                 return NULL;
    1406                 :          3 :         memcpy(pos, name, namelen);
    1407                 :          3 :         pos[namelen] = '/';
    1408                 :          3 :         pos[namelen + 1] = '\0';
    1409                 :            :         pos += namelen + 1;
    1410                 :          3 :         return pos;
    1411                 :            : }
    1412                 :            : 
    1413                 :          3 : static int count_subheaders(struct ctl_table *table)
    1414                 :            : {
    1415                 :            :         int has_files = 0;
    1416                 :            :         int nr_subheaders = 0;
    1417                 :            :         struct ctl_table *entry;
    1418                 :            : 
    1419                 :            :         /* special case: no directory and empty directory */
    1420                 :          3 :         if (!table || !table->procname)
    1421                 :            :                 return 1;
    1422                 :            : 
    1423                 :          3 :         for (entry = table; entry->procname; entry++) {
    1424                 :          3 :                 if (entry->child)
    1425                 :          3 :                         nr_subheaders += count_subheaders(entry->child);
    1426                 :            :                 else
    1427                 :            :                         has_files = 1;
    1428                 :            :         }
    1429                 :          3 :         return nr_subheaders + has_files;
    1430                 :            : }
    1431                 :            : 
    1432                 :          3 : static int register_leaf_sysctl_tables(const char *path, char *pos,
    1433                 :            :         struct ctl_table_header ***subheader, struct ctl_table_set *set,
    1434                 :            :         struct ctl_table *table)
    1435                 :            : {
    1436                 :            :         struct ctl_table *ctl_table_arg = NULL;
    1437                 :            :         struct ctl_table *entry, *files;
    1438                 :            :         int nr_files = 0;
    1439                 :            :         int nr_dirs = 0;
    1440                 :            :         int err = -ENOMEM;
    1441                 :            : 
    1442                 :          3 :         for (entry = table; entry->procname; entry++) {
    1443                 :          3 :                 if (entry->child)
    1444                 :          3 :                         nr_dirs++;
    1445                 :            :                 else
    1446                 :          3 :                         nr_files++;
    1447                 :            :         }
    1448                 :            : 
    1449                 :            :         files = table;
    1450                 :            :         /* If there are mixed files and directories we need a new table */
    1451                 :          3 :         if (nr_dirs && nr_files) {
    1452                 :            :                 struct ctl_table *new;
    1453                 :          3 :                 files = kcalloc(nr_files + 1, sizeof(struct ctl_table),
    1454                 :            :                                 GFP_KERNEL);
    1455                 :          3 :                 if (!files)
    1456                 :            :                         goto out;
    1457                 :            : 
    1458                 :            :                 ctl_table_arg = files;
    1459                 :          3 :                 for (new = files, entry = table; entry->procname; entry++) {
    1460                 :          3 :                         if (entry->child)
    1461                 :          3 :                                 continue;
    1462                 :          3 :                         *new = *entry;
    1463                 :          3 :                         new++;
    1464                 :            :                 }
    1465                 :            :         }
    1466                 :            : 
    1467                 :            :         /* Register everything except a directory full of subdirectories */
    1468                 :          3 :         if (nr_files || !nr_dirs) {
    1469                 :            :                 struct ctl_table_header *header;
    1470                 :          3 :                 header = __register_sysctl_table(set, path, files);
    1471                 :          3 :                 if (!header) {
    1472                 :          0 :                         kfree(ctl_table_arg);
    1473                 :          0 :                         goto out;
    1474                 :            :                 }
    1475                 :            : 
    1476                 :            :                 /* Remember if we need to free the file table */
    1477                 :          3 :                 header->ctl_table_arg = ctl_table_arg;
    1478                 :          3 :                 **subheader = header;
    1479                 :          3 :                 (*subheader)++;
    1480                 :            :         }
    1481                 :            : 
    1482                 :            :         /* Recurse into the subdirectories. */
    1483                 :          3 :         for (entry = table; entry->procname; entry++) {
    1484                 :            :                 char *child_pos;
    1485                 :            : 
    1486                 :          3 :                 if (!entry->child)
    1487                 :          3 :                         continue;
    1488                 :            : 
    1489                 :            :                 err = -ENAMETOOLONG;
    1490                 :          3 :                 child_pos = append_path(path, pos, entry->procname);
    1491                 :          3 :                 if (!child_pos)
    1492                 :            :                         goto out;
    1493                 :            : 
    1494                 :          3 :                 err = register_leaf_sysctl_tables(path, child_pos, subheader,
    1495                 :            :                                                   set, entry->child);
    1496                 :          3 :                 pos[0] = '\0';
    1497                 :          3 :                 if (err)
    1498                 :            :                         goto out;
    1499                 :            :         }
    1500                 :            :         err = 0;
    1501                 :            : out:
    1502                 :            :         /* On failure our caller will unregister all registered subheaders */
    1503                 :          3 :         return err;
    1504                 :            : }
    1505                 :            : 
    1506                 :            : /**
    1507                 :            :  * __register_sysctl_paths - register a sysctl table hierarchy
    1508                 :            :  * @set: Sysctl tree to register on
    1509                 :            :  * @path: The path to the directory the sysctl table is in.
    1510                 :            :  * @table: the top-level table structure
    1511                 :            :  *
    1512                 :            :  * Register a sysctl table hierarchy. @table should be a filled in ctl_table
    1513                 :            :  * array. A completely 0 filled entry terminates the table.
    1514                 :            :  *
    1515                 :            :  * See __register_sysctl_table for more details.
    1516                 :            :  */
    1517                 :          3 : struct ctl_table_header *__register_sysctl_paths(
    1518                 :            :         struct ctl_table_set *set,
    1519                 :            :         const struct ctl_path *path, struct ctl_table *table)
    1520                 :            : {
    1521                 :            :         struct ctl_table *ctl_table_arg = table;
    1522                 :          3 :         int nr_subheaders = count_subheaders(table);
    1523                 :            :         struct ctl_table_header *header = NULL, **subheaders, **subheader;
    1524                 :            :         const struct ctl_path *component;
    1525                 :            :         char *new_path, *pos;
    1526                 :            : 
    1527                 :            :         pos = new_path = kmalloc(PATH_MAX, GFP_KERNEL);
    1528                 :          3 :         if (!new_path)
    1529                 :            :                 return NULL;
    1530                 :            : 
    1531                 :          3 :         pos[0] = '\0';
    1532                 :          3 :         for (component = path; component->procname; component++) {
    1533                 :          3 :                 pos = append_path(new_path, pos, component->procname);
    1534                 :          3 :                 if (!pos)
    1535                 :            :                         goto out;
    1536                 :            :         }
    1537                 :          3 :         while (table->procname && table->child && !table[1].procname) {
    1538                 :          3 :                 pos = append_path(new_path, pos, table->procname);
    1539                 :          3 :                 if (!pos)
    1540                 :            :                         goto out;
    1541                 :          3 :                 table = table->child;
    1542                 :            :         }
    1543                 :          3 :         if (nr_subheaders == 1) {
    1544                 :          3 :                 header = __register_sysctl_table(set, new_path, table);
    1545                 :          3 :                 if (header)
    1546                 :          3 :                         header->ctl_table_arg = ctl_table_arg;
    1547                 :            :         } else {
    1548                 :          3 :                 header = kzalloc(sizeof(*header) +
    1549                 :            :                                  sizeof(*subheaders)*nr_subheaders, GFP_KERNEL);
    1550                 :          3 :                 if (!header)
    1551                 :            :                         goto out;
    1552                 :            : 
    1553                 :          3 :                 subheaders = (struct ctl_table_header **) (header + 1);
    1554                 :          3 :                 subheader = subheaders;
    1555                 :          3 :                 header->ctl_table_arg = ctl_table_arg;
    1556                 :            : 
    1557                 :          3 :                 if (register_leaf_sysctl_tables(new_path, pos, &subheader,
    1558                 :            :                                                 set, table))
    1559                 :            :                         goto err_register_leaves;
    1560                 :            :         }
    1561                 :            : 
    1562                 :            : out:
    1563                 :          3 :         kfree(new_path);
    1564                 :          3 :         return header;
    1565                 :            : 
    1566                 :            : err_register_leaves:
    1567                 :          0 :         while (subheader > subheaders) {
    1568                 :          0 :                 struct ctl_table_header *subh = *(--subheader);
    1569                 :          0 :                 struct ctl_table *table = subh->ctl_table_arg;
    1570                 :          0 :                 unregister_sysctl_table(subh);
    1571                 :          0 :                 kfree(table);
    1572                 :            :         }
    1573                 :          0 :         kfree(header);
    1574                 :            :         header = NULL;
    1575                 :          0 :         goto out;
    1576                 :            : }
    1577                 :            : 
    1578                 :            : /**
    1579                 :            :  * register_sysctl_table_path - register a sysctl table hierarchy
    1580                 :            :  * @path: The path to the directory the sysctl table is in.
    1581                 :            :  * @table: the top-level table structure
    1582                 :            :  *
    1583                 :            :  * Register a sysctl table hierarchy. @table should be a filled in ctl_table
    1584                 :            :  * array. A completely 0 filled entry terminates the table.
    1585                 :            :  *
    1586                 :            :  * See __register_sysctl_paths for more details.
    1587                 :            :  */
    1588                 :          3 : struct ctl_table_header *register_sysctl_paths(const struct ctl_path *path,
    1589                 :            :                                                 struct ctl_table *table)
    1590                 :            : {
    1591                 :          3 :         return __register_sysctl_paths(&sysctl_table_root.default_set,
    1592                 :            :                                         path, table);
    1593                 :            : }
    1594                 :            : EXPORT_SYMBOL(register_sysctl_paths);
    1595                 :            : 
    1596                 :            : /**
    1597                 :            :  * register_sysctl_table - register a sysctl table hierarchy
    1598                 :            :  * @table: the top-level table structure
    1599                 :            :  *
    1600                 :            :  * Register a sysctl table hierarchy. @table should be a filled in ctl_table
    1601                 :            :  * array. A completely 0 filled entry terminates the table.
    1602                 :            :  *
    1603                 :            :  * See register_sysctl_paths for more details.
    1604                 :            :  */
    1605                 :          3 : struct ctl_table_header *register_sysctl_table(struct ctl_table *table)
    1606                 :            : {
    1607                 :            :         static const struct ctl_path null_path[] = { {} };
    1608                 :            : 
    1609                 :          3 :         return register_sysctl_paths(null_path, table);
    1610                 :            : }
    1611                 :            : EXPORT_SYMBOL(register_sysctl_table);
    1612                 :            : 
    1613                 :          1 : static void put_links(struct ctl_table_header *header)
    1614                 :            : {
    1615                 :            :         struct ctl_table_set *root_set = &sysctl_table_root.default_set;
    1616                 :          1 :         struct ctl_table_root *root = header->root;
    1617                 :          1 :         struct ctl_dir *parent = header->parent;
    1618                 :            :         struct ctl_dir *core_parent;
    1619                 :            :         struct ctl_table *entry;
    1620                 :            : 
    1621                 :          1 :         if (header->set == root_set)
    1622                 :            :                 return;
    1623                 :            : 
    1624                 :          1 :         core_parent = xlate_dir(root_set, parent);
    1625                 :          1 :         if (IS_ERR(core_parent))
    1626                 :            :                 return;
    1627                 :            : 
    1628                 :          1 :         for (entry = header->ctl_table; entry->procname; entry++) {
    1629                 :            :                 struct ctl_table_header *link_head;
    1630                 :            :                 struct ctl_table *link;
    1631                 :            :                 const char *name = entry->procname;
    1632                 :            : 
    1633                 :          1 :                 link = find_entry(&link_head, core_parent, name, strlen(name));
    1634                 :          1 :                 if (link &&
    1635                 :          1 :                     ((S_ISDIR(link->mode) && S_ISDIR(entry->mode)) ||
    1636                 :          1 :                      (S_ISLNK(link->mode) && (link->data == root)))) {
    1637                 :          1 :                         drop_sysctl_table(link_head);
    1638                 :            :                 }
    1639                 :            :                 else {
    1640                 :          0 :                         pr_err("sysctl link missing during unregister: ");
    1641                 :          0 :                         sysctl_print_dir(parent);
    1642                 :          0 :                         pr_cont("/%s\n", name);
    1643                 :            :                 }
    1644                 :            :         }
    1645                 :            : }
    1646                 :            : 
    1647                 :          3 : static void drop_sysctl_table(struct ctl_table_header *header)
    1648                 :            : {
    1649                 :          3 :         struct ctl_dir *parent = header->parent;
    1650                 :            : 
    1651                 :          3 :         if (--header->nreg)
    1652                 :          3 :                 return;
    1653                 :            : 
    1654                 :          1 :         if (parent) {
    1655                 :          1 :                 put_links(header);
    1656                 :          1 :                 start_unregistering(header);
    1657                 :            :         }
    1658                 :            : 
    1659                 :          1 :         if (!--header->count)
    1660                 :          1 :                 kfree_rcu(header, rcu);
    1661                 :            : 
    1662                 :          1 :         if (parent)
    1663                 :          1 :                 drop_sysctl_table(&parent->header);
    1664                 :            : }
    1665                 :            : 
    1666                 :            : /**
    1667                 :            :  * unregister_sysctl_table - unregister a sysctl table hierarchy
    1668                 :            :  * @header: the header returned from register_sysctl_table
    1669                 :            :  *
    1670                 :            :  * Unregisters the sysctl table and all children. proc entries may not
    1671                 :            :  * actually be removed until they are no longer used by anyone.
    1672                 :            :  */
    1673                 :          1 : void unregister_sysctl_table(struct ctl_table_header * header)
    1674                 :            : {
    1675                 :            :         int nr_subheaders;
    1676                 :          1 :         might_sleep();
    1677                 :            : 
    1678                 :          1 :         if (header == NULL)
    1679                 :            :                 return;
    1680                 :            : 
    1681                 :          1 :         nr_subheaders = count_subheaders(header->ctl_table_arg);
    1682                 :          1 :         if (unlikely(nr_subheaders > 1)) {
    1683                 :            :                 struct ctl_table_header **subheaders;
    1684                 :            :                 int i;
    1685                 :            : 
    1686                 :            :                 subheaders = (struct ctl_table_header **)(header + 1);
    1687                 :          0 :                 for (i = nr_subheaders -1; i >= 0; i--) {
    1688                 :          0 :                         struct ctl_table_header *subh = subheaders[i];
    1689                 :          0 :                         struct ctl_table *table = subh->ctl_table_arg;
    1690                 :          0 :                         unregister_sysctl_table(subh);
    1691                 :          0 :                         kfree(table);
    1692                 :            :                 }
    1693                 :          0 :                 kfree(header);
    1694                 :          0 :                 return;
    1695                 :            :         }
    1696                 :            : 
    1697                 :            :         spin_lock(&sysctl_lock);
    1698                 :          1 :         drop_sysctl_table(header);
    1699                 :            :         spin_unlock(&sysctl_lock);
    1700                 :            : }
    1701                 :            : EXPORT_SYMBOL(unregister_sysctl_table);
    1702                 :            : 
    1703                 :          3 : void setup_sysctl_set(struct ctl_table_set *set,
    1704                 :            :         struct ctl_table_root *root,
    1705                 :            :         int (*is_seen)(struct ctl_table_set *))
    1706                 :            : {
    1707                 :          3 :         memset(set, 0, sizeof(*set));
    1708                 :          3 :         set->is_seen = is_seen;
    1709                 :            :         init_header(&set->dir.header, root, set, NULL, root_table);
    1710                 :          3 : }
    1711                 :            : 
    1712                 :          1 : void retire_sysctl_set(struct ctl_table_set *set)
    1713                 :            : {
    1714                 :          1 :         WARN_ON(!RB_EMPTY_ROOT(&set->dir.root));
    1715                 :          1 : }
    1716                 :            : 
    1717                 :          3 : int __init proc_sys_init(void)
    1718                 :            : {
    1719                 :            :         struct proc_dir_entry *proc_sys_root;
    1720                 :            : 
    1721                 :          3 :         proc_sys_root = proc_mkdir("sys", NULL);
    1722                 :          3 :         proc_sys_root->proc_iops = &proc_sys_dir_operations;
    1723                 :          3 :         proc_sys_root->proc_fops = &proc_sys_dir_file_operations;
    1724                 :          3 :         proc_sys_root->nlink = 0;
    1725                 :            : 
    1726                 :          3 :         return sysctl_init();
    1727                 :            : }
    

Generated by: LCOV version 1.14