LCOV - code coverage report
Current view: top level - net/sunrpc - clnt.c (source / functions) Hit Total Coverage
Test: gcov_data_raspi2_real_modules_combined.info Lines: 9 1040 0.9 %
Date: 2020-09-30 20:25:40 Functions: 3 104 2.9 %
Branches: 2 549 0.4 %

           Branch data     Line data    Source code
       1                 :            : // SPDX-License-Identifier: GPL-2.0-only
       2                 :            : /*
       3                 :            :  *  linux/net/sunrpc/clnt.c
       4                 :            :  *
       5                 :            :  *  This file contains the high-level RPC interface.
       6                 :            :  *  It is modeled as a finite state machine to support both synchronous
       7                 :            :  *  and asynchronous requests.
       8                 :            :  *
       9                 :            :  *  -   RPC header generation and argument serialization.
      10                 :            :  *  -   Credential refresh.
      11                 :            :  *  -   TCP connect handling.
      12                 :            :  *  -   Retry of operation when it is suspected the operation failed because
      13                 :            :  *      of uid squashing on the server, or when the credentials were stale
      14                 :            :  *      and need to be refreshed, or when a packet was damaged in transit.
      15                 :            :  *      This may be have to be moved to the VFS layer.
      16                 :            :  *
      17                 :            :  *  Copyright (C) 1992,1993 Rick Sladkey <jrs@world.std.com>
      18                 :            :  *  Copyright (C) 1995,1996 Olaf Kirch <okir@monad.swb.de>
      19                 :            :  */
      20                 :            : 
      21                 :            : 
      22                 :            : #include <linux/module.h>
      23                 :            : #include <linux/types.h>
      24                 :            : #include <linux/kallsyms.h>
      25                 :            : #include <linux/mm.h>
      26                 :            : #include <linux/namei.h>
      27                 :            : #include <linux/mount.h>
      28                 :            : #include <linux/slab.h>
      29                 :            : #include <linux/rcupdate.h>
      30                 :            : #include <linux/utsname.h>
      31                 :            : #include <linux/workqueue.h>
      32                 :            : #include <linux/in.h>
      33                 :            : #include <linux/in6.h>
      34                 :            : #include <linux/un.h>
      35                 :            : 
      36                 :            : #include <linux/sunrpc/clnt.h>
      37                 :            : #include <linux/sunrpc/addr.h>
      38                 :            : #include <linux/sunrpc/rpc_pipe_fs.h>
      39                 :            : #include <linux/sunrpc/metrics.h>
      40                 :            : #include <linux/sunrpc/bc_xprt.h>
      41                 :            : #include <trace/events/sunrpc.h>
      42                 :            : 
      43                 :            : #include "sunrpc.h"
      44                 :            : #include "netns.h"
      45                 :            : 
      46                 :            : #if IS_ENABLED(CONFIG_SUNRPC_DEBUG)
      47                 :            : # define RPCDBG_FACILITY        RPCDBG_CALL
      48                 :            : #endif
      49                 :            : 
      50                 :            : #define dprint_status(t)                                        \
      51                 :            :         dprintk("RPC: %5u %s (status %d)\n", t->tk_pid,            \
      52                 :            :                         __func__, t->tk_status)
      53                 :            : 
      54                 :            : /*
      55                 :            :  * All RPC clients are linked into this list
      56                 :            :  */
      57                 :            : 
      58                 :            : static DECLARE_WAIT_QUEUE_HEAD(destroy_wait);
      59                 :            : 
      60                 :            : 
      61                 :            : static void     call_start(struct rpc_task *task);
      62                 :            : static void     call_reserve(struct rpc_task *task);
      63                 :            : static void     call_reserveresult(struct rpc_task *task);
      64                 :            : static void     call_allocate(struct rpc_task *task);
      65                 :            : static void     call_encode(struct rpc_task *task);
      66                 :            : static void     call_decode(struct rpc_task *task);
      67                 :            : static void     call_bind(struct rpc_task *task);
      68                 :            : static void     call_bind_status(struct rpc_task *task);
      69                 :            : static void     call_transmit(struct rpc_task *task);
      70                 :            : static void     call_status(struct rpc_task *task);
      71                 :            : static void     call_transmit_status(struct rpc_task *task);
      72                 :            : static void     call_refresh(struct rpc_task *task);
      73                 :            : static void     call_refreshresult(struct rpc_task *task);
      74                 :            : static void     call_connect(struct rpc_task *task);
      75                 :            : static void     call_connect_status(struct rpc_task *task);
      76                 :            : 
      77                 :            : static int      rpc_encode_header(struct rpc_task *task,
      78                 :            :                                   struct xdr_stream *xdr);
      79                 :            : static int      rpc_decode_header(struct rpc_task *task,
      80                 :            :                                   struct xdr_stream *xdr);
      81                 :            : static int      rpc_ping(struct rpc_clnt *clnt);
      82                 :            : static void     rpc_check_timeout(struct rpc_task *task);
      83                 :            : 
      84                 :          0 : static void rpc_register_client(struct rpc_clnt *clnt)
      85                 :            : {
      86                 :            :         struct net *net = rpc_net_ns(clnt);
      87                 :          0 :         struct sunrpc_net *sn = net_generic(net, sunrpc_net_id);
      88                 :            : 
      89                 :            :         spin_lock(&sn->rpc_client_lock);
      90                 :          0 :         list_add(&clnt->cl_clients, &sn->all_clients);
      91                 :            :         spin_unlock(&sn->rpc_client_lock);
      92                 :          0 : }
      93                 :            : 
      94                 :          0 : static void rpc_unregister_client(struct rpc_clnt *clnt)
      95                 :            : {
      96                 :            :         struct net *net = rpc_net_ns(clnt);
      97                 :          0 :         struct sunrpc_net *sn = net_generic(net, sunrpc_net_id);
      98                 :            : 
      99                 :            :         spin_lock(&sn->rpc_client_lock);
     100                 :            :         list_del(&clnt->cl_clients);
     101                 :            :         spin_unlock(&sn->rpc_client_lock);
     102                 :          0 : }
     103                 :            : 
     104                 :            : static void __rpc_clnt_remove_pipedir(struct rpc_clnt *clnt)
     105                 :            : {
     106                 :          0 :         rpc_remove_client_dir(clnt);
     107                 :            : }
     108                 :            : 
     109                 :          0 : static void rpc_clnt_remove_pipedir(struct rpc_clnt *clnt)
     110                 :            : {
     111                 :            :         struct net *net = rpc_net_ns(clnt);
     112                 :            :         struct super_block *pipefs_sb;
     113                 :            : 
     114                 :          0 :         pipefs_sb = rpc_get_sb_net(net);
     115         [ #  # ]:          0 :         if (pipefs_sb) {
     116                 :            :                 __rpc_clnt_remove_pipedir(clnt);
     117                 :          0 :                 rpc_put_sb_net(net);
     118                 :            :         }
     119                 :          0 : }
     120                 :            : 
     121                 :          0 : static struct dentry *rpc_setup_pipedir_sb(struct super_block *sb,
     122                 :            :                                     struct rpc_clnt *clnt)
     123                 :            : {
     124                 :            :         static uint32_t clntid;
     125                 :          0 :         const char *dir_name = clnt->cl_program->pipe_dir_name;
     126                 :            :         char name[15];
     127                 :            :         struct dentry *dir, *dentry;
     128                 :            : 
     129                 :          0 :         dir = rpc_d_lookup_sb(sb, dir_name);
     130         [ #  # ]:          0 :         if (dir == NULL) {
     131                 :          0 :                 pr_info("RPC: pipefs directory doesn't exist: %s\n", dir_name);
     132                 :          0 :                 return dir;
     133                 :            :         }
     134                 :            :         for (;;) {
     135                 :          0 :                 snprintf(name, sizeof(name), "clnt%x", (unsigned int)clntid++);
     136                 :          0 :                 name[sizeof(name) - 1] = '\0';
     137                 :          0 :                 dentry = rpc_create_client_dir(dir, name, clnt);
     138         [ #  # ]:          0 :                 if (!IS_ERR(dentry))
     139                 :            :                         break;
     140         [ #  # ]:          0 :                 if (dentry == ERR_PTR(-EEXIST))
     141                 :          0 :                         continue;
     142                 :          0 :                 printk(KERN_INFO "RPC: Couldn't create pipefs entry"
     143                 :            :                                 " %s/%s, error %ld\n",
     144                 :            :                                 dir_name, name, PTR_ERR(dentry));
     145                 :          0 :                 break;
     146                 :          0 :         }
     147                 :          0 :         dput(dir);
     148                 :          0 :         return dentry;
     149                 :            : }
     150                 :            : 
     151                 :            : static int
     152                 :          0 : rpc_setup_pipedir(struct super_block *pipefs_sb, struct rpc_clnt *clnt)
     153                 :            : {
     154                 :            :         struct dentry *dentry;
     155                 :            : 
     156         [ #  # ]:          0 :         if (clnt->cl_program->pipe_dir_name != NULL) {
     157                 :          0 :                 dentry = rpc_setup_pipedir_sb(pipefs_sb, clnt);
     158         [ #  # ]:          0 :                 if (IS_ERR(dentry))
     159                 :          0 :                         return PTR_ERR(dentry);
     160                 :            :         }
     161                 :            :         return 0;
     162                 :            : }
     163                 :            : 
     164                 :          0 : static int rpc_clnt_skip_event(struct rpc_clnt *clnt, unsigned long event)
     165                 :            : {
     166         [ #  # ]:          0 :         if (clnt->cl_program->pipe_dir_name == NULL)
     167                 :            :                 return 1;
     168                 :            : 
     169      [ #  #  # ]:          0 :         switch (event) {
     170                 :            :         case RPC_PIPEFS_MOUNT:
     171         [ #  # ]:          0 :                 if (clnt->cl_pipedir_objects.pdh_dentry != NULL)
     172                 :            :                         return 1;
     173         [ #  # ]:          0 :                 if (atomic_read(&clnt->cl_count) == 0)
     174                 :            :                         return 1;
     175                 :            :                 break;
     176                 :            :         case RPC_PIPEFS_UMOUNT:
     177         [ #  # ]:          0 :                 if (clnt->cl_pipedir_objects.pdh_dentry == NULL)
     178                 :            :                         return 1;
     179                 :            :                 break;
     180                 :            :         }
     181                 :            :         return 0;
     182                 :            : }
     183                 :            : 
     184                 :          0 : static int __rpc_clnt_handle_event(struct rpc_clnt *clnt, unsigned long event,
     185                 :            :                                    struct super_block *sb)
     186                 :            : {
     187                 :            :         struct dentry *dentry;
     188                 :            : 
     189      [ #  #  # ]:          0 :         switch (event) {
     190                 :            :         case RPC_PIPEFS_MOUNT:
     191                 :          0 :                 dentry = rpc_setup_pipedir_sb(sb, clnt);
     192         [ #  # ]:          0 :                 if (!dentry)
     193                 :            :                         return -ENOENT;
     194         [ #  # ]:          0 :                 if (IS_ERR(dentry))
     195                 :          0 :                         return PTR_ERR(dentry);
     196                 :            :                 break;
     197                 :            :         case RPC_PIPEFS_UMOUNT:
     198                 :            :                 __rpc_clnt_remove_pipedir(clnt);
     199                 :            :                 break;
     200                 :            :         default:
     201                 :          0 :                 printk(KERN_ERR "%s: unknown event: %ld\n", __func__, event);
     202                 :          0 :                 return -ENOTSUPP;
     203                 :            :         }
     204                 :            :         return 0;
     205                 :            : }
     206                 :            : 
     207                 :          0 : static int __rpc_pipefs_event(struct rpc_clnt *clnt, unsigned long event,
     208                 :            :                                 struct super_block *sb)
     209                 :            : {
     210                 :            :         int error = 0;
     211                 :            : 
     212                 :            :         for (;; clnt = clnt->cl_parent) {
     213         [ #  # ]:          0 :                 if (!rpc_clnt_skip_event(clnt, event))
     214                 :          0 :                         error = __rpc_clnt_handle_event(clnt, event, sb);
     215   [ #  #  #  # ]:          0 :                 if (error || clnt == clnt->cl_parent)
     216                 :            :                         break;
     217                 :            :         }
     218                 :          0 :         return error;
     219                 :            : }
     220                 :            : 
     221                 :        207 : static struct rpc_clnt *rpc_get_client_for_event(struct net *net, int event)
     222                 :            : {
     223                 :        207 :         struct sunrpc_net *sn = net_generic(net, sunrpc_net_id);
     224                 :            :         struct rpc_clnt *clnt;
     225                 :            : 
     226                 :            :         spin_lock(&sn->rpc_client_lock);
     227         [ -  + ]:        414 :         list_for_each_entry(clnt, &sn->all_clients, cl_clients) {
     228         [ #  # ]:          0 :                 if (rpc_clnt_skip_event(clnt, event))
     229                 :          0 :                         continue;
     230                 :            :                 spin_unlock(&sn->rpc_client_lock);
     231                 :          0 :                 return clnt;
     232                 :            :         }
     233                 :            :         spin_unlock(&sn->rpc_client_lock);
     234                 :        207 :         return NULL;
     235                 :            : }
     236                 :            : 
     237                 :        207 : static int rpc_pipefs_event(struct notifier_block *nb, unsigned long event,
     238                 :            :                             void *ptr)
     239                 :            : {
     240                 :            :         struct super_block *sb = ptr;
     241                 :            :         struct rpc_clnt *clnt;
     242                 :            :         int error = 0;
     243                 :            : 
     244         [ -  + ]:        414 :         while ((clnt = rpc_get_client_for_event(sb->s_fs_info, event))) {
     245                 :          0 :                 error = __rpc_pipefs_event(clnt, event, sb);
     246         [ #  # ]:          0 :                 if (error)
     247                 :            :                         break;
     248                 :            :         }
     249                 :        207 :         return error;
     250                 :            : }
     251                 :            : 
     252                 :            : static struct notifier_block rpc_clients_block = {
     253                 :            :         .notifier_call  = rpc_pipefs_event,
     254                 :            :         .priority       = SUNRPC_PIPEFS_RPC_PRIO,
     255                 :            : };
     256                 :            : 
     257                 :        207 : int rpc_clients_notifier_register(void)
     258                 :            : {
     259                 :        207 :         return rpc_pipefs_notifier_register(&rpc_clients_block);
     260                 :            : }
     261                 :            : 
     262                 :          0 : void rpc_clients_notifier_unregister(void)
     263                 :            : {
     264                 :          0 :         return rpc_pipefs_notifier_unregister(&rpc_clients_block);
     265                 :            : }
     266                 :            : 
     267                 :          0 : static struct rpc_xprt *rpc_clnt_set_transport(struct rpc_clnt *clnt,
     268                 :            :                 struct rpc_xprt *xprt,
     269                 :            :                 const struct rpc_timeout *timeout)
     270                 :            : {
     271                 :            :         struct rpc_xprt *old;
     272                 :            : 
     273                 :            :         spin_lock(&clnt->cl_lock);
     274                 :          0 :         old = rcu_dereference_protected(clnt->cl_xprt,
     275                 :            :                         lockdep_is_held(&clnt->cl_lock));
     276                 :            : 
     277         [ #  # ]:          0 :         if (!xprt_bound(xprt))
     278                 :          0 :                 clnt->cl_autobind = 1;
     279                 :            : 
     280                 :          0 :         clnt->cl_timeout = timeout;
     281                 :          0 :         rcu_assign_pointer(clnt->cl_xprt, xprt);
     282                 :            :         spin_unlock(&clnt->cl_lock);
     283                 :            : 
     284                 :          0 :         return old;
     285                 :            : }
     286                 :            : 
     287                 :            : static void rpc_clnt_set_nodename(struct rpc_clnt *clnt, const char *nodename)
     288                 :            : {
     289                 :          0 :         clnt->cl_nodelen = strlcpy(clnt->cl_nodename,
     290                 :            :                         nodename, sizeof(clnt->cl_nodename));
     291                 :            : }
     292                 :            : 
     293                 :          0 : static int rpc_client_register(struct rpc_clnt *clnt,
     294                 :            :                                rpc_authflavor_t pseudoflavor,
     295                 :            :                                const char *client_name)
     296                 :            : {
     297                 :          0 :         struct rpc_auth_create_args auth_args = {
     298                 :            :                 .pseudoflavor = pseudoflavor,
     299                 :            :                 .target_name = client_name,
     300                 :            :         };
     301                 :            :         struct rpc_auth *auth;
     302                 :            :         struct net *net = rpc_net_ns(clnt);
     303                 :            :         struct super_block *pipefs_sb;
     304                 :            :         int err;
     305                 :            : 
     306                 :            :         rpc_clnt_debugfs_register(clnt);
     307                 :            : 
     308                 :          0 :         pipefs_sb = rpc_get_sb_net(net);
     309         [ #  # ]:          0 :         if (pipefs_sb) {
     310                 :          0 :                 err = rpc_setup_pipedir(pipefs_sb, clnt);
     311         [ #  # ]:          0 :                 if (err)
     312                 :            :                         goto out;
     313                 :            :         }
     314                 :            : 
     315                 :          0 :         rpc_register_client(clnt);
     316         [ #  # ]:          0 :         if (pipefs_sb)
     317                 :          0 :                 rpc_put_sb_net(net);
     318                 :            : 
     319                 :          0 :         auth = rpcauth_create(&auth_args, clnt);
     320         [ #  # ]:          0 :         if (IS_ERR(auth)) {
     321                 :            :                 dprintk("RPC:       Couldn't create auth handle (flavor %u)\n",
     322                 :            :                                 pseudoflavor);
     323                 :            :                 err = PTR_ERR(auth);
     324                 :            :                 goto err_auth;
     325                 :            :         }
     326                 :            :         return 0;
     327                 :            : err_auth:
     328                 :          0 :         pipefs_sb = rpc_get_sb_net(net);
     329                 :          0 :         rpc_unregister_client(clnt);
     330                 :            :         __rpc_clnt_remove_pipedir(clnt);
     331                 :            : out:
     332         [ #  # ]:          0 :         if (pipefs_sb)
     333                 :          0 :                 rpc_put_sb_net(net);
     334                 :            :         rpc_clnt_debugfs_unregister(clnt);
     335                 :          0 :         return err;
     336                 :            : }
     337                 :            : 
     338                 :            : static DEFINE_IDA(rpc_clids);
     339                 :            : 
     340                 :          0 : void rpc_cleanup_clids(void)
     341                 :            : {
     342                 :          0 :         ida_destroy(&rpc_clids);
     343                 :          0 : }
     344                 :            : 
     345                 :          0 : static int rpc_alloc_clid(struct rpc_clnt *clnt)
     346                 :            : {
     347                 :            :         int clid;
     348                 :            : 
     349                 :          0 :         clid = ida_simple_get(&rpc_clids, 0, 0, GFP_KERNEL);
     350         [ #  # ]:          0 :         if (clid < 0)
     351                 :            :                 return clid;
     352                 :          0 :         clnt->cl_clid = clid;
     353                 :          0 :         return 0;
     354                 :            : }
     355                 :            : 
     356                 :            : static void rpc_free_clid(struct rpc_clnt *clnt)
     357                 :            : {
     358                 :          0 :         ida_simple_remove(&rpc_clids, clnt->cl_clid);
     359                 :            : }
     360                 :            : 
     361                 :          0 : static struct rpc_clnt * rpc_new_client(const struct rpc_create_args *args,
     362                 :            :                 struct rpc_xprt_switch *xps,
     363                 :            :                 struct rpc_xprt *xprt,
     364                 :            :                 struct rpc_clnt *parent)
     365                 :            : {
     366                 :          0 :         const struct rpc_program *program = args->program;
     367                 :            :         const struct rpc_version *version;
     368                 :            :         struct rpc_clnt *clnt = NULL;
     369                 :            :         const struct rpc_timeout *timeout;
     370                 :          0 :         const char *nodename = args->nodename;
     371                 :            :         int err;
     372                 :            : 
     373                 :            :         /* sanity check the name before trying to print it */
     374                 :            :         dprintk("RPC:       creating %s client for %s (xprt %p)\n",
     375                 :            :                         program->name, args->servername, xprt);
     376                 :            : 
     377                 :          0 :         err = rpciod_up();
     378         [ #  # ]:          0 :         if (err)
     379                 :            :                 goto out_no_rpciod;
     380                 :            : 
     381                 :            :         err = -EINVAL;
     382         [ #  # ]:          0 :         if (args->version >= program->nrvers)
     383                 :            :                 goto out_err;
     384                 :          0 :         version = program->version[args->version];
     385         [ #  # ]:          0 :         if (version == NULL)
     386                 :            :                 goto out_err;
     387                 :            : 
     388                 :            :         err = -ENOMEM;
     389                 :          0 :         clnt = kzalloc(sizeof(*clnt), GFP_KERNEL);
     390         [ #  # ]:          0 :         if (!clnt)
     391                 :            :                 goto out_err;
     392         [ #  # ]:          0 :         clnt->cl_parent = parent ? : clnt;
     393                 :            : 
     394                 :          0 :         err = rpc_alloc_clid(clnt);
     395         [ #  # ]:          0 :         if (err)
     396                 :            :                 goto out_no_clid;
     397                 :            : 
     398                 :          0 :         clnt->cl_cred          = get_cred(args->cred);
     399                 :          0 :         clnt->cl_procinfo = version->procs;
     400                 :          0 :         clnt->cl_maxproc  = version->nrprocs;
     401         [ #  # ]:          0 :         clnt->cl_prog     = args->prognumber ? : program->number;
     402                 :          0 :         clnt->cl_vers     = version->number;
     403                 :          0 :         clnt->cl_stats    = program->stats;
     404                 :          0 :         clnt->cl_metrics  = rpc_alloc_iostats(clnt);
     405                 :          0 :         rpc_init_pipe_dir_head(&clnt->cl_pipedir_objects);
     406                 :            :         err = -ENOMEM;
     407         [ #  # ]:          0 :         if (clnt->cl_metrics == NULL)
     408                 :            :                 goto out_no_stats;
     409                 :          0 :         clnt->cl_program  = program;
     410                 :          0 :         INIT_LIST_HEAD(&clnt->cl_tasks);
     411                 :          0 :         spin_lock_init(&clnt->cl_lock);
     412                 :            : 
     413                 :          0 :         timeout = xprt->timeout;
     414         [ #  # ]:          0 :         if (args->timeout != NULL) {
     415                 :          0 :                 memcpy(&clnt->cl_timeout_default, args->timeout,
     416                 :            :                                 sizeof(clnt->cl_timeout_default));
     417                 :            :                 timeout = &clnt->cl_timeout_default;
     418                 :            :         }
     419                 :            : 
     420                 :          0 :         rpc_clnt_set_transport(clnt, xprt, timeout);
     421                 :          0 :         xprt_iter_init(&clnt->cl_xpi, xps);
     422                 :          0 :         xprt_switch_put(xps);
     423                 :            : 
     424                 :          0 :         clnt->cl_rtt = &clnt->cl_rtt_default;
     425                 :          0 :         rpc_init_rtt(&clnt->cl_rtt_default, clnt->cl_timeout->to_initval);
     426                 :            : 
     427                 :            :         atomic_set(&clnt->cl_count, 1);
     428                 :            : 
     429         [ #  # ]:          0 :         if (nodename == NULL)
     430                 :          0 :                 nodename = utsname()->nodename;
     431                 :            :         /* save the nodename */
     432                 :            :         rpc_clnt_set_nodename(clnt, nodename);
     433                 :            : 
     434                 :          0 :         err = rpc_client_register(clnt, args->authflavor, args->client_name);
     435         [ #  # ]:          0 :         if (err)
     436                 :            :                 goto out_no_path;
     437         [ #  # ]:          0 :         if (parent)
     438                 :          0 :                 atomic_inc(&parent->cl_count);
     439                 :          0 :         return clnt;
     440                 :            : 
     441                 :            : out_no_path:
     442                 :          0 :         rpc_free_iostats(clnt->cl_metrics);
     443                 :            : out_no_stats:
     444                 :          0 :         put_cred(clnt->cl_cred);
     445                 :            :         rpc_free_clid(clnt);
     446                 :            : out_no_clid:
     447                 :          0 :         kfree(clnt);
     448                 :            : out_err:
     449                 :          0 :         rpciod_down();
     450                 :            : out_no_rpciod:
     451                 :          0 :         xprt_switch_put(xps);
     452                 :          0 :         xprt_put(xprt);
     453                 :          0 :         return ERR_PTR(err);
     454                 :            : }
     455                 :            : 
     456                 :          0 : static struct rpc_clnt *rpc_create_xprt(struct rpc_create_args *args,
     457                 :            :                                         struct rpc_xprt *xprt)
     458                 :            : {
     459                 :            :         struct rpc_clnt *clnt = NULL;
     460                 :            :         struct rpc_xprt_switch *xps;
     461                 :            : 
     462   [ #  #  #  # ]:          0 :         if (args->bc_xprt && args->bc_xprt->xpt_bc_xps) {
     463   [ #  #  #  # ]:          0 :                 WARN_ON_ONCE(!(args->protocol & XPRT_TRANSPORT_BC));
     464                 :          0 :                 xps = args->bc_xprt->xpt_bc_xps;
     465                 :          0 :                 xprt_switch_get(xps);
     466                 :            :         } else {
     467                 :          0 :                 xps = xprt_switch_alloc(xprt, GFP_KERNEL);
     468         [ #  # ]:          0 :                 if (xps == NULL) {
     469                 :          0 :                         xprt_put(xprt);
     470                 :          0 :                         return ERR_PTR(-ENOMEM);
     471                 :            :                 }
     472         [ #  # ]:          0 :                 if (xprt->bc_xprt) {
     473                 :          0 :                         xprt_switch_get(xps);
     474                 :          0 :                         xprt->bc_xprt->xpt_bc_xps = xps;
     475                 :            :                 }
     476                 :            :         }
     477                 :          0 :         clnt = rpc_new_client(args, xps, xprt, NULL);
     478         [ #  # ]:          0 :         if (IS_ERR(clnt))
     479                 :            :                 return clnt;
     480                 :            : 
     481         [ #  # ]:          0 :         if (!(args->flags & RPC_CLNT_CREATE_NOPING)) {
     482                 :          0 :                 int err = rpc_ping(clnt);
     483         [ #  # ]:          0 :                 if (err != 0) {
     484                 :          0 :                         rpc_shutdown_client(clnt);
     485                 :          0 :                         return ERR_PTR(err);
     486                 :            :                 }
     487                 :            :         }
     488                 :            : 
     489                 :          0 :         clnt->cl_softrtry = 1;
     490         [ #  # ]:          0 :         if (args->flags & (RPC_CLNT_CREATE_HARDRTRY|RPC_CLNT_CREATE_SOFTERR)) {
     491                 :          0 :                 clnt->cl_softrtry = 0;
     492         [ #  # ]:          0 :                 if (args->flags & RPC_CLNT_CREATE_SOFTERR)
     493                 :          0 :                         clnt->cl_softerr = 1;
     494                 :            :         }
     495                 :            : 
     496         [ #  # ]:          0 :         if (args->flags & RPC_CLNT_CREATE_AUTOBIND)
     497                 :          0 :                 clnt->cl_autobind = 1;
     498         [ #  # ]:          0 :         if (args->flags & RPC_CLNT_CREATE_NO_RETRANS_TIMEOUT)
     499                 :          0 :                 clnt->cl_noretranstimeo = 1;
     500         [ #  # ]:          0 :         if (args->flags & RPC_CLNT_CREATE_DISCRTRY)
     501                 :          0 :                 clnt->cl_discrtry = 1;
     502         [ #  # ]:          0 :         if (!(args->flags & RPC_CLNT_CREATE_QUIET))
     503                 :          0 :                 clnt->cl_chatty = 1;
     504                 :            : 
     505                 :          0 :         return clnt;
     506                 :            : }
     507                 :            : 
     508                 :            : /**
     509                 :            :  * rpc_create - create an RPC client and transport with one call
     510                 :            :  * @args: rpc_clnt create argument structure
     511                 :            :  *
     512                 :            :  * Creates and initializes an RPC transport and an RPC client.
     513                 :            :  *
     514                 :            :  * It can ping the server in order to determine if it is up, and to see if
     515                 :            :  * it supports this program and version.  RPC_CLNT_CREATE_NOPING disables
     516                 :            :  * this behavior so asynchronous tasks can also use rpc_create.
     517                 :            :  */
     518                 :          0 : struct rpc_clnt *rpc_create(struct rpc_create_args *args)
     519                 :            : {
     520                 :            :         struct rpc_xprt *xprt;
     521                 :          0 :         struct xprt_create xprtargs = {
     522                 :          0 :                 .net = args->net,
     523                 :          0 :                 .ident = args->protocol,
     524                 :          0 :                 .srcaddr = args->saddress,
     525                 :          0 :                 .dstaddr = args->address,
     526                 :          0 :                 .addrlen = args->addrsize,
     527                 :          0 :                 .servername = args->servername,
     528                 :          0 :                 .bc_xprt = args->bc_xprt,
     529                 :            :         };
     530                 :            :         char servername[48];
     531                 :            :         struct rpc_clnt *clnt;
     532                 :            :         int i;
     533                 :            : 
     534         [ #  # ]:          0 :         if (args->bc_xprt) {
     535   [ #  #  #  # ]:          0 :                 WARN_ON_ONCE(!(args->protocol & XPRT_TRANSPORT_BC));
     536                 :          0 :                 xprt = args->bc_xprt->xpt_bc_xprt;
     537         [ #  # ]:          0 :                 if (xprt) {
     538                 :          0 :                         xprt_get(xprt);
     539                 :          0 :                         return rpc_create_xprt(args, xprt);
     540                 :            :                 }
     541                 :            :         }
     542                 :            : 
     543         [ #  # ]:          0 :         if (args->flags & RPC_CLNT_CREATE_INFINITE_SLOTS)
     544                 :          0 :                 xprtargs.flags |= XPRT_CREATE_INFINITE_SLOTS;
     545         [ #  # ]:          0 :         if (args->flags & RPC_CLNT_CREATE_NO_IDLE_TIMEOUT)
     546                 :          0 :                 xprtargs.flags |= XPRT_CREATE_NO_IDLE_TIMEOUT;
     547                 :            :         /*
     548                 :            :          * If the caller chooses not to specify a hostname, whip
     549                 :            :          * up a string representation of the passed-in address.
     550                 :            :          */
     551         [ #  # ]:          0 :         if (xprtargs.servername == NULL) {
     552                 :          0 :                 struct sockaddr_un *sun =
     553                 :            :                                 (struct sockaddr_un *)args->address;
     554                 :            :                 struct sockaddr_in *sin =
     555                 :            :                                 (struct sockaddr_in *)args->address;
     556                 :            :                 struct sockaddr_in6 *sin6 =
     557                 :            :                                 (struct sockaddr_in6 *)args->address;
     558                 :            : 
     559                 :          0 :                 servername[0] = '\0';
     560   [ #  #  #  # ]:          0 :                 switch (args->address->sa_family) {
     561                 :            :                 case AF_LOCAL:
     562                 :          0 :                         snprintf(servername, sizeof(servername), "%s",
     563                 :          0 :                                  sun->sun_path);
     564                 :          0 :                         break;
     565                 :            :                 case AF_INET:
     566                 :          0 :                         snprintf(servername, sizeof(servername), "%pI4",
     567                 :            :                                  &sin->sin_addr.s_addr);
     568                 :          0 :                         break;
     569                 :            :                 case AF_INET6:
     570                 :          0 :                         snprintf(servername, sizeof(servername), "%pI6",
     571                 :            :                                  &sin6->sin6_addr);
     572                 :          0 :                         break;
     573                 :            :                 default:
     574                 :            :                         /* caller wants default server name, but
     575                 :            :                          * address family isn't recognized. */
     576                 :            :                         return ERR_PTR(-EINVAL);
     577                 :            :                 }
     578                 :          0 :                 xprtargs.servername = servername;
     579                 :            :         }
     580                 :            : 
     581                 :          0 :         xprt = xprt_create_transport(&xprtargs);
     582         [ #  # ]:          0 :         if (IS_ERR(xprt))
     583                 :            :                 return (struct rpc_clnt *)xprt;
     584                 :            : 
     585                 :            :         /*
     586                 :            :          * By default, kernel RPC client connects from a reserved port.
     587                 :            :          * CAP_NET_BIND_SERVICE will not be set for unprivileged requesters,
     588                 :            :          * but it is always enabled for rpciod, which handles the connect
     589                 :            :          * operation.
     590                 :            :          */
     591                 :          0 :         xprt->resvport = 1;
     592         [ #  # ]:          0 :         if (args->flags & RPC_CLNT_CREATE_NONPRIVPORT)
     593                 :          0 :                 xprt->resvport = 0;
     594                 :            : 
     595                 :          0 :         clnt = rpc_create_xprt(args, xprt);
     596   [ #  #  #  # ]:          0 :         if (IS_ERR(clnt) || args->nconnect <= 1)
     597                 :            :                 return clnt;
     598                 :            : 
     599         [ #  # ]:          0 :         for (i = 0; i < args->nconnect - 1; i++) {
     600         [ #  # ]:          0 :                 if (rpc_clnt_add_xprt(clnt, &xprtargs, NULL, NULL) < 0)
     601                 :            :                         break;
     602                 :            :         }
     603                 :          0 :         return clnt;
     604                 :            : }
     605                 :            : EXPORT_SYMBOL_GPL(rpc_create);
     606                 :            : 
     607                 :            : /*
     608                 :            :  * This function clones the RPC client structure. It allows us to share the
     609                 :            :  * same transport while varying parameters such as the authentication
     610                 :            :  * flavour.
     611                 :            :  */
     612                 :          0 : static struct rpc_clnt *__rpc_clone_client(struct rpc_create_args *args,
     613                 :            :                                            struct rpc_clnt *clnt)
     614                 :            : {
     615                 :            :         struct rpc_xprt_switch *xps;
     616                 :            :         struct rpc_xprt *xprt;
     617                 :            :         struct rpc_clnt *new;
     618                 :            :         int err;
     619                 :            : 
     620                 :            :         err = -ENOMEM;
     621                 :            :         rcu_read_lock();
     622                 :          0 :         xprt = xprt_get(rcu_dereference(clnt->cl_xprt));
     623                 :          0 :         xps = xprt_switch_get(rcu_dereference(clnt->cl_xpi.xpi_xpswitch));
     624                 :            :         rcu_read_unlock();
     625         [ #  # ]:          0 :         if (xprt == NULL || xps == NULL) {
     626                 :          0 :                 xprt_put(xprt);
     627                 :          0 :                 xprt_switch_put(xps);
     628                 :          0 :                 goto out_err;
     629                 :            :         }
     630                 :          0 :         args->servername = xprt->servername;
     631                 :          0 :         args->nodename = clnt->cl_nodename;
     632                 :            : 
     633                 :          0 :         new = rpc_new_client(args, xps, xprt, clnt);
     634         [ #  # ]:          0 :         if (IS_ERR(new)) {
     635                 :            :                 err = PTR_ERR(new);
     636                 :          0 :                 goto out_err;
     637                 :            :         }
     638                 :            : 
     639                 :            :         /* Turn off autobind on clones */
     640                 :          0 :         new->cl_autobind = 0;
     641                 :          0 :         new->cl_softrtry = clnt->cl_softrtry;
     642                 :          0 :         new->cl_softerr = clnt->cl_softerr;
     643                 :          0 :         new->cl_noretranstimeo = clnt->cl_noretranstimeo;
     644                 :          0 :         new->cl_discrtry = clnt->cl_discrtry;
     645                 :          0 :         new->cl_chatty = clnt->cl_chatty;
     646                 :          0 :         new->cl_principal = clnt->cl_principal;
     647                 :          0 :         return new;
     648                 :            : 
     649                 :            : out_err:
     650                 :            :         dprintk("RPC:       %s: returned error %d\n", __func__, err);
     651                 :          0 :         return ERR_PTR(err);
     652                 :            : }
     653                 :            : 
     654                 :            : /**
     655                 :            :  * rpc_clone_client - Clone an RPC client structure
     656                 :            :  *
     657                 :            :  * @clnt: RPC client whose parameters are copied
     658                 :            :  *
     659                 :            :  * Returns a fresh RPC client or an ERR_PTR.
     660                 :            :  */
     661                 :          0 : struct rpc_clnt *rpc_clone_client(struct rpc_clnt *clnt)
     662                 :            : {
     663                 :          0 :         struct rpc_create_args args = {
     664                 :          0 :                 .program        = clnt->cl_program,
     665                 :          0 :                 .prognumber     = clnt->cl_prog,
     666                 :          0 :                 .version        = clnt->cl_vers,
     667                 :          0 :                 .authflavor     = clnt->cl_auth->au_flavor,
     668                 :          0 :                 .cred           = clnt->cl_cred,
     669                 :            :         };
     670                 :          0 :         return __rpc_clone_client(&args, clnt);
     671                 :            : }
     672                 :            : EXPORT_SYMBOL_GPL(rpc_clone_client);
     673                 :            : 
     674                 :            : /**
     675                 :            :  * rpc_clone_client_set_auth - Clone an RPC client structure and set its auth
     676                 :            :  *
     677                 :            :  * @clnt: RPC client whose parameters are copied
     678                 :            :  * @flavor: security flavor for new client
     679                 :            :  *
     680                 :            :  * Returns a fresh RPC client or an ERR_PTR.
     681                 :            :  */
     682                 :            : struct rpc_clnt *
     683                 :          0 : rpc_clone_client_set_auth(struct rpc_clnt *clnt, rpc_authflavor_t flavor)
     684                 :            : {
     685                 :          0 :         struct rpc_create_args args = {
     686                 :          0 :                 .program        = clnt->cl_program,
     687                 :          0 :                 .prognumber     = clnt->cl_prog,
     688                 :          0 :                 .version        = clnt->cl_vers,
     689                 :            :                 .authflavor     = flavor,
     690                 :          0 :                 .cred           = clnt->cl_cred,
     691                 :            :         };
     692                 :          0 :         return __rpc_clone_client(&args, clnt);
     693                 :            : }
     694                 :            : EXPORT_SYMBOL_GPL(rpc_clone_client_set_auth);
     695                 :            : 
     696                 :            : /**
     697                 :            :  * rpc_switch_client_transport: switch the RPC transport on the fly
     698                 :            :  * @clnt: pointer to a struct rpc_clnt
     699                 :            :  * @args: pointer to the new transport arguments
     700                 :            :  * @timeout: pointer to the new timeout parameters
     701                 :            :  *
     702                 :            :  * This function allows the caller to switch the RPC transport for the
     703                 :            :  * rpc_clnt structure 'clnt' to allow it to connect to a mirrored NFS
     704                 :            :  * server, for instance.  It assumes that the caller has ensured that
     705                 :            :  * there are no active RPC tasks by using some form of locking.
     706                 :            :  *
     707                 :            :  * Returns zero if "clnt" is now using the new xprt.  Otherwise a
     708                 :            :  * negative errno is returned, and "clnt" continues to use the old
     709                 :            :  * xprt.
     710                 :            :  */
     711                 :          0 : int rpc_switch_client_transport(struct rpc_clnt *clnt,
     712                 :            :                 struct xprt_create *args,
     713                 :            :                 const struct rpc_timeout *timeout)
     714                 :            : {
     715                 :            :         const struct rpc_timeout *old_timeo;
     716                 :            :         rpc_authflavor_t pseudoflavor;
     717                 :            :         struct rpc_xprt_switch *xps, *oldxps;
     718                 :            :         struct rpc_xprt *xprt, *old;
     719                 :            :         struct rpc_clnt *parent;
     720                 :            :         int err;
     721                 :            : 
     722                 :          0 :         xprt = xprt_create_transport(args);
     723         [ #  # ]:          0 :         if (IS_ERR(xprt)) {
     724                 :            :                 dprintk("RPC:       failed to create new xprt for clnt %p\n",
     725                 :            :                         clnt);
     726                 :          0 :                 return PTR_ERR(xprt);
     727                 :            :         }
     728                 :            : 
     729                 :          0 :         xps = xprt_switch_alloc(xprt, GFP_KERNEL);
     730         [ #  # ]:          0 :         if (xps == NULL) {
     731                 :          0 :                 xprt_put(xprt);
     732                 :          0 :                 return -ENOMEM;
     733                 :            :         }
     734                 :            : 
     735                 :          0 :         pseudoflavor = clnt->cl_auth->au_flavor;
     736                 :            : 
     737                 :          0 :         old_timeo = clnt->cl_timeout;
     738                 :          0 :         old = rpc_clnt_set_transport(clnt, xprt, timeout);
     739                 :          0 :         oldxps = xprt_iter_xchg_switch(&clnt->cl_xpi, xps);
     740                 :            : 
     741                 :          0 :         rpc_unregister_client(clnt);
     742                 :            :         __rpc_clnt_remove_pipedir(clnt);
     743                 :            :         rpc_clnt_debugfs_unregister(clnt);
     744                 :            : 
     745                 :            :         /*
     746                 :            :          * A new transport was created.  "clnt" therefore
     747                 :            :          * becomes the root of a new cl_parent tree.  clnt's
     748                 :            :          * children, if it has any, still point to the old xprt.
     749                 :            :          */
     750                 :          0 :         parent = clnt->cl_parent;
     751                 :          0 :         clnt->cl_parent = clnt;
     752                 :            : 
     753                 :            :         /*
     754                 :            :          * The old rpc_auth cache cannot be re-used.  GSS
     755                 :            :          * contexts in particular are between a single
     756                 :            :          * client and server.
     757                 :            :          */
     758                 :          0 :         err = rpc_client_register(clnt, pseudoflavor, NULL);
     759         [ #  # ]:          0 :         if (err)
     760                 :            :                 goto out_revert;
     761                 :            : 
     762                 :          0 :         synchronize_rcu();
     763         [ #  # ]:          0 :         if (parent != clnt)
     764                 :          0 :                 rpc_release_client(parent);
     765                 :          0 :         xprt_switch_put(oldxps);
     766                 :          0 :         xprt_put(old);
     767                 :            :         dprintk("RPC:       replaced xprt for clnt %p\n", clnt);
     768                 :          0 :         return 0;
     769                 :            : 
     770                 :            : out_revert:
     771                 :          0 :         xps = xprt_iter_xchg_switch(&clnt->cl_xpi, oldxps);
     772                 :          0 :         rpc_clnt_set_transport(clnt, old, old_timeo);
     773                 :          0 :         clnt->cl_parent = parent;
     774                 :          0 :         rpc_client_register(clnt, pseudoflavor, NULL);
     775                 :          0 :         xprt_switch_put(xps);
     776                 :          0 :         xprt_put(xprt);
     777                 :            :         dprintk("RPC:       failed to switch xprt for clnt %p\n", clnt);
     778                 :          0 :         return err;
     779                 :            : }
     780                 :            : EXPORT_SYMBOL_GPL(rpc_switch_client_transport);
     781                 :            : 
     782                 :            : static
     783                 :          0 : int rpc_clnt_xprt_iter_init(struct rpc_clnt *clnt, struct rpc_xprt_iter *xpi)
     784                 :            : {
     785                 :            :         struct rpc_xprt_switch *xps;
     786                 :            : 
     787                 :            :         rcu_read_lock();
     788                 :          0 :         xps = xprt_switch_get(rcu_dereference(clnt->cl_xpi.xpi_xpswitch));
     789                 :            :         rcu_read_unlock();
     790         [ #  # ]:          0 :         if (xps == NULL)
     791                 :            :                 return -EAGAIN;
     792                 :          0 :         xprt_iter_init_listall(xpi, xps);
     793                 :          0 :         xprt_switch_put(xps);
     794                 :          0 :         return 0;
     795                 :            : }
     796                 :            : 
     797                 :            : /**
     798                 :            :  * rpc_clnt_iterate_for_each_xprt - Apply a function to all transports
     799                 :            :  * @clnt: pointer to client
     800                 :            :  * @fn: function to apply
     801                 :            :  * @data: void pointer to function data
     802                 :            :  *
     803                 :            :  * Iterates through the list of RPC transports currently attached to the
     804                 :            :  * client and applies the function fn(clnt, xprt, data).
     805                 :            :  *
     806                 :            :  * On error, the iteration stops, and the function returns the error value.
     807                 :            :  */
     808                 :          0 : int rpc_clnt_iterate_for_each_xprt(struct rpc_clnt *clnt,
     809                 :            :                 int (*fn)(struct rpc_clnt *, struct rpc_xprt *, void *),
     810                 :            :                 void *data)
     811                 :            : {
     812                 :            :         struct rpc_xprt_iter xpi;
     813                 :            :         int ret;
     814                 :            : 
     815                 :          0 :         ret = rpc_clnt_xprt_iter_init(clnt, &xpi);
     816         [ #  # ]:          0 :         if (ret)
     817                 :            :                 return ret;
     818                 :            :         for (;;) {
     819                 :          0 :                 struct rpc_xprt *xprt = xprt_iter_get_next(&xpi);
     820                 :            : 
     821         [ #  # ]:          0 :                 if (!xprt)
     822                 :            :                         break;
     823                 :          0 :                 ret = fn(clnt, xprt, data);
     824                 :          0 :                 xprt_put(xprt);
     825         [ #  # ]:          0 :                 if (ret < 0)
     826                 :            :                         break;
     827                 :            :         }
     828                 :          0 :         xprt_iter_destroy(&xpi);
     829                 :          0 :         return ret;
     830                 :            : }
     831                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_iterate_for_each_xprt);
     832                 :            : 
     833                 :            : /*
     834                 :            :  * Kill all tasks for the given client.
     835                 :            :  * XXX: kill their descendants as well?
     836                 :            :  */
     837                 :          0 : void rpc_killall_tasks(struct rpc_clnt *clnt)
     838                 :            : {
     839                 :            :         struct rpc_task *rovr;
     840                 :            : 
     841                 :            : 
     842         [ #  # ]:          0 :         if (list_empty(&clnt->cl_tasks))
     843                 :          0 :                 return;
     844                 :            :         dprintk("RPC:       killing all tasks for client %p\n", clnt);
     845                 :            :         /*
     846                 :            :          * Spin lock all_tasks to prevent changes...
     847                 :            :          */
     848                 :            :         spin_lock(&clnt->cl_lock);
     849         [ #  # ]:          0 :         list_for_each_entry(rovr, &clnt->cl_tasks, tk_task)
     850                 :          0 :                 rpc_signal_task(rovr);
     851                 :            :         spin_unlock(&clnt->cl_lock);
     852                 :            : }
     853                 :            : EXPORT_SYMBOL_GPL(rpc_killall_tasks);
     854                 :            : 
     855                 :            : /*
     856                 :            :  * Properly shut down an RPC client, terminating all outstanding
     857                 :            :  * requests.
     858                 :            :  */
     859                 :          0 : void rpc_shutdown_client(struct rpc_clnt *clnt)
     860                 :            : {
     861                 :          0 :         might_sleep();
     862                 :            : 
     863                 :            :         dprintk_rcu("RPC:       shutting down %s client for %s\n",
     864                 :            :                         clnt->cl_program->name,
     865                 :            :                         rcu_dereference(clnt->cl_xprt)->servername);
     866                 :            : 
     867         [ #  # ]:          0 :         while (!list_empty(&clnt->cl_tasks)) {
     868                 :          0 :                 rpc_killall_tasks(clnt);
     869   [ #  #  #  #  :          0 :                 wait_event_timeout(destroy_wait,
                   #  # ]
     870                 :            :                         list_empty(&clnt->cl_tasks), 1*HZ);
     871                 :            :         }
     872                 :            : 
     873                 :          0 :         rpc_release_client(clnt);
     874                 :          0 : }
     875                 :            : EXPORT_SYMBOL_GPL(rpc_shutdown_client);
     876                 :            : 
     877                 :            : /*
     878                 :            :  * Free an RPC client
     879                 :            :  */
     880                 :            : static struct rpc_clnt *
     881                 :          0 : rpc_free_client(struct rpc_clnt *clnt)
     882                 :            : {
     883                 :            :         struct rpc_clnt *parent = NULL;
     884                 :            : 
     885                 :            :         dprintk_rcu("RPC:       destroying %s client for %s\n",
     886                 :            :                         clnt->cl_program->name,
     887                 :            :                         rcu_dereference(clnt->cl_xprt)->servername);
     888         [ #  # ]:          0 :         if (clnt->cl_parent != clnt)
     889                 :            :                 parent = clnt->cl_parent;
     890                 :            :         rpc_clnt_debugfs_unregister(clnt);
     891                 :          0 :         rpc_clnt_remove_pipedir(clnt);
     892                 :          0 :         rpc_unregister_client(clnt);
     893                 :          0 :         rpc_free_iostats(clnt->cl_metrics);
     894                 :          0 :         clnt->cl_metrics = NULL;
     895                 :          0 :         xprt_put(rcu_dereference_raw(clnt->cl_xprt));
     896                 :          0 :         xprt_iter_destroy(&clnt->cl_xpi);
     897                 :          0 :         rpciod_down();
     898                 :          0 :         put_cred(clnt->cl_cred);
     899                 :            :         rpc_free_clid(clnt);
     900                 :          0 :         kfree(clnt);
     901                 :          0 :         return parent;
     902                 :            : }
     903                 :            : 
     904                 :            : /*
     905                 :            :  * Free an RPC client
     906                 :            :  */
     907                 :            : static struct rpc_clnt *
     908                 :          0 : rpc_free_auth(struct rpc_clnt *clnt)
     909                 :            : {
     910         [ #  # ]:          0 :         if (clnt->cl_auth == NULL)
     911                 :          0 :                 return rpc_free_client(clnt);
     912                 :            : 
     913                 :            :         /*
     914                 :            :          * Note: RPCSEC_GSS may need to send NULL RPC calls in order to
     915                 :            :          *       release remaining GSS contexts. This mechanism ensures
     916                 :            :          *       that it can do so safely.
     917                 :            :          */
     918                 :          0 :         atomic_inc(&clnt->cl_count);
     919                 :          0 :         rpcauth_release(clnt->cl_auth);
     920                 :          0 :         clnt->cl_auth = NULL;
     921         [ #  # ]:          0 :         if (atomic_dec_and_test(&clnt->cl_count))
     922                 :          0 :                 return rpc_free_client(clnt);
     923                 :            :         return NULL;
     924                 :            : }
     925                 :            : 
     926                 :            : /*
     927                 :            :  * Release reference to the RPC client
     928                 :            :  */
     929                 :            : void
     930                 :          0 : rpc_release_client(struct rpc_clnt *clnt)
     931                 :            : {
     932                 :            :         dprintk("RPC:       rpc_release_client(%p)\n", clnt);
     933                 :            : 
     934                 :            :         do {
     935         [ #  # ]:          0 :                 if (list_empty(&clnt->cl_tasks))
     936                 :          0 :                         wake_up(&destroy_wait);
     937         [ #  # ]:          0 :                 if (!atomic_dec_and_test(&clnt->cl_count))
     938                 :            :                         break;
     939                 :          0 :                 clnt = rpc_free_auth(clnt);
     940         [ #  # ]:          0 :         } while (clnt != NULL);
     941                 :          0 : }
     942                 :            : EXPORT_SYMBOL_GPL(rpc_release_client);
     943                 :            : 
     944                 :            : /**
     945                 :            :  * rpc_bind_new_program - bind a new RPC program to an existing client
     946                 :            :  * @old: old rpc_client
     947                 :            :  * @program: rpc program to set
     948                 :            :  * @vers: rpc program version
     949                 :            :  *
     950                 :            :  * Clones the rpc client and sets up a new RPC program. This is mainly
     951                 :            :  * of use for enabling different RPC programs to share the same transport.
     952                 :            :  * The Sun NFSv2/v3 ACL protocol can do this.
     953                 :            :  */
     954                 :          0 : struct rpc_clnt *rpc_bind_new_program(struct rpc_clnt *old,
     955                 :            :                                       const struct rpc_program *program,
     956                 :            :                                       u32 vers)
     957                 :            : {
     958                 :          0 :         struct rpc_create_args args = {
     959                 :            :                 .program        = program,
     960                 :          0 :                 .prognumber     = program->number,
     961                 :            :                 .version        = vers,
     962                 :          0 :                 .authflavor     = old->cl_auth->au_flavor,
     963                 :          0 :                 .cred           = old->cl_cred,
     964                 :            :         };
     965                 :            :         struct rpc_clnt *clnt;
     966                 :            :         int err;
     967                 :            : 
     968                 :          0 :         clnt = __rpc_clone_client(&args, old);
     969         [ #  # ]:          0 :         if (IS_ERR(clnt))
     970                 :            :                 goto out;
     971                 :          0 :         err = rpc_ping(clnt);
     972         [ #  # ]:          0 :         if (err != 0) {
     973                 :          0 :                 rpc_shutdown_client(clnt);
     974                 :            :                 clnt = ERR_PTR(err);
     975                 :            :         }
     976                 :            : out:
     977                 :          0 :         return clnt;
     978                 :            : }
     979                 :            : EXPORT_SYMBOL_GPL(rpc_bind_new_program);
     980                 :            : 
     981                 :            : struct rpc_xprt *
     982                 :          0 : rpc_task_get_xprt(struct rpc_clnt *clnt, struct rpc_xprt *xprt)
     983                 :            : {
     984                 :            :         struct rpc_xprt_switch *xps;
     985                 :            : 
     986         [ #  # ]:          0 :         if (!xprt)
     987                 :            :                 return NULL;
     988                 :            :         rcu_read_lock();
     989                 :          0 :         xps = rcu_dereference(clnt->cl_xpi.xpi_xpswitch);
     990                 :          0 :         atomic_long_inc(&xps->xps_queuelen);
     991                 :            :         rcu_read_unlock();
     992                 :          0 :         atomic_long_inc(&xprt->queuelen);
     993                 :            : 
     994                 :          0 :         return xprt;
     995                 :            : }
     996                 :            : 
     997                 :            : static void
     998                 :          0 : rpc_task_release_xprt(struct rpc_clnt *clnt, struct rpc_xprt *xprt)
     999                 :            : {
    1000                 :            :         struct rpc_xprt_switch *xps;
    1001                 :            : 
    1002                 :          0 :         atomic_long_dec(&xprt->queuelen);
    1003                 :            :         rcu_read_lock();
    1004                 :          0 :         xps = rcu_dereference(clnt->cl_xpi.xpi_xpswitch);
    1005                 :          0 :         atomic_long_dec(&xps->xps_queuelen);
    1006                 :            :         rcu_read_unlock();
    1007                 :            : 
    1008                 :          0 :         xprt_put(xprt);
    1009                 :          0 : }
    1010                 :            : 
    1011                 :          0 : void rpc_task_release_transport(struct rpc_task *task)
    1012                 :            : {
    1013                 :          0 :         struct rpc_xprt *xprt = task->tk_xprt;
    1014                 :            : 
    1015         [ #  # ]:          0 :         if (xprt) {
    1016                 :          0 :                 task->tk_xprt = NULL;
    1017         [ #  # ]:          0 :                 if (task->tk_client)
    1018                 :          0 :                         rpc_task_release_xprt(task->tk_client, xprt);
    1019                 :            :                 else
    1020                 :          0 :                         xprt_put(xprt);
    1021                 :            :         }
    1022                 :          0 : }
    1023                 :            : EXPORT_SYMBOL_GPL(rpc_task_release_transport);
    1024                 :            : 
    1025                 :          0 : void rpc_task_release_client(struct rpc_task *task)
    1026                 :            : {
    1027                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    1028                 :            : 
    1029                 :          0 :         rpc_task_release_transport(task);
    1030         [ #  # ]:          0 :         if (clnt != NULL) {
    1031                 :            :                 /* Remove from client task list */
    1032                 :            :                 spin_lock(&clnt->cl_lock);
    1033                 :            :                 list_del(&task->tk_task);
    1034                 :            :                 spin_unlock(&clnt->cl_lock);
    1035                 :          0 :                 task->tk_client = NULL;
    1036                 :            : 
    1037                 :          0 :                 rpc_release_client(clnt);
    1038                 :            :         }
    1039                 :          0 : }
    1040                 :            : 
    1041                 :            : static struct rpc_xprt *
    1042                 :          0 : rpc_task_get_first_xprt(struct rpc_clnt *clnt)
    1043                 :            : {
    1044                 :            :         struct rpc_xprt *xprt;
    1045                 :            : 
    1046                 :            :         rcu_read_lock();
    1047                 :          0 :         xprt = xprt_get(rcu_dereference(clnt->cl_xprt));
    1048                 :            :         rcu_read_unlock();
    1049                 :          0 :         return rpc_task_get_xprt(clnt, xprt);
    1050                 :            : }
    1051                 :            : 
    1052                 :            : static struct rpc_xprt *
    1053                 :          0 : rpc_task_get_next_xprt(struct rpc_clnt *clnt)
    1054                 :            : {
    1055                 :          0 :         return rpc_task_get_xprt(clnt, xprt_iter_get_next(&clnt->cl_xpi));
    1056                 :            : }
    1057                 :            : 
    1058                 :            : static
    1059                 :          0 : void rpc_task_set_transport(struct rpc_task *task, struct rpc_clnt *clnt)
    1060                 :            : {
    1061         [ #  # ]:          0 :         if (task->tk_xprt)
    1062                 :          0 :                 return;
    1063         [ #  # ]:          0 :         if (task->tk_flags & RPC_TASK_NO_ROUND_ROBIN)
    1064                 :          0 :                 task->tk_xprt = rpc_task_get_first_xprt(clnt);
    1065                 :            :         else
    1066                 :          0 :                 task->tk_xprt = rpc_task_get_next_xprt(clnt);
    1067                 :            : }
    1068                 :            : 
    1069                 :            : static
    1070                 :          0 : void rpc_task_set_client(struct rpc_task *task, struct rpc_clnt *clnt)
    1071                 :            : {
    1072                 :            : 
    1073         [ #  # ]:          0 :         if (clnt != NULL) {
    1074                 :          0 :                 rpc_task_set_transport(task, clnt);
    1075                 :          0 :                 task->tk_client = clnt;
    1076                 :          0 :                 atomic_inc(&clnt->cl_count);
    1077         [ #  # ]:          0 :                 if (clnt->cl_softrtry)
    1078                 :          0 :                         task->tk_flags |= RPC_TASK_SOFT;
    1079         [ #  # ]:          0 :                 if (clnt->cl_softerr)
    1080                 :          0 :                         task->tk_flags |= RPC_TASK_TIMEOUT;
    1081         [ #  # ]:          0 :                 if (clnt->cl_noretranstimeo)
    1082                 :          0 :                         task->tk_flags |= RPC_TASK_NO_RETRANS_TIMEOUT;
    1083         [ #  # ]:          0 :                 if (atomic_read(&clnt->cl_swapper))
    1084                 :          0 :                         task->tk_flags |= RPC_TASK_SWAPPER;
    1085                 :            :                 /* Add to the client's list of all tasks */
    1086                 :            :                 spin_lock(&clnt->cl_lock);
    1087                 :          0 :                 list_add_tail(&task->tk_task, &clnt->cl_tasks);
    1088                 :            :                 spin_unlock(&clnt->cl_lock);
    1089                 :            :         }
    1090                 :          0 : }
    1091                 :            : 
    1092                 :            : static void
    1093                 :          0 : rpc_task_set_rpc_message(struct rpc_task *task, const struct rpc_message *msg)
    1094                 :            : {
    1095         [ #  # ]:          0 :         if (msg != NULL) {
    1096                 :          0 :                 task->tk_msg.rpc_proc = msg->rpc_proc;
    1097                 :          0 :                 task->tk_msg.rpc_argp = msg->rpc_argp;
    1098                 :          0 :                 task->tk_msg.rpc_resp = msg->rpc_resp;
    1099         [ #  # ]:          0 :                 if (msg->rpc_cred != NULL)
    1100                 :          0 :                         task->tk_msg.rpc_cred = get_cred(msg->rpc_cred);
    1101                 :            :         }
    1102                 :          0 : }
    1103                 :            : 
    1104                 :            : /*
    1105                 :            :  * Default callback for async RPC calls
    1106                 :            :  */
    1107                 :            : static void
    1108                 :          0 : rpc_default_callback(struct rpc_task *task, void *data)
    1109                 :            : {
    1110                 :          0 : }
    1111                 :            : 
    1112                 :            : static const struct rpc_call_ops rpc_default_ops = {
    1113                 :            :         .rpc_call_done = rpc_default_callback,
    1114                 :            : };
    1115                 :            : 
    1116                 :            : /**
    1117                 :            :  * rpc_run_task - Allocate a new RPC task, then run rpc_execute against it
    1118                 :            :  * @task_setup_data: pointer to task initialisation data
    1119                 :            :  */
    1120                 :          0 : struct rpc_task *rpc_run_task(const struct rpc_task_setup *task_setup_data)
    1121                 :            : {
    1122                 :            :         struct rpc_task *task;
    1123                 :            : 
    1124                 :          0 :         task = rpc_new_task(task_setup_data);
    1125                 :            : 
    1126                 :          0 :         rpc_task_set_client(task, task_setup_data->rpc_client);
    1127                 :          0 :         rpc_task_set_rpc_message(task, task_setup_data->rpc_message);
    1128                 :            : 
    1129         [ #  # ]:          0 :         if (task->tk_action == NULL)
    1130                 :            :                 rpc_call_start(task);
    1131                 :            : 
    1132                 :          0 :         atomic_inc(&task->tk_count);
    1133                 :          0 :         rpc_execute(task);
    1134                 :          0 :         return task;
    1135                 :            : }
    1136                 :            : EXPORT_SYMBOL_GPL(rpc_run_task);
    1137                 :            : 
    1138                 :            : /**
    1139                 :            :  * rpc_call_sync - Perform a synchronous RPC call
    1140                 :            :  * @clnt: pointer to RPC client
    1141                 :            :  * @msg: RPC call parameters
    1142                 :            :  * @flags: RPC call flags
    1143                 :            :  */
    1144                 :          0 : int rpc_call_sync(struct rpc_clnt *clnt, const struct rpc_message *msg, int flags)
    1145                 :            : {
    1146                 :            :         struct rpc_task *task;
    1147                 :          0 :         struct rpc_task_setup task_setup_data = {
    1148                 :            :                 .rpc_client = clnt,
    1149                 :            :                 .rpc_message = msg,
    1150                 :            :                 .callback_ops = &rpc_default_ops,
    1151                 :            :                 .flags = flags,
    1152                 :            :         };
    1153                 :            :         int status;
    1154                 :            : 
    1155   [ #  #  #  # ]:          0 :         WARN_ON_ONCE(flags & RPC_TASK_ASYNC);
    1156         [ #  # ]:          0 :         if (flags & RPC_TASK_ASYNC) {
    1157                 :          0 :                 rpc_release_calldata(task_setup_data.callback_ops,
    1158                 :            :                         task_setup_data.callback_data);
    1159                 :          0 :                 return -EINVAL;
    1160                 :            :         }
    1161                 :            : 
    1162                 :          0 :         task = rpc_run_task(&task_setup_data);
    1163         [ #  # ]:          0 :         if (IS_ERR(task))
    1164                 :          0 :                 return PTR_ERR(task);
    1165                 :          0 :         status = task->tk_status;
    1166                 :          0 :         rpc_put_task(task);
    1167                 :          0 :         return status;
    1168                 :            : }
    1169                 :            : EXPORT_SYMBOL_GPL(rpc_call_sync);
    1170                 :            : 
    1171                 :            : /**
    1172                 :            :  * rpc_call_async - Perform an asynchronous RPC call
    1173                 :            :  * @clnt: pointer to RPC client
    1174                 :            :  * @msg: RPC call parameters
    1175                 :            :  * @flags: RPC call flags
    1176                 :            :  * @tk_ops: RPC call ops
    1177                 :            :  * @data: user call data
    1178                 :            :  */
    1179                 :            : int
    1180                 :          0 : rpc_call_async(struct rpc_clnt *clnt, const struct rpc_message *msg, int flags,
    1181                 :            :                const struct rpc_call_ops *tk_ops, void *data)
    1182                 :            : {
    1183                 :            :         struct rpc_task *task;
    1184                 :          0 :         struct rpc_task_setup task_setup_data = {
    1185                 :            :                 .rpc_client = clnt,
    1186                 :            :                 .rpc_message = msg,
    1187                 :            :                 .callback_ops = tk_ops,
    1188                 :            :                 .callback_data = data,
    1189                 :            :                 .flags = flags|RPC_TASK_ASYNC,
    1190                 :            :         };
    1191                 :            : 
    1192                 :          0 :         task = rpc_run_task(&task_setup_data);
    1193         [ #  # ]:          0 :         if (IS_ERR(task))
    1194                 :          0 :                 return PTR_ERR(task);
    1195                 :          0 :         rpc_put_task(task);
    1196                 :          0 :         return 0;
    1197                 :            : }
    1198                 :            : EXPORT_SYMBOL_GPL(rpc_call_async);
    1199                 :            : 
    1200                 :            : #if defined(CONFIG_SUNRPC_BACKCHANNEL)
    1201                 :            : static void call_bc_encode(struct rpc_task *task);
    1202                 :            : 
    1203                 :            : /**
    1204                 :            :  * rpc_run_bc_task - Allocate a new RPC task for backchannel use, then run
    1205                 :            :  * rpc_execute against it
    1206                 :            :  * @req: RPC request
    1207                 :            :  */
    1208                 :          0 : struct rpc_task *rpc_run_bc_task(struct rpc_rqst *req)
    1209                 :            : {
    1210                 :            :         struct rpc_task *task;
    1211                 :          0 :         struct rpc_task_setup task_setup_data = {
    1212                 :            :                 .callback_ops = &rpc_default_ops,
    1213                 :            :                 .flags = RPC_TASK_SOFTCONN |
    1214                 :            :                         RPC_TASK_NO_RETRANS_TIMEOUT,
    1215                 :            :         };
    1216                 :            : 
    1217                 :            :         dprintk("RPC: rpc_run_bc_task req= %p\n", req);
    1218                 :            :         /*
    1219                 :            :          * Create an rpc_task to send the data
    1220                 :            :          */
    1221                 :          0 :         task = rpc_new_task(&task_setup_data);
    1222                 :          0 :         xprt_init_bc_request(req, task);
    1223                 :            : 
    1224                 :          0 :         task->tk_action = call_bc_encode;
    1225                 :          0 :         atomic_inc(&task->tk_count);
    1226   [ #  #  #  # ]:          0 :         WARN_ON_ONCE(atomic_read(&task->tk_count) != 2);
    1227                 :          0 :         rpc_execute(task);
    1228                 :            : 
    1229                 :            :         dprintk("RPC: rpc_run_bc_task: task= %p\n", task);
    1230                 :          0 :         return task;
    1231                 :            : }
    1232                 :            : #endif /* CONFIG_SUNRPC_BACKCHANNEL */
    1233                 :            : 
    1234                 :            : /**
    1235                 :            :  * rpc_prepare_reply_pages - Prepare to receive a reply data payload into pages
    1236                 :            :  * @req: RPC request to prepare
    1237                 :            :  * @pages: vector of struct page pointers
    1238                 :            :  * @base: offset in first page where receive should start, in bytes
    1239                 :            :  * @len: expected size of the upper layer data payload, in bytes
    1240                 :            :  * @hdrsize: expected size of upper layer reply header, in XDR words
    1241                 :            :  *
    1242                 :            :  */
    1243                 :          0 : void rpc_prepare_reply_pages(struct rpc_rqst *req, struct page **pages,
    1244                 :            :                              unsigned int base, unsigned int len,
    1245                 :            :                              unsigned int hdrsize)
    1246                 :            : {
    1247                 :            :         /* Subtract one to force an extra word of buffer space for the
    1248                 :            :          * payload's XDR pad to fall into the rcv_buf's tail iovec.
    1249                 :            :          */
    1250                 :          0 :         hdrsize += RPC_REPHDRSIZE + req->rq_cred->cr_auth->au_ralign - 1;
    1251                 :            : 
    1252                 :          0 :         xdr_inline_pages(&req->rq_rcv_buf, hdrsize << 2, pages, base, len);
    1253                 :          0 :         trace_rpc_reply_pages(req);
    1254                 :          0 : }
    1255                 :            : EXPORT_SYMBOL_GPL(rpc_prepare_reply_pages);
    1256                 :            : 
    1257                 :            : void
    1258                 :          0 : rpc_call_start(struct rpc_task *task)
    1259                 :            : {
    1260                 :          0 :         task->tk_action = call_start;
    1261                 :          0 : }
    1262                 :            : EXPORT_SYMBOL_GPL(rpc_call_start);
    1263                 :            : 
    1264                 :            : /**
    1265                 :            :  * rpc_peeraddr - extract remote peer address from clnt's xprt
    1266                 :            :  * @clnt: RPC client structure
    1267                 :            :  * @buf: target buffer
    1268                 :            :  * @bufsize: length of target buffer
    1269                 :            :  *
    1270                 :            :  * Returns the number of bytes that are actually in the stored address.
    1271                 :            :  */
    1272                 :          0 : size_t rpc_peeraddr(struct rpc_clnt *clnt, struct sockaddr *buf, size_t bufsize)
    1273                 :            : {
    1274                 :            :         size_t bytes;
    1275                 :            :         struct rpc_xprt *xprt;
    1276                 :            : 
    1277                 :            :         rcu_read_lock();
    1278                 :          0 :         xprt = rcu_dereference(clnt->cl_xprt);
    1279                 :            : 
    1280                 :          0 :         bytes = xprt->addrlen;
    1281         [ #  # ]:          0 :         if (bytes > bufsize)
    1282                 :            :                 bytes = bufsize;
    1283                 :          0 :         memcpy(buf, &xprt->addr, bytes);
    1284                 :            :         rcu_read_unlock();
    1285                 :            : 
    1286                 :          0 :         return bytes;
    1287                 :            : }
    1288                 :            : EXPORT_SYMBOL_GPL(rpc_peeraddr);
    1289                 :            : 
    1290                 :            : /**
    1291                 :            :  * rpc_peeraddr2str - return remote peer address in printable format
    1292                 :            :  * @clnt: RPC client structure
    1293                 :            :  * @format: address format
    1294                 :            :  *
    1295                 :            :  * NB: the lifetime of the memory referenced by the returned pointer is
    1296                 :            :  * the same as the rpc_xprt itself.  As long as the caller uses this
    1297                 :            :  * pointer, it must hold the RCU read lock.
    1298                 :            :  */
    1299                 :          0 : const char *rpc_peeraddr2str(struct rpc_clnt *clnt,
    1300                 :            :                              enum rpc_display_format_t format)
    1301                 :            : {
    1302                 :            :         struct rpc_xprt *xprt;
    1303                 :            : 
    1304                 :          0 :         xprt = rcu_dereference(clnt->cl_xprt);
    1305                 :            : 
    1306         [ #  # ]:          0 :         if (xprt->address_strings[format] != NULL)
    1307                 :          0 :                 return xprt->address_strings[format];
    1308                 :            :         else
    1309                 :            :                 return "unprintable";
    1310                 :            : }
    1311                 :            : EXPORT_SYMBOL_GPL(rpc_peeraddr2str);
    1312                 :            : 
    1313                 :            : static const struct sockaddr_in rpc_inaddr_loopback = {
    1314                 :            :         .sin_family             = AF_INET,
    1315                 :            :         .sin_addr.s_addr        = htonl(INADDR_ANY),
    1316                 :            : };
    1317                 :            : 
    1318                 :            : static const struct sockaddr_in6 rpc_in6addr_loopback = {
    1319                 :            :         .sin6_family            = AF_INET6,
    1320                 :            :         .sin6_addr              = IN6ADDR_ANY_INIT,
    1321                 :            : };
    1322                 :            : 
    1323                 :            : /*
    1324                 :            :  * Try a getsockname() on a connected datagram socket.  Using a
    1325                 :            :  * connected datagram socket prevents leaving a socket in TIME_WAIT.
    1326                 :            :  * This conserves the ephemeral port number space.
    1327                 :            :  *
    1328                 :            :  * Returns zero and fills in "buf" if successful; otherwise, a
    1329                 :            :  * negative errno is returned.
    1330                 :            :  */
    1331                 :          0 : static int rpc_sockname(struct net *net, struct sockaddr *sap, size_t salen,
    1332                 :            :                         struct sockaddr *buf)
    1333                 :            : {
    1334                 :            :         struct socket *sock;
    1335                 :            :         int err;
    1336                 :            : 
    1337                 :          0 :         err = __sock_create(net, sap->sa_family,
    1338                 :            :                                 SOCK_DGRAM, IPPROTO_UDP, &sock, 1);
    1339         [ #  # ]:          0 :         if (err < 0) {
    1340                 :            :                 dprintk("RPC:       can't create UDP socket (%d)\n", err);
    1341                 :            :                 goto out;
    1342                 :            :         }
    1343                 :            : 
    1344      [ #  #  # ]:          0 :         switch (sap->sa_family) {
    1345                 :            :         case AF_INET:
    1346                 :          0 :                 err = kernel_bind(sock,
    1347                 :            :                                 (struct sockaddr *)&rpc_inaddr_loopback,
    1348                 :            :                                 sizeof(rpc_inaddr_loopback));
    1349                 :          0 :                 break;
    1350                 :            :         case AF_INET6:
    1351                 :          0 :                 err = kernel_bind(sock,
    1352                 :            :                                 (struct sockaddr *)&rpc_in6addr_loopback,
    1353                 :            :                                 sizeof(rpc_in6addr_loopback));
    1354                 :          0 :                 break;
    1355                 :            :         default:
    1356                 :            :                 err = -EAFNOSUPPORT;
    1357                 :            :                 goto out;
    1358                 :            :         }
    1359         [ #  # ]:          0 :         if (err < 0) {
    1360                 :            :                 dprintk("RPC:       can't bind UDP socket (%d)\n", err);
    1361                 :            :                 goto out_release;
    1362                 :            :         }
    1363                 :            : 
    1364                 :          0 :         err = kernel_connect(sock, sap, salen, 0);
    1365         [ #  # ]:          0 :         if (err < 0) {
    1366                 :            :                 dprintk("RPC:       can't connect UDP socket (%d)\n", err);
    1367                 :            :                 goto out_release;
    1368                 :            :         }
    1369                 :            : 
    1370                 :          0 :         err = kernel_getsockname(sock, buf);
    1371         [ #  # ]:          0 :         if (err < 0) {
    1372                 :            :                 dprintk("RPC:       getsockname failed (%d)\n", err);
    1373                 :            :                 goto out_release;
    1374                 :            :         }
    1375                 :            : 
    1376                 :            :         err = 0;
    1377         [ #  # ]:          0 :         if (buf->sa_family == AF_INET6) {
    1378                 :            :                 struct sockaddr_in6 *sin6 = (struct sockaddr_in6 *)buf;
    1379                 :          0 :                 sin6->sin6_scope_id = 0;
    1380                 :            :         }
    1381                 :            :         dprintk("RPC:       %s succeeded\n", __func__);
    1382                 :            : 
    1383                 :            : out_release:
    1384                 :          0 :         sock_release(sock);
    1385                 :            : out:
    1386                 :          0 :         return err;
    1387                 :            : }
    1388                 :            : 
    1389                 :            : /*
    1390                 :            :  * Scraping a connected socket failed, so we don't have a useable
    1391                 :            :  * local address.  Fallback: generate an address that will prevent
    1392                 :            :  * the server from calling us back.
    1393                 :            :  *
    1394                 :            :  * Returns zero and fills in "buf" if successful; otherwise, a
    1395                 :            :  * negative errno is returned.
    1396                 :            :  */
    1397                 :          0 : static int rpc_anyaddr(int family, struct sockaddr *buf, size_t buflen)
    1398                 :            : {
    1399      [ #  #  # ]:          0 :         switch (family) {
    1400                 :            :         case AF_INET:
    1401         [ #  # ]:          0 :                 if (buflen < sizeof(rpc_inaddr_loopback))
    1402                 :            :                         return -EINVAL;
    1403                 :          0 :                 memcpy(buf, &rpc_inaddr_loopback,
    1404                 :            :                                 sizeof(rpc_inaddr_loopback));
    1405                 :          0 :                 break;
    1406                 :            :         case AF_INET6:
    1407         [ #  # ]:          0 :                 if (buflen < sizeof(rpc_in6addr_loopback))
    1408                 :            :                         return -EINVAL;
    1409                 :          0 :                 memcpy(buf, &rpc_in6addr_loopback,
    1410                 :            :                                 sizeof(rpc_in6addr_loopback));
    1411                 :          0 :                 break;
    1412                 :            :         default:
    1413                 :            :                 dprintk("RPC:       %s: address family not supported\n",
    1414                 :            :                         __func__);
    1415                 :            :                 return -EAFNOSUPPORT;
    1416                 :            :         }
    1417                 :            :         dprintk("RPC:       %s: succeeded\n", __func__);
    1418                 :            :         return 0;
    1419                 :            : }
    1420                 :            : 
    1421                 :            : /**
    1422                 :            :  * rpc_localaddr - discover local endpoint address for an RPC client
    1423                 :            :  * @clnt: RPC client structure
    1424                 :            :  * @buf: target buffer
    1425                 :            :  * @buflen: size of target buffer, in bytes
    1426                 :            :  *
    1427                 :            :  * Returns zero and fills in "buf" and "buflen" if successful;
    1428                 :            :  * otherwise, a negative errno is returned.
    1429                 :            :  *
    1430                 :            :  * This works even if the underlying transport is not currently connected,
    1431                 :            :  * or if the upper layer never previously provided a source address.
    1432                 :            :  *
    1433                 :            :  * The result of this function call is transient: multiple calls in
    1434                 :            :  * succession may give different results, depending on how local
    1435                 :            :  * networking configuration changes over time.
    1436                 :            :  */
    1437                 :          0 : int rpc_localaddr(struct rpc_clnt *clnt, struct sockaddr *buf, size_t buflen)
    1438                 :            : {
    1439                 :            :         struct sockaddr_storage address;
    1440                 :            :         struct sockaddr *sap = (struct sockaddr *)&address;
    1441                 :            :         struct rpc_xprt *xprt;
    1442                 :            :         struct net *net;
    1443                 :            :         size_t salen;
    1444                 :            :         int err;
    1445                 :            : 
    1446                 :            :         rcu_read_lock();
    1447                 :          0 :         xprt = rcu_dereference(clnt->cl_xprt);
    1448                 :          0 :         salen = xprt->addrlen;
    1449                 :          0 :         memcpy(sap, &xprt->addr, salen);
    1450                 :          0 :         net = get_net(xprt->xprt_net);
    1451                 :            :         rcu_read_unlock();
    1452                 :            : 
    1453                 :            :         rpc_set_port(sap, 0);
    1454                 :          0 :         err = rpc_sockname(net, sap, salen, buf);
    1455                 :          0 :         put_net(net);
    1456         [ #  # ]:          0 :         if (err != 0)
    1457                 :            :                 /* Couldn't discover local address, return ANYADDR */
    1458                 :          0 :                 return rpc_anyaddr(sap->sa_family, buf, buflen);
    1459                 :            :         return 0;
    1460                 :            : }
    1461                 :            : EXPORT_SYMBOL_GPL(rpc_localaddr);
    1462                 :            : 
    1463                 :            : void
    1464                 :          0 : rpc_setbufsize(struct rpc_clnt *clnt, unsigned int sndsize, unsigned int rcvsize)
    1465                 :            : {
    1466                 :            :         struct rpc_xprt *xprt;
    1467                 :            : 
    1468                 :            :         rcu_read_lock();
    1469                 :          0 :         xprt = rcu_dereference(clnt->cl_xprt);
    1470         [ #  # ]:          0 :         if (xprt->ops->set_buffer_size)
    1471                 :          0 :                 xprt->ops->set_buffer_size(xprt, sndsize, rcvsize);
    1472                 :            :         rcu_read_unlock();
    1473                 :          0 : }
    1474                 :            : EXPORT_SYMBOL_GPL(rpc_setbufsize);
    1475                 :            : 
    1476                 :            : /**
    1477                 :            :  * rpc_net_ns - Get the network namespace for this RPC client
    1478                 :            :  * @clnt: RPC client to query
    1479                 :            :  *
    1480                 :            :  */
    1481                 :          0 : struct net *rpc_net_ns(struct rpc_clnt *clnt)
    1482                 :            : {
    1483                 :            :         struct net *ret;
    1484                 :            : 
    1485                 :            :         rcu_read_lock();
    1486                 :          0 :         ret = rcu_dereference(clnt->cl_xprt)->xprt_net;
    1487                 :            :         rcu_read_unlock();
    1488                 :          0 :         return ret;
    1489                 :            : }
    1490                 :            : EXPORT_SYMBOL_GPL(rpc_net_ns);
    1491                 :            : 
    1492                 :            : /**
    1493                 :            :  * rpc_max_payload - Get maximum payload size for a transport, in bytes
    1494                 :            :  * @clnt: RPC client to query
    1495                 :            :  *
    1496                 :            :  * For stream transports, this is one RPC record fragment (see RFC
    1497                 :            :  * 1831), as we don't support multi-record requests yet.  For datagram
    1498                 :            :  * transports, this is the size of an IP packet minus the IP, UDP, and
    1499                 :            :  * RPC header sizes.
    1500                 :            :  */
    1501                 :          0 : size_t rpc_max_payload(struct rpc_clnt *clnt)
    1502                 :            : {
    1503                 :            :         size_t ret;
    1504                 :            : 
    1505                 :            :         rcu_read_lock();
    1506                 :          0 :         ret = rcu_dereference(clnt->cl_xprt)->max_payload;
    1507                 :            :         rcu_read_unlock();
    1508                 :          0 :         return ret;
    1509                 :            : }
    1510                 :            : EXPORT_SYMBOL_GPL(rpc_max_payload);
    1511                 :            : 
    1512                 :            : /**
    1513                 :            :  * rpc_max_bc_payload - Get maximum backchannel payload size, in bytes
    1514                 :            :  * @clnt: RPC client to query
    1515                 :            :  */
    1516                 :          0 : size_t rpc_max_bc_payload(struct rpc_clnt *clnt)
    1517                 :            : {
    1518                 :            :         struct rpc_xprt *xprt;
    1519                 :            :         size_t ret;
    1520                 :            : 
    1521                 :            :         rcu_read_lock();
    1522                 :          0 :         xprt = rcu_dereference(clnt->cl_xprt);
    1523                 :          0 :         ret = xprt->ops->bc_maxpayload(xprt);
    1524                 :            :         rcu_read_unlock();
    1525                 :          0 :         return ret;
    1526                 :            : }
    1527                 :            : EXPORT_SYMBOL_GPL(rpc_max_bc_payload);
    1528                 :            : 
    1529                 :          0 : unsigned int rpc_num_bc_slots(struct rpc_clnt *clnt)
    1530                 :            : {
    1531                 :            :         struct rpc_xprt *xprt;
    1532                 :            :         unsigned int ret;
    1533                 :            : 
    1534                 :            :         rcu_read_lock();
    1535                 :          0 :         xprt = rcu_dereference(clnt->cl_xprt);
    1536                 :          0 :         ret = xprt->ops->bc_num_slots(xprt);
    1537                 :            :         rcu_read_unlock();
    1538                 :          0 :         return ret;
    1539                 :            : }
    1540                 :            : EXPORT_SYMBOL_GPL(rpc_num_bc_slots);
    1541                 :            : 
    1542                 :            : /**
    1543                 :            :  * rpc_force_rebind - force transport to check that remote port is unchanged
    1544                 :            :  * @clnt: client to rebind
    1545                 :            :  *
    1546                 :            :  */
    1547                 :          0 : void rpc_force_rebind(struct rpc_clnt *clnt)
    1548                 :            : {
    1549         [ #  # ]:          0 :         if (clnt->cl_autobind) {
    1550                 :            :                 rcu_read_lock();
    1551                 :          0 :                 xprt_clear_bound(rcu_dereference(clnt->cl_xprt));
    1552                 :            :                 rcu_read_unlock();
    1553                 :            :         }
    1554                 :          0 : }
    1555                 :            : EXPORT_SYMBOL_GPL(rpc_force_rebind);
    1556                 :            : 
    1557                 :            : static int
    1558                 :            : __rpc_restart_call(struct rpc_task *task, void (*action)(struct rpc_task *))
    1559                 :            : {
    1560                 :          0 :         task->tk_status = 0;
    1561                 :          0 :         task->tk_rpc_status = 0;
    1562                 :          0 :         task->tk_action = action;
    1563                 :            :         return 1;
    1564                 :            : }
    1565                 :            : 
    1566                 :            : /*
    1567                 :            :  * Restart an (async) RPC call. Usually called from within the
    1568                 :            :  * exit handler.
    1569                 :            :  */
    1570                 :            : int
    1571                 :          0 : rpc_restart_call(struct rpc_task *task)
    1572                 :            : {
    1573                 :          0 :         return __rpc_restart_call(task, call_start);
    1574                 :            : }
    1575                 :            : EXPORT_SYMBOL_GPL(rpc_restart_call);
    1576                 :            : 
    1577                 :            : /*
    1578                 :            :  * Restart an (async) RPC call from the call_prepare state.
    1579                 :            :  * Usually called from within the exit handler.
    1580                 :            :  */
    1581                 :            : int
    1582                 :          0 : rpc_restart_call_prepare(struct rpc_task *task)
    1583                 :            : {
    1584         [ #  # ]:          0 :         if (task->tk_ops->rpc_call_prepare != NULL)
    1585                 :          0 :                 return __rpc_restart_call(task, rpc_prepare_task);
    1586                 :          0 :         return rpc_restart_call(task);
    1587                 :            : }
    1588                 :            : EXPORT_SYMBOL_GPL(rpc_restart_call_prepare);
    1589                 :            : 
    1590                 :            : const char
    1591                 :          0 : *rpc_proc_name(const struct rpc_task *task)
    1592                 :            : {
    1593                 :          0 :         const struct rpc_procinfo *proc = task->tk_msg.rpc_proc;
    1594                 :            : 
    1595         [ #  # ]:          0 :         if (proc) {
    1596         [ #  # ]:          0 :                 if (proc->p_name)
    1597                 :          0 :                         return proc->p_name;
    1598                 :            :                 else
    1599                 :            :                         return "NULL";
    1600                 :            :         } else
    1601                 :            :                 return "no proc";
    1602                 :            : }
    1603                 :            : 
    1604                 :            : static void
    1605                 :            : __rpc_call_rpcerror(struct rpc_task *task, int tk_status, int rpc_status)
    1606                 :            : {
    1607                 :          0 :         task->tk_rpc_status = rpc_status;
    1608                 :          0 :         rpc_exit(task, tk_status);
    1609                 :            : }
    1610                 :            : 
    1611                 :            : static void
    1612                 :            : rpc_call_rpcerror(struct rpc_task *task, int status)
    1613                 :            : {
    1614                 :            :         __rpc_call_rpcerror(task, status, status);
    1615                 :            : }
    1616                 :            : 
    1617                 :            : /*
    1618                 :            :  * 0.  Initial state
    1619                 :            :  *
    1620                 :            :  *     Other FSM states can be visited zero or more times, but
    1621                 :            :  *     this state is visited exactly once for each RPC.
    1622                 :            :  */
    1623                 :            : static void
    1624                 :          0 : call_start(struct rpc_task *task)
    1625                 :            : {
    1626                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    1627                 :          0 :         int idx = task->tk_msg.rpc_proc->p_statidx;
    1628                 :            : 
    1629                 :          0 :         trace_rpc_request(task);
    1630                 :            :         dprintk("RPC: %5u call_start %s%d proc %s (%s)\n", task->tk_pid,
    1631                 :            :                         clnt->cl_program->name, clnt->cl_vers,
    1632                 :            :                         rpc_proc_name(task),
    1633                 :            :                         (RPC_IS_ASYNC(task) ? "async" : "sync"));
    1634                 :            : 
    1635                 :            :         /* Increment call count (version might not be valid for ping) */
    1636         [ #  # ]:          0 :         if (clnt->cl_program->version[clnt->cl_vers])
    1637                 :          0 :                 clnt->cl_program->version[clnt->cl_vers]->counts[idx]++;
    1638                 :          0 :         clnt->cl_stats->rpccnt++;
    1639                 :          0 :         task->tk_action = call_reserve;
    1640                 :          0 :         rpc_task_set_transport(task, clnt);
    1641                 :          0 : }
    1642                 :            : 
    1643                 :            : /*
    1644                 :            :  * 1.   Reserve an RPC call slot
    1645                 :            :  */
    1646                 :            : static void
    1647                 :          0 : call_reserve(struct rpc_task *task)
    1648                 :            : {
    1649                 :            :         dprint_status(task);
    1650                 :            : 
    1651                 :          0 :         task->tk_status  = 0;
    1652                 :          0 :         task->tk_action  = call_reserveresult;
    1653                 :          0 :         xprt_reserve(task);
    1654                 :          0 : }
    1655                 :            : 
    1656                 :            : static void call_retry_reserve(struct rpc_task *task);
    1657                 :            : 
    1658                 :            : /*
    1659                 :            :  * 1b.  Grok the result of xprt_reserve()
    1660                 :            :  */
    1661                 :            : static void
    1662                 :          0 : call_reserveresult(struct rpc_task *task)
    1663                 :            : {
    1664                 :          0 :         int status = task->tk_status;
    1665                 :            : 
    1666                 :            :         dprint_status(task);
    1667                 :            : 
    1668                 :            :         /*
    1669                 :            :          * After a call to xprt_reserve(), we must have either
    1670                 :            :          * a request slot or else an error status.
    1671                 :            :          */
    1672                 :          0 :         task->tk_status = 0;
    1673         [ #  # ]:          0 :         if (status >= 0) {
    1674         [ #  # ]:          0 :                 if (task->tk_rqstp) {
    1675                 :          0 :                         task->tk_action = call_refresh;
    1676                 :          0 :                         return;
    1677                 :            :                 }
    1678                 :            : 
    1679                 :          0 :                 printk(KERN_ERR "%s: status=%d, but no request slot, exiting\n",
    1680                 :            :                                 __func__, status);
    1681                 :            :                 rpc_call_rpcerror(task, -EIO);
    1682                 :            :                 return;
    1683                 :            :         }
    1684                 :            : 
    1685                 :            :         /*
    1686                 :            :          * Even though there was an error, we may have acquired
    1687                 :            :          * a request slot somehow.  Make sure not to leak it.
    1688                 :            :          */
    1689         [ #  # ]:          0 :         if (task->tk_rqstp) {
    1690                 :          0 :                 printk(KERN_ERR "%s: status=%d, request allocated anyway\n",
    1691                 :            :                                 __func__, status);
    1692                 :          0 :                 xprt_release(task);
    1693                 :            :         }
    1694                 :            : 
    1695   [ #  #  #  # ]:          0 :         switch (status) {
    1696                 :            :         case -ENOMEM:
    1697                 :          0 :                 rpc_delay(task, HZ >> 2);
    1698                 :            :                 /* fall through */
    1699                 :            :         case -EAGAIN:   /* woken up; retry */
    1700                 :          0 :                 task->tk_action = call_retry_reserve;
    1701                 :          0 :                 return;
    1702                 :            :         case -EIO:      /* probably a shutdown */
    1703                 :            :                 break;
    1704                 :            :         default:
    1705                 :          0 :                 printk(KERN_ERR "%s: unrecognized error %d, exiting\n",
    1706                 :            :                                 __func__, status);
    1707                 :          0 :                 break;
    1708                 :            :         }
    1709                 :            :         rpc_call_rpcerror(task, status);
    1710                 :            : }
    1711                 :            : 
    1712                 :            : /*
    1713                 :            :  * 1c.  Retry reserving an RPC call slot
    1714                 :            :  */
    1715                 :            : static void
    1716                 :          0 : call_retry_reserve(struct rpc_task *task)
    1717                 :            : {
    1718                 :            :         dprint_status(task);
    1719                 :            : 
    1720                 :          0 :         task->tk_status  = 0;
    1721                 :          0 :         task->tk_action  = call_reserveresult;
    1722                 :          0 :         xprt_retry_reserve(task);
    1723                 :          0 : }
    1724                 :            : 
    1725                 :            : /*
    1726                 :            :  * 2.   Bind and/or refresh the credentials
    1727                 :            :  */
    1728                 :            : static void
    1729                 :          0 : call_refresh(struct rpc_task *task)
    1730                 :            : {
    1731                 :            :         dprint_status(task);
    1732                 :            : 
    1733                 :          0 :         task->tk_action = call_refreshresult;
    1734                 :          0 :         task->tk_status = 0;
    1735                 :          0 :         task->tk_client->cl_stats->rpcauthrefresh++;
    1736                 :          0 :         rpcauth_refreshcred(task);
    1737                 :          0 : }
    1738                 :            : 
    1739                 :            : /*
    1740                 :            :  * 2a.  Process the results of a credential refresh
    1741                 :            :  */
    1742                 :            : static void
    1743                 :          0 : call_refreshresult(struct rpc_task *task)
    1744                 :            : {
    1745                 :          0 :         int status = task->tk_status;
    1746                 :            : 
    1747                 :            :         dprint_status(task);
    1748                 :            : 
    1749                 :          0 :         task->tk_status = 0;
    1750                 :          0 :         task->tk_action = call_refresh;
    1751   [ #  #  #  #  :          0 :         switch (status) {
                      # ]
    1752                 :            :         case 0:
    1753         [ #  # ]:          0 :                 if (rpcauth_uptodatecred(task)) {
    1754                 :          0 :                         task->tk_action = call_allocate;
    1755                 :          0 :                         return;
    1756                 :            :                 }
    1757                 :            :                 /* Use rate-limiting and a max number of retries if refresh
    1758                 :            :                  * had status 0 but failed to update the cred.
    1759                 :            :                  */
    1760                 :            :                 /* fall through */
    1761                 :            :         case -ETIMEDOUT:
    1762                 :          0 :                 rpc_delay(task, 3*HZ);
    1763                 :            :                 /* fall through */
    1764                 :            :         case -EAGAIN:
    1765                 :            :                 status = -EACCES;
    1766                 :            :                 /* fall through */
    1767                 :            :         case -EKEYEXPIRED:
    1768         [ #  # ]:          0 :                 if (!task->tk_cred_retry)
    1769                 :            :                         break;
    1770                 :          0 :                 task->tk_cred_retry--;
    1771                 :            :                 dprintk("RPC: %5u %s: retry refresh creds\n",
    1772                 :            :                                 task->tk_pid, __func__);
    1773                 :          0 :                 return;
    1774                 :            :         }
    1775                 :            :         dprintk("RPC: %5u %s: refresh creds failed with error %d\n",
    1776                 :            :                                 task->tk_pid, __func__, status);
    1777                 :            :         rpc_call_rpcerror(task, status);
    1778                 :            : }
    1779                 :            : 
    1780                 :            : /*
    1781                 :            :  * 2b.  Allocate the buffer. For details, see sched.c:rpc_malloc.
    1782                 :            :  *      (Note: buffer memory is freed in xprt_release).
    1783                 :            :  */
    1784                 :            : static void
    1785                 :          0 : call_allocate(struct rpc_task *task)
    1786                 :            : {
    1787                 :          0 :         const struct rpc_auth *auth = task->tk_rqstp->rq_cred->cr_auth;
    1788                 :            :         struct rpc_rqst *req = task->tk_rqstp;
    1789                 :          0 :         struct rpc_xprt *xprt = req->rq_xprt;
    1790                 :          0 :         const struct rpc_procinfo *proc = task->tk_msg.rpc_proc;
    1791                 :            :         int status;
    1792                 :            : 
    1793                 :            :         dprint_status(task);
    1794                 :            : 
    1795                 :          0 :         task->tk_status = 0;
    1796                 :          0 :         task->tk_action = call_encode;
    1797                 :            : 
    1798         [ #  # ]:          0 :         if (req->rq_buffer)
    1799                 :            :                 return;
    1800                 :            : 
    1801         [ #  # ]:          0 :         if (proc->p_proc != 0) {
    1802         [ #  # ]:          0 :                 BUG_ON(proc->p_arglen == 0);
    1803         [ #  # ]:          0 :                 if (proc->p_decode != NULL)
    1804         [ #  # ]:          0 :                         BUG_ON(proc->p_replen == 0);
    1805                 :            :         }
    1806                 :            : 
    1807                 :            :         /*
    1808                 :            :          * Calculate the size (in quads) of the RPC call
    1809                 :            :          * and reply headers, and convert both values
    1810                 :            :          * to byte sizes.
    1811                 :            :          */
    1812                 :          0 :         req->rq_callsize = RPC_CALLHDRSIZE + (auth->au_cslack << 1) +
    1813                 :          0 :                            proc->p_arglen;
    1814                 :          0 :         req->rq_callsize <<= 2;
    1815                 :            :         /*
    1816                 :            :          * Note: the reply buffer must at minimum allocate enough space
    1817                 :            :          * for the 'struct accepted_reply' from RFC5531.
    1818                 :            :          */
    1819                 :          0 :         req->rq_rcvsize = RPC_REPHDRSIZE + auth->au_rslack + \
    1820                 :          0 :                         max_t(size_t, proc->p_replen, 2);
    1821                 :          0 :         req->rq_rcvsize <<= 2;
    1822                 :            : 
    1823                 :          0 :         status = xprt->ops->buf_alloc(task);
    1824                 :            :         xprt_inject_disconnect(xprt);
    1825         [ #  # ]:          0 :         if (status == 0)
    1826                 :            :                 return;
    1827         [ #  # ]:          0 :         if (status != -ENOMEM) {
    1828                 :            :                 rpc_call_rpcerror(task, status);
    1829                 :            :                 return;
    1830                 :            :         }
    1831                 :            : 
    1832                 :            :         dprintk("RPC: %5u rpc_buffer allocation failed\n", task->tk_pid);
    1833                 :            : 
    1834   [ #  #  #  # ]:          0 :         if (RPC_IS_ASYNC(task) || !fatal_signal_pending(current)) {
    1835                 :          0 :                 task->tk_action = call_allocate;
    1836                 :          0 :                 rpc_delay(task, HZ>>4);
    1837                 :          0 :                 return;
    1838                 :            :         }
    1839                 :            : 
    1840                 :            :         rpc_call_rpcerror(task, -ERESTARTSYS);
    1841                 :            : }
    1842                 :            : 
    1843                 :            : static int
    1844                 :          0 : rpc_task_need_encode(struct rpc_task *task)
    1845                 :            : {
    1846   [ #  #  #  # ]:          0 :         return test_bit(RPC_TASK_NEED_XMIT, &task->tk_runstate) == 0 &&
    1847                 :          0 :                 (!(task->tk_flags & RPC_TASK_SENT) ||
    1848         [ #  # ]:          0 :                  !(task->tk_flags & RPC_TASK_NO_RETRANS_TIMEOUT) ||
    1849                 :          0 :                  xprt_request_need_retransmit(task));
    1850                 :            : }
    1851                 :            : 
    1852                 :            : static void
    1853                 :          0 : rpc_xdr_encode(struct rpc_task *task)
    1854                 :            : {
    1855                 :          0 :         struct rpc_rqst *req = task->tk_rqstp;
    1856                 :            :         struct xdr_stream xdr;
    1857                 :            : 
    1858                 :          0 :         xdr_buf_init(&req->rq_snd_buf,
    1859                 :            :                      req->rq_buffer,
    1860                 :            :                      req->rq_callsize);
    1861                 :          0 :         xdr_buf_init(&req->rq_rcv_buf,
    1862                 :            :                      req->rq_rbuffer,
    1863                 :            :                      req->rq_rcvsize);
    1864                 :            : 
    1865                 :          0 :         req->rq_reply_bytes_recvd = 0;
    1866                 :          0 :         req->rq_snd_buf.head[0].iov_len = 0;
    1867                 :          0 :         xdr_init_encode(&xdr, &req->rq_snd_buf,
    1868                 :            :                         req->rq_snd_buf.head[0].iov_base, req);
    1869                 :          0 :         xdr_free_bvec(&req->rq_snd_buf);
    1870         [ #  # ]:          0 :         if (rpc_encode_header(task, &xdr))
    1871                 :          0 :                 return;
    1872                 :            : 
    1873                 :          0 :         task->tk_status = rpcauth_wrap_req(task, &xdr);
    1874                 :            : }
    1875                 :            : 
    1876                 :            : /*
    1877                 :            :  * 3.   Encode arguments of an RPC call
    1878                 :            :  */
    1879                 :            : static void
    1880                 :          0 : call_encode(struct rpc_task *task)
    1881                 :            : {
    1882         [ #  # ]:          0 :         if (!rpc_task_need_encode(task))
    1883                 :            :                 goto out;
    1884                 :            :         dprint_status(task);
    1885                 :            :         /* Dequeue task from the receive queue while we're encoding */
    1886                 :          0 :         xprt_request_dequeue_xprt(task);
    1887                 :            :         /* Encode here so that rpcsec_gss can use correct sequence number. */
    1888                 :          0 :         rpc_xdr_encode(task);
    1889                 :            :         /* Did the encode result in an error condition? */
    1890         [ #  # ]:          0 :         if (task->tk_status != 0) {
    1891                 :            :                 /* Was the error nonfatal? */
    1892      [ #  #  # ]:          0 :                 switch (task->tk_status) {
    1893                 :            :                 case -EAGAIN:
    1894                 :            :                 case -ENOMEM:
    1895                 :          0 :                         rpc_delay(task, HZ >> 4);
    1896                 :          0 :                         break;
    1897                 :            :                 case -EKEYEXPIRED:
    1898         [ #  # ]:          0 :                         if (!task->tk_cred_retry) {
    1899                 :          0 :                                 rpc_exit(task, task->tk_status);
    1900                 :            :                         } else {
    1901                 :          0 :                                 task->tk_action = call_refresh;
    1902                 :          0 :                                 task->tk_cred_retry--;
    1903                 :            :                                 dprintk("RPC: %5u %s: retry refresh creds\n",
    1904                 :            :                                         task->tk_pid, __func__);
    1905                 :            :                         }
    1906                 :            :                         break;
    1907                 :            :                 default:
    1908                 :            :                         rpc_call_rpcerror(task, task->tk_status);
    1909                 :            :                 }
    1910                 :          0 :                 return;
    1911                 :            :         }
    1912                 :            : 
    1913                 :            :         /* Add task to reply queue before transmission to avoid races */
    1914         [ #  # ]:          0 :         if (rpc_reply_expected(task))
    1915                 :          0 :                 xprt_request_enqueue_receive(task);
    1916                 :          0 :         xprt_request_enqueue_transmit(task);
    1917                 :            : out:
    1918                 :          0 :         task->tk_action = call_transmit;
    1919                 :            :         /* Check that the connection is OK */
    1920         [ #  # ]:          0 :         if (!xprt_bound(task->tk_xprt))
    1921                 :          0 :                 task->tk_action = call_bind;
    1922         [ #  # ]:          0 :         else if (!xprt_connected(task->tk_xprt))
    1923                 :          0 :                 task->tk_action = call_connect;
    1924                 :            : }
    1925                 :            : 
    1926                 :            : /*
    1927                 :            :  * Helpers to check if the task was already transmitted, and
    1928                 :            :  * to take action when that is the case.
    1929                 :            :  */
    1930                 :            : static bool
    1931                 :            : rpc_task_transmitted(struct rpc_task *task)
    1932                 :            : {
    1933                 :            :         return !test_bit(RPC_TASK_NEED_XMIT, &task->tk_runstate);
    1934                 :            : }
    1935                 :            : 
    1936                 :            : static void
    1937                 :            : rpc_task_handle_transmitted(struct rpc_task *task)
    1938                 :            : {
    1939                 :          0 :         xprt_end_transmit(task);
    1940                 :          0 :         task->tk_action = call_transmit_status;
    1941                 :            : }
    1942                 :            : 
    1943                 :            : /*
    1944                 :            :  * 4.   Get the server port number if not yet set
    1945                 :            :  */
    1946                 :            : static void
    1947                 :          0 : call_bind(struct rpc_task *task)
    1948                 :            : {
    1949                 :          0 :         struct rpc_xprt *xprt = task->tk_rqstp->rq_xprt;
    1950                 :            : 
    1951         [ #  # ]:          0 :         if (rpc_task_transmitted(task)) {
    1952                 :            :                 rpc_task_handle_transmitted(task);
    1953                 :            :                 return;
    1954                 :            :         }
    1955                 :            : 
    1956         [ #  # ]:          0 :         if (xprt_bound(xprt)) {
    1957                 :          0 :                 task->tk_action = call_connect;
    1958                 :          0 :                 return;
    1959                 :            :         }
    1960                 :            : 
    1961                 :            :         dprint_status(task);
    1962                 :            : 
    1963                 :          0 :         task->tk_action = call_bind_status;
    1964         [ #  # ]:          0 :         if (!xprt_prepare_transmit(task))
    1965                 :            :                 return;
    1966                 :            : 
    1967                 :          0 :         xprt->ops->rpcbind(task);
    1968                 :            : }
    1969                 :            : 
    1970                 :            : /*
    1971                 :            :  * 4a.  Sort out bind result
    1972                 :            :  */
    1973                 :            : static void
    1974                 :          0 : call_bind_status(struct rpc_task *task)
    1975                 :            : {
    1976                 :          0 :         struct rpc_xprt *xprt = task->tk_rqstp->rq_xprt;
    1977                 :            :         int status = -EIO;
    1978                 :            : 
    1979         [ #  # ]:          0 :         if (rpc_task_transmitted(task)) {
    1980                 :            :                 rpc_task_handle_transmitted(task);
    1981                 :            :                 return;
    1982                 :            :         }
    1983                 :            : 
    1984                 :            :         dprint_status(task);
    1985                 :          0 :         trace_rpc_bind_status(task);
    1986         [ #  # ]:          0 :         if (task->tk_status >= 0)
    1987                 :            :                 goto out_next;
    1988         [ #  # ]:          0 :         if (xprt_bound(xprt)) {
    1989                 :          0 :                 task->tk_status = 0;
    1990                 :          0 :                 goto out_next;
    1991                 :            :         }
    1992                 :            : 
    1993   [ #  #  #  #  :          0 :         switch (task->tk_status) {
                   #  # ]
    1994                 :            :         case -ENOMEM:
    1995                 :            :                 dprintk("RPC: %5u rpcbind out of memory\n", task->tk_pid);
    1996                 :          0 :                 rpc_delay(task, HZ >> 2);
    1997                 :          0 :                 goto retry_timeout;
    1998                 :            :         case -EACCES:
    1999                 :            :                 dprintk("RPC: %5u remote rpcbind: RPC program/version "
    2000                 :            :                                 "unavailable\n", task->tk_pid);
    2001                 :            :                 /* fail immediately if this is an RPC ping */
    2002         [ #  # ]:          0 :                 if (task->tk_msg.rpc_proc->p_proc == 0) {
    2003                 :            :                         status = -EOPNOTSUPP;
    2004                 :            :                         break;
    2005                 :            :                 }
    2006         [ #  # ]:          0 :                 if (task->tk_rebind_retry == 0)
    2007                 :            :                         break;
    2008                 :          0 :                 task->tk_rebind_retry--;
    2009                 :          0 :                 rpc_delay(task, 3*HZ);
    2010                 :          0 :                 goto retry_timeout;
    2011                 :            :         case -ENOBUFS:
    2012                 :          0 :                 rpc_delay(task, HZ >> 2);
    2013                 :          0 :                 goto retry_timeout;
    2014                 :            :         case -EAGAIN:
    2015                 :            :                 goto retry_timeout;
    2016                 :            :         case -ETIMEDOUT:
    2017                 :            :                 dprintk("RPC: %5u rpcbind request timed out\n",
    2018                 :            :                                 task->tk_pid);
    2019                 :            :                 goto retry_timeout;
    2020                 :            :         case -EPFNOSUPPORT:
    2021                 :            :                 /* server doesn't support any rpcbind version we know of */
    2022                 :            :                 dprintk("RPC: %5u unrecognized remote rpcbind service\n",
    2023                 :            :                                 task->tk_pid);
    2024                 :            :                 break;
    2025                 :            :         case -EPROTONOSUPPORT:
    2026                 :            :                 dprintk("RPC: %5u remote rpcbind version unavailable, retrying\n",
    2027                 :            :                                 task->tk_pid);
    2028                 :            :                 goto retry_timeout;
    2029                 :            :         case -ECONNREFUSED:             /* connection problems */
    2030                 :            :         case -ECONNRESET:
    2031                 :            :         case -ECONNABORTED:
    2032                 :            :         case -ENOTCONN:
    2033                 :            :         case -EHOSTDOWN:
    2034                 :            :         case -ENETDOWN:
    2035                 :            :         case -EHOSTUNREACH:
    2036                 :            :         case -ENETUNREACH:
    2037                 :            :         case -EPIPE:
    2038                 :            :                 dprintk("RPC: %5u remote rpcbind unreachable: %d\n",
    2039                 :            :                                 task->tk_pid, task->tk_status);
    2040         [ #  # ]:          0 :                 if (!RPC_IS_SOFTCONN(task)) {
    2041                 :          0 :                         rpc_delay(task, 5*HZ);
    2042                 :          0 :                         goto retry_timeout;
    2043                 :            :                 }
    2044                 :            :                 status = task->tk_status;
    2045                 :            :                 break;
    2046                 :            :         default:
    2047                 :            :                 dprintk("RPC: %5u unrecognized rpcbind error (%d)\n",
    2048                 :            :                                 task->tk_pid, -task->tk_status);
    2049                 :            :         }
    2050                 :            : 
    2051                 :            :         rpc_call_rpcerror(task, status);
    2052                 :            :         return;
    2053                 :            : out_next:
    2054                 :          0 :         task->tk_action = call_connect;
    2055                 :          0 :         return;
    2056                 :            : retry_timeout:
    2057                 :          0 :         task->tk_status = 0;
    2058                 :          0 :         task->tk_action = call_bind;
    2059                 :          0 :         rpc_check_timeout(task);
    2060                 :            : }
    2061                 :            : 
    2062                 :            : /*
    2063                 :            :  * 4b.  Connect to the RPC server
    2064                 :            :  */
    2065                 :            : static void
    2066                 :          0 : call_connect(struct rpc_task *task)
    2067                 :            : {
    2068                 :          0 :         struct rpc_xprt *xprt = task->tk_rqstp->rq_xprt;
    2069                 :            : 
    2070         [ #  # ]:          0 :         if (rpc_task_transmitted(task)) {
    2071                 :            :                 rpc_task_handle_transmitted(task);
    2072                 :            :                 return;
    2073                 :            :         }
    2074                 :            : 
    2075         [ #  # ]:          0 :         if (xprt_connected(xprt)) {
    2076                 :          0 :                 task->tk_action = call_transmit;
    2077                 :          0 :                 return;
    2078                 :            :         }
    2079                 :            : 
    2080                 :            :         dprintk("RPC: %5u call_connect xprt %p %s connected\n",
    2081                 :            :                         task->tk_pid, xprt,
    2082                 :            :                         (xprt_connected(xprt) ? "is" : "is not"));
    2083                 :            : 
    2084                 :          0 :         task->tk_action = call_connect_status;
    2085         [ #  # ]:          0 :         if (task->tk_status < 0)
    2086                 :            :                 return;
    2087         [ #  # ]:          0 :         if (task->tk_flags & RPC_TASK_NOCONNECT) {
    2088                 :            :                 rpc_call_rpcerror(task, -ENOTCONN);
    2089                 :            :                 return;
    2090                 :            :         }
    2091         [ #  # ]:          0 :         if (!xprt_prepare_transmit(task))
    2092                 :            :                 return;
    2093                 :          0 :         xprt_connect(task);
    2094                 :            : }
    2095                 :            : 
    2096                 :            : /*
    2097                 :            :  * 4c.  Sort out connect result
    2098                 :            :  */
    2099                 :            : static void
    2100                 :          0 : call_connect_status(struct rpc_task *task)
    2101                 :            : {
    2102                 :          0 :         struct rpc_xprt *xprt = task->tk_rqstp->rq_xprt;
    2103                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    2104                 :          0 :         int status = task->tk_status;
    2105                 :            : 
    2106         [ #  # ]:          0 :         if (rpc_task_transmitted(task)) {
    2107                 :            :                 rpc_task_handle_transmitted(task);
    2108                 :            :                 return;
    2109                 :            :         }
    2110                 :            : 
    2111                 :            :         dprint_status(task);
    2112                 :          0 :         trace_rpc_connect_status(task);
    2113                 :            : 
    2114         [ #  # ]:          0 :         if (task->tk_status == 0) {
    2115                 :          0 :                 clnt->cl_stats->netreconn++;
    2116                 :          0 :                 goto out_next;
    2117                 :            :         }
    2118         [ #  # ]:          0 :         if (xprt_connected(xprt)) {
    2119                 :          0 :                 task->tk_status = 0;
    2120                 :          0 :                 goto out_next;
    2121                 :            :         }
    2122                 :            : 
    2123                 :          0 :         task->tk_status = 0;
    2124   [ #  #  #  #  :          0 :         switch (status) {
                      # ]
    2125                 :            :         case -ECONNREFUSED:
    2126                 :            :                 /* A positive refusal suggests a rebind is needed. */
    2127         [ #  # ]:          0 :                 if (RPC_IS_SOFTCONN(task))
    2128                 :            :                         break;
    2129         [ #  # ]:          0 :                 if (clnt->cl_autobind) {
    2130                 :          0 :                         rpc_force_rebind(clnt);
    2131                 :          0 :                         goto out_retry;
    2132                 :            :                 }
    2133                 :            :                 /* fall through */
    2134                 :            :         case -ECONNRESET:
    2135                 :            :         case -ECONNABORTED:
    2136                 :            :         case -ENETDOWN:
    2137                 :            :         case -ENETUNREACH:
    2138                 :            :         case -EHOSTUNREACH:
    2139                 :            :         case -EPIPE:
    2140                 :          0 :                 xprt_conditional_disconnect(task->tk_rqstp->rq_xprt,
    2141                 :            :                                             task->tk_rqstp->rq_connect_cookie);
    2142         [ #  # ]:          0 :                 if (RPC_IS_SOFTCONN(task))
    2143                 :            :                         break;
    2144                 :            :                 /* retry with existing socket, after a delay */
    2145                 :          0 :                 rpc_delay(task, 3*HZ);
    2146                 :            :                 /* fall through */
    2147                 :            :         case -EADDRINUSE:
    2148                 :            :         case -ENOTCONN:
    2149                 :            :         case -EAGAIN:
    2150                 :            :         case -ETIMEDOUT:
    2151                 :            :                 goto out_retry;
    2152                 :            :         case -ENOBUFS:
    2153                 :          0 :                 rpc_delay(task, HZ >> 2);
    2154                 :          0 :                 goto out_retry;
    2155                 :            :         }
    2156                 :            :         rpc_call_rpcerror(task, status);
    2157                 :            :         return;
    2158                 :            : out_next:
    2159                 :          0 :         task->tk_action = call_transmit;
    2160                 :          0 :         return;
    2161                 :            : out_retry:
    2162                 :            :         /* Check for timeouts before looping back to call_bind */
    2163                 :          0 :         task->tk_action = call_bind;
    2164                 :          0 :         rpc_check_timeout(task);
    2165                 :            : }
    2166                 :            : 
    2167                 :            : /*
    2168                 :            :  * 5.   Transmit the RPC request, and wait for reply
    2169                 :            :  */
    2170                 :            : static void
    2171                 :          0 : call_transmit(struct rpc_task *task)
    2172                 :            : {
    2173         [ #  # ]:          0 :         if (rpc_task_transmitted(task)) {
    2174                 :            :                 rpc_task_handle_transmitted(task);
    2175                 :            :                 return;
    2176                 :            :         }
    2177                 :            : 
    2178                 :            :         dprint_status(task);
    2179                 :            : 
    2180                 :          0 :         task->tk_action = call_transmit_status;
    2181         [ #  # ]:          0 :         if (!xprt_prepare_transmit(task))
    2182                 :            :                 return;
    2183                 :          0 :         task->tk_status = 0;
    2184         [ #  # ]:          0 :         if (test_bit(RPC_TASK_NEED_XMIT, &task->tk_runstate)) {
    2185         [ #  # ]:          0 :                 if (!xprt_connected(task->tk_xprt)) {
    2186                 :          0 :                         task->tk_status = -ENOTCONN;
    2187                 :          0 :                         return;
    2188                 :            :                 }
    2189                 :          0 :                 xprt_transmit(task);
    2190                 :            :         }
    2191                 :          0 :         xprt_end_transmit(task);
    2192                 :            : }
    2193                 :            : 
    2194                 :            : /*
    2195                 :            :  * 5a.  Handle cleanup after a transmission
    2196                 :            :  */
    2197                 :            : static void
    2198                 :          0 : call_transmit_status(struct rpc_task *task)
    2199                 :            : {
    2200                 :          0 :         task->tk_action = call_status;
    2201                 :            : 
    2202                 :            :         /*
    2203                 :            :          * Common case: success.  Force the compiler to put this
    2204                 :            :          * test first.
    2205                 :            :          */
    2206         [ #  # ]:          0 :         if (rpc_task_transmitted(task)) {
    2207                 :          0 :                 task->tk_status = 0;
    2208                 :          0 :                 xprt_request_wait_receive(task);
    2209                 :          0 :                 return;
    2210                 :            :         }
    2211                 :            : 
    2212   [ #  #  #  #  :          0 :         switch (task->tk_status) {
                   #  # ]
    2213                 :            :         default:
    2214                 :            :                 dprint_status(task);
    2215                 :            :                 break;
    2216                 :            :         case -EBADMSG:
    2217                 :          0 :                 task->tk_status = 0;
    2218                 :          0 :                 task->tk_action = call_encode;
    2219                 :          0 :                 break;
    2220                 :            :                 /*
    2221                 :            :                  * Special cases: if we've been waiting on the
    2222                 :            :                  * socket's write_space() callback, or if the
    2223                 :            :                  * socket just returned a connection error,
    2224                 :            :                  * then hold onto the transport lock.
    2225                 :            :                  */
    2226                 :            :         case -ENOBUFS:
    2227                 :          0 :                 rpc_delay(task, HZ>>2);
    2228                 :            :                 /* fall through */
    2229                 :            :         case -EBADSLT:
    2230                 :            :         case -EAGAIN:
    2231                 :          0 :                 task->tk_action = call_transmit;
    2232                 :          0 :                 task->tk_status = 0;
    2233                 :          0 :                 break;
    2234                 :            :         case -ECONNREFUSED:
    2235                 :            :         case -EHOSTDOWN:
    2236                 :            :         case -ENETDOWN:
    2237                 :            :         case -EHOSTUNREACH:
    2238                 :            :         case -ENETUNREACH:
    2239                 :            :         case -EPERM:
    2240         [ #  # ]:          0 :                 if (RPC_IS_SOFTCONN(task)) {
    2241         [ #  # ]:          0 :                         if (!task->tk_msg.rpc_proc->p_proc)
    2242                 :          0 :                                 trace_xprt_ping(task->tk_xprt,
    2243                 :            :                                                 task->tk_status);
    2244                 :          0 :                         rpc_call_rpcerror(task, task->tk_status);
    2245                 :            :                         return;
    2246                 :            :                 }
    2247                 :            :                 /* fall through */
    2248                 :            :         case -ECONNRESET:
    2249                 :            :         case -ECONNABORTED:
    2250                 :            :         case -EADDRINUSE:
    2251                 :            :         case -ENOTCONN:
    2252                 :            :         case -EPIPE:
    2253                 :          0 :                 task->tk_action = call_bind;
    2254                 :          0 :                 task->tk_status = 0;
    2255                 :          0 :                 break;
    2256                 :            :         }
    2257                 :          0 :         rpc_check_timeout(task);
    2258                 :            : }
    2259                 :            : 
    2260                 :            : #if defined(CONFIG_SUNRPC_BACKCHANNEL)
    2261                 :            : static void call_bc_transmit(struct rpc_task *task);
    2262                 :            : static void call_bc_transmit_status(struct rpc_task *task);
    2263                 :            : 
    2264                 :            : static void
    2265                 :          0 : call_bc_encode(struct rpc_task *task)
    2266                 :            : {
    2267                 :          0 :         xprt_request_enqueue_transmit(task);
    2268                 :          0 :         task->tk_action = call_bc_transmit;
    2269                 :          0 : }
    2270                 :            : 
    2271                 :            : /*
    2272                 :            :  * 5b.  Send the backchannel RPC reply.  On error, drop the reply.  In
    2273                 :            :  * addition, disconnect on connectivity errors.
    2274                 :            :  */
    2275                 :            : static void
    2276                 :          0 : call_bc_transmit(struct rpc_task *task)
    2277                 :            : {
    2278                 :          0 :         task->tk_action = call_bc_transmit_status;
    2279         [ #  # ]:          0 :         if (test_bit(RPC_TASK_NEED_XMIT, &task->tk_runstate)) {
    2280         [ #  # ]:          0 :                 if (!xprt_prepare_transmit(task))
    2281                 :          0 :                         return;
    2282                 :          0 :                 task->tk_status = 0;
    2283                 :          0 :                 xprt_transmit(task);
    2284                 :            :         }
    2285                 :          0 :         xprt_end_transmit(task);
    2286                 :            : }
    2287                 :            : 
    2288                 :            : static void
    2289                 :          0 : call_bc_transmit_status(struct rpc_task *task)
    2290                 :            : {
    2291                 :          0 :         struct rpc_rqst *req = task->tk_rqstp;
    2292                 :            : 
    2293         [ #  # ]:          0 :         if (rpc_task_transmitted(task))
    2294                 :          0 :                 task->tk_status = 0;
    2295                 :            : 
    2296                 :            :         dprint_status(task);
    2297                 :            : 
    2298   [ #  #  #  #  :          0 :         switch (task->tk_status) {
                      # ]
    2299                 :            :         case 0:
    2300                 :            :                 /* Success */
    2301                 :            :         case -ENETDOWN:
    2302                 :            :         case -EHOSTDOWN:
    2303                 :            :         case -EHOSTUNREACH:
    2304                 :            :         case -ENETUNREACH:
    2305                 :            :         case -ECONNRESET:
    2306                 :            :         case -ECONNREFUSED:
    2307                 :            :         case -EADDRINUSE:
    2308                 :            :         case -ENOTCONN:
    2309                 :            :         case -EPIPE:
    2310                 :            :                 break;
    2311                 :            :         case -ENOBUFS:
    2312                 :          0 :                 rpc_delay(task, HZ>>2);
    2313                 :            :                 /* fall through */
    2314                 :            :         case -EBADSLT:
    2315                 :            :         case -EAGAIN:
    2316                 :          0 :                 task->tk_status = 0;
    2317                 :          0 :                 task->tk_action = call_bc_transmit;
    2318                 :          0 :                 return;
    2319                 :            :         case -ETIMEDOUT:
    2320                 :            :                 /*
    2321                 :            :                  * Problem reaching the server.  Disconnect and let the
    2322                 :            :                  * forechannel reestablish the connection.  The server will
    2323                 :            :                  * have to retransmit the backchannel request and we'll
    2324                 :            :                  * reprocess it.  Since these ops are idempotent, there's no
    2325                 :            :                  * need to cache our reply at this time.
    2326                 :            :                  */
    2327                 :          0 :                 printk(KERN_NOTICE "RPC: Could not send backchannel reply "
    2328                 :            :                         "error: %d\n", task->tk_status);
    2329                 :          0 :                 xprt_conditional_disconnect(req->rq_xprt,
    2330                 :            :                         req->rq_connect_cookie);
    2331                 :          0 :                 break;
    2332                 :            :         default:
    2333                 :            :                 /*
    2334                 :            :                  * We were unable to reply and will have to drop the
    2335                 :            :                  * request.  The server should reconnect and retransmit.
    2336                 :            :                  */
    2337                 :          0 :                 printk(KERN_NOTICE "RPC: Could not send backchannel reply "
    2338                 :            :                         "error: %d\n", task->tk_status);
    2339                 :          0 :                 break;
    2340                 :            :         }
    2341                 :          0 :         task->tk_action = rpc_exit_task;
    2342                 :            : }
    2343                 :            : #endif /* CONFIG_SUNRPC_BACKCHANNEL */
    2344                 :            : 
    2345                 :            : /*
    2346                 :            :  * 6.   Sort out the RPC call status
    2347                 :            :  */
    2348                 :            : static void
    2349                 :          0 : call_status(struct rpc_task *task)
    2350                 :            : {
    2351                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    2352                 :            :         int             status;
    2353                 :            : 
    2354         [ #  # ]:          0 :         if (!task->tk_msg.rpc_proc->p_proc)
    2355                 :          0 :                 trace_xprt_ping(task->tk_xprt, task->tk_status);
    2356                 :            : 
    2357                 :            :         dprint_status(task);
    2358                 :            : 
    2359                 :          0 :         status = task->tk_status;
    2360         [ #  # ]:          0 :         if (status >= 0) {
    2361                 :          0 :                 task->tk_action = call_decode;
    2362                 :          0 :                 return;
    2363                 :            :         }
    2364                 :            : 
    2365                 :          0 :         trace_rpc_call_status(task);
    2366                 :          0 :         task->tk_status = 0;
    2367   [ #  #  #  #  :          0 :         switch(status) {
                   #  # ]
    2368                 :            :         case -EHOSTDOWN:
    2369                 :            :         case -ENETDOWN:
    2370                 :            :         case -EHOSTUNREACH:
    2371                 :            :         case -ENETUNREACH:
    2372                 :            :         case -EPERM:
    2373         [ #  # ]:          0 :                 if (RPC_IS_SOFTCONN(task))
    2374                 :            :                         goto out_exit;
    2375                 :            :                 /*
    2376                 :            :                  * Delay any retries for 3 seconds, then handle as if it
    2377                 :            :                  * were a timeout.
    2378                 :            :                  */
    2379                 :          0 :                 rpc_delay(task, 3*HZ);
    2380                 :            :                 /* fall through */
    2381                 :            :         case -ETIMEDOUT:
    2382                 :            :                 break;
    2383                 :            :         case -ECONNREFUSED:
    2384                 :            :         case -ECONNRESET:
    2385                 :            :         case -ECONNABORTED:
    2386                 :            :         case -ENOTCONN:
    2387                 :          0 :                 rpc_force_rebind(clnt);
    2388                 :          0 :                 break;
    2389                 :            :         case -EADDRINUSE:
    2390                 :          0 :                 rpc_delay(task, 3*HZ);
    2391                 :            :                 /* fall through */
    2392                 :            :         case -EPIPE:
    2393                 :            :         case -EAGAIN:
    2394                 :            :                 break;
    2395                 :            :         case -EIO:
    2396                 :            :                 /* shutdown or soft timeout */
    2397                 :            :                 goto out_exit;
    2398                 :            :         default:
    2399         [ #  # ]:          0 :                 if (clnt->cl_chatty)
    2400                 :          0 :                         printk("%s: RPC call returned error %d\n",
    2401                 :          0 :                                clnt->cl_program->name, -status);
    2402                 :            :                 goto out_exit;
    2403                 :            :         }
    2404                 :          0 :         task->tk_action = call_encode;
    2405                 :          0 :         rpc_check_timeout(task);
    2406                 :          0 :         return;
    2407                 :            : out_exit:
    2408                 :            :         rpc_call_rpcerror(task, status);
    2409                 :            : }
    2410                 :            : 
    2411                 :            : static bool
    2412                 :            : rpc_check_connected(const struct rpc_rqst *req)
    2413                 :            : {
    2414                 :            :         /* No allocated request or transport? return true */
    2415   [ #  #  #  #  :          0 :         if (!req || !req->rq_xprt)
             #  #  #  # ]
    2416                 :            :                 return true;
    2417                 :          0 :         return xprt_connected(req->rq_xprt);
    2418                 :            : }
    2419                 :            : 
    2420                 :            : static void
    2421                 :          0 : rpc_check_timeout(struct rpc_task *task)
    2422                 :            : {
    2423                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    2424                 :            : 
    2425         [ #  # ]:          0 :         if (RPC_SIGNALLED(task)) {
    2426                 :            :                 rpc_call_rpcerror(task, -ERESTARTSYS);
    2427                 :            :                 return;
    2428                 :            :         }
    2429                 :            : 
    2430         [ #  # ]:          0 :         if (xprt_adjust_timeout(task->tk_rqstp) == 0)
    2431                 :            :                 return;
    2432                 :            : 
    2433                 :            :         dprintk("RPC: %5u call_timeout (major)\n", task->tk_pid);
    2434                 :          0 :         task->tk_timeouts++;
    2435                 :            : 
    2436   [ #  #  #  # ]:          0 :         if (RPC_IS_SOFTCONN(task) && !rpc_check_connected(task->tk_rqstp)) {
    2437                 :            :                 rpc_call_rpcerror(task, -ETIMEDOUT);
    2438                 :            :                 return;
    2439                 :            :         }
    2440                 :            : 
    2441         [ #  # ]:          0 :         if (RPC_IS_SOFT(task)) {
    2442                 :            :                 /*
    2443                 :            :                  * Once a "no retrans timeout" soft tasks (a.k.a NFSv4) has
    2444                 :            :                  * been sent, it should time out only if the transport
    2445                 :            :                  * connection gets terminally broken.
    2446                 :            :                  */
    2447   [ #  #  #  # ]:          0 :                 if ((task->tk_flags & RPC_TASK_NO_RETRANS_TIMEOUT) &&
    2448                 :          0 :                     rpc_check_connected(task->tk_rqstp))
    2449                 :            :                         return;
    2450                 :            : 
    2451         [ #  # ]:          0 :                 if (clnt->cl_chatty) {
    2452         [ #  # ]:          0 :                         pr_notice_ratelimited(
    2453                 :            :                                 "%s: server %s not responding, timed out\n",
    2454                 :            :                                 clnt->cl_program->name,
    2455                 :            :                                 task->tk_xprt->servername);
    2456                 :            :                 }
    2457         [ #  # ]:          0 :                 if (task->tk_flags & RPC_TASK_TIMEOUT)
    2458                 :            :                         rpc_call_rpcerror(task, -ETIMEDOUT);
    2459                 :            :                 else
    2460                 :            :                         __rpc_call_rpcerror(task, -EIO, -ETIMEDOUT);
    2461                 :            :                 return;
    2462                 :            :         }
    2463                 :            : 
    2464         [ #  # ]:          0 :         if (!(task->tk_flags & RPC_CALL_MAJORSEEN)) {
    2465                 :          0 :                 task->tk_flags |= RPC_CALL_MAJORSEEN;
    2466         [ #  # ]:          0 :                 if (clnt->cl_chatty) {
    2467         [ #  # ]:          0 :                         pr_notice_ratelimited(
    2468                 :            :                                 "%s: server %s not responding, still trying\n",
    2469                 :            :                                 clnt->cl_program->name,
    2470                 :            :                                 task->tk_xprt->servername);
    2471                 :            :                 }
    2472                 :            :         }
    2473                 :          0 :         rpc_force_rebind(clnt);
    2474                 :            :         /*
    2475                 :            :          * Did our request time out due to an RPCSEC_GSS out-of-sequence
    2476                 :            :          * event? RFC2203 requires the server to drop all such requests.
    2477                 :            :          */
    2478                 :          0 :         rpcauth_invalcred(task);
    2479                 :            : }
    2480                 :            : 
    2481                 :            : /*
    2482                 :            :  * 7.   Decode the RPC reply
    2483                 :            :  */
    2484                 :            : static void
    2485                 :          0 : call_decode(struct rpc_task *task)
    2486                 :            : {
    2487                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    2488                 :          0 :         struct rpc_rqst *req = task->tk_rqstp;
    2489                 :            :         struct xdr_stream xdr;
    2490                 :            :         int err;
    2491                 :            : 
    2492                 :            :         dprint_status(task);
    2493                 :            : 
    2494         [ #  # ]:          0 :         if (!task->tk_msg.rpc_proc->p_decode) {
    2495                 :          0 :                 task->tk_action = rpc_exit_task;
    2496                 :          0 :                 return;
    2497                 :            :         }
    2498                 :            : 
    2499         [ #  # ]:          0 :         if (task->tk_flags & RPC_CALL_MAJORSEEN) {
    2500         [ #  # ]:          0 :                 if (clnt->cl_chatty) {
    2501         [ #  # ]:          0 :                         pr_notice_ratelimited("%s: server %s OK\n",
    2502                 :            :                                 clnt->cl_program->name,
    2503                 :            :                                 task->tk_xprt->servername);
    2504                 :            :                 }
    2505                 :          0 :                 task->tk_flags &= ~RPC_CALL_MAJORSEEN;
    2506                 :            :         }
    2507                 :            : 
    2508                 :            :         /*
    2509                 :            :          * Ensure that we see all writes made by xprt_complete_rqst()
    2510                 :            :          * before it changed req->rq_reply_bytes_recvd.
    2511                 :            :          */
    2512                 :          0 :         smp_rmb();
    2513                 :            : 
    2514                 :            :         /*
    2515                 :            :          * Did we ever call xprt_complete_rqst()? If not, we should assume
    2516                 :            :          * the message is incomplete.
    2517                 :            :          */
    2518                 :            :         err = -EAGAIN;
    2519         [ #  # ]:          0 :         if (!req->rq_reply_bytes_recvd)
    2520                 :            :                 goto out;
    2521                 :            : 
    2522                 :          0 :         req->rq_rcv_buf.len = req->rq_private_buf.len;
    2523                 :            : 
    2524                 :            :         /* Check that the softirq receive buffer is valid */
    2525         [ #  # ]:          0 :         WARN_ON(memcmp(&req->rq_rcv_buf, &req->rq_private_buf,
    2526                 :            :                                 sizeof(req->rq_rcv_buf)) != 0);
    2527                 :            : 
    2528                 :          0 :         xdr_init_decode(&xdr, &req->rq_rcv_buf,
    2529                 :          0 :                         req->rq_rcv_buf.head[0].iov_base, req);
    2530                 :          0 :         err = rpc_decode_header(task, &xdr);
    2531                 :            : out:
    2532   [ #  #  #  # ]:          0 :         switch (err) {
    2533                 :            :         case 0:
    2534                 :          0 :                 task->tk_action = rpc_exit_task;
    2535                 :          0 :                 task->tk_status = rpcauth_unwrap_resp(task, &xdr);
    2536                 :            :                 dprintk("RPC: %5u %s result %d\n",
    2537                 :            :                         task->tk_pid, __func__, task->tk_status);
    2538                 :          0 :                 return;
    2539                 :            :         case -EAGAIN:
    2540                 :          0 :                 task->tk_status = 0;
    2541         [ #  # ]:          0 :                 if (task->tk_client->cl_discrtry)
    2542                 :          0 :                         xprt_conditional_disconnect(req->rq_xprt,
    2543                 :            :                                                     req->rq_connect_cookie);
    2544                 :          0 :                 task->tk_action = call_encode;
    2545                 :          0 :                 rpc_check_timeout(task);
    2546                 :          0 :                 break;
    2547                 :            :         case -EKEYREJECTED:
    2548                 :          0 :                 task->tk_action = call_reserve;
    2549                 :          0 :                 rpc_check_timeout(task);
    2550                 :          0 :                 rpcauth_invalcred(task);
    2551                 :            :                 /* Ensure we obtain a new XID if we retry! */
    2552                 :          0 :                 xprt_release(task);
    2553                 :            :         }
    2554                 :            : }
    2555                 :            : 
    2556                 :            : static int
    2557                 :          0 : rpc_encode_header(struct rpc_task *task, struct xdr_stream *xdr)
    2558                 :            : {
    2559                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    2560                 :          0 :         struct rpc_rqst *req = task->tk_rqstp;
    2561                 :            :         __be32 *p;
    2562                 :            :         int error;
    2563                 :            : 
    2564                 :            :         error = -EMSGSIZE;
    2565                 :          0 :         p = xdr_reserve_space(xdr, RPC_CALLHDRSIZE << 2);
    2566         [ #  # ]:          0 :         if (!p)
    2567                 :            :                 goto out_fail;
    2568                 :          0 :         *p++ = req->rq_xid;
    2569                 :          0 :         *p++ = rpc_call;
    2570                 :          0 :         *p++ = cpu_to_be32(RPC_VERSION);
    2571                 :          0 :         *p++ = cpu_to_be32(clnt->cl_prog);
    2572                 :          0 :         *p++ = cpu_to_be32(clnt->cl_vers);
    2573                 :          0 :         *p   = cpu_to_be32(task->tk_msg.rpc_proc->p_proc);
    2574                 :            : 
    2575                 :          0 :         error = rpcauth_marshcred(task, xdr);
    2576         [ #  # ]:          0 :         if (error < 0)
    2577                 :            :                 goto out_fail;
    2578                 :            :         return 0;
    2579                 :            : out_fail:
    2580                 :          0 :         trace_rpc_bad_callhdr(task);
    2581                 :            :         rpc_call_rpcerror(task, error);
    2582                 :          0 :         return error;
    2583                 :            : }
    2584                 :            : 
    2585                 :            : static noinline int
    2586                 :          0 : rpc_decode_header(struct rpc_task *task, struct xdr_stream *xdr)
    2587                 :            : {
    2588                 :          0 :         struct rpc_clnt *clnt = task->tk_client;
    2589                 :            :         int error;
    2590                 :            :         __be32 *p;
    2591                 :            : 
    2592                 :            :         /* RFC-1014 says that the representation of XDR data must be a
    2593                 :            :          * multiple of four bytes
    2594                 :            :          * - if it isn't pointer subtraction in the NFS client may give
    2595                 :            :          *   undefined results
    2596                 :            :          */
    2597         [ #  # ]:          0 :         if (task->tk_rqstp->rq_rcv_buf.len & 3)
    2598                 :            :                 goto out_unparsable;
    2599                 :            : 
    2600                 :          0 :         p = xdr_inline_decode(xdr, 3 * sizeof(*p));
    2601         [ #  # ]:          0 :         if (!p)
    2602                 :            :                 goto out_unparsable;
    2603                 :            :         p++;    /* skip XID */
    2604         [ #  # ]:          0 :         if (*p++ != rpc_reply)
    2605                 :            :                 goto out_unparsable;
    2606         [ #  # ]:          0 :         if (*p++ != rpc_msg_accepted)
    2607                 :            :                 goto out_msg_denied;
    2608                 :            : 
    2609                 :          0 :         error = rpcauth_checkverf(task, xdr);
    2610         [ #  # ]:          0 :         if (error)
    2611                 :            :                 goto out_verifier;
    2612                 :            : 
    2613                 :          0 :         p = xdr_inline_decode(xdr, sizeof(*p));
    2614         [ #  # ]:          0 :         if (!p)
    2615                 :            :                 goto out_unparsable;
    2616   [ #  #  #  #  :          0 :         switch (*p) {
                   #  # ]
    2617                 :            :         case rpc_success:
    2618                 :            :                 return 0;
    2619                 :            :         case rpc_prog_unavail:
    2620                 :          0 :                 trace_rpc__prog_unavail(task);
    2621                 :            :                 error = -EPFNOSUPPORT;
    2622                 :          0 :                 goto out_err;
    2623                 :            :         case rpc_prog_mismatch:
    2624                 :          0 :                 trace_rpc__prog_mismatch(task);
    2625                 :            :                 error = -EPROTONOSUPPORT;
    2626                 :          0 :                 goto out_err;
    2627                 :            :         case rpc_proc_unavail:
    2628                 :          0 :                 trace_rpc__proc_unavail(task);
    2629                 :            :                 error = -EOPNOTSUPP;
    2630                 :          0 :                 goto out_err;
    2631                 :            :         case rpc_garbage_args:
    2632                 :            :         case rpc_system_err:
    2633                 :          0 :                 trace_rpc__garbage_args(task);
    2634                 :            :                 error = -EIO;
    2635                 :          0 :                 break;
    2636                 :            :         default:
    2637                 :            :                 goto out_unparsable;
    2638                 :            :         }
    2639                 :            : 
    2640                 :            : out_garbage:
    2641                 :          0 :         clnt->cl_stats->rpcgarbage++;
    2642         [ #  # ]:          0 :         if (task->tk_garb_retry) {
    2643                 :          0 :                 task->tk_garb_retry--;
    2644                 :          0 :                 task->tk_action = call_encode;
    2645                 :          0 :                 return -EAGAIN;
    2646                 :            :         }
    2647                 :            : out_err:
    2648                 :            :         rpc_call_rpcerror(task, error);
    2649                 :          0 :         return error;
    2650                 :            : 
    2651                 :            : out_unparsable:
    2652                 :          0 :         trace_rpc__unparsable(task);
    2653                 :            :         error = -EIO;
    2654                 :          0 :         goto out_garbage;
    2655                 :            : 
    2656                 :            : out_verifier:
    2657                 :          0 :         trace_rpc_bad_verifier(task);
    2658                 :          0 :         goto out_garbage;
    2659                 :            : 
    2660                 :            : out_msg_denied:
    2661                 :            :         error = -EACCES;
    2662                 :          0 :         p = xdr_inline_decode(xdr, sizeof(*p));
    2663         [ #  # ]:          0 :         if (!p)
    2664                 :            :                 goto out_unparsable;
    2665      [ #  #  # ]:          0 :         switch (*p++) {
    2666                 :            :         case rpc_auth_error:
    2667                 :            :                 break;
    2668                 :            :         case rpc_mismatch:
    2669                 :          0 :                 trace_rpc__mismatch(task);
    2670                 :            :                 error = -EPROTONOSUPPORT;
    2671                 :          0 :                 goto out_err;
    2672                 :            :         default:
    2673                 :            :                 goto out_unparsable;
    2674                 :            :         }
    2675                 :            : 
    2676                 :          0 :         p = xdr_inline_decode(xdr, sizeof(*p));
    2677         [ #  # ]:          0 :         if (!p)
    2678                 :            :                 goto out_unparsable;
    2679   [ #  #  #  # ]:          0 :         switch (*p++) {
    2680                 :            :         case rpc_autherr_rejectedcred:
    2681                 :            :         case rpc_autherr_rejectedverf:
    2682                 :            :         case rpcsec_gsserr_credproblem:
    2683                 :            :         case rpcsec_gsserr_ctxproblem:
    2684         [ #  # ]:          0 :                 if (!task->tk_cred_retry)
    2685                 :            :                         break;
    2686                 :          0 :                 task->tk_cred_retry--;
    2687                 :          0 :                 trace_rpc__stale_creds(task);
    2688                 :          0 :                 return -EKEYREJECTED;
    2689                 :            :         case rpc_autherr_badcred:
    2690                 :            :         case rpc_autherr_badverf:
    2691                 :            :                 /* possibly garbled cred/verf? */
    2692         [ #  # ]:          0 :                 if (!task->tk_garb_retry)
    2693                 :            :                         break;
    2694                 :          0 :                 task->tk_garb_retry--;
    2695                 :          0 :                 trace_rpc__bad_creds(task);
    2696                 :          0 :                 task->tk_action = call_encode;
    2697                 :          0 :                 return -EAGAIN;
    2698                 :            :         case rpc_autherr_tooweak:
    2699                 :          0 :                 trace_rpc__auth_tooweak(task);
    2700                 :          0 :                 pr_warn("RPC: server %s requires stronger authentication.\n",
    2701                 :            :                         task->tk_xprt->servername);
    2702                 :          0 :                 break;
    2703                 :            :         default:
    2704                 :            :                 goto out_unparsable;
    2705                 :            :         }
    2706                 :            :         goto out_err;
    2707                 :            : }
    2708                 :            : 
    2709                 :          0 : static void rpcproc_encode_null(struct rpc_rqst *rqstp, struct xdr_stream *xdr,
    2710                 :            :                 const void *obj)
    2711                 :            : {
    2712                 :          0 : }
    2713                 :            : 
    2714                 :          0 : static int rpcproc_decode_null(struct rpc_rqst *rqstp, struct xdr_stream *xdr,
    2715                 :            :                 void *obj)
    2716                 :            : {
    2717                 :          0 :         return 0;
    2718                 :            : }
    2719                 :            : 
    2720                 :            : static const struct rpc_procinfo rpcproc_null = {
    2721                 :            :         .p_encode = rpcproc_encode_null,
    2722                 :            :         .p_decode = rpcproc_decode_null,
    2723                 :            : };
    2724                 :            : 
    2725                 :          0 : static int rpc_ping(struct rpc_clnt *clnt)
    2726                 :            : {
    2727                 :          0 :         struct rpc_message msg = {
    2728                 :            :                 .rpc_proc = &rpcproc_null,
    2729                 :            :         };
    2730                 :            :         int err;
    2731                 :          0 :         err = rpc_call_sync(clnt, &msg, RPC_TASK_SOFT | RPC_TASK_SOFTCONN |
    2732                 :            :                             RPC_TASK_NULLCREDS);
    2733                 :          0 :         return err;
    2734                 :            : }
    2735                 :            : 
    2736                 :            : static
    2737                 :          0 : struct rpc_task *rpc_call_null_helper(struct rpc_clnt *clnt,
    2738                 :            :                 struct rpc_xprt *xprt, struct rpc_cred *cred, int flags,
    2739                 :            :                 const struct rpc_call_ops *ops, void *data)
    2740                 :            : {
    2741                 :          0 :         struct rpc_message msg = {
    2742                 :            :                 .rpc_proc = &rpcproc_null,
    2743                 :            :         };
    2744                 :          0 :         struct rpc_task_setup task_setup_data = {
    2745                 :            :                 .rpc_client = clnt,
    2746                 :            :                 .rpc_xprt = xprt,
    2747                 :            :                 .rpc_message = &msg,
    2748                 :            :                 .rpc_op_cred = cred,
    2749         [ #  # ]:          0 :                 .callback_ops = (ops != NULL) ? ops : &rpc_default_ops,
    2750                 :            :                 .callback_data = data,
    2751                 :            :                 .flags = flags | RPC_TASK_NULLCREDS,
    2752                 :            :         };
    2753                 :            : 
    2754                 :          0 :         return rpc_run_task(&task_setup_data);
    2755                 :            : }
    2756                 :            : 
    2757                 :          0 : struct rpc_task *rpc_call_null(struct rpc_clnt *clnt, struct rpc_cred *cred, int flags)
    2758                 :            : {
    2759                 :          0 :         return rpc_call_null_helper(clnt, NULL, cred, flags, NULL, NULL);
    2760                 :            : }
    2761                 :            : EXPORT_SYMBOL_GPL(rpc_call_null);
    2762                 :            : 
    2763                 :            : struct rpc_cb_add_xprt_calldata {
    2764                 :            :         struct rpc_xprt_switch *xps;
    2765                 :            :         struct rpc_xprt *xprt;
    2766                 :            : };
    2767                 :            : 
    2768                 :          0 : static void rpc_cb_add_xprt_done(struct rpc_task *task, void *calldata)
    2769                 :            : {
    2770                 :            :         struct rpc_cb_add_xprt_calldata *data = calldata;
    2771                 :            : 
    2772         [ #  # ]:          0 :         if (task->tk_status == 0)
    2773                 :          0 :                 rpc_xprt_switch_add_xprt(data->xps, data->xprt);
    2774                 :          0 : }
    2775                 :            : 
    2776                 :          0 : static void rpc_cb_add_xprt_release(void *calldata)
    2777                 :            : {
    2778                 :            :         struct rpc_cb_add_xprt_calldata *data = calldata;
    2779                 :            : 
    2780                 :          0 :         xprt_put(data->xprt);
    2781                 :          0 :         xprt_switch_put(data->xps);
    2782                 :          0 :         kfree(data);
    2783                 :          0 : }
    2784                 :            : 
    2785                 :            : static const struct rpc_call_ops rpc_cb_add_xprt_call_ops = {
    2786                 :            :         .rpc_call_done = rpc_cb_add_xprt_done,
    2787                 :            :         .rpc_release = rpc_cb_add_xprt_release,
    2788                 :            : };
    2789                 :            : 
    2790                 :            : /**
    2791                 :            :  * rpc_clnt_test_and_add_xprt - Test and add a new transport to a rpc_clnt
    2792                 :            :  * @clnt: pointer to struct rpc_clnt
    2793                 :            :  * @xps: pointer to struct rpc_xprt_switch,
    2794                 :            :  * @xprt: pointer struct rpc_xprt
    2795                 :            :  * @dummy: unused
    2796                 :            :  */
    2797                 :          0 : int rpc_clnt_test_and_add_xprt(struct rpc_clnt *clnt,
    2798                 :            :                 struct rpc_xprt_switch *xps, struct rpc_xprt *xprt,
    2799                 :            :                 void *dummy)
    2800                 :            : {
    2801                 :            :         struct rpc_cb_add_xprt_calldata *data;
    2802                 :            :         struct rpc_task *task;
    2803                 :            : 
    2804                 :            :         data = kmalloc(sizeof(*data), GFP_NOFS);
    2805         [ #  # ]:          0 :         if (!data)
    2806                 :            :                 return -ENOMEM;
    2807                 :          0 :         data->xps = xprt_switch_get(xps);
    2808                 :          0 :         data->xprt = xprt_get(xprt);
    2809         [ #  # ]:          0 :         if (rpc_xprt_switch_has_addr(data->xps, (struct sockaddr *)&xprt->addr)) {
    2810                 :          0 :                 rpc_cb_add_xprt_release(data);
    2811                 :          0 :                 goto success;
    2812                 :            :         }
    2813                 :            : 
    2814                 :          0 :         task = rpc_call_null_helper(clnt, xprt, NULL,
    2815                 :            :                         RPC_TASK_SOFT|RPC_TASK_SOFTCONN|RPC_TASK_ASYNC|RPC_TASK_NULLCREDS,
    2816                 :            :                         &rpc_cb_add_xprt_call_ops, data);
    2817         [ #  # ]:          0 :         if (IS_ERR(task))
    2818                 :          0 :                 return PTR_ERR(task);
    2819                 :          0 :         rpc_put_task(task);
    2820                 :            : success:
    2821                 :            :         return 1;
    2822                 :            : }
    2823                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_test_and_add_xprt);
    2824                 :            : 
    2825                 :            : /**
    2826                 :            :  * rpc_clnt_setup_test_and_add_xprt()
    2827                 :            :  *
    2828                 :            :  * This is an rpc_clnt_add_xprt setup() function which returns 1 so:
    2829                 :            :  *   1) caller of the test function must dereference the rpc_xprt_switch
    2830                 :            :  *   and the rpc_xprt.
    2831                 :            :  *   2) test function must call rpc_xprt_switch_add_xprt, usually in
    2832                 :            :  *   the rpc_call_done routine.
    2833                 :            :  *
    2834                 :            :  * Upon success (return of 1), the test function adds the new
    2835                 :            :  * transport to the rpc_clnt xprt switch
    2836                 :            :  *
    2837                 :            :  * @clnt: struct rpc_clnt to get the new transport
    2838                 :            :  * @xps:  the rpc_xprt_switch to hold the new transport
    2839                 :            :  * @xprt: the rpc_xprt to test
    2840                 :            :  * @data: a struct rpc_add_xprt_test pointer that holds the test function
    2841                 :            :  *        and test function call data
    2842                 :            :  */
    2843                 :          0 : int rpc_clnt_setup_test_and_add_xprt(struct rpc_clnt *clnt,
    2844                 :            :                                      struct rpc_xprt_switch *xps,
    2845                 :            :                                      struct rpc_xprt *xprt,
    2846                 :            :                                      void *data)
    2847                 :            : {
    2848                 :            :         struct rpc_task *task;
    2849                 :            :         struct rpc_add_xprt_test *xtest = (struct rpc_add_xprt_test *)data;
    2850                 :            :         int status = -EADDRINUSE;
    2851                 :            : 
    2852                 :          0 :         xprt = xprt_get(xprt);
    2853                 :          0 :         xprt_switch_get(xps);
    2854                 :            : 
    2855         [ #  # ]:          0 :         if (rpc_xprt_switch_has_addr(xps, (struct sockaddr *)&xprt->addr))
    2856                 :            :                 goto out_err;
    2857                 :            : 
    2858                 :            :         /* Test the connection */
    2859                 :          0 :         task = rpc_call_null_helper(clnt, xprt, NULL,
    2860                 :            :                                     RPC_TASK_SOFT | RPC_TASK_SOFTCONN | RPC_TASK_NULLCREDS,
    2861                 :            :                                     NULL, NULL);
    2862         [ #  # ]:          0 :         if (IS_ERR(task)) {
    2863                 :            :                 status = PTR_ERR(task);
    2864                 :          0 :                 goto out_err;
    2865                 :            :         }
    2866                 :          0 :         status = task->tk_status;
    2867                 :          0 :         rpc_put_task(task);
    2868                 :            : 
    2869         [ #  # ]:          0 :         if (status < 0)
    2870                 :            :                 goto out_err;
    2871                 :            : 
    2872                 :            :         /* rpc_xprt_switch and rpc_xprt are deferrenced by add_xprt_test() */
    2873                 :          0 :         xtest->add_xprt_test(clnt, xprt, xtest->data);
    2874                 :            : 
    2875                 :          0 :         xprt_put(xprt);
    2876                 :          0 :         xprt_switch_put(xps);
    2877                 :            : 
    2878                 :            :         /* so that rpc_clnt_add_xprt does not call rpc_xprt_switch_add_xprt */
    2879                 :          0 :         return 1;
    2880                 :            : out_err:
    2881                 :          0 :         xprt_put(xprt);
    2882                 :          0 :         xprt_switch_put(xps);
    2883                 :          0 :         pr_info("RPC:   rpc_clnt_test_xprt failed: %d addr %s not added\n",
    2884                 :            :                 status, xprt->address_strings[RPC_DISPLAY_ADDR]);
    2885                 :          0 :         return status;
    2886                 :            : }
    2887                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_setup_test_and_add_xprt);
    2888                 :            : 
    2889                 :            : /**
    2890                 :            :  * rpc_clnt_add_xprt - Add a new transport to a rpc_clnt
    2891                 :            :  * @clnt: pointer to struct rpc_clnt
    2892                 :            :  * @xprtargs: pointer to struct xprt_create
    2893                 :            :  * @setup: callback to test and/or set up the connection
    2894                 :            :  * @data: pointer to setup function data
    2895                 :            :  *
    2896                 :            :  * Creates a new transport using the parameters set in args and
    2897                 :            :  * adds it to clnt.
    2898                 :            :  * If ping is set, then test that connectivity succeeds before
    2899                 :            :  * adding the new transport.
    2900                 :            :  *
    2901                 :            :  */
    2902                 :          0 : int rpc_clnt_add_xprt(struct rpc_clnt *clnt,
    2903                 :            :                 struct xprt_create *xprtargs,
    2904                 :            :                 int (*setup)(struct rpc_clnt *,
    2905                 :            :                         struct rpc_xprt_switch *,
    2906                 :            :                         struct rpc_xprt *,
    2907                 :            :                         void *),
    2908                 :            :                 void *data)
    2909                 :            : {
    2910                 :            :         struct rpc_xprt_switch *xps;
    2911                 :            :         struct rpc_xprt *xprt;
    2912                 :            :         unsigned long connect_timeout;
    2913                 :            :         unsigned long reconnect_timeout;
    2914                 :            :         unsigned char resvport;
    2915                 :            :         int ret = 0;
    2916                 :            : 
    2917                 :            :         rcu_read_lock();
    2918                 :          0 :         xps = xprt_switch_get(rcu_dereference(clnt->cl_xpi.xpi_xpswitch));
    2919                 :          0 :         xprt = xprt_iter_xprt(&clnt->cl_xpi);
    2920         [ #  # ]:          0 :         if (xps == NULL || xprt == NULL) {
    2921                 :            :                 rcu_read_unlock();
    2922                 :          0 :                 xprt_switch_put(xps);
    2923                 :          0 :                 return -EAGAIN;
    2924                 :            :         }
    2925                 :          0 :         resvport = xprt->resvport;
    2926                 :          0 :         connect_timeout = xprt->connect_timeout;
    2927                 :          0 :         reconnect_timeout = xprt->max_reconnect_timeout;
    2928                 :            :         rcu_read_unlock();
    2929                 :            : 
    2930                 :          0 :         xprt = xprt_create_transport(xprtargs);
    2931         [ #  # ]:          0 :         if (IS_ERR(xprt)) {
    2932                 :            :                 ret = PTR_ERR(xprt);
    2933                 :          0 :                 goto out_put_switch;
    2934                 :            :         }
    2935                 :          0 :         xprt->resvport = resvport;
    2936         [ #  # ]:          0 :         if (xprt->ops->set_connect_timeout != NULL)
    2937                 :          0 :                 xprt->ops->set_connect_timeout(xprt,
    2938                 :            :                                 connect_timeout,
    2939                 :            :                                 reconnect_timeout);
    2940                 :            : 
    2941                 :          0 :         rpc_xprt_switch_set_roundrobin(xps);
    2942         [ #  # ]:          0 :         if (setup) {
    2943                 :          0 :                 ret = setup(clnt, xps, xprt, data);
    2944         [ #  # ]:          0 :                 if (ret != 0)
    2945                 :            :                         goto out_put_xprt;
    2946                 :            :         }
    2947                 :          0 :         rpc_xprt_switch_add_xprt(xps, xprt);
    2948                 :            : out_put_xprt:
    2949                 :          0 :         xprt_put(xprt);
    2950                 :            : out_put_switch:
    2951                 :          0 :         xprt_switch_put(xps);
    2952                 :          0 :         return ret;
    2953                 :            : }
    2954                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_add_xprt);
    2955                 :            : 
    2956                 :            : struct connect_timeout_data {
    2957                 :            :         unsigned long connect_timeout;
    2958                 :            :         unsigned long reconnect_timeout;
    2959                 :            : };
    2960                 :            : 
    2961                 :            : static int
    2962                 :          0 : rpc_xprt_set_connect_timeout(struct rpc_clnt *clnt,
    2963                 :            :                 struct rpc_xprt *xprt,
    2964                 :            :                 void *data)
    2965                 :            : {
    2966                 :            :         struct connect_timeout_data *timeo = data;
    2967                 :            : 
    2968         [ #  # ]:          0 :         if (xprt->ops->set_connect_timeout)
    2969                 :          0 :                 xprt->ops->set_connect_timeout(xprt,
    2970                 :            :                                 timeo->connect_timeout,
    2971                 :            :                                 timeo->reconnect_timeout);
    2972                 :          0 :         return 0;
    2973                 :            : }
    2974                 :            : 
    2975                 :            : void
    2976                 :          0 : rpc_set_connect_timeout(struct rpc_clnt *clnt,
    2977                 :            :                 unsigned long connect_timeout,
    2978                 :            :                 unsigned long reconnect_timeout)
    2979                 :            : {
    2980                 :          0 :         struct connect_timeout_data timeout = {
    2981                 :            :                 .connect_timeout = connect_timeout,
    2982                 :            :                 .reconnect_timeout = reconnect_timeout,
    2983                 :            :         };
    2984                 :          0 :         rpc_clnt_iterate_for_each_xprt(clnt,
    2985                 :            :                         rpc_xprt_set_connect_timeout,
    2986                 :            :                         &timeout);
    2987                 :          0 : }
    2988                 :            : EXPORT_SYMBOL_GPL(rpc_set_connect_timeout);
    2989                 :            : 
    2990                 :          0 : void rpc_clnt_xprt_switch_put(struct rpc_clnt *clnt)
    2991                 :            : {
    2992                 :            :         rcu_read_lock();
    2993                 :          0 :         xprt_switch_put(rcu_dereference(clnt->cl_xpi.xpi_xpswitch));
    2994                 :            :         rcu_read_unlock();
    2995                 :          0 : }
    2996                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_xprt_switch_put);
    2997                 :            : 
    2998                 :          0 : void rpc_clnt_xprt_switch_add_xprt(struct rpc_clnt *clnt, struct rpc_xprt *xprt)
    2999                 :            : {
    3000                 :            :         rcu_read_lock();
    3001                 :          0 :         rpc_xprt_switch_add_xprt(rcu_dereference(clnt->cl_xpi.xpi_xpswitch),
    3002                 :            :                                  xprt);
    3003                 :            :         rcu_read_unlock();
    3004                 :          0 : }
    3005                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_xprt_switch_add_xprt);
    3006                 :            : 
    3007                 :          0 : bool rpc_clnt_xprt_switch_has_addr(struct rpc_clnt *clnt,
    3008                 :            :                                    const struct sockaddr *sap)
    3009                 :            : {
    3010                 :            :         struct rpc_xprt_switch *xps;
    3011                 :            :         bool ret;
    3012                 :            : 
    3013                 :            :         rcu_read_lock();
    3014                 :          0 :         xps = rcu_dereference(clnt->cl_xpi.xpi_xpswitch);
    3015                 :          0 :         ret = rpc_xprt_switch_has_addr(xps, sap);
    3016                 :            :         rcu_read_unlock();
    3017                 :          0 :         return ret;
    3018                 :            : }
    3019                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_xprt_switch_has_addr);
    3020                 :            : 
    3021                 :            : #if IS_ENABLED(CONFIG_SUNRPC_DEBUG)
    3022                 :            : static void rpc_show_header(void)
    3023                 :            : {
    3024                 :            :         printk(KERN_INFO "-pid- flgs status -client- --rqstp- "
    3025                 :            :                 "-timeout ---ops--\n");
    3026                 :            : }
    3027                 :            : 
    3028                 :            : static void rpc_show_task(const struct rpc_clnt *clnt,
    3029                 :            :                           const struct rpc_task *task)
    3030                 :            : {
    3031                 :            :         const char *rpc_waitq = "none";
    3032                 :            : 
    3033                 :            :         if (RPC_IS_QUEUED(task))
    3034                 :            :                 rpc_waitq = rpc_qname(task->tk_waitqueue);
    3035                 :            : 
    3036                 :            :         printk(KERN_INFO "%5u %04x %6d %8p %8p %8ld %8p %sv%u %s a:%ps q:%s\n",
    3037                 :            :                 task->tk_pid, task->tk_flags, task->tk_status,
    3038                 :            :                 clnt, task->tk_rqstp, rpc_task_timeout(task), task->tk_ops,
    3039                 :            :                 clnt->cl_program->name, clnt->cl_vers, rpc_proc_name(task),
    3040                 :            :                 task->tk_action, rpc_waitq);
    3041                 :            : }
    3042                 :            : 
    3043                 :            : void rpc_show_tasks(struct net *net)
    3044                 :            : {
    3045                 :            :         struct rpc_clnt *clnt;
    3046                 :            :         struct rpc_task *task;
    3047                 :            :         int header = 0;
    3048                 :            :         struct sunrpc_net *sn = net_generic(net, sunrpc_net_id);
    3049                 :            : 
    3050                 :            :         spin_lock(&sn->rpc_client_lock);
    3051                 :            :         list_for_each_entry(clnt, &sn->all_clients, cl_clients) {
    3052                 :            :                 spin_lock(&clnt->cl_lock);
    3053                 :            :                 list_for_each_entry(task, &clnt->cl_tasks, tk_task) {
    3054                 :            :                         if (!header) {
    3055                 :            :                                 rpc_show_header();
    3056                 :            :                                 header++;
    3057                 :            :                         }
    3058                 :            :                         rpc_show_task(clnt, task);
    3059                 :            :                 }
    3060                 :            :                 spin_unlock(&clnt->cl_lock);
    3061                 :            :         }
    3062                 :            :         spin_unlock(&sn->rpc_client_lock);
    3063                 :            : }
    3064                 :            : #endif
    3065                 :            : 
    3066                 :            : #if IS_ENABLED(CONFIG_SUNRPC_SWAP)
    3067                 :            : static int
    3068                 :          0 : rpc_clnt_swap_activate_callback(struct rpc_clnt *clnt,
    3069                 :            :                 struct rpc_xprt *xprt,
    3070                 :            :                 void *dummy)
    3071                 :            : {
    3072                 :          0 :         return xprt_enable_swap(xprt);
    3073                 :            : }
    3074                 :            : 
    3075                 :            : int
    3076                 :          0 : rpc_clnt_swap_activate(struct rpc_clnt *clnt)
    3077                 :            : {
    3078         [ #  # ]:          0 :         if (atomic_inc_return(&clnt->cl_swapper) == 1)
    3079                 :          0 :                 return rpc_clnt_iterate_for_each_xprt(clnt,
    3080                 :            :                                 rpc_clnt_swap_activate_callback, NULL);
    3081                 :            :         return 0;
    3082                 :            : }
    3083                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_swap_activate);
    3084                 :            : 
    3085                 :            : static int
    3086                 :          0 : rpc_clnt_swap_deactivate_callback(struct rpc_clnt *clnt,
    3087                 :            :                 struct rpc_xprt *xprt,
    3088                 :            :                 void *dummy)
    3089                 :            : {
    3090                 :            :         xprt_disable_swap(xprt);
    3091                 :          0 :         return 0;
    3092                 :            : }
    3093                 :            : 
    3094                 :            : void
    3095                 :          0 : rpc_clnt_swap_deactivate(struct rpc_clnt *clnt)
    3096                 :            : {
    3097         [ #  # ]:          0 :         if (atomic_dec_if_positive(&clnt->cl_swapper) == 0)
    3098                 :          0 :                 rpc_clnt_iterate_for_each_xprt(clnt,
    3099                 :            :                                 rpc_clnt_swap_deactivate_callback, NULL);
    3100                 :          0 : }
    3101                 :            : EXPORT_SYMBOL_GPL(rpc_clnt_swap_deactivate);
    3102                 :            : #endif /* CONFIG_SUNRPC_SWAP */

Generated by: LCOV version 1.14