Branch data     Line data    Source code

       1                 :            : // SPDX-License-Identifier: GPL-2.0-or-later
       2                 :            : /* FS-Cache cache handling
       3                 :            :  *
       4                 :            :  * Copyright (C) 2007 Red Hat, Inc. All Rights Reserved.
       5                 :            :  * Written by David Howells (dhowells@redhat.com)
       6                 :            :  */
       7                 :            : 
       8                 :            : #define FSCACHE_DEBUG_LEVEL CACHE
       9                 :            : #include <linux/module.h>
      10                 :            : #include <linux/slab.h>
      11                 :            : #include "internal.h"
      12                 :            : 
      13                 :            : LIST_HEAD(fscache_cache_list);
      14                 :            : DECLARE_RWSEM(fscache_addremove_sem);
      15                 :            : DECLARE_WAIT_QUEUE_HEAD(fscache_cache_cleared_wq);
      16                 :            : EXPORT_SYMBOL(fscache_cache_cleared_wq);
      17                 :            : 
      18                 :            : static LIST_HEAD(fscache_cache_tag_list);
      19                 :            : 
      20                 :            : /*
      21                 :            :  * look up a cache tag
      22                 :            :  */
      23                 :          0 : struct fscache_cache_tag *__fscache_lookup_cache_tag(const char *name)
      24                 :            : {
      25                 :            :         struct fscache_cache_tag *tag, *xtag;
      26                 :            : 
      27                 :            :         /* firstly check for the existence of the tag under read lock */
      28                 :          0 :         down_read(&fscache_addremove_sem);
      29                 :            : 
      30                 :          0 :         list_for_each_entry(tag, &fscache_cache_tag_list, link) {
      31                 :          0 :                 if (strcmp(tag->name, name) == 0) {
      32                 :          0 :                         atomic_inc(&tag->usage);
      33                 :          0 :                         up_read(&fscache_addremove_sem);
      34                 :          0 :                         return tag;
      35                 :            :                 }
      36                 :            :         }
      37                 :            : 
      38                 :          0 :         up_read(&fscache_addremove_sem);
      39                 :            : 
      40                 :            :         /* the tag does not exist - create a candidate */
      41                 :          0 :         xtag = kzalloc(sizeof(*xtag) + strlen(name) + 1, GFP_KERNEL);
      42                 :          0 :         if (!xtag)
      43                 :            :                 /* return a dummy tag if out of memory */
      44                 :            :                 return ERR_PTR(-ENOMEM);
      45                 :            : 
      46                 :            :         atomic_set(&xtag->usage, 1);
      47                 :          0 :         strcpy(xtag->name, name);
      48                 :            : 
      49                 :            :         /* write lock, search again and add if still not present */
      50                 :          0 :         down_write(&fscache_addremove_sem);
      51                 :            : 
      52                 :          0 :         list_for_each_entry(tag, &fscache_cache_tag_list, link) {
      53                 :          0 :                 if (strcmp(tag->name, name) == 0) {
      54                 :          0 :                         atomic_inc(&tag->usage);
      55                 :          0 :                         up_write(&fscache_addremove_sem);
      56                 :          0 :                         kfree(xtag);
      57                 :          0 :                         return tag;
      58                 :            :                 }
      59                 :            :         }
      60                 :            : 
      61                 :          0 :         list_add_tail(&xtag->link, &fscache_cache_tag_list);
      62                 :          0 :         up_write(&fscache_addremove_sem);
      63                 :          0 :         return xtag;
      64                 :            : }
      65                 :            : 
      66                 :            : /*
      67                 :            :  * release a reference to a cache tag
      68                 :            :  */
      69                 :          0 : void __fscache_release_cache_tag(struct fscache_cache_tag *tag)
      70                 :            : {
      71                 :          0 :         if (tag != ERR_PTR(-ENOMEM)) {
      72                 :          0 :                 down_write(&fscache_addremove_sem);
      73                 :            : 
      74                 :          0 :                 if (atomic_dec_and_test(&tag->usage))
      75                 :          0 :                         list_del_init(&tag->link);
      76                 :            :                 else
      77                 :            :                         tag = NULL;
      78                 :            : 
      79                 :          0 :                 up_write(&fscache_addremove_sem);
      80                 :            : 
      81                 :          0 :                 kfree(tag);
      82                 :            :         }
      83                 :          0 : }
      84                 :            : 
      85                 :            : /*
      86                 :            :  * select a cache in which to store an object
      87                 :            :  * - the cache addremove semaphore must be at least read-locked by the caller
      88                 :            :  * - the object will never be an index
      89                 :            :  */
      90                 :          0 : struct fscache_cache *fscache_select_cache_for_object(
      91                 :            :         struct fscache_cookie *cookie)
      92                 :            : {
      93                 :            :         struct fscache_cache_tag *tag;
      94                 :            :         struct fscache_object *object;
      95                 :            :         struct fscache_cache *cache;
      96                 :            : 
      97                 :            :         _enter("");
      98                 :            : 
      99                 :          0 :         if (list_empty(&fscache_cache_list)) {
     100                 :            :                 _leave(" = NULL [no cache]");
     101                 :            :                 return NULL;
     102                 :            :         }
     103                 :            : 
     104                 :            :         /* we check the parent to determine the cache to use */
     105                 :            :         spin_lock(&cookie->lock);
     106                 :            : 
     107                 :            :         /* the first in the parent's backing list should be the preferred
     108                 :            :          * cache */
     109                 :          0 :         if (!hlist_empty(&cookie->backing_objects)) {
     110                 :          0 :                 object = hlist_entry(cookie->backing_objects.first,
     111                 :            :                                      struct fscache_object, cookie_link);
     112                 :            : 
     113                 :          0 :                 cache = object->cache;
     114                 :          0 :                 if (fscache_object_is_dying(object) ||
     115                 :            :                     test_bit(FSCACHE_IOERROR, &cache->flags))
     116                 :            :                         cache = NULL;
     117                 :            : 
     118                 :            :                 spin_unlock(&cookie->lock);
     119                 :            :                 _leave(" = %p [parent]", cache);
     120                 :          0 :                 return cache;
     121                 :            :         }
     122                 :            : 
     123                 :            :         /* the parent is unbacked */
     124                 :          0 :         if (cookie->type != FSCACHE_COOKIE_TYPE_INDEX) {
     125                 :            :                 /* cookie not an index and is unbacked */
     126                 :            :                 spin_unlock(&cookie->lock);
     127                 :            :                 _leave(" = NULL [cookie ub,ni]");
     128                 :          0 :                 return NULL;
     129                 :            :         }
     130                 :            : 
     131                 :            :         spin_unlock(&cookie->lock);
     132                 :            : 
     133                 :          0 :         if (!cookie->def->select_cache)
     134                 :            :                 goto no_preference;
     135                 :            : 
     136                 :            :         /* ask the netfs for its preference */
     137                 :          0 :         tag = cookie->def->select_cache(cookie->parent->netfs_data,
     138                 :          0 :                                         cookie->netfs_data);
     139                 :          0 :         if (!tag)
     140                 :            :                 goto no_preference;
     141                 :            : 
     142                 :          0 :         if (tag == ERR_PTR(-ENOMEM)) {
     143                 :            :                 _leave(" = NULL [nomem tag]");
     144                 :            :                 return NULL;
     145                 :            :         }
     146                 :            : 
     147                 :          0 :         if (!tag->cache) {
     148                 :            :                 _leave(" = NULL [unbacked tag]");
     149                 :            :                 return NULL;
     150                 :            :         }
     151                 :            : 
     152                 :          0 :         if (test_bit(FSCACHE_IOERROR, &tag->cache->flags))
     153                 :            :                 return NULL;
     154                 :            : 
     155                 :            :         _leave(" = %p [specific]", tag->cache);
     156                 :          0 :         return tag->cache;
     157                 :            : 
     158                 :            : no_preference:
     159                 :            :         /* netfs has no preference - just select first cache */
     160                 :          0 :         cache = list_entry(fscache_cache_list.next,
     161                 :            :                            struct fscache_cache, link);
     162                 :            :         _leave(" = %p [first]", cache);
     163                 :          0 :         return cache;
     164                 :            : }
     165                 :            : 
     166                 :            : /**
     167                 :            :  * fscache_init_cache - Initialise a cache record
     168                 :            :  * @cache: The cache record to be initialised
     169                 :            :  * @ops: The cache operations to be installed in that record
     170                 :            :  * @idfmt: Format string to define identifier
     171                 :            :  * @...: sprintf-style arguments
     172                 :            :  *
     173                 :            :  * Initialise a record of a cache and fill in the name.
     174                 :            :  *
     175                 :            :  * See Documentation/filesystems/caching/backend-api.txt for a complete
     176                 :            :  * description.
     177                 :            :  */
     178                 :          0 : void fscache_init_cache(struct fscache_cache *cache,
     179                 :            :                         const struct fscache_cache_ops *ops,
     180                 :            :                         const char *idfmt,
     181                 :            :                         ...)
     182                 :            : {
     183                 :            :         va_list va;
     184                 :            : 
     185                 :          0 :         memset(cache, 0, sizeof(*cache));
     186                 :            : 
     187                 :          0 :         cache->ops = ops;
     188                 :            : 
     189                 :          0 :         va_start(va, idfmt);
     190                 :          0 :         vsnprintf(cache->identifier, sizeof(cache->identifier), idfmt, va);
     191                 :          0 :         va_end(va);
     192                 :            : 
     193                 :          0 :         INIT_WORK(&cache->op_gc, fscache_operation_gc);
     194                 :          0 :         INIT_LIST_HEAD(&cache->link);
     195                 :          0 :         INIT_LIST_HEAD(&cache->object_list);
     196                 :          0 :         INIT_LIST_HEAD(&cache->op_gc_list);
     197                 :          0 :         spin_lock_init(&cache->object_list_lock);
     198                 :          0 :         spin_lock_init(&cache->op_gc_list_lock);
     199                 :          0 : }
     200                 :            : EXPORT_SYMBOL(fscache_init_cache);
     201                 :            : 
     202                 :            : /**
     203                 :            :  * fscache_add_cache - Declare a cache as being open for business
     204                 :            :  * @cache: The record describing the cache
     205                 :            :  * @ifsdef: The record of the cache object describing the top-level index
     206                 :            :  * @tagname: The tag describing this cache
     207                 :            :  *
     208                 :            :  * Add a cache to the system, making it available for netfs's to use.
     209                 :            :  *
     210                 :            :  * See Documentation/filesystems/caching/backend-api.txt for a complete
     211                 :            :  * description.
     212                 :            :  */
     213                 :          0 : int fscache_add_cache(struct fscache_cache *cache,
     214                 :            :                       struct fscache_object *ifsdef,
     215                 :            :                       const char *tagname)
     216                 :            : {
     217                 :            :         struct fscache_cache_tag *tag;
     218                 :            : 
     219                 :          0 :         ASSERTCMP(ifsdef->cookie, ==, &fscache_fsdef_index);
     220                 :          0 :         BUG_ON(!cache->ops);
     221                 :          0 :         BUG_ON(!ifsdef);
     222                 :            : 
     223                 :          0 :         cache->flags = 0;
     224                 :          0 :         ifsdef->event_mask =
     225                 :            :                 ((1 << NR_FSCACHE_OBJECT_EVENTS) - 1) &
     226                 :            :                 ~(1 << FSCACHE_OBJECT_EV_CLEARED);
     227                 :            :         __set_bit(FSCACHE_OBJECT_IS_AVAILABLE, &ifsdef->flags);
     228                 :            : 
     229                 :          0 :         if (!tagname)
     230                 :          0 :                 tagname = cache->identifier;
     231                 :            : 
     232                 :          0 :         BUG_ON(!tagname[0]);
     233                 :            : 
     234                 :            :         _enter("{%s.%s},,%s", cache->ops->name, cache->identifier, tagname);
     235                 :            : 
     236                 :            :         /* we use the cache tag to uniquely identify caches */
     237                 :          0 :         tag = __fscache_lookup_cache_tag(tagname);
     238                 :          0 :         if (IS_ERR(tag))
     239                 :            :                 goto nomem;
     240                 :            : 
     241                 :          0 :         if (test_and_set_bit(FSCACHE_TAG_RESERVED, &tag->flags))
     242                 :            :                 goto tag_in_use;
     243                 :            : 
     244                 :          0 :         cache->kobj = kobject_create_and_add(tagname, fscache_root);
     245                 :          0 :         if (!cache->kobj)
     246                 :            :                 goto error;
     247                 :            : 
     248                 :          0 :         ifsdef->cache = cache;
     249                 :          0 :         cache->fsdef = ifsdef;
     250                 :            : 
     251                 :          0 :         down_write(&fscache_addremove_sem);
     252                 :            : 
     253                 :          0 :         tag->cache = cache;
     254                 :          0 :         cache->tag = tag;
     255                 :            : 
     256                 :            :         /* add the cache to the list */
     257                 :          0 :         list_add(&cache->link, &fscache_cache_list);
     258                 :            : 
     259                 :            :         /* add the cache's netfs definition index object to the cache's
     260                 :            :          * list */
     261                 :            :         spin_lock(&cache->object_list_lock);
     262                 :          0 :         list_add_tail(&ifsdef->cache_link, &cache->object_list);
     263                 :            :         spin_unlock(&cache->object_list_lock);
     264                 :            :         fscache_objlist_add(ifsdef);
     265                 :            : 
     266                 :            :         /* add the cache's netfs definition index object to the top level index
     267                 :            :          * cookie as a known backing object */
     268                 :            :         spin_lock(&fscache_fsdef_index.lock);
     269                 :            : 
     270                 :          0 :         hlist_add_head(&ifsdef->cookie_link,
     271                 :            :                        &fscache_fsdef_index.backing_objects);
     272                 :            : 
     273                 :            :         atomic_inc(&fscache_fsdef_index.usage);
     274                 :            : 
     275                 :            :         /* done */
     276                 :            :         spin_unlock(&fscache_fsdef_index.lock);
     277                 :          0 :         up_write(&fscache_addremove_sem);
     278                 :            : 
     279                 :          0 :         pr_notice("Cache \"%s\" added (type %s)\n",
     280                 :            :                   cache->tag->name, cache->ops->name);
     281                 :          0 :         kobject_uevent(cache->kobj, KOBJ_ADD);
     282                 :            : 
     283                 :            :         _leave(" = 0 [%s]", cache->identifier);
     284                 :          0 :         return 0;
     285                 :            : 
     286                 :            : tag_in_use:
     287                 :          0 :         pr_err("Cache tag '%s' already in use\n", tagname);
     288                 :          0 :         __fscache_release_cache_tag(tag);
     289                 :            :         _leave(" = -EXIST");
     290                 :          0 :         return -EEXIST;
     291                 :            : 
     292                 :            : error:
     293                 :          0 :         __fscache_release_cache_tag(tag);
     294                 :            :         _leave(" = -EINVAL");
     295                 :          0 :         return -EINVAL;
     296                 :            : 
     297                 :            : nomem:
     298                 :            :         _leave(" = -ENOMEM");
     299                 :            :         return -ENOMEM;
     300                 :            : }
     301                 :            : EXPORT_SYMBOL(fscache_add_cache);
     302                 :            : 
     303                 :            : /**
     304                 :            :  * fscache_io_error - Note a cache I/O error
     305                 :            :  * @cache: The record describing the cache
     306                 :            :  *
     307                 :            :  * Note that an I/O error occurred in a cache and that it should no longer be
     308                 :            :  * used for anything.  This also reports the error into the kernel log.
     309                 :            :  *
     310                 :            :  * See Documentation/filesystems/caching/backend-api.txt for a complete
     311                 :            :  * description.
     312                 :            :  */
     313                 :          0 : void fscache_io_error(struct fscache_cache *cache)
     314                 :            : {
     315                 :          0 :         if (!test_and_set_bit(FSCACHE_IOERROR, &cache->flags))
     316                 :          0 :                 pr_err("Cache '%s' stopped due to I/O error\n",
     317                 :            :                        cache->ops->name);
     318                 :          0 : }
     319                 :            : EXPORT_SYMBOL(fscache_io_error);
     320                 :            : 
     321                 :            : /*
     322                 :            :  * request withdrawal of all the objects in a cache
     323                 :            :  * - all the objects being withdrawn are moved onto the supplied list
     324                 :            :  */
     325                 :          0 : static void fscache_withdraw_all_objects(struct fscache_cache *cache,
     326                 :            :                                          struct list_head *dying_objects)
     327                 :            : {
     328                 :            :         struct fscache_object *object;
     329                 :            : 
     330                 :          0 :         while (!list_empty(&cache->object_list)) {
     331                 :            :                 spin_lock(&cache->object_list_lock);
     332                 :            : 
     333                 :          0 :                 if (!list_empty(&cache->object_list)) {
     334                 :          0 :                         object = list_entry(cache->object_list.next,
     335                 :            :                                             struct fscache_object, cache_link);
     336                 :          0 :                         list_move_tail(&object->cache_link, dying_objects);
     337                 :            : 
     338                 :            :                         _debug("withdraw %p", object->cookie);
     339                 :            : 
     340                 :            :                         /* This must be done under object_list_lock to prevent
     341                 :            :                          * a race with fscache_drop_object().
     342                 :            :                          */
     343                 :          0 :                         fscache_raise_event(object, FSCACHE_OBJECT_EV_KILL);
     344                 :            :                 }
     345                 :            : 
     346                 :            :                 spin_unlock(&cache->object_list_lock);
     347                 :          0 :                 cond_resched();
     348                 :            :         }
     349                 :          0 : }
     350                 :            : 
     351                 :            : /**
     352                 :            :  * fscache_withdraw_cache - Withdraw a cache from the active service
     353                 :            :  * @cache: The record describing the cache
     354                 :            :  *
     355                 :            :  * Withdraw a cache from service, unbinding all its cache objects from the
     356                 :            :  * netfs cookies they're currently representing.
     357                 :            :  *
     358                 :            :  * See Documentation/filesystems/caching/backend-api.txt for a complete
     359                 :            :  * description.
     360                 :            :  */
     361                 :          0 : void fscache_withdraw_cache(struct fscache_cache *cache)
     362                 :            : {
     363                 :          0 :         LIST_HEAD(dying_objects);
     364                 :            : 
     365                 :            :         _enter("");
     366                 :            : 
     367                 :          0 :         pr_notice("Withdrawing cache \"%s\"\n",
     368                 :            :                   cache->tag->name);
     369                 :            : 
     370                 :            :         /* make the cache unavailable for cookie acquisition */
     371                 :          0 :         if (test_and_set_bit(FSCACHE_CACHE_WITHDRAWN, &cache->flags))
     372                 :          0 :                 BUG();
     373                 :            : 
     374                 :          0 :         down_write(&fscache_addremove_sem);
     375                 :          0 :         list_del_init(&cache->link);
     376                 :          0 :         cache->tag->cache = NULL;
     377                 :          0 :         up_write(&fscache_addremove_sem);
     378                 :            : 
     379                 :            :         /* make sure all pages pinned by operations on behalf of the netfs are
     380                 :            :          * written to disk */
     381                 :            :         fscache_stat(&fscache_n_cop_sync_cache);
     382                 :          0 :         cache->ops->sync_cache(cache);
     383                 :            :         fscache_stat_d(&fscache_n_cop_sync_cache);
     384                 :            : 
     385                 :            :         /* dissociate all the netfs pages backed by this cache from the block
     386                 :            :          * mappings in the cache */
     387                 :            :         fscache_stat(&fscache_n_cop_dissociate_pages);
     388                 :          0 :         cache->ops->dissociate_pages(cache);
     389                 :            :         fscache_stat_d(&fscache_n_cop_dissociate_pages);
     390                 :            : 
     391                 :            :         /* we now have to destroy all the active objects pertaining to this
     392                 :            :          * cache - which we do by passing them off to thread pool to be
     393                 :            :          * disposed of */
     394                 :            :         _debug("destroy");
     395                 :            : 
     396                 :          0 :         fscache_withdraw_all_objects(cache, &dying_objects);
     397                 :            : 
     398                 :            :         /* wait for all extant objects to finish their outstanding operations
     399                 :            :          * and go away */
     400                 :            :         _debug("wait for finish");
     401                 :          0 :         wait_event(fscache_cache_cleared_wq,
     402                 :            :                    atomic_read(&cache->object_count) == 0);
     403                 :            :         _debug("wait for clearance");
     404                 :          0 :         wait_event(fscache_cache_cleared_wq,
     405                 :            :                    list_empty(&cache->object_list));
     406                 :            :         _debug("cleared");
     407                 :          0 :         ASSERT(list_empty(&dying_objects));
     408                 :            : 
     409                 :          0 :         kobject_put(cache->kobj);
     410                 :            : 
     411                 :          0 :         clear_bit(FSCACHE_TAG_RESERVED, &cache->tag->flags);
     412                 :          0 :         fscache_release_cache_tag(cache->tag);
     413                 :          0 :         cache->tag = NULL;
     414                 :            : 
     415                 :            :         _leave("");
     416                 :          0 : }
     417                 :            : EXPORT_SYMBOL(fscache_withdraw_cache);