Branch data     Line data    Source code

       1                 :            : #ifndef INTERNAL_IO_WQ_H
       2                 :            : #define INTERNAL_IO_WQ_H
       3                 :            : 
       4                 :            : struct io_wq;
       5                 :            : 
       6                 :            : enum {
       7                 :            :         IO_WQ_WORK_CANCEL       = 1,
       8                 :            :         IO_WQ_WORK_HAS_MM       = 2,
       9                 :            :         IO_WQ_WORK_HASHED       = 4,
      10                 :            :         IO_WQ_WORK_UNBOUND      = 32,
      11                 :            :         IO_WQ_WORK_CB           = 128,
      12                 :            :         IO_WQ_WORK_NO_CANCEL    = 256,
      13                 :            :         IO_WQ_WORK_CONCURRENT   = 512,
      14                 :            : 
      15                 :            :         IO_WQ_HASH_SHIFT        = 24,   /* upper 8 bits are used for hash key */
      16                 :            : };
      17                 :            : 
      18                 :            : enum io_wq_cancel {
      19                 :            :         IO_WQ_CANCEL_OK,        /* cancelled before started */
      20                 :            :         IO_WQ_CANCEL_RUNNING,   /* found, running, and attempted cancelled */
      21                 :            :         IO_WQ_CANCEL_NOTFOUND,  /* work not found */
      22                 :            : };
      23                 :            : 
      24                 :            : struct io_wq_work_node {
      25                 :            :         struct io_wq_work_node *next;
      26                 :            : };
      27                 :            : 
      28                 :            : struct io_wq_work_list {
      29                 :            :         struct io_wq_work_node *first;
      30                 :            :         struct io_wq_work_node *last;
      31                 :            : };
      32                 :            : 
      33                 :          0 : static inline void wq_list_add_tail(struct io_wq_work_node *node,
      34                 :            :                                     struct io_wq_work_list *list)
      35                 :            : {
      36         [ #  # ]:          0 :         if (!list->first) {
      37                 :          0 :                 list->last = node;
      38                 :          0 :                 WRITE_ONCE(list->first, node);
      39                 :            :         } else {
      40                 :          0 :                 list->last->next = node;
      41                 :          0 :                 list->last = node;
      42                 :            :         }
      43                 :            : }
      44                 :            : 
      45                 :          0 : static inline void wq_node_del(struct io_wq_work_list *list,
      46                 :            :                                struct io_wq_work_node *node,
      47                 :            :                                struct io_wq_work_node *prev)
      48                 :            : {
      49   [ #  #  #  #  :          0 :         if (node == list->first)
             #  #  #  # ]
      50                 :          0 :                 WRITE_ONCE(list->first, node->next);
      51   [ #  #  #  #  :          0 :         if (node == list->last)
             #  #  #  # ]
      52                 :          0 :                 list->last = prev;
      53   [ #  #  #  #  :          0 :         if (prev)
             #  #  #  # ]
      54                 :          0 :                 prev->next = node->next;
      55                 :          0 :         node->next = NULL;
      56                 :            : }
      57                 :            : 
      58                 :            : #define wq_list_for_each(pos, prv, head)                        \
      59                 :            :         for (pos = (head)->first, prv = NULL; pos; prv = pos, pos = (pos)->next)
      60                 :            : 
      61                 :            : #define wq_list_empty(list)     (READ_ONCE((list)->first) == NULL)
      62                 :            : #define INIT_WQ_LIST(list)      do {                            \
      63                 :            :         (list)->first = NULL;                                        \
      64                 :            :         (list)->last = NULL;                                 \
      65                 :            : } while (0)
      66                 :            : 
      67                 :            : struct io_wq_work {
      68                 :            :         union {
      69                 :            :                 struct io_wq_work_node list;
      70                 :            :                 void *data;
      71                 :            :         };
      72                 :            :         void (*func)(struct io_wq_work **);
      73                 :            :         struct files_struct *files;
      74                 :            :         struct mm_struct *mm;
      75                 :            :         const struct cred *creds;
      76                 :            :         struct fs_struct *fs;
      77                 :            :         unsigned flags;
      78                 :            :         pid_t task_pid;
      79                 :            : };
      80                 :            : 
      81                 :            : #define INIT_IO_WORK(work, _func)                               \
      82                 :            :         do {                                                    \
      83                 :            :                 *(work) = (struct io_wq_work){ .func = _func }; \
      84                 :            :         } while (0)                                             \
      85                 :            : 
      86                 :            : typedef void (get_work_fn)(struct io_wq_work *);
      87                 :            : typedef void (put_work_fn)(struct io_wq_work *);
      88                 :            : 
      89                 :            : struct io_wq_data {
      90                 :            :         struct user_struct *user;
      91                 :            : 
      92                 :            :         get_work_fn *get_work;
      93                 :            :         put_work_fn *put_work;
      94                 :            : };
      95                 :            : 
      96                 :            : struct io_wq *io_wq_create(unsigned bounded, struct io_wq_data *data);
      97                 :            : bool io_wq_get(struct io_wq *wq, struct io_wq_data *data);
      98                 :            : void io_wq_destroy(struct io_wq *wq);
      99                 :            : 
     100                 :            : void io_wq_enqueue(struct io_wq *wq, struct io_wq_work *work);
     101                 :            : void io_wq_enqueue_hashed(struct io_wq *wq, struct io_wq_work *work, void *val);
     102                 :            : 
     103                 :            : void io_wq_cancel_all(struct io_wq *wq);
     104                 :            : enum io_wq_cancel io_wq_cancel_work(struct io_wq *wq, struct io_wq_work *cwork);
     105                 :            : enum io_wq_cancel io_wq_cancel_pid(struct io_wq *wq, pid_t pid);
     106                 :            : 
     107                 :            : typedef bool (work_cancel_fn)(struct io_wq_work *, void *);
     108                 :            : 
     109                 :            : enum io_wq_cancel io_wq_cancel_cb(struct io_wq *wq, work_cancel_fn *cancel,
     110                 :            :                                         void *data);
     111                 :            : 
     112                 :            : #if defined(CONFIG_IO_WQ)
     113                 :            : extern void io_wq_worker_sleeping(struct task_struct *);
     114                 :            : extern void io_wq_worker_running(struct task_struct *);
     115                 :            : #else
     116                 :            : static inline void io_wq_worker_sleeping(struct task_struct *tsk)
     117                 :            : {
     118                 :            : }
     119                 :            : static inline void io_wq_worker_running(struct task_struct *tsk)
     120                 :            : {
     121                 :            : }
     122                 :            : #endif
     123                 :            : 
     124                 :          0 : static inline bool io_wq_current_is_worker(void)
     125                 :            : {
     126   [ #  #  #  #  :          0 :         return in_task() && (current->flags & PF_IO_WORKER);
          #  #  #  #  #  
          #  #  #  #  #  
             #  #  #  # ]
     127                 :            : }
     128                 :            : #endif