Branch data     Line data    Source code

       1                 :            : // SPDX-License-Identifier: GPL-2.0
       2                 :            : /*
       3                 :            :  * Functions related to setting various queue properties from drivers
       4                 :            :  */
       5                 :            : #include <linux/kernel.h>
       6                 :            : #include <linux/module.h>
       7                 :            : #include <linux/bio.h>
       8                 :            : #include <linux/blkdev.h>
       9                 :            : #include <linux/blk-mq.h>
      10                 :            : #include <linux/sched/sysctl.h>
      11                 :            : 
      12                 :            : #include "blk.h"
      13                 :            : #include "blk-mq-sched.h"
      14                 :            : 
      15                 :            : /**
      16                 :            :  * blk_end_sync_rq - executes a completion event on a request
      17                 :            :  * @rq: request to complete
      18                 :            :  * @error: end I/O status of the request
      19                 :            :  */
      20                 :          0 : static void blk_end_sync_rq(struct request *rq, blk_status_t error)
      21                 :            : {
      22                 :          0 :         struct completion *waiting = rq->end_io_data;
      23                 :            : 
      24                 :          0 :         rq->end_io_data = NULL;
      25                 :            : 
      26                 :            :         /*
      27                 :            :          * complete last, if this is a stack request the process (and thus
      28                 :            :          * the rq pointer) could be invalid right after this complete()
      29                 :            :          */
      30                 :          0 :         complete(waiting);
      31                 :          0 : }
      32                 :            : 
      33                 :            : /**
      34                 :            :  * blk_execute_rq_nowait - insert a request into queue for execution
      35                 :            :  * @q:          queue to insert the request in
      36                 :            :  * @bd_disk:    matching gendisk
      37                 :            :  * @rq:         request to insert
      38                 :            :  * @at_head:    insert request at head or tail of queue
      39                 :            :  * @done:       I/O completion handler
      40                 :            :  *
      41                 :            :  * Description:
      42                 :            :  *    Insert a fully prepared request at the back of the I/O scheduler queue
      43                 :            :  *    for execution.  Don't wait for completion.
      44                 :            :  *
      45                 :            :  * Note:
      46                 :            :  *    This function will invoke @done directly if the queue is dead.
      47                 :            :  */
      48                 :          0 : void blk_execute_rq_nowait(struct request_queue *q, struct gendisk *bd_disk,
      49                 :            :                            struct request *rq, int at_head,
      50                 :            :                            rq_end_io_fn *done)
      51                 :            : {
      52         [ #  # ]:          0 :         WARN_ON(irqs_disabled());
      53         [ #  # ]:          0 :         WARN_ON(!blk_rq_is_passthrough(rq));
      54                 :            : 
      55                 :          0 :         rq->rq_disk = bd_disk;
      56                 :          0 :         rq->end_io = done;
      57                 :            : 
      58                 :            :         /*
      59                 :            :          * don't check dying flag for MQ because the request won't
      60                 :            :          * be reused after dying flag is set
      61                 :            :          */
      62                 :          0 :         blk_mq_sched_insert_request(rq, at_head, true, false);
      63                 :          0 : }
      64                 :            : EXPORT_SYMBOL_GPL(blk_execute_rq_nowait);
      65                 :            : 
      66                 :            : /**
      67                 :            :  * blk_execute_rq - insert a request into queue for execution
      68                 :            :  * @q:          queue to insert the request in
      69                 :            :  * @bd_disk:    matching gendisk
      70                 :            :  * @rq:         request to insert
      71                 :            :  * @at_head:    insert request at head or tail of queue
      72                 :            :  *
      73                 :            :  * Description:
      74                 :            :  *    Insert a fully prepared request at the back of the I/O scheduler queue
      75                 :            :  *    for execution and wait for completion.
      76                 :            :  */
      77                 :          0 : void blk_execute_rq(struct request_queue *q, struct gendisk *bd_disk,
      78                 :            :                    struct request *rq, int at_head)
      79                 :            : {
      80                 :          0 :         DECLARE_COMPLETION_ONSTACK(wait);
      81                 :            :         unsigned long hang_check;
      82                 :            : 
      83                 :          0 :         rq->end_io_data = &wait;
      84                 :          0 :         blk_execute_rq_nowait(q, bd_disk, rq, at_head, blk_end_sync_rq);
      85                 :            : 
      86                 :            :         /* Prevent hang_check timer from firing at us during very long I/O */
      87                 :          0 :         hang_check = sysctl_hung_task_timeout_secs;
      88         [ #  # ]:          0 :         if (hang_check)
      89         [ #  # ]:          0 :                 while (!wait_for_completion_io_timeout(&wait, hang_check * (HZ/2)));
      90                 :            :         else
      91                 :          0 :                 wait_for_completion_io(&wait);
      92                 :          0 : }
      93                 :            : EXPORT_SYMBOL(blk_execute_rq);