Branch data     Line data    Source code

       1                 :            : /* SPDX-License-Identifier: GPL-2.0 */
       2                 :            : #ifndef BLK_MQ_SCHED_H
       3                 :            : #define BLK_MQ_SCHED_H
       4                 :            : 
       5                 :            : #include "blk-mq.h"
       6                 :            : #include "blk-mq-tag.h"
       7                 :            : 
       8                 :            : void blk_mq_sched_free_hctx_data(struct request_queue *q,
       9                 :            :                                  void (*exit)(struct blk_mq_hw_ctx *));
      10                 :            : 
      11                 :            : void blk_mq_sched_assign_ioc(struct request *rq);
      12                 :            : 
      13                 :            : void blk_mq_sched_request_inserted(struct request *rq);
      14                 :            : bool blk_mq_sched_try_merge(struct request_queue *q, struct bio *bio,
      15                 :            :                 unsigned int nr_segs, struct request **merged_request);
      16                 :            : bool __blk_mq_sched_bio_merge(struct request_queue *q, struct bio *bio,
      17                 :            :                 unsigned int nr_segs);
      18                 :            : bool blk_mq_sched_try_insert_merge(struct request_queue *q, struct request *rq);
      19                 :            : void blk_mq_sched_mark_restart_hctx(struct blk_mq_hw_ctx *hctx);
      20                 :            : void blk_mq_sched_restart(struct blk_mq_hw_ctx *hctx);
      21                 :            : 
      22                 :            : void blk_mq_sched_insert_request(struct request *rq, bool at_head,
      23                 :            :                                  bool run_queue, bool async);
      24                 :            : void blk_mq_sched_insert_requests(struct blk_mq_hw_ctx *hctx,
      25                 :            :                                   struct blk_mq_ctx *ctx,
      26                 :            :                                   struct list_head *list, bool run_queue_async);
      27                 :            : 
      28                 :            : void blk_mq_sched_dispatch_requests(struct blk_mq_hw_ctx *hctx);
      29                 :            : 
      30                 :            : int blk_mq_init_sched(struct request_queue *q, struct elevator_type *e);
      31                 :            : void blk_mq_exit_sched(struct request_queue *q, struct elevator_queue *e);
      32                 :            : void blk_mq_sched_free_requests(struct request_queue *q);
      33                 :            : 
      34                 :            : static inline bool
      35                 :    3668006 : blk_mq_sched_bio_merge(struct request_queue *q, struct bio *bio,
      36                 :            :                 unsigned int nr_segs)
      37                 :            : {
      38   [ +  +  +  + ]:    7335996 :         if (blk_queue_nomerges(q) || !bio_mergeable(bio))
      39                 :            :                 return false;
      40                 :            : 
      41                 :    3667912 :         return __blk_mq_sched_bio_merge(q, bio, nr_segs);
      42                 :            : }
      43                 :            : 
      44                 :            : static inline bool
      45                 :            : blk_mq_sched_allow_merge(struct request_queue *q, struct request *rq,
      46                 :            :                          struct bio *bio)
      47                 :            : {
      48                 :     648384 :         struct elevator_queue *e = q->elevator;
      49                 :            : 
      50   [ #  #  #  #  :     648384 :         if (e && e->type->ops.allow_merge)
          #  #  #  #  +  
          -  -  +  +  -  
                   -  + ]
      51                 :          0 :                 return e->type->ops.allow_merge(q, rq, bio);
      52                 :            : 
      53                 :            :         return true;
      54                 :            : }
      55                 :            : 
      56                 :            : static inline void blk_mq_sched_completed_request(struct request *rq, u64 now)
      57                 :            : {
      58                 :    2969908 :         struct elevator_queue *e = rq->q->elevator;
      59                 :            : 
      60   [ +  +  -  + ]:    2969908 :         if (e && e->type->ops.completed_request)
      61                 :          0 :                 e->type->ops.completed_request(rq, now);
      62                 :            : }
      63                 :            : 
      64                 :            : static inline void blk_mq_sched_requeue_request(struct request *rq)
      65                 :            : {
      66                 :          0 :         struct request_queue *q = rq->q;
      67                 :          0 :         struct elevator_queue *e = q->elevator;
      68                 :            : 
      69   [ #  #  #  # ]:          0 :         if (e && e->type->ops.requeue_request)
      70                 :          0 :                 e->type->ops.requeue_request(rq);
      71                 :            : }
      72                 :            : 
      73                 :            : static inline bool blk_mq_sched_has_work(struct blk_mq_hw_ctx *hctx)
      74                 :            : {
      75                 :    2862848 :         struct elevator_queue *e = hctx->queue->elevator;
      76                 :            : 
      77   [ +  +  +  - ]:    2862848 :         if (e && e->type->ops.has_work)
      78                 :    2859214 :                 return e->type->ops.has_work(hctx);
      79                 :            : 
      80                 :            :         return false;
      81                 :            : }
      82                 :            : 
      83                 :            : static inline bool blk_mq_sched_needs_restart(struct blk_mq_hw_ctx *hctx)
      84                 :            : {
      85                 :         10 :         return test_bit(BLK_MQ_S_SCHED_RESTART, &hctx->state);
      86                 :            : }
      87                 :            : 
      88                 :            : #endif