Branch data Line data Source code
1 : : /* SPDX-License-Identifier: GPL-2.0 */ 2 : : #ifndef BLK_MQ_SCHED_H 3 : : #define BLK_MQ_SCHED_H 4 : : 5 : : #include "blk-mq.h" 6 : : #include "blk-mq-tag.h" 7 : : 8 : : void blk_mq_sched_free_hctx_data(struct request_queue *q, 9 : : void (*exit)(struct blk_mq_hw_ctx *)); 10 : : 11 : : void blk_mq_sched_assign_ioc(struct request *rq); 12 : : 13 : : void blk_mq_sched_request_inserted(struct request *rq); 14 : : bool blk_mq_sched_try_merge(struct request_queue *q, struct bio *bio, 15 : : unsigned int nr_segs, struct request **merged_request); 16 : : bool __blk_mq_sched_bio_merge(struct request_queue *q, struct bio *bio, 17 : : unsigned int nr_segs); 18 : : bool blk_mq_sched_try_insert_merge(struct request_queue *q, struct request *rq); 19 : : void blk_mq_sched_mark_restart_hctx(struct blk_mq_hw_ctx *hctx); 20 : : void blk_mq_sched_restart(struct blk_mq_hw_ctx *hctx); 21 : : 22 : : void blk_mq_sched_insert_request(struct request *rq, bool at_head, 23 : : bool run_queue, bool async); 24 : : void blk_mq_sched_insert_requests(struct blk_mq_hw_ctx *hctx, 25 : : struct blk_mq_ctx *ctx, 26 : : struct list_head *list, bool run_queue_async); 27 : : 28 : : void blk_mq_sched_dispatch_requests(struct blk_mq_hw_ctx *hctx); 29 : : 30 : : int blk_mq_init_sched(struct request_queue *q, struct elevator_type *e); 31 : : void blk_mq_exit_sched(struct request_queue *q, struct elevator_queue *e); 32 : : void blk_mq_sched_free_requests(struct request_queue *q); 33 : : 34 : : static inline bool 35 : 20793 : blk_mq_sched_bio_merge(struct request_queue *q, struct bio *bio, 36 : : unsigned int nr_segs) 37 : : { 38 [ + - + + ]: 20793 : if (blk_queue_nomerges(q) || !bio_mergeable(bio)) 39 : : return false; 40 : : 41 : 20601 : return __blk_mq_sched_bio_merge(q, bio, nr_segs); 42 : : } 43 : : 44 : : static inline bool 45 : 1 : blk_mq_sched_allow_merge(struct request_queue *q, struct request *rq, 46 : : struct bio *bio) 47 : : { 48 : 1 : struct elevator_queue *e = q->elevator; 49 : : 50 [ - - - - : 1 : if (e && e->type->ops.allow_merge) - - - - + - - + - - - - ] 51 : 0 : return e->type->ops.allow_merge(q, rq, bio); 52 : : 53 : : return true; 54 : : } 55 : : 56 : 22860 : static inline void blk_mq_sched_completed_request(struct request *rq, u64 now) 57 : : { 58 : 22860 : struct elevator_queue *e = rq->q->elevator; 59 : : 60 [ + - - + ]: 22860 : if (e && e->type->ops.completed_request) 61 : 0 : e->type->ops.completed_request(rq, now); 62 : : } 63 : : 64 : 0 : static inline void blk_mq_sched_requeue_request(struct request *rq) 65 : : { 66 : 0 : struct request_queue *q = rq->q; 67 : 0 : struct elevator_queue *e = q->elevator; 68 : : 69 [ # # # # ]: 0 : if (e && e->type->ops.requeue_request) 70 : 0 : e->type->ops.requeue_request(rq); 71 : : } 72 : : 73 : 49021 : static inline bool blk_mq_sched_has_work(struct blk_mq_hw_ctx *hctx) 74 : : { 75 : 49021 : struct elevator_queue *e = hctx->queue->elevator; 76 : : 77 [ + + + - ]: 49021 : if (e && e->type->ops.has_work) 78 : 46589 : return e->type->ops.has_work(hctx); 79 : : 80 : : return false; 81 : : } 82 : : 83 : 1011 : static inline bool blk_mq_sched_needs_restart(struct blk_mq_hw_ctx *hctx) 84 : : { 85 : 1011 : return test_bit(BLK_MQ_S_SCHED_RESTART, &hctx->state); 86 : : } 87 : : 88 : : #endif