Branch data Line data Source code
1 : : /* SPDX-License-Identifier: GPL-2.0 */
2 : : #ifndef LINUX_MM_INLINE_H
3 : : #define LINUX_MM_INLINE_H
4 : :
5 : : #include <linux/huge_mm.h>
6 : : #include <linux/swap.h>
7 : :
8 : : /**
9 : : * page_is_file_cache - should the page be on a file LRU or anon LRU?
10 : : * @page: the page to test
11 : : *
12 : : * Returns 1 if @page is page cache page backed by a regular filesystem,
13 : : * or 0 if @page is anonymous, tmpfs or otherwise ram or swap backed.
14 : : * Used by functions that manipulate the LRU lists, to sort a page
15 : : * onto the right LRU list.
16 : : *
17 : : * We would like to get this info without a page flag, but the state
18 : : * needs to survive until the page is last deleted from the LRU, which
19 : : * could be as far down as __page_cache_release.
20 : : */
21 : 1561828 : static inline int page_is_file_cache(struct page *page)
22 : : {
23 : 1561828 : return !PageSwapBacked(page);
24 : : }
25 : :
26 : 980051 : static __always_inline void __update_lru_size(struct lruvec *lruvec,
27 : : enum lru_list lru, enum zone_type zid,
28 : : int nr_pages)
29 : : {
30 : 980051 : struct pglist_data *pgdat = lruvec_pgdat(lruvec);
31 : :
32 : 980051 : __mod_lruvec_state(lruvec, NR_LRU_BASE + lru, nr_pages);
33 : 0 : __mod_zone_page_state(&pgdat->node_zones[zid],
34 : 980051 : NR_ZONE_LRU_BASE + lru, nr_pages);
35 : 0 : }
36 : :
37 : 980051 : static __always_inline void update_lru_size(struct lruvec *lruvec,
38 : : enum lru_list lru, enum zone_type zid,
39 : : int nr_pages)
40 : : {
41 : 980051 : __update_lru_size(lruvec, lru, zid, nr_pages);
42 : : #ifdef CONFIG_MEMCG
43 : : mem_cgroup_update_lru_size(lruvec, lru, zid, nr_pages);
44 : : #endif
45 : : }
46 : :
47 : 567511 : static __always_inline void add_page_to_lru_list(struct page *page,
48 : : struct lruvec *lruvec, enum lru_list lru)
49 : : {
50 : 567511 : update_lru_size(lruvec, lru, page_zonenum(page), hpage_nr_pages(page));
51 : 567511 : list_add(&page->lru, &lruvec->lists[lru]);
52 : : }
53 : :
54 : 0 : static __always_inline void add_page_to_lru_list_tail(struct page *page,
55 : : struct lruvec *lruvec, enum lru_list lru)
56 : : {
57 : 0 : update_lru_size(lruvec, lru, page_zonenum(page), hpage_nr_pages(page));
58 : 0 : list_add_tail(&page->lru, &lruvec->lists[lru]);
59 : : }
60 : :
61 : 412540 : static __always_inline void del_page_from_lru_list(struct page *page,
62 : : struct lruvec *lruvec, enum lru_list lru)
63 : : {
64 : 36612 : list_del(&page->lru);
65 : 412540 : update_lru_size(lruvec, lru, page_zonenum(page), -hpage_nr_pages(page));
66 : 375923 : }
67 : :
68 : : /**
69 : : * page_lru_base_type - which LRU list type should a page be on?
70 : : * @page: the page to test
71 : : *
72 : : * Used for LRU list index arithmetic.
73 : : *
74 : : * Returns the base LRU type - file or anon - @page should be on.
75 : : */
76 : 943439 : static inline enum lru_list page_lru_base_type(struct page *page)
77 : : {
78 [ + + + + : 943439 : if (page_is_file_cache(page))
- - - - +
+ - - - -
- + ]
79 : 161095 : return LRU_INACTIVE_FILE;
80 : : return LRU_INACTIVE_ANON;
81 : : }
82 : :
83 : : /**
84 : : * page_off_lru - which LRU list was page on? clearing its lru flags.
85 : : * @page: the page to test
86 : : *
87 : : * Returns the LRU list a page was on, as an index into the array of LRU
88 : : * lists; and clears its Unevictable or Active flags, ready for freeing.
89 : : */
90 : 375928 : static __always_inline enum lru_list page_off_lru(struct page *page)
91 : : {
92 : 375928 : enum lru_list lru;
93 : :
94 [ - + - + : 751856 : if (PageUnevictable(page)) {
- + ]
95 [ # # ]: 0 : __ClearPageUnevictable(page);
96 : 0 : lru = LRU_UNEVICTABLE;
97 : : } else {
98 : 375928 : lru = page_lru_base_type(page);
99 [ - + + + : 751856 : if (PageActive(page)) {
+ - ]
100 [ - + ]: 370395 : __ClearPageActive(page);
101 : 370395 : lru += LRU_ACTIVE;
102 : : }
103 : : }
104 : 375928 : return lru;
105 : : }
106 : :
107 : : /**
108 : : * page_lru - which LRU list should a page be on?
109 : : * @page: the page to test
110 : : *
111 : : * Returns the LRU list a page should be on, as an index
112 : : * into the array of LRU lists.
113 : : */
114 : 530899 : static __always_inline enum lru_list page_lru(struct page *page)
115 : : {
116 : 530899 : enum lru_list lru;
117 : :
118 [ - + + - : 1061798 : if (PageUnevictable(page))
- - - - ]
119 : : lru = LRU_UNEVICTABLE;
120 : : else {
121 : 530899 : lru = page_lru_base_type(page);
122 [ - + + + : 1061798 : if (PageActive(page))
- - - - ]
123 : 407441 : lru += LRU_ACTIVE;
124 : : }
125 [ - + ]: 530899 : return lru;
126 : : }
127 : : #endif
|
