Branch data Line data Source code
1 : : /* SPDX-License-Identifier: GPL-2.0 */
2 : : #ifndef _LINUX_MIGRATE_H
3 : : #define _LINUX_MIGRATE_H
4 : :
5 : : #include <linux/mm.h>
6 : : #include <linux/mempolicy.h>
7 : : #include <linux/migrate_mode.h>
8 : : #include <linux/hugetlb.h>
9 : :
10 : : typedef struct page *new_page_t(struct page *page, unsigned long private);
11 : : typedef void free_page_t(struct page *page, unsigned long private);
12 : :
13 : : /*
14 : : * Return values from addresss_space_operations.migratepage():
15 : : * - negative errno on page migration failure;
16 : : * - zero on page migration success;
17 : : */
18 : : #define MIGRATEPAGE_SUCCESS 0
19 : :
20 : : enum migrate_reason {
21 : : MR_COMPACTION,
22 : : MR_MEMORY_FAILURE,
23 : : MR_MEMORY_HOTPLUG,
24 : : MR_SYSCALL, /* also applies to cpusets */
25 : : MR_MEMPOLICY_MBIND,
26 : : MR_NUMA_MISPLACED,
27 : : MR_CONTIG_RANGE,
28 : : MR_TYPES
29 : : };
30 : :
31 : : /* In mm/debug.c; also keep sync with include/trace/events/migrate.h */
32 : : extern const char *migrate_reason_names[MR_TYPES];
33 : :
34 : 0 : static inline struct page *new_page_nodemask(struct page *page,
35 : : int preferred_nid, nodemask_t *nodemask)
36 : : {
37 : : gfp_t gfp_mask = GFP_USER | __GFP_MOVABLE | __GFP_RETRY_MAYFAIL;
38 : : unsigned int order = 0;
39 : : struct page *new_page = NULL;
40 : :
41 : : if (PageHuge(page))
42 : : return alloc_huge_page_nodemask(page_hstate(compound_head(page)),
43 : : preferred_nid, nodemask);
44 : :
45 : : if (PageTransHuge(page)) {
46 : : gfp_mask |= GFP_TRANSHUGE;
47 : : order = HPAGE_PMD_ORDER;
48 : : }
49 : :
50 [ # # ]: 0 : if (PageHighMem(page) || (zone_idx(page_zone(page)) == ZONE_MOVABLE))
51 : : gfp_mask |= __GFP_HIGHMEM;
52 : :
53 : 0 : new_page = __alloc_pages_nodemask(gfp_mask, order,
54 : : preferred_nid, nodemask);
55 : :
56 : : if (new_page && PageTransHuge(new_page))
57 : : prep_transhuge_page(new_page);
58 : :
59 : : return new_page;
60 : : }
61 : :
62 : : #ifdef CONFIG_MIGRATION
63 : :
64 : : extern void putback_movable_pages(struct list_head *l);
65 : : extern int migrate_page(struct address_space *mapping,
66 : : struct page *newpage, struct page *page,
67 : : enum migrate_mode mode);
68 : : extern int migrate_pages(struct list_head *l, new_page_t new, free_page_t free,
69 : : unsigned long private, enum migrate_mode mode, int reason);
70 : : extern int isolate_movable_page(struct page *page, isolate_mode_t mode);
71 : : extern void putback_movable_page(struct page *page);
72 : :
73 : : extern int migrate_prep(void);
74 : : extern int migrate_prep_local(void);
75 : : extern void migrate_page_states(struct page *newpage, struct page *page);
76 : : extern void migrate_page_copy(struct page *newpage, struct page *page);
77 : : extern int migrate_huge_page_move_mapping(struct address_space *mapping,
78 : : struct page *newpage, struct page *page);
79 : : extern int migrate_page_move_mapping(struct address_space *mapping,
80 : : struct page *newpage, struct page *page, int extra_count);
81 : : #else
82 : :
83 : : static inline void putback_movable_pages(struct list_head *l) {}
84 : : static inline int migrate_pages(struct list_head *l, new_page_t new,
85 : : free_page_t free, unsigned long private, enum migrate_mode mode,
86 : : int reason)
87 : : { return -ENOSYS; }
88 : : static inline int isolate_movable_page(struct page *page, isolate_mode_t mode)
89 : : { return -EBUSY; }
90 : :
91 : : static inline int migrate_prep(void) { return -ENOSYS; }
92 : : static inline int migrate_prep_local(void) { return -ENOSYS; }
93 : :
94 : : static inline void migrate_page_states(struct page *newpage, struct page *page)
95 : : {
96 : : }
97 : :
98 : : static inline void migrate_page_copy(struct page *newpage,
99 : : struct page *page) {}
100 : :
101 : : static inline int migrate_huge_page_move_mapping(struct address_space *mapping,
102 : : struct page *newpage, struct page *page)
103 : : {
104 : : return -ENOSYS;
105 : : }
106 : :
107 : : #endif /* CONFIG_MIGRATION */
108 : :
109 : : #ifdef CONFIG_COMPACTION
110 : : extern int PageMovable(struct page *page);
111 : : extern void __SetPageMovable(struct page *page, struct address_space *mapping);
112 : : extern void __ClearPageMovable(struct page *page);
113 : : #else
114 : : static inline int PageMovable(struct page *page) { return 0; };
115 : : static inline void __SetPageMovable(struct page *page,
116 : : struct address_space *mapping)
117 : : {
118 : : }
119 : : static inline void __ClearPageMovable(struct page *page)
120 : : {
121 : : }
122 : : #endif
123 : :
124 : : #ifdef CONFIG_NUMA_BALANCING
125 : : extern bool pmd_trans_migrating(pmd_t pmd);
126 : : extern int migrate_misplaced_page(struct page *page,
127 : : struct vm_area_struct *vma, int node);
128 : : #else
129 : : static inline bool pmd_trans_migrating(pmd_t pmd)
130 : : {
131 : : return false;
132 : : }
133 : : static inline int migrate_misplaced_page(struct page *page,
134 : : struct vm_area_struct *vma, int node)
135 : : {
136 : : return -EAGAIN; /* can't migrate now */
137 : : }
138 : : #endif /* CONFIG_NUMA_BALANCING */
139 : :
140 : : #if defined(CONFIG_NUMA_BALANCING) && defined(CONFIG_TRANSPARENT_HUGEPAGE)
141 : : extern int migrate_misplaced_transhuge_page(struct mm_struct *mm,
142 : : struct vm_area_struct *vma,
143 : : pmd_t *pmd, pmd_t entry,
144 : : unsigned long address,
145 : : struct page *page, int node);
146 : : #else
147 : : static inline int migrate_misplaced_transhuge_page(struct mm_struct *mm,
148 : : struct vm_area_struct *vma,
149 : : pmd_t *pmd, pmd_t entry,
150 : : unsigned long address,
151 : : struct page *page, int node)
152 : : {
153 : : return -EAGAIN;
154 : : }
155 : : #endif /* CONFIG_NUMA_BALANCING && CONFIG_TRANSPARENT_HUGEPAGE*/
156 : :
157 : :
158 : : #ifdef CONFIG_MIGRATION
159 : :
160 : : /*
161 : : * Watch out for PAE architecture, which has an unsigned long, and might not
162 : : * have enough bits to store all physical address and flags. So far we have
163 : : * enough room for all our flags.
164 : : */
165 : : #define MIGRATE_PFN_VALID (1UL << 0)
166 : : #define MIGRATE_PFN_MIGRATE (1UL << 1)
167 : : #define MIGRATE_PFN_LOCKED (1UL << 2)
168 : : #define MIGRATE_PFN_WRITE (1UL << 3)
169 : : #define MIGRATE_PFN_SHIFT 6
170 : :
171 : : static inline struct page *migrate_pfn_to_page(unsigned long mpfn)
172 : : {
173 : : if (!(mpfn & MIGRATE_PFN_VALID))
174 : : return NULL;
175 : : return pfn_to_page(mpfn >> MIGRATE_PFN_SHIFT);
176 : : }
177 : :
178 : : static inline unsigned long migrate_pfn(unsigned long pfn)
179 : : {
180 : : return (pfn << MIGRATE_PFN_SHIFT) | MIGRATE_PFN_VALID;
181 : : }
182 : :
183 : : struct migrate_vma {
184 : : struct vm_area_struct *vma;
185 : : /*
186 : : * Both src and dst array must be big enough for
187 : : * (end - start) >> PAGE_SHIFT entries.
188 : : *
189 : : * The src array must not be modified by the caller after
190 : : * migrate_vma_setup(), and must not change the dst array after
191 : : * migrate_vma_pages() returns.
192 : : */
193 : : unsigned long *dst;
194 : : unsigned long *src;
195 : : unsigned long cpages;
196 : : unsigned long npages;
197 : : unsigned long start;
198 : : unsigned long end;
199 : : };
200 : :
201 : : int migrate_vma_setup(struct migrate_vma *args);
202 : : void migrate_vma_pages(struct migrate_vma *migrate);
203 : : void migrate_vma_finalize(struct migrate_vma *migrate);
204 : :
205 : : #endif /* CONFIG_MIGRATION */
206 : :
207 : : #endif /* _LINUX_MIGRATE_H */
|
