Branch data     Line data    Source code

       1                 :            : // SPDX-License-Identifier: GPL-2.0-only
       2                 :            : /*
       3                 :            :  * mm_init.c - Memory initialisation verification and debugging
       4                 :            :  *
       5                 :            :  * Copyright 2008 IBM Corporation, 2008
       6                 :            :  * Author Mel Gorman <mel@csn.ul.ie>
       7                 :            :  *
       8                 :            :  */
       9                 :            : #include <linux/kernel.h>
      10                 :            : #include <linux/init.h>
      11                 :            : #include <linux/kobject.h>
      12                 :            : #include <linux/export.h>
      13                 :            : #include <linux/memory.h>
      14                 :            : #include <linux/notifier.h>
      15                 :            : #include <linux/sched.h>
      16                 :            : #include "internal.h"
      17                 :            : 
      18                 :            : #ifdef CONFIG_DEBUG_MEMORY_INIT
      19                 :            : int __meminitdata mminit_loglevel;
      20                 :            : 
      21                 :            : #ifndef SECTIONS_SHIFT
      22                 :            : #define SECTIONS_SHIFT  0
      23                 :            : #endif
      24                 :            : 
      25                 :            : /* The zonelists are simply reported, validation is manual. */
      26                 :          3 : void __init mminit_verify_zonelist(void)
      27                 :            : {
      28                 :            :         int nid;
      29                 :            : 
      30                 :          3 :         if (mminit_loglevel < MMINIT_VERIFY)
      31                 :          3 :                 return;
      32                 :            : 
      33                 :          0 :         for_each_online_node(nid) {
      34                 :            :                 pg_data_t *pgdat = NODE_DATA(nid);
      35                 :            :                 struct zone *zone;
      36                 :            :                 struct zoneref *z;
      37                 :            :                 struct zonelist *zonelist;
      38                 :            :                 int i, listid, zoneid;
      39                 :            : 
      40                 :            :                 BUG_ON(MAX_ZONELISTS > 2);
      41                 :          0 :                 for (i = 0; i < MAX_ZONELISTS * MAX_NR_ZONES; i++) {
      42                 :            : 
      43                 :            :                         /* Identify the zone and nodelist */
      44                 :          0 :                         zoneid = i % MAX_NR_ZONES;
      45                 :          0 :                         listid = i / MAX_NR_ZONES;
      46                 :          0 :                         zonelist = &pgdat->node_zonelists[listid];
      47                 :            :                         zone = &pgdat->node_zones[zoneid];
      48                 :          0 :                         if (!populated_zone(zone))
      49                 :          0 :                                 continue;
      50                 :            : 
      51                 :            :                         /* Print information about the zonelist */
      52                 :          0 :                         printk(KERN_DEBUG "mminit::zonelist %s %d:%s = ",
      53                 :            :                                 listid > 0 ? "thisnode" : "general", nid,
      54                 :            :                                 zone->name);
      55                 :            : 
      56                 :            :                         /* Iterate the zonelist */
      57                 :          0 :                         for_each_zone_zonelist(zone, z, zonelist, zoneid)
      58                 :          0 :                                 pr_cont("%d:%s ", zone_to_nid(zone), zone->name);
      59                 :          0 :                         pr_cont("\n");
      60                 :            :                 }
      61                 :            :         }
      62                 :            : }
      63                 :            : 
      64                 :          0 : void __init mminit_verify_pageflags_layout(void)
      65                 :            : {
      66                 :            :         int shift, width;
      67                 :            :         unsigned long or_mask, add_mask;
      68                 :            : 
      69                 :            :         shift = 8 * sizeof(unsigned long);
      70                 :            :         width = shift - SECTIONS_WIDTH - NODES_WIDTH - ZONES_WIDTH - LAST_CPUPID_SHIFT;
      71                 :          0 :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_widths",
      72                 :            :                 "Section %d Node %d Zone %d Lastcpupid %d Flags %d\n",
      73                 :            :                 SECTIONS_WIDTH,
      74                 :            :                 NODES_WIDTH,
      75                 :            :                 ZONES_WIDTH,
      76                 :            :                 LAST_CPUPID_WIDTH,
      77                 :            :                 NR_PAGEFLAGS);
      78                 :          0 :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_shifts",
      79                 :            :                 "Section %d Node %d Zone %d Lastcpupid %d\n",
      80                 :            :                 SECTIONS_SHIFT,
      81                 :            :                 NODES_SHIFT,
      82                 :            :                 ZONES_SHIFT,
      83                 :            :                 LAST_CPUPID_SHIFT);
      84                 :          0 :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_pgshifts",
      85                 :            :                 "Section %lu Node %lu Zone %lu Lastcpupid %lu\n",
      86                 :            :                 (unsigned long)SECTIONS_PGSHIFT,
      87                 :            :                 (unsigned long)NODES_PGSHIFT,
      88                 :            :                 (unsigned long)ZONES_PGSHIFT,
      89                 :            :                 (unsigned long)LAST_CPUPID_PGSHIFT);
      90                 :          0 :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_nodezoneid",
      91                 :            :                 "Node/Zone ID: %lu -> %lu\n",
      92                 :            :                 (unsigned long)(ZONEID_PGOFF + ZONEID_SHIFT),
      93                 :            :                 (unsigned long)ZONEID_PGOFF);
      94                 :          0 :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_usage",
      95                 :            :                 "location: %d -> %d layout %d -> %d unused %d -> %d page-flags\n",
      96                 :            :                 shift, width, width, NR_PAGEFLAGS, NR_PAGEFLAGS, 0);
      97                 :            : #ifdef NODE_NOT_IN_PAGE_FLAGS
      98                 :            :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_nodeflags",
      99                 :            :                 "Node not in page flags");
     100                 :            : #endif
     101                 :            : #ifdef LAST_CPUPID_NOT_IN_PAGE_FLAGS
     102                 :            :         mminit_dprintk(MMINIT_TRACE, "pageflags_layout_nodeflags",
     103                 :            :                 "Last cpupid not in page flags");
     104                 :            : #endif
     105                 :            : 
     106                 :            :         if (SECTIONS_WIDTH) {
     107                 :            :                 shift -= SECTIONS_WIDTH;
     108                 :            :                 BUG_ON(shift != SECTIONS_PGSHIFT);
     109                 :            :         }
     110                 :            :         if (NODES_WIDTH) {
     111                 :            :                 shift -= NODES_WIDTH;
     112                 :            :                 BUG_ON(shift != NODES_PGSHIFT);
     113                 :            :         }
     114                 :            :         if (ZONES_WIDTH) {
     115                 :            :                 shift -= ZONES_WIDTH;
     116                 :            :                 BUG_ON(shift != ZONES_PGSHIFT);
     117                 :            :         }
     118                 :            : 
     119                 :            :         /* Check for bitmask overlaps */
     120                 :            :         or_mask = (ZONES_MASK << ZONES_PGSHIFT) |
     121                 :            :                         (NODES_MASK << NODES_PGSHIFT) |
     122                 :            :                         (SECTIONS_MASK << SECTIONS_PGSHIFT);
     123                 :            :         add_mask = (ZONES_MASK << ZONES_PGSHIFT) +
     124                 :            :                         (NODES_MASK << NODES_PGSHIFT) +
     125                 :            :                         (SECTIONS_MASK << SECTIONS_PGSHIFT);
     126                 :            :         BUG_ON(or_mask != add_mask);
     127                 :          0 : }
     128                 :            : 
     129                 :          0 : static __init int set_mminit_loglevel(char *str)
     130                 :            : {
     131                 :          0 :         get_option(&str, &mminit_loglevel);
     132                 :          0 :         return 0;
     133                 :            : }
     134                 :            : early_param("mminit_loglevel", set_mminit_loglevel);
     135                 :            : #endif /* CONFIG_DEBUG_MEMORY_INIT */
     136                 :            : 
     137                 :            : struct kobject *mm_kobj;
     138                 :            : EXPORT_SYMBOL_GPL(mm_kobj);
     139                 :            : 
     140                 :            : #ifdef CONFIG_SMP
     141                 :            : s32 vm_committed_as_batch = 32;
     142                 :            : 
     143                 :          3 : static void __meminit mm_compute_batch(void)
     144                 :            : {
     145                 :            :         u64 memsized_batch;
     146                 :          3 :         s32 nr = num_present_cpus();
     147                 :          3 :         s32 batch = max_t(s32, nr*2, 32);
     148                 :            : 
     149                 :            :         /* batch size set to 0.4% of (total memory/#cpus), or max int32 */
     150                 :          3 :         memsized_batch = min_t(u64, (totalram_pages()/nr)/256, 0x7fffffff);
     151                 :            : 
     152                 :          3 :         vm_committed_as_batch = max_t(s32, memsized_batch, batch);
     153                 :          3 : }
     154                 :            : 
     155                 :            : static int __meminit mm_compute_batch_notifier(struct notifier_block *self,
     156                 :            :                                         unsigned long action, void *arg)
     157                 :            : {
     158                 :            :         switch (action) {
     159                 :            :         case MEM_ONLINE:
     160                 :            :         case MEM_OFFLINE:
     161                 :            :                 mm_compute_batch();
     162                 :            :         default:
     163                 :            :                 break;
     164                 :            :         }
     165                 :            :         return NOTIFY_OK;
     166                 :            : }
     167                 :            : 
     168                 :            : static struct notifier_block compute_batch_nb __meminitdata = {
     169                 :            :         .notifier_call = mm_compute_batch_notifier,
     170                 :            :         .priority = IPC_CALLBACK_PRI, /* use lowest priority */
     171                 :            : };
     172                 :            : 
     173                 :          3 : static int __init mm_compute_batch_init(void)
     174                 :            : {
     175                 :          3 :         mm_compute_batch();
     176                 :            :         register_hotmemory_notifier(&compute_batch_nb);
     177                 :            : 
     178                 :          3 :         return 0;
     179                 :            : }
     180                 :            : 
     181                 :            : __initcall(mm_compute_batch_init);
     182                 :            : 
     183                 :            : #endif
     184                 :            : 
     185                 :          3 : static int __init mm_sysfs_init(void)
     186                 :            : {
     187                 :          3 :         mm_kobj = kobject_create_and_add("mm", kernel_kobj);
     188                 :          3 :         if (!mm_kobj)
     189                 :            :                 return -ENOMEM;
     190                 :            : 
     191                 :          3 :         return 0;
     192                 :            : }
     193                 :            : postcore_initcall(mm_sysfs_init);