Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0-only
2 : : /*
3 : : * linux/drivers/cpufreq/cpufreq.c
4 : : *
5 : : * Copyright (C) 2001 Russell King
6 : : * (C) 2002 - 2003 Dominik Brodowski <linux@brodo.de>
7 : : * (C) 2013 Viresh Kumar <viresh.kumar@linaro.org>
8 : : *
9 : : * Oct 2005 - Ashok Raj <ashok.raj@intel.com>
10 : : * Added handling for CPU hotplug
11 : : * Feb 2006 - Jacob Shin <jacob.shin@amd.com>
12 : : * Fix handling for CPU hotplug -- affected CPUs
13 : : */
14 : :
15 : : #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
16 : :
17 : : #include <linux/cpu.h>
18 : : #include <linux/cpufreq.h>
19 : : #include <linux/cpu_cooling.h>
20 : : #include <linux/delay.h>
21 : : #include <linux/device.h>
22 : : #include <linux/init.h>
23 : : #include <linux/kernel_stat.h>
24 : : #include <linux/module.h>
25 : : #include <linux/mutex.h>
26 : : #include <linux/pm_qos.h>
27 : : #include <linux/slab.h>
28 : : #include <linux/suspend.h>
29 : : #include <linux/syscore_ops.h>
30 : : #include <linux/tick.h>
31 : : #include <trace/events/power.h>
32 : :
33 : : static LIST_HEAD(cpufreq_policy_list);
34 : :
35 : : /* Macros to iterate over CPU policies */
36 : : #define for_each_suitable_policy(__policy, __active) \
37 : : list_for_each_entry(__policy, &cpufreq_policy_list, policy_list) \
38 : : if ((__active) == !policy_is_inactive(__policy))
39 : :
40 : : #define for_each_active_policy(__policy) \
41 : : for_each_suitable_policy(__policy, true)
42 : : #define for_each_inactive_policy(__policy) \
43 : : for_each_suitable_policy(__policy, false)
44 : :
45 : : #define for_each_policy(__policy) \
46 : : list_for_each_entry(__policy, &cpufreq_policy_list, policy_list)
47 : :
48 : : /* Iterate over governors */
49 : : static LIST_HEAD(cpufreq_governor_list);
50 : : #define for_each_governor(__governor) \
51 : : list_for_each_entry(__governor, &cpufreq_governor_list, governor_list)
52 : :
53 : : /**
54 : : * The "cpufreq driver" - the arch- or hardware-dependent low
55 : : * level driver of CPUFreq support, and its spinlock. This lock
56 : : * also protects the cpufreq_cpu_data array.
57 : : */
58 : : static struct cpufreq_driver *cpufreq_driver;
59 : : static DEFINE_PER_CPU(struct cpufreq_policy *, cpufreq_cpu_data);
60 : : static DEFINE_RWLOCK(cpufreq_driver_lock);
61 : :
62 : : /* Flag to suspend/resume CPUFreq governors */
63 : : static bool cpufreq_suspended;
64 : :
65 : : static inline bool has_target(void)
66 : : {
67 [ # # # # : 0 : return cpufreq_driver->target_index || cpufreq_driver->target;
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # #
# ]
68 : : }
69 : :
70 : : /* internal prototypes */
71 : : static unsigned int __cpufreq_get(struct cpufreq_policy *policy);
72 : : static int cpufreq_init_governor(struct cpufreq_policy *policy);
73 : : static void cpufreq_exit_governor(struct cpufreq_policy *policy);
74 : : static int cpufreq_start_governor(struct cpufreq_policy *policy);
75 : : static void cpufreq_stop_governor(struct cpufreq_policy *policy);
76 : : static void cpufreq_governor_limits(struct cpufreq_policy *policy);
77 : : static int cpufreq_set_policy(struct cpufreq_policy *policy,
78 : : struct cpufreq_governor *new_gov,
79 : : unsigned int new_pol);
80 : :
81 : : /**
82 : : * Two notifier lists: the "policy" list is involved in the
83 : : * validation process for a new CPU frequency policy; the
84 : : * "transition" list for kernel code that needs to handle
85 : : * changes to devices when the CPU clock speed changes.
86 : : * The mutex locks both lists.
87 : : */
88 : : static BLOCKING_NOTIFIER_HEAD(cpufreq_policy_notifier_list);
89 : : SRCU_NOTIFIER_HEAD_STATIC(cpufreq_transition_notifier_list);
90 : :
91 : : static int off __read_mostly;
92 : : static int cpufreq_disabled(void)
93 : : {
94 : 3232 : return off;
95 : : }
96 : 0 : void disable_cpufreq(void)
97 : : {
98 : 0 : off = 1;
99 : 0 : }
100 : : static DEFINE_MUTEX(cpufreq_governor_mutex);
101 : :
102 : 0 : bool have_governor_per_policy(void)
103 : : {
104 : 0 : return !!(cpufreq_driver->flags & CPUFREQ_HAVE_GOVERNOR_PER_POLICY);
105 : : }
106 : : EXPORT_SYMBOL_GPL(have_governor_per_policy);
107 : :
108 : 0 : struct kobject *get_governor_parent_kobj(struct cpufreq_policy *policy)
109 : : {
110 [ # # ]: 0 : if (have_governor_per_policy())
111 : 0 : return &policy->kobj;
112 : : else
113 : 0 : return cpufreq_global_kobject;
114 : : }
115 : : EXPORT_SYMBOL_GPL(get_governor_parent_kobj);
116 : :
117 : 0 : static inline u64 get_cpu_idle_time_jiffy(unsigned int cpu, u64 *wall)
118 : : {
119 : : u64 idle_time;
120 : : u64 cur_wall_time;
121 : : u64 busy_time;
122 : :
123 : 0 : cur_wall_time = jiffies64_to_nsecs(get_jiffies_64());
124 : :
125 : 0 : busy_time = kcpustat_cpu(cpu).cpustat[CPUTIME_USER];
126 : 0 : busy_time += kcpustat_cpu(cpu).cpustat[CPUTIME_SYSTEM];
127 : 0 : busy_time += kcpustat_cpu(cpu).cpustat[CPUTIME_IRQ];
128 : 0 : busy_time += kcpustat_cpu(cpu).cpustat[CPUTIME_SOFTIRQ];
129 : 0 : busy_time += kcpustat_cpu(cpu).cpustat[CPUTIME_STEAL];
130 : 0 : busy_time += kcpustat_cpu(cpu).cpustat[CPUTIME_NICE];
131 : :
132 : 0 : idle_time = cur_wall_time - busy_time;
133 [ # # ]: 0 : if (wall)
134 : 0 : *wall = div_u64(cur_wall_time, NSEC_PER_USEC);
135 : :
136 : 0 : return div_u64(idle_time, NSEC_PER_USEC);
137 : : }
138 : :
139 : 0 : u64 get_cpu_idle_time(unsigned int cpu, u64 *wall, int io_busy)
140 : : {
141 [ # # ]: 0 : u64 idle_time = get_cpu_idle_time_us(cpu, io_busy ? wall : NULL);
142 : :
143 [ # # ]: 0 : if (idle_time == -1ULL)
144 : 0 : return get_cpu_idle_time_jiffy(cpu, wall);
145 [ # # ]: 0 : else if (!io_busy)
146 : 0 : idle_time += get_cpu_iowait_time_us(cpu, wall);
147 : :
148 : 0 : return idle_time;
149 : : }
150 : : EXPORT_SYMBOL_GPL(get_cpu_idle_time);
151 : :
152 : 0 : __weak void arch_set_freq_scale(struct cpumask *cpus, unsigned long cur_freq,
153 : : unsigned long max_freq)
154 : : {
155 : 0 : }
156 : : EXPORT_SYMBOL_GPL(arch_set_freq_scale);
157 : :
158 : : /*
159 : : * This is a generic cpufreq init() routine which can be used by cpufreq
160 : : * drivers of SMP systems. It will do following:
161 : : * - validate & show freq table passed
162 : : * - set policies transition latency
163 : : * - policy->cpus with all possible CPUs
164 : : */
165 : 0 : void cpufreq_generic_init(struct cpufreq_policy *policy,
166 : : struct cpufreq_frequency_table *table,
167 : : unsigned int transition_latency)
168 : : {
169 : 0 : policy->freq_table = table;
170 : 0 : policy->cpuinfo.transition_latency = transition_latency;
171 : :
172 : : /*
173 : : * The driver only supports the SMP configuration where all processors
174 : : * share the clock and voltage and clock.
175 : : */
176 : : cpumask_setall(policy->cpus);
177 : 0 : }
178 : : EXPORT_SYMBOL_GPL(cpufreq_generic_init);
179 : :
180 : 0 : struct cpufreq_policy *cpufreq_cpu_get_raw(unsigned int cpu)
181 : : {
182 : 0 : struct cpufreq_policy *policy = per_cpu(cpufreq_cpu_data, cpu);
183 : :
184 [ # # # # : 0 : return policy && cpumask_test_cpu(cpu, policy->cpus) ? policy : NULL;
# # # # #
# # # # #
# # ]
185 : : }
186 : : EXPORT_SYMBOL_GPL(cpufreq_cpu_get_raw);
187 : :
188 : 0 : unsigned int cpufreq_generic_get(unsigned int cpu)
189 : : {
190 : : struct cpufreq_policy *policy = cpufreq_cpu_get_raw(cpu);
191 : :
192 [ # # # # ]: 0 : if (!policy || IS_ERR(policy->clk)) {
193 [ # # ]: 0 : pr_err("%s: No %s associated to cpu: %d\n",
194 : : __func__, policy ? "clk" : "policy", cpu);
195 : 0 : return 0;
196 : : }
197 : :
198 : 0 : return clk_get_rate(policy->clk) / 1000;
199 : : }
200 : : EXPORT_SYMBOL_GPL(cpufreq_generic_get);
201 : :
202 : : /**
203 : : * cpufreq_cpu_get - Return policy for a CPU and mark it as busy.
204 : : * @cpu: CPU to find the policy for.
205 : : *
206 : : * Call cpufreq_cpu_get_raw() to obtain a cpufreq policy for @cpu and increment
207 : : * the kobject reference counter of that policy. Return a valid policy on
208 : : * success or NULL on failure.
209 : : *
210 : : * The policy returned by this function has to be released with the help of
211 : : * cpufreq_cpu_put() to balance its kobject reference counter properly.
212 : : */
213 : 0 : struct cpufreq_policy *cpufreq_cpu_get(unsigned int cpu)
214 : : {
215 : : struct cpufreq_policy *policy = NULL;
216 : : unsigned long flags;
217 : :
218 [ # # # # ]: 0 : if (WARN_ON(cpu >= nr_cpu_ids))
219 : : return NULL;
220 : :
221 : : /* get the cpufreq driver */
222 : 0 : read_lock_irqsave(&cpufreq_driver_lock, flags);
223 : :
224 [ # # ]: 0 : if (cpufreq_driver) {
225 : : /* get the CPU */
226 : : policy = cpufreq_cpu_get_raw(cpu);
227 [ # # ]: 0 : if (policy)
228 : 0 : kobject_get(&policy->kobj);
229 : : }
230 : :
231 : 0 : read_unlock_irqrestore(&cpufreq_driver_lock, flags);
232 : :
233 : 0 : return policy;
234 : : }
235 : : EXPORT_SYMBOL_GPL(cpufreq_cpu_get);
236 : :
237 : : /**
238 : : * cpufreq_cpu_put - Decrement kobject usage counter for cpufreq policy.
239 : : * @policy: cpufreq policy returned by cpufreq_cpu_get().
240 : : */
241 : 0 : void cpufreq_cpu_put(struct cpufreq_policy *policy)
242 : : {
243 : 0 : kobject_put(&policy->kobj);
244 : 0 : }
245 : : EXPORT_SYMBOL_GPL(cpufreq_cpu_put);
246 : :
247 : : /**
248 : : * cpufreq_cpu_release - Unlock a policy and decrement its usage counter.
249 : : * @policy: cpufreq policy returned by cpufreq_cpu_acquire().
250 : : */
251 : 0 : void cpufreq_cpu_release(struct cpufreq_policy *policy)
252 : : {
253 [ # # # # ]: 0 : if (WARN_ON(!policy))
254 : 0 : return;
255 : :
256 : : lockdep_assert_held(&policy->rwsem);
257 : :
258 : 0 : up_write(&policy->rwsem);
259 : :
260 : : cpufreq_cpu_put(policy);
261 : : }
262 : :
263 : : /**
264 : : * cpufreq_cpu_acquire - Find policy for a CPU, mark it as busy and lock it.
265 : : * @cpu: CPU to find the policy for.
266 : : *
267 : : * Call cpufreq_cpu_get() to get a reference on the cpufreq policy for @cpu and
268 : : * if the policy returned by it is not NULL, acquire its rwsem for writing.
269 : : * Return the policy if it is active or release it and return NULL otherwise.
270 : : *
271 : : * The policy returned by this function has to be released with the help of
272 : : * cpufreq_cpu_release() in order to release its rwsem and balance its usage
273 : : * counter properly.
274 : : */
275 : 0 : struct cpufreq_policy *cpufreq_cpu_acquire(unsigned int cpu)
276 : : {
277 : 0 : struct cpufreq_policy *policy = cpufreq_cpu_get(cpu);
278 : :
279 [ # # ]: 0 : if (!policy)
280 : : return NULL;
281 : :
282 : 0 : down_write(&policy->rwsem);
283 : :
284 [ # # ]: 0 : if (policy_is_inactive(policy)) {
285 : 0 : cpufreq_cpu_release(policy);
286 : 0 : return NULL;
287 : : }
288 : :
289 : : return policy;
290 : : }
291 : :
292 : : /*********************************************************************
293 : : * EXTERNALLY AFFECTING FREQUENCY CHANGES *
294 : : *********************************************************************/
295 : :
296 : : /**
297 : : * adjust_jiffies - adjust the system "loops_per_jiffy"
298 : : *
299 : : * This function alters the system "loops_per_jiffy" for the clock
300 : : * speed change. Note that loops_per_jiffy cannot be updated on SMP
301 : : * systems as each CPU might be scaled differently. So, use the arch
302 : : * per-CPU loops_per_jiffy value wherever possible.
303 : : */
304 : : static void adjust_jiffies(unsigned long val, struct cpufreq_freqs *ci)
305 : : {
306 : : #ifndef CONFIG_SMP
307 : : static unsigned long l_p_j_ref;
308 : : static unsigned int l_p_j_ref_freq;
309 : :
310 : : if (ci->flags & CPUFREQ_CONST_LOOPS)
311 : : return;
312 : :
313 : : if (!l_p_j_ref_freq) {
314 : : l_p_j_ref = loops_per_jiffy;
315 : : l_p_j_ref_freq = ci->old;
316 : : pr_debug("saving %lu as reference value for loops_per_jiffy; freq is %u kHz\n",
317 : : l_p_j_ref, l_p_j_ref_freq);
318 : : }
319 : : if (val == CPUFREQ_POSTCHANGE && ci->old != ci->new) {
320 : : loops_per_jiffy = cpufreq_scale(l_p_j_ref, l_p_j_ref_freq,
321 : : ci->new);
322 : : pr_debug("scaling loops_per_jiffy to %lu for frequency %u kHz\n",
323 : : loops_per_jiffy, ci->new);
324 : : }
325 : : #endif
326 : : }
327 : :
328 : : /**
329 : : * cpufreq_notify_transition - Notify frequency transition and adjust_jiffies.
330 : : * @policy: cpufreq policy to enable fast frequency switching for.
331 : : * @freqs: contain details of the frequency update.
332 : : * @state: set to CPUFREQ_PRECHANGE or CPUFREQ_POSTCHANGE.
333 : : *
334 : : * This function calls the transition notifiers and the "adjust_jiffies"
335 : : * function. It is called twice on all CPU frequency changes that have
336 : : * external effects.
337 : : */
338 : 0 : static void cpufreq_notify_transition(struct cpufreq_policy *policy,
339 : : struct cpufreq_freqs *freqs,
340 : : unsigned int state)
341 : : {
342 : : int cpu;
343 : :
344 [ # # ]: 0 : BUG_ON(irqs_disabled());
345 : :
346 [ # # ]: 0 : if (cpufreq_disabled())
347 : 0 : return;
348 : :
349 : 0 : freqs->policy = policy;
350 : 0 : freqs->flags = cpufreq_driver->flags;
351 : : pr_debug("notification %u of frequency transition to %u kHz\n",
352 : : state, freqs->new);
353 : :
354 [ # # # ]: 0 : switch (state) {
355 : : case CPUFREQ_PRECHANGE:
356 : : /*
357 : : * Detect if the driver reported a value as "old frequency"
358 : : * which is not equal to what the cpufreq core thinks is
359 : : * "old frequency".
360 : : */
361 [ # # # # ]: 0 : if (policy->cur && policy->cur != freqs->old) {
362 : : pr_debug("Warning: CPU frequency is %u, cpufreq assumed %u kHz\n",
363 : : freqs->old, policy->cur);
364 : 0 : freqs->old = policy->cur;
365 : : }
366 : :
367 : 0 : srcu_notifier_call_chain(&cpufreq_transition_notifier_list,
368 : : CPUFREQ_PRECHANGE, freqs);
369 : :
370 : : adjust_jiffies(CPUFREQ_PRECHANGE, freqs);
371 : : break;
372 : :
373 : : case CPUFREQ_POSTCHANGE:
374 : : adjust_jiffies(CPUFREQ_POSTCHANGE, freqs);
375 : : pr_debug("FREQ: %u - CPUs: %*pbl\n", freqs->new,
376 : : cpumask_pr_args(policy->cpus));
377 : :
378 [ # # ]: 0 : for_each_cpu(cpu, policy->cpus)
379 : 0 : trace_cpu_frequency(freqs->new, cpu);
380 : :
381 : 0 : srcu_notifier_call_chain(&cpufreq_transition_notifier_list,
382 : : CPUFREQ_POSTCHANGE, freqs);
383 : :
384 : 0 : cpufreq_stats_record_transition(policy, freqs->new);
385 : 0 : policy->cur = freqs->new;
386 : : }
387 : : }
388 : :
389 : : /* Do post notifications when there are chances that transition has failed */
390 : 0 : static void cpufreq_notify_post_transition(struct cpufreq_policy *policy,
391 : : struct cpufreq_freqs *freqs, int transition_failed)
392 : : {
393 : 0 : cpufreq_notify_transition(policy, freqs, CPUFREQ_POSTCHANGE);
394 [ # # ]: 0 : if (!transition_failed)
395 : 0 : return;
396 : :
397 : 0 : swap(freqs->old, freqs->new);
398 : 0 : cpufreq_notify_transition(policy, freqs, CPUFREQ_PRECHANGE);
399 : 0 : cpufreq_notify_transition(policy, freqs, CPUFREQ_POSTCHANGE);
400 : : }
401 : :
402 : 0 : void cpufreq_freq_transition_begin(struct cpufreq_policy *policy,
403 : : struct cpufreq_freqs *freqs)
404 : : {
405 : :
406 : : /*
407 : : * Catch double invocations of _begin() which lead to self-deadlock.
408 : : * ASYNC_NOTIFICATION drivers are left out because the cpufreq core
409 : : * doesn't invoke _begin() on their behalf, and hence the chances of
410 : : * double invocations are very low. Moreover, there are scenarios
411 : : * where these checks can emit false-positive warnings in these
412 : : * drivers; so we avoid that by skipping them altogether.
413 : : */
414 [ # # # # : 0 : WARN_ON(!(cpufreq_driver->flags & CPUFREQ_ASYNC_NOTIFICATION)
# # ]
415 : : && current == policy->transition_task);
416 : :
417 : : wait:
418 [ # # # # ]: 0 : wait_event(policy->transition_wait, !policy->transition_ongoing);
419 : :
420 : : spin_lock(&policy->transition_lock);
421 : :
422 [ # # ]: 0 : if (unlikely(policy->transition_ongoing)) {
423 : : spin_unlock(&policy->transition_lock);
424 : : goto wait;
425 : : }
426 : :
427 : 0 : policy->transition_ongoing = true;
428 : 0 : policy->transition_task = current;
429 : :
430 : : spin_unlock(&policy->transition_lock);
431 : :
432 : 0 : cpufreq_notify_transition(policy, freqs, CPUFREQ_PRECHANGE);
433 : 0 : }
434 : : EXPORT_SYMBOL_GPL(cpufreq_freq_transition_begin);
435 : :
436 : 0 : void cpufreq_freq_transition_end(struct cpufreq_policy *policy,
437 : : struct cpufreq_freqs *freqs, int transition_failed)
438 : : {
439 [ # # # # ]: 0 : if (WARN_ON(!policy->transition_ongoing))
440 : 0 : return;
441 : :
442 : 0 : cpufreq_notify_post_transition(policy, freqs, transition_failed);
443 : :
444 : 0 : policy->transition_ongoing = false;
445 : 0 : policy->transition_task = NULL;
446 : :
447 : 0 : wake_up(&policy->transition_wait);
448 : : }
449 : : EXPORT_SYMBOL_GPL(cpufreq_freq_transition_end);
450 : :
451 : : /*
452 : : * Fast frequency switching status count. Positive means "enabled", negative
453 : : * means "disabled" and 0 means "not decided yet".
454 : : */
455 : : static int cpufreq_fast_switch_count;
456 : : static DEFINE_MUTEX(cpufreq_fast_switch_lock);
457 : :
458 : 0 : static void cpufreq_list_transition_notifiers(void)
459 : : {
460 : : struct notifier_block *nb;
461 : :
462 : 0 : pr_info("Registered transition notifiers:\n");
463 : :
464 : 0 : mutex_lock(&cpufreq_transition_notifier_list.mutex);
465 : :
466 [ # # ]: 0 : for (nb = cpufreq_transition_notifier_list.head; nb; nb = nb->next)
467 : 0 : pr_info("%pS\n", nb->notifier_call);
468 : :
469 : 0 : mutex_unlock(&cpufreq_transition_notifier_list.mutex);
470 : 0 : }
471 : :
472 : : /**
473 : : * cpufreq_enable_fast_switch - Enable fast frequency switching for policy.
474 : : * @policy: cpufreq policy to enable fast frequency switching for.
475 : : *
476 : : * Try to enable fast frequency switching for @policy.
477 : : *
478 : : * The attempt will fail if there is at least one transition notifier registered
479 : : * at this point, as fast frequency switching is quite fundamentally at odds
480 : : * with transition notifiers. Thus if successful, it will make registration of
481 : : * transition notifiers fail going forward.
482 : : */
483 : 0 : void cpufreq_enable_fast_switch(struct cpufreq_policy *policy)
484 : : {
485 : : lockdep_assert_held(&policy->rwsem);
486 : :
487 [ # # ]: 0 : if (!policy->fast_switch_possible)
488 : 0 : return;
489 : :
490 : 0 : mutex_lock(&cpufreq_fast_switch_lock);
491 [ # # ]: 0 : if (cpufreq_fast_switch_count >= 0) {
492 : 0 : cpufreq_fast_switch_count++;
493 : 0 : policy->fast_switch_enabled = true;
494 : : } else {
495 : 0 : pr_warn("CPU%u: Fast frequency switching not enabled\n",
496 : : policy->cpu);
497 : 0 : cpufreq_list_transition_notifiers();
498 : : }
499 : 0 : mutex_unlock(&cpufreq_fast_switch_lock);
500 : : }
501 : : EXPORT_SYMBOL_GPL(cpufreq_enable_fast_switch);
502 : :
503 : : /**
504 : : * cpufreq_disable_fast_switch - Disable fast frequency switching for policy.
505 : : * @policy: cpufreq policy to disable fast frequency switching for.
506 : : */
507 : 0 : void cpufreq_disable_fast_switch(struct cpufreq_policy *policy)
508 : : {
509 : 0 : mutex_lock(&cpufreq_fast_switch_lock);
510 [ # # ]: 0 : if (policy->fast_switch_enabled) {
511 : 0 : policy->fast_switch_enabled = false;
512 [ # # # # ]: 0 : if (!WARN_ON(cpufreq_fast_switch_count <= 0))
513 : 0 : cpufreq_fast_switch_count--;
514 : : }
515 : 0 : mutex_unlock(&cpufreq_fast_switch_lock);
516 : 0 : }
517 : : EXPORT_SYMBOL_GPL(cpufreq_disable_fast_switch);
518 : :
519 : : /**
520 : : * cpufreq_driver_resolve_freq - Map a target frequency to a driver-supported
521 : : * one.
522 : : * @target_freq: target frequency to resolve.
523 : : *
524 : : * The target to driver frequency mapping is cached in the policy.
525 : : *
526 : : * Return: Lowest driver-supported frequency greater than or equal to the
527 : : * given target_freq, subject to policy (min/max) and driver limitations.
528 : : */
529 : 0 : unsigned int cpufreq_driver_resolve_freq(struct cpufreq_policy *policy,
530 : : unsigned int target_freq)
531 : : {
532 : 0 : target_freq = clamp_val(target_freq, policy->min, policy->max);
533 : 0 : policy->cached_target_freq = target_freq;
534 : :
535 [ # # ]: 0 : if (cpufreq_driver->target_index) {
536 : : int idx;
537 : :
538 : 0 : idx = cpufreq_frequency_table_target(policy, target_freq,
539 : : CPUFREQ_RELATION_L);
540 : 0 : policy->cached_resolved_idx = idx;
541 : 0 : return policy->freq_table[idx].frequency;
542 : : }
543 : :
544 [ # # ]: 0 : if (cpufreq_driver->resolve_freq)
545 : 0 : return cpufreq_driver->resolve_freq(policy, target_freq);
546 : :
547 : : return target_freq;
548 : : }
549 : : EXPORT_SYMBOL_GPL(cpufreq_driver_resolve_freq);
550 : :
551 : 0 : unsigned int cpufreq_policy_transition_delay_us(struct cpufreq_policy *policy)
552 : : {
553 : : unsigned int latency;
554 : :
555 [ # # ]: 0 : if (policy->transition_delay_us)
556 : : return policy->transition_delay_us;
557 : :
558 : 0 : latency = policy->cpuinfo.transition_latency / NSEC_PER_USEC;
559 [ # # ]: 0 : if (latency) {
560 : : /*
561 : : * For platforms that can change the frequency very fast (< 10
562 : : * us), the above formula gives a decent transition delay. But
563 : : * for platforms where transition_latency is in milliseconds, it
564 : : * ends up giving unrealistic values.
565 : : *
566 : : * Cap the default transition delay to 10 ms, which seems to be
567 : : * a reasonable amount of time after which we should reevaluate
568 : : * the frequency.
569 : : */
570 : 0 : return min(latency * LATENCY_MULTIPLIER, (unsigned int)10000);
571 : : }
572 : :
573 : : return LATENCY_MULTIPLIER;
574 : : }
575 : : EXPORT_SYMBOL_GPL(cpufreq_policy_transition_delay_us);
576 : :
577 : : /*********************************************************************
578 : : * SYSFS INTERFACE *
579 : : *********************************************************************/
580 : 0 : static ssize_t show_boost(struct kobject *kobj,
581 : : struct kobj_attribute *attr, char *buf)
582 : : {
583 : 0 : return sprintf(buf, "%d\n", cpufreq_driver->boost_enabled);
584 : : }
585 : :
586 : 0 : static ssize_t store_boost(struct kobject *kobj, struct kobj_attribute *attr,
587 : : const char *buf, size_t count)
588 : : {
589 : : int ret, enable;
590 : :
591 : 0 : ret = sscanf(buf, "%d", &enable);
592 [ # # # # : 0 : if (ret != 1 || enable < 0 || enable > 1)
# # ]
593 : : return -EINVAL;
594 : :
595 [ # # ]: 0 : if (cpufreq_boost_trigger_state(enable)) {
596 [ # # ]: 0 : pr_err("%s: Cannot %s BOOST!\n",
597 : : __func__, enable ? "enable" : "disable");
598 : 0 : return -EINVAL;
599 : : }
600 : :
601 : : pr_debug("%s: cpufreq BOOST %s\n",
602 : : __func__, enable ? "enabled" : "disabled");
603 : :
604 : 0 : return count;
605 : : }
606 : : define_one_global_rw(boost);
607 : :
608 : 2424 : static struct cpufreq_governor *find_governor(const char *str_governor)
609 : : {
610 : : struct cpufreq_governor *t;
611 : :
612 [ + + ]: 8484 : for_each_governor(t)
613 [ - + ]: 6060 : if (!strncasecmp(str_governor, t->name, CPUFREQ_NAME_LEN))
614 : 0 : return t;
615 : :
616 : : return NULL;
617 : : }
618 : :
619 : 0 : static struct cpufreq_governor *get_governor(const char *str_governor)
620 : : {
621 : : struct cpufreq_governor *t;
622 : :
623 : 0 : mutex_lock(&cpufreq_governor_mutex);
624 : 0 : t = find_governor(str_governor);
625 [ # # ]: 0 : if (!t)
626 : : goto unlock;
627 : :
628 [ # # ]: 0 : if (!try_module_get(t->owner))
629 : : t = NULL;
630 : :
631 : : unlock:
632 : 0 : mutex_unlock(&cpufreq_governor_mutex);
633 : :
634 : 0 : return t;
635 : : }
636 : :
637 : 0 : static unsigned int cpufreq_parse_policy(char *str_governor)
638 : : {
639 [ # # ]: 0 : if (!strncasecmp(str_governor, "performance", CPUFREQ_NAME_LEN))
640 : : return CPUFREQ_POLICY_PERFORMANCE;
641 : :
642 [ # # ]: 0 : if (!strncasecmp(str_governor, "powersave", CPUFREQ_NAME_LEN))
643 : : return CPUFREQ_POLICY_POWERSAVE;
644 : :
645 : 0 : return CPUFREQ_POLICY_UNKNOWN;
646 : : }
647 : :
648 : : /**
649 : : * cpufreq_parse_governor - parse a governor string only for has_target()
650 : : * @str_governor: Governor name.
651 : : */
652 : 0 : static struct cpufreq_governor *cpufreq_parse_governor(char *str_governor)
653 : : {
654 : : struct cpufreq_governor *t;
655 : :
656 : 0 : t = get_governor(str_governor);
657 [ # # ]: 0 : if (t)
658 : : return t;
659 : :
660 [ # # ]: 0 : if (request_module("cpufreq_%s", str_governor))
661 : : return NULL;
662 : :
663 : 0 : return get_governor(str_governor);
664 : : }
665 : :
666 : : /**
667 : : * cpufreq_per_cpu_attr_read() / show_##file_name() -
668 : : * print out cpufreq information
669 : : *
670 : : * Write out information from cpufreq_driver->policy[cpu]; object must be
671 : : * "unsigned int".
672 : : */
673 : :
674 : : #define show_one(file_name, object) \
675 : : static ssize_t show_##file_name \
676 : : (struct cpufreq_policy *policy, char *buf) \
677 : : { \
678 : : return sprintf(buf, "%u\n", policy->object); \
679 : : }
680 : :
681 : 0 : show_one(cpuinfo_min_freq, cpuinfo.min_freq);
682 : 0 : show_one(cpuinfo_max_freq, cpuinfo.max_freq);
683 : 0 : show_one(cpuinfo_transition_latency, cpuinfo.transition_latency);
684 : 0 : show_one(scaling_min_freq, min);
685 : 0 : show_one(scaling_max_freq, max);
686 : :
687 : 0 : __weak unsigned int arch_freq_get_on_cpu(int cpu)
688 : : {
689 : 0 : return 0;
690 : : }
691 : :
692 : 0 : static ssize_t show_scaling_cur_freq(struct cpufreq_policy *policy, char *buf)
693 : : {
694 : : ssize_t ret;
695 : : unsigned int freq;
696 : :
697 : 0 : freq = arch_freq_get_on_cpu(policy->cpu);
698 [ # # ]: 0 : if (freq)
699 : 0 : ret = sprintf(buf, "%u\n", freq);
700 [ # # # # : 0 : else if (cpufreq_driver && cpufreq_driver->setpolicy &&
# # ]
701 : 0 : cpufreq_driver->get)
702 : 0 : ret = sprintf(buf, "%u\n", cpufreq_driver->get(policy->cpu));
703 : : else
704 : 0 : ret = sprintf(buf, "%u\n", policy->cur);
705 : 0 : return ret;
706 : : }
707 : :
708 : : /**
709 : : * cpufreq_per_cpu_attr_write() / store_##file_name() - sysfs write access
710 : : */
711 : : #define store_one(file_name, object) \
712 : : static ssize_t store_##file_name \
713 : : (struct cpufreq_policy *policy, const char *buf, size_t count) \
714 : : { \
715 : : unsigned long val; \
716 : : int ret; \
717 : : \
718 : : ret = sscanf(buf, "%lu", &val); \
719 : : if (ret != 1) \
720 : : return -EINVAL; \
721 : : \
722 : : ret = freq_qos_update_request(policy->object##_freq_req, val);\
723 : : return ret >= 0 ? count : ret; \
724 : : }
725 : :
726 [ # # # # ]: 0 : store_one(scaling_min_freq, min);
727 [ # # # # ]: 0 : store_one(scaling_max_freq, max);
728 : :
729 : : /**
730 : : * show_cpuinfo_cur_freq - current CPU frequency as detected by hardware
731 : : */
732 : 0 : static ssize_t show_cpuinfo_cur_freq(struct cpufreq_policy *policy,
733 : : char *buf)
734 : : {
735 : 0 : unsigned int cur_freq = __cpufreq_get(policy);
736 : :
737 [ # # ]: 0 : if (cur_freq)
738 : 0 : return sprintf(buf, "%u\n", cur_freq);
739 : :
740 : 0 : return sprintf(buf, "<unknown>\n");
741 : : }
742 : :
743 : : /**
744 : : * show_scaling_governor - show the current policy for the specified CPU
745 : : */
746 : 0 : static ssize_t show_scaling_governor(struct cpufreq_policy *policy, char *buf)
747 : : {
748 [ # # ]: 0 : if (policy->policy == CPUFREQ_POLICY_POWERSAVE)
749 : 0 : return sprintf(buf, "powersave\n");
750 [ # # ]: 0 : else if (policy->policy == CPUFREQ_POLICY_PERFORMANCE)
751 : 0 : return sprintf(buf, "performance\n");
752 [ # # ]: 0 : else if (policy->governor)
753 : 0 : return scnprintf(buf, CPUFREQ_NAME_PLEN, "%s\n",
754 : 0 : policy->governor->name);
755 : : return -EINVAL;
756 : : }
757 : :
758 : : /**
759 : : * store_scaling_governor - store policy for the specified CPU
760 : : */
761 : 0 : static ssize_t store_scaling_governor(struct cpufreq_policy *policy,
762 : : const char *buf, size_t count)
763 : : {
764 : : char str_governor[16];
765 : : int ret;
766 : :
767 : 0 : ret = sscanf(buf, "%15s", str_governor);
768 [ # # ]: 0 : if (ret != 1)
769 : : return -EINVAL;
770 : :
771 [ # # ]: 0 : if (cpufreq_driver->setpolicy) {
772 : : unsigned int new_pol;
773 : :
774 : 0 : new_pol = cpufreq_parse_policy(str_governor);
775 [ # # ]: 0 : if (!new_pol)
776 : : return -EINVAL;
777 : :
778 : 0 : ret = cpufreq_set_policy(policy, NULL, new_pol);
779 : : } else {
780 : : struct cpufreq_governor *new_gov;
781 : :
782 : 0 : new_gov = cpufreq_parse_governor(str_governor);
783 [ # # ]: 0 : if (!new_gov)
784 : : return -EINVAL;
785 : :
786 : 0 : ret = cpufreq_set_policy(policy, new_gov,
787 : : CPUFREQ_POLICY_UNKNOWN);
788 : :
789 : 0 : module_put(new_gov->owner);
790 : : }
791 : :
792 [ # # ]: 0 : return ret ? ret : count;
793 : : }
794 : :
795 : : /**
796 : : * show_scaling_driver - show the cpufreq driver currently loaded
797 : : */
798 : 0 : static ssize_t show_scaling_driver(struct cpufreq_policy *policy, char *buf)
799 : : {
800 : 0 : return scnprintf(buf, CPUFREQ_NAME_PLEN, "%s\n", cpufreq_driver->name);
801 : : }
802 : :
803 : : /**
804 : : * show_scaling_available_governors - show the available CPUfreq governors
805 : : */
806 : 0 : static ssize_t show_scaling_available_governors(struct cpufreq_policy *policy,
807 : : char *buf)
808 : : {
809 : : ssize_t i = 0;
810 : : struct cpufreq_governor *t;
811 : :
812 [ # # ]: 0 : if (!has_target()) {
813 : 0 : i += sprintf(buf, "performance powersave");
814 : 0 : goto out;
815 : : }
816 : :
817 : 0 : mutex_lock(&cpufreq_governor_mutex);
818 [ # # ]: 0 : for_each_governor(t) {
819 [ # # ]: 0 : if (i >= (ssize_t) ((PAGE_SIZE / sizeof(char))
820 : : - (CPUFREQ_NAME_LEN + 2)))
821 : : break;
822 : 0 : i += scnprintf(&buf[i], CPUFREQ_NAME_PLEN, "%s ", t->name);
823 : : }
824 : 0 : mutex_unlock(&cpufreq_governor_mutex);
825 : : out:
826 : 0 : i += sprintf(&buf[i], "\n");
827 : 0 : return i;
828 : : }
829 : :
830 : 0 : ssize_t cpufreq_show_cpus(const struct cpumask *mask, char *buf)
831 : : {
832 : : ssize_t i = 0;
833 : : unsigned int cpu;
834 : :
835 [ # # ]: 0 : for_each_cpu(cpu, mask) {
836 [ # # ]: 0 : if (i)
837 : 0 : i += scnprintf(&buf[i], (PAGE_SIZE - i - 2), " ");
838 : 0 : i += scnprintf(&buf[i], (PAGE_SIZE - i - 2), "%u", cpu);
839 [ # # ]: 0 : if (i >= (PAGE_SIZE - 5))
840 : : break;
841 : : }
842 : 0 : i += sprintf(&buf[i], "\n");
843 : 0 : return i;
844 : : }
845 : : EXPORT_SYMBOL_GPL(cpufreq_show_cpus);
846 : :
847 : : /**
848 : : * show_related_cpus - show the CPUs affected by each transition even if
849 : : * hw coordination is in use
850 : : */
851 : 0 : static ssize_t show_related_cpus(struct cpufreq_policy *policy, char *buf)
852 : : {
853 : 0 : return cpufreq_show_cpus(policy->related_cpus, buf);
854 : : }
855 : :
856 : : /**
857 : : * show_affected_cpus - show the CPUs affected by each transition
858 : : */
859 : 0 : static ssize_t show_affected_cpus(struct cpufreq_policy *policy, char *buf)
860 : : {
861 : 0 : return cpufreq_show_cpus(policy->cpus, buf);
862 : : }
863 : :
864 : 0 : static ssize_t store_scaling_setspeed(struct cpufreq_policy *policy,
865 : : const char *buf, size_t count)
866 : : {
867 : 0 : unsigned int freq = 0;
868 : : unsigned int ret;
869 : :
870 [ # # # # ]: 0 : if (!policy->governor || !policy->governor->store_setspeed)
871 : : return -EINVAL;
872 : :
873 : 0 : ret = sscanf(buf, "%u", &freq);
874 [ # # ]: 0 : if (ret != 1)
875 : : return -EINVAL;
876 : :
877 : 0 : policy->governor->store_setspeed(policy, freq);
878 : :
879 : 0 : return count;
880 : : }
881 : :
882 : 0 : static ssize_t show_scaling_setspeed(struct cpufreq_policy *policy, char *buf)
883 : : {
884 [ # # # # ]: 0 : if (!policy->governor || !policy->governor->show_setspeed)
885 : 0 : return sprintf(buf, "<unsupported>\n");
886 : :
887 : 0 : return policy->governor->show_setspeed(policy, buf);
888 : : }
889 : :
890 : : /**
891 : : * show_bios_limit - show the current cpufreq HW/BIOS limitation
892 : : */
893 : 0 : static ssize_t show_bios_limit(struct cpufreq_policy *policy, char *buf)
894 : : {
895 : : unsigned int limit;
896 : : int ret;
897 : 0 : ret = cpufreq_driver->bios_limit(policy->cpu, &limit);
898 [ # # ]: 0 : if (!ret)
899 : 0 : return sprintf(buf, "%u\n", limit);
900 : 0 : return sprintf(buf, "%u\n", policy->cpuinfo.max_freq);
901 : : }
902 : :
903 : : cpufreq_freq_attr_ro_perm(cpuinfo_cur_freq, 0400);
904 : : cpufreq_freq_attr_ro(cpuinfo_min_freq);
905 : : cpufreq_freq_attr_ro(cpuinfo_max_freq);
906 : : cpufreq_freq_attr_ro(cpuinfo_transition_latency);
907 : : cpufreq_freq_attr_ro(scaling_available_governors);
908 : : cpufreq_freq_attr_ro(scaling_driver);
909 : : cpufreq_freq_attr_ro(scaling_cur_freq);
910 : : cpufreq_freq_attr_ro(bios_limit);
911 : : cpufreq_freq_attr_ro(related_cpus);
912 : : cpufreq_freq_attr_ro(affected_cpus);
913 : : cpufreq_freq_attr_rw(scaling_min_freq);
914 : : cpufreq_freq_attr_rw(scaling_max_freq);
915 : : cpufreq_freq_attr_rw(scaling_governor);
916 : : cpufreq_freq_attr_rw(scaling_setspeed);
917 : :
918 : : static struct attribute *default_attrs[] = {
919 : : &cpuinfo_min_freq.attr,
920 : : &cpuinfo_max_freq.attr,
921 : : &cpuinfo_transition_latency.attr,
922 : : &scaling_min_freq.attr,
923 : : &scaling_max_freq.attr,
924 : : &affected_cpus.attr,
925 : : &related_cpus.attr,
926 : : &scaling_governor.attr,
927 : : &scaling_driver.attr,
928 : : &scaling_available_governors.attr,
929 : : &scaling_setspeed.attr,
930 : : NULL
931 : : };
932 : :
933 : : #define to_policy(k) container_of(k, struct cpufreq_policy, kobj)
934 : : #define to_attr(a) container_of(a, struct freq_attr, attr)
935 : :
936 : 0 : static ssize_t show(struct kobject *kobj, struct attribute *attr, char *buf)
937 : : {
938 : 0 : struct cpufreq_policy *policy = to_policy(kobj);
939 : : struct freq_attr *fattr = to_attr(attr);
940 : : ssize_t ret;
941 : :
942 [ # # ]: 0 : if (!fattr->show)
943 : : return -EIO;
944 : :
945 : 0 : down_read(&policy->rwsem);
946 : 0 : ret = fattr->show(policy, buf);
947 : 0 : up_read(&policy->rwsem);
948 : :
949 : 0 : return ret;
950 : : }
951 : :
952 : 0 : static ssize_t store(struct kobject *kobj, struct attribute *attr,
953 : : const char *buf, size_t count)
954 : : {
955 : 0 : struct cpufreq_policy *policy = to_policy(kobj);
956 : : struct freq_attr *fattr = to_attr(attr);
957 : : ssize_t ret = -EINVAL;
958 : :
959 [ # # ]: 0 : if (!fattr->store)
960 : : return -EIO;
961 : :
962 : : /*
963 : : * cpus_read_trylock() is used here to work around a circular lock
964 : : * dependency problem with respect to the cpufreq_register_driver().
965 : : */
966 : : if (!cpus_read_trylock())
967 : : return -EBUSY;
968 : :
969 [ # # ]: 0 : if (cpu_online(policy->cpu)) {
970 : 0 : down_write(&policy->rwsem);
971 : 0 : ret = fattr->store(policy, buf, count);
972 : 0 : up_write(&policy->rwsem);
973 : : }
974 : :
975 : : cpus_read_unlock();
976 : :
977 : 0 : return ret;
978 : : }
979 : :
980 : 0 : static void cpufreq_sysfs_release(struct kobject *kobj)
981 : : {
982 : : struct cpufreq_policy *policy = to_policy(kobj);
983 : : pr_debug("last reference is dropped\n");
984 : 0 : complete(&policy->kobj_unregister);
985 : 0 : }
986 : :
987 : : static const struct sysfs_ops sysfs_ops = {
988 : : .show = show,
989 : : .store = store,
990 : : };
991 : :
992 : : static struct kobj_type ktype_cpufreq = {
993 : : .sysfs_ops = &sysfs_ops,
994 : : .default_attrs = default_attrs,
995 : : .release = cpufreq_sysfs_release,
996 : : };
997 : :
998 : 0 : static void add_cpu_dev_symlink(struct cpufreq_policy *policy, unsigned int cpu)
999 : : {
1000 : 0 : struct device *dev = get_cpu_device(cpu);
1001 : :
1002 [ # # ]: 0 : if (unlikely(!dev))
1003 : : return;
1004 : :
1005 [ # # ]: 0 : if (cpumask_test_and_set_cpu(cpu, policy->real_cpus))
1006 : : return;
1007 : :
1008 : : dev_dbg(dev, "%s: Adding symlink\n", __func__);
1009 [ # # ]: 0 : if (sysfs_create_link(&dev->kobj, &policy->kobj, "cpufreq"))
1010 : 0 : dev_err(dev, "cpufreq symlink creation failed\n");
1011 : : }
1012 : :
1013 : : static void remove_cpu_dev_symlink(struct cpufreq_policy *policy,
1014 : : struct device *dev)
1015 : : {
1016 : : dev_dbg(dev, "%s: Removing symlink\n", __func__);
1017 : 0 : sysfs_remove_link(&dev->kobj, "cpufreq");
1018 : : }
1019 : :
1020 : 0 : static int cpufreq_add_dev_interface(struct cpufreq_policy *policy)
1021 : : {
1022 : : struct freq_attr **drv_attr;
1023 : : int ret = 0;
1024 : :
1025 : : /* set up files for this cpu device */
1026 : 0 : drv_attr = cpufreq_driver->attr;
1027 [ # # # # ]: 0 : while (drv_attr && *drv_attr) {
1028 : 0 : ret = sysfs_create_file(&policy->kobj, &((*drv_attr)->attr));
1029 [ # # ]: 0 : if (ret)
1030 : 0 : return ret;
1031 : 0 : drv_attr++;
1032 : : }
1033 [ # # ]: 0 : if (cpufreq_driver->get) {
1034 : 0 : ret = sysfs_create_file(&policy->kobj, &cpuinfo_cur_freq.attr);
1035 [ # # ]: 0 : if (ret)
1036 : : return ret;
1037 : : }
1038 : :
1039 : 0 : ret = sysfs_create_file(&policy->kobj, &scaling_cur_freq.attr);
1040 [ # # ]: 0 : if (ret)
1041 : : return ret;
1042 : :
1043 [ # # ]: 0 : if (cpufreq_driver->bios_limit) {
1044 : : ret = sysfs_create_file(&policy->kobj, &bios_limit.attr);
1045 [ # # ]: 0 : if (ret)
1046 : 0 : return ret;
1047 : : }
1048 : :
1049 : : return 0;
1050 : : }
1051 : :
1052 : 0 : __weak struct cpufreq_governor *cpufreq_default_governor(void)
1053 : : {
1054 : 0 : return NULL;
1055 : : }
1056 : :
1057 : 0 : static int cpufreq_init_policy(struct cpufreq_policy *policy)
1058 : : {
1059 : 0 : struct cpufreq_governor *def_gov = cpufreq_default_governor();
1060 : : struct cpufreq_governor *gov = NULL;
1061 : : unsigned int pol = CPUFREQ_POLICY_UNKNOWN;
1062 : : int ret;
1063 : :
1064 [ # # ]: 0 : if (has_target()) {
1065 : : /* Update policy governor to the one used before hotplug. */
1066 : 0 : gov = get_governor(policy->last_governor);
1067 [ # # ]: 0 : if (gov) {
1068 : : pr_debug("Restoring governor %s for cpu %d\n",
1069 : : policy->governor->name, policy->cpu);
1070 [ # # ]: 0 : } else if (def_gov) {
1071 : : gov = def_gov;
1072 : 0 : __module_get(gov->owner);
1073 : : } else {
1074 : : return -ENODATA;
1075 : : }
1076 : : } else {
1077 : : /* Use the default policy if there is no last_policy. */
1078 [ # # ]: 0 : if (policy->last_policy) {
1079 : : pol = policy->last_policy;
1080 [ # # ]: 0 : } else if (def_gov) {
1081 : 0 : pol = cpufreq_parse_policy(def_gov->name);
1082 : : /*
1083 : : * In case the default governor is neiter "performance"
1084 : : * nor "powersave", fall back to the initial policy
1085 : : * value set by the driver.
1086 : : */
1087 [ # # ]: 0 : if (pol == CPUFREQ_POLICY_UNKNOWN)
1088 : 0 : pol = policy->policy;
1089 : : }
1090 [ # # ]: 0 : if (pol != CPUFREQ_POLICY_PERFORMANCE &&
1091 : : pol != CPUFREQ_POLICY_POWERSAVE)
1092 : : return -ENODATA;
1093 : : }
1094 : :
1095 : 0 : ret = cpufreq_set_policy(policy, gov, pol);
1096 [ # # ]: 0 : if (gov)
1097 : 0 : module_put(gov->owner);
1098 : :
1099 : 0 : return ret;
1100 : : }
1101 : :
1102 : 0 : static int cpufreq_add_policy_cpu(struct cpufreq_policy *policy, unsigned int cpu)
1103 : : {
1104 : : int ret = 0;
1105 : :
1106 : : /* Has this CPU been taken care of already? */
1107 [ # # ]: 0 : if (cpumask_test_cpu(cpu, policy->cpus))
1108 : : return 0;
1109 : :
1110 : 0 : down_write(&policy->rwsem);
1111 [ # # ]: 0 : if (has_target())
1112 : : cpufreq_stop_governor(policy);
1113 : :
1114 : : cpumask_set_cpu(cpu, policy->cpus);
1115 : :
1116 [ # # ]: 0 : if (has_target()) {
1117 : 0 : ret = cpufreq_start_governor(policy);
1118 [ # # ]: 0 : if (ret)
1119 : 0 : pr_err("%s: Failed to start governor\n", __func__);
1120 : : }
1121 : 0 : up_write(&policy->rwsem);
1122 : 0 : return ret;
1123 : : }
1124 : :
1125 : 0 : void refresh_frequency_limits(struct cpufreq_policy *policy)
1126 : : {
1127 [ # # ]: 0 : if (!policy_is_inactive(policy)) {
1128 : : pr_debug("updating policy for CPU %u\n", policy->cpu);
1129 : :
1130 : 0 : cpufreq_set_policy(policy, policy->governor, policy->policy);
1131 : : }
1132 : 0 : }
1133 : : EXPORT_SYMBOL(refresh_frequency_limits);
1134 : :
1135 : 0 : static void handle_update(struct work_struct *work)
1136 : : {
1137 : : struct cpufreq_policy *policy =
1138 : 0 : container_of(work, struct cpufreq_policy, update);
1139 : :
1140 : : pr_debug("handle_update for cpu %u called\n", policy->cpu);
1141 : 0 : down_write(&policy->rwsem);
1142 : 0 : refresh_frequency_limits(policy);
1143 : 0 : up_write(&policy->rwsem);
1144 : 0 : }
1145 : :
1146 : 0 : static int cpufreq_notifier_min(struct notifier_block *nb, unsigned long freq,
1147 : : void *data)
1148 : : {
1149 : : struct cpufreq_policy *policy = container_of(nb, struct cpufreq_policy, nb_min);
1150 : :
1151 : 0 : schedule_work(&policy->update);
1152 : 0 : return 0;
1153 : : }
1154 : :
1155 : 0 : static int cpufreq_notifier_max(struct notifier_block *nb, unsigned long freq,
1156 : : void *data)
1157 : : {
1158 : : struct cpufreq_policy *policy = container_of(nb, struct cpufreq_policy, nb_max);
1159 : :
1160 : 0 : schedule_work(&policy->update);
1161 : 0 : return 0;
1162 : : }
1163 : :
1164 : 0 : static void cpufreq_policy_put_kobj(struct cpufreq_policy *policy)
1165 : : {
1166 : : struct kobject *kobj;
1167 : : struct completion *cmp;
1168 : :
1169 : 0 : down_write(&policy->rwsem);
1170 : 0 : cpufreq_stats_free_table(policy);
1171 : 0 : kobj = &policy->kobj;
1172 : 0 : cmp = &policy->kobj_unregister;
1173 : 0 : up_write(&policy->rwsem);
1174 : 0 : kobject_put(kobj);
1175 : :
1176 : : /*
1177 : : * We need to make sure that the underlying kobj is
1178 : : * actually not referenced anymore by anybody before we
1179 : : * proceed with unloading.
1180 : : */
1181 : : pr_debug("waiting for dropping of refcount\n");
1182 : 0 : wait_for_completion(cmp);
1183 : : pr_debug("wait complete\n");
1184 : 0 : }
1185 : :
1186 : 0 : static struct cpufreq_policy *cpufreq_policy_alloc(unsigned int cpu)
1187 : : {
1188 : : struct cpufreq_policy *policy;
1189 : 0 : struct device *dev = get_cpu_device(cpu);
1190 : : int ret;
1191 : :
1192 [ # # ]: 0 : if (!dev)
1193 : : return NULL;
1194 : :
1195 : 0 : policy = kzalloc(sizeof(*policy), GFP_KERNEL);
1196 [ # # ]: 0 : if (!policy)
1197 : : return NULL;
1198 : :
1199 : : if (!alloc_cpumask_var(&policy->cpus, GFP_KERNEL))
1200 : : goto err_free_policy;
1201 : :
1202 : : if (!zalloc_cpumask_var(&policy->related_cpus, GFP_KERNEL))
1203 : : goto err_free_cpumask;
1204 : :
1205 : : if (!zalloc_cpumask_var(&policy->real_cpus, GFP_KERNEL))
1206 : : goto err_free_rcpumask;
1207 : :
1208 : 0 : ret = kobject_init_and_add(&policy->kobj, &ktype_cpufreq,
1209 : : cpufreq_global_kobject, "policy%u", cpu);
1210 [ # # ]: 0 : if (ret) {
1211 : 0 : dev_err(dev, "%s: failed to init policy->kobj: %d\n", __func__, ret);
1212 : : /*
1213 : : * The entire policy object will be freed below, but the extra
1214 : : * memory allocated for the kobject name needs to be freed by
1215 : : * releasing the kobject.
1216 : : */
1217 : 0 : kobject_put(&policy->kobj);
1218 : 0 : goto err_free_real_cpus;
1219 : : }
1220 : :
1221 : 0 : freq_constraints_init(&policy->constraints);
1222 : :
1223 : 0 : policy->nb_min.notifier_call = cpufreq_notifier_min;
1224 : 0 : policy->nb_max.notifier_call = cpufreq_notifier_max;
1225 : :
1226 : 0 : ret = freq_qos_add_notifier(&policy->constraints, FREQ_QOS_MIN,
1227 : : &policy->nb_min);
1228 [ # # ]: 0 : if (ret) {
1229 : 0 : dev_err(dev, "Failed to register MIN QoS notifier: %d (%*pbl)\n",
1230 : : ret, cpumask_pr_args(policy->cpus));
1231 : 0 : goto err_kobj_remove;
1232 : : }
1233 : :
1234 : 0 : ret = freq_qos_add_notifier(&policy->constraints, FREQ_QOS_MAX,
1235 : : &policy->nb_max);
1236 [ # # ]: 0 : if (ret) {
1237 : 0 : dev_err(dev, "Failed to register MAX QoS notifier: %d (%*pbl)\n",
1238 : : ret, cpumask_pr_args(policy->cpus));
1239 : : goto err_min_qos_notifier;
1240 : : }
1241 : :
1242 : 0 : INIT_LIST_HEAD(&policy->policy_list);
1243 : 0 : init_rwsem(&policy->rwsem);
1244 : 0 : spin_lock_init(&policy->transition_lock);
1245 : 0 : init_waitqueue_head(&policy->transition_wait);
1246 : : init_completion(&policy->kobj_unregister);
1247 : 0 : INIT_WORK(&policy->update, handle_update);
1248 : :
1249 : 0 : policy->cpu = cpu;
1250 : 0 : return policy;
1251 : :
1252 : : err_min_qos_notifier:
1253 : 0 : freq_qos_remove_notifier(&policy->constraints, FREQ_QOS_MIN,
1254 : : &policy->nb_min);
1255 : : err_kobj_remove:
1256 : 0 : cpufreq_policy_put_kobj(policy);
1257 : : err_free_real_cpus:
1258 : : free_cpumask_var(policy->real_cpus);
1259 : : err_free_rcpumask:
1260 : : free_cpumask_var(policy->related_cpus);
1261 : : err_free_cpumask:
1262 : : free_cpumask_var(policy->cpus);
1263 : : err_free_policy:
1264 : 0 : kfree(policy);
1265 : :
1266 : 0 : return NULL;
1267 : : }
1268 : :
1269 : 0 : static void cpufreq_policy_free(struct cpufreq_policy *policy)
1270 : : {
1271 : : unsigned long flags;
1272 : : int cpu;
1273 : :
1274 : : /* Remove policy from list */
1275 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
1276 : : list_del(&policy->policy_list);
1277 : :
1278 [ # # ]: 0 : for_each_cpu(cpu, policy->related_cpus)
1279 : 0 : per_cpu(cpufreq_cpu_data, cpu) = NULL;
1280 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
1281 : :
1282 : 0 : freq_qos_remove_notifier(&policy->constraints, FREQ_QOS_MAX,
1283 : : &policy->nb_max);
1284 : 0 : freq_qos_remove_notifier(&policy->constraints, FREQ_QOS_MIN,
1285 : : &policy->nb_min);
1286 : :
1287 : : /* Cancel any pending policy->update work before freeing the policy. */
1288 : 0 : cancel_work_sync(&policy->update);
1289 : :
1290 [ # # ]: 0 : if (policy->max_freq_req) {
1291 : : /*
1292 : : * CPUFREQ_CREATE_POLICY notification is sent only after
1293 : : * successfully adding max_freq_req request.
1294 : : */
1295 : 0 : blocking_notifier_call_chain(&cpufreq_policy_notifier_list,
1296 : : CPUFREQ_REMOVE_POLICY, policy);
1297 : 0 : freq_qos_remove_request(policy->max_freq_req);
1298 : : }
1299 : :
1300 : 0 : freq_qos_remove_request(policy->min_freq_req);
1301 : 0 : kfree(policy->min_freq_req);
1302 : :
1303 : 0 : cpufreq_policy_put_kobj(policy);
1304 : : free_cpumask_var(policy->real_cpus);
1305 : : free_cpumask_var(policy->related_cpus);
1306 : : free_cpumask_var(policy->cpus);
1307 : 0 : kfree(policy);
1308 : 0 : }
1309 : :
1310 : 0 : static int cpufreq_online(unsigned int cpu)
1311 : : {
1312 : : struct cpufreq_policy *policy;
1313 : : bool new_policy;
1314 : : unsigned long flags;
1315 : : unsigned int j;
1316 : : int ret;
1317 : :
1318 : : pr_debug("%s: bringing CPU%u online\n", __func__, cpu);
1319 : :
1320 : : /* Check if this CPU already has a policy to manage it */
1321 : 0 : policy = per_cpu(cpufreq_cpu_data, cpu);
1322 [ # # ]: 0 : if (policy) {
1323 [ # # ]: 0 : WARN_ON(!cpumask_test_cpu(cpu, policy->related_cpus));
1324 [ # # ]: 0 : if (!policy_is_inactive(policy))
1325 : 0 : return cpufreq_add_policy_cpu(policy, cpu);
1326 : :
1327 : : /* This is the only online CPU for the policy. Start over. */
1328 : : new_policy = false;
1329 : 0 : down_write(&policy->rwsem);
1330 : 0 : policy->cpu = cpu;
1331 : 0 : policy->governor = NULL;
1332 : 0 : up_write(&policy->rwsem);
1333 : : } else {
1334 : : new_policy = true;
1335 : 0 : policy = cpufreq_policy_alloc(cpu);
1336 [ # # ]: 0 : if (!policy)
1337 : : return -ENOMEM;
1338 : : }
1339 : :
1340 [ # # # # ]: 0 : if (!new_policy && cpufreq_driver->online) {
1341 : 0 : ret = cpufreq_driver->online(policy);
1342 [ # # ]: 0 : if (ret) {
1343 : : pr_debug("%s: %d: initialization failed\n", __func__,
1344 : : __LINE__);
1345 : : goto out_exit_policy;
1346 : : }
1347 : :
1348 : : /* Recover policy->cpus using related_cpus */
1349 : : cpumask_copy(policy->cpus, policy->related_cpus);
1350 : : } else {
1351 : : cpumask_copy(policy->cpus, cpumask_of(cpu));
1352 : :
1353 : : /*
1354 : : * Call driver. From then on the cpufreq must be able
1355 : : * to accept all calls to ->verify and ->setpolicy for this CPU.
1356 : : */
1357 : 0 : ret = cpufreq_driver->init(policy);
1358 [ # # ]: 0 : if (ret) {
1359 : : pr_debug("%s: %d: initialization failed\n", __func__,
1360 : : __LINE__);
1361 : : goto out_free_policy;
1362 : : }
1363 : :
1364 : 0 : ret = cpufreq_table_validate_and_sort(policy);
1365 [ # # ]: 0 : if (ret)
1366 : : goto out_exit_policy;
1367 : :
1368 : : /* related_cpus should at least include policy->cpus. */
1369 : : cpumask_copy(policy->related_cpus, policy->cpus);
1370 : : }
1371 : :
1372 : 0 : down_write(&policy->rwsem);
1373 : : /*
1374 : : * affected cpus must always be the one, which are online. We aren't
1375 : : * managing offline cpus here.
1376 : : */
1377 : : cpumask_and(policy->cpus, policy->cpus, cpu_online_mask);
1378 : :
1379 [ # # ]: 0 : if (new_policy) {
1380 [ # # ]: 0 : for_each_cpu(j, policy->related_cpus) {
1381 : 0 : per_cpu(cpufreq_cpu_data, j) = policy;
1382 : 0 : add_cpu_dev_symlink(policy, j);
1383 : : }
1384 : :
1385 : 0 : policy->min_freq_req = kzalloc(2 * sizeof(*policy->min_freq_req),
1386 : : GFP_KERNEL);
1387 [ # # ]: 0 : if (!policy->min_freq_req)
1388 : : goto out_destroy_policy;
1389 : :
1390 : 0 : ret = freq_qos_add_request(&policy->constraints,
1391 : : policy->min_freq_req, FREQ_QOS_MIN,
1392 : 0 : policy->min);
1393 [ # # ]: 0 : if (ret < 0) {
1394 : : /*
1395 : : * So we don't call freq_qos_remove_request() for an
1396 : : * uninitialized request.
1397 : : */
1398 : 0 : kfree(policy->min_freq_req);
1399 : 0 : policy->min_freq_req = NULL;
1400 : 0 : goto out_destroy_policy;
1401 : : }
1402 : :
1403 : : /*
1404 : : * This must be initialized right here to avoid calling
1405 : : * freq_qos_remove_request() on uninitialized request in case
1406 : : * of errors.
1407 : : */
1408 : 0 : policy->max_freq_req = policy->min_freq_req + 1;
1409 : :
1410 : 0 : ret = freq_qos_add_request(&policy->constraints,
1411 : : policy->max_freq_req, FREQ_QOS_MAX,
1412 : 0 : policy->max);
1413 [ # # ]: 0 : if (ret < 0) {
1414 : 0 : policy->max_freq_req = NULL;
1415 : 0 : goto out_destroy_policy;
1416 : : }
1417 : :
1418 : 0 : blocking_notifier_call_chain(&cpufreq_policy_notifier_list,
1419 : : CPUFREQ_CREATE_POLICY, policy);
1420 : : }
1421 : :
1422 [ # # # # ]: 0 : if (cpufreq_driver->get && has_target()) {
1423 : 0 : policy->cur = cpufreq_driver->get(policy->cpu);
1424 [ # # ]: 0 : if (!policy->cur) {
1425 : 0 : pr_err("%s: ->get() failed\n", __func__);
1426 : 0 : goto out_destroy_policy;
1427 : : }
1428 : : }
1429 : :
1430 : : /*
1431 : : * Sometimes boot loaders set CPU frequency to a value outside of
1432 : : * frequency table present with cpufreq core. In such cases CPU might be
1433 : : * unstable if it has to run on that frequency for long duration of time
1434 : : * and so its better to set it to a frequency which is specified in
1435 : : * freq-table. This also makes cpufreq stats inconsistent as
1436 : : * cpufreq-stats would fail to register because current frequency of CPU
1437 : : * isn't found in freq-table.
1438 : : *
1439 : : * Because we don't want this change to effect boot process badly, we go
1440 : : * for the next freq which is >= policy->cur ('cur' must be set by now,
1441 : : * otherwise we will end up setting freq to lowest of the table as 'cur'
1442 : : * is initialized to zero).
1443 : : *
1444 : : * We are passing target-freq as "policy->cur - 1" otherwise
1445 : : * __cpufreq_driver_target() would simply fail, as policy->cur will be
1446 : : * equal to target-freq.
1447 : : */
1448 [ # # ]: 0 : if ((cpufreq_driver->flags & CPUFREQ_NEED_INITIAL_FREQ_CHECK)
1449 [ # # ]: 0 : && has_target()) {
1450 : : /* Are we running at unknown frequency ? */
1451 : 0 : ret = cpufreq_frequency_table_get_index(policy, policy->cur);
1452 [ # # ]: 0 : if (ret == -EINVAL) {
1453 : : /* Warn user and fix it */
1454 : 0 : pr_warn("%s: CPU%d: Running at unlisted freq: %u KHz\n",
1455 : : __func__, policy->cpu, policy->cur);
1456 : 0 : ret = __cpufreq_driver_target(policy, policy->cur - 1,
1457 : : CPUFREQ_RELATION_L);
1458 : :
1459 : : /*
1460 : : * Reaching here after boot in a few seconds may not
1461 : : * mean that system will remain stable at "unknown"
1462 : : * frequency for longer duration. Hence, a BUG_ON().
1463 : : */
1464 [ # # ]: 0 : BUG_ON(ret);
1465 : 0 : pr_warn("%s: CPU%d: Unlisted initial frequency changed to: %u KHz\n",
1466 : : __func__, policy->cpu, policy->cur);
1467 : : }
1468 : : }
1469 : :
1470 [ # # ]: 0 : if (new_policy) {
1471 : 0 : ret = cpufreq_add_dev_interface(policy);
1472 [ # # ]: 0 : if (ret)
1473 : : goto out_destroy_policy;
1474 : :
1475 : 0 : cpufreq_stats_create_table(policy);
1476 : :
1477 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
1478 : 0 : list_add(&policy->policy_list, &cpufreq_policy_list);
1479 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
1480 : : }
1481 : :
1482 : 0 : ret = cpufreq_init_policy(policy);
1483 [ # # ]: 0 : if (ret) {
1484 : 0 : pr_err("%s: Failed to initialize policy for cpu: %d (%d)\n",
1485 : : __func__, cpu, ret);
1486 : 0 : goto out_destroy_policy;
1487 : : }
1488 : :
1489 : 0 : up_write(&policy->rwsem);
1490 : :
1491 : 0 : kobject_uevent(&policy->kobj, KOBJ_ADD);
1492 : :
1493 : : /* Callback for handling stuff after policy is ready */
1494 [ # # ]: 0 : if (cpufreq_driver->ready)
1495 : 0 : cpufreq_driver->ready(policy);
1496 : :
1497 : : if (cpufreq_thermal_control_enabled(cpufreq_driver))
1498 : : policy->cdev = of_cpufreq_cooling_register(policy);
1499 : :
1500 : : pr_debug("initialization complete\n");
1501 : :
1502 : : return 0;
1503 : :
1504 : : out_destroy_policy:
1505 [ # # ]: 0 : for_each_cpu(j, policy->real_cpus)
1506 : 0 : remove_cpu_dev_symlink(policy, get_cpu_device(j));
1507 : :
1508 : 0 : up_write(&policy->rwsem);
1509 : :
1510 : : out_exit_policy:
1511 [ # # ]: 0 : if (cpufreq_driver->exit)
1512 : 0 : cpufreq_driver->exit(policy);
1513 : :
1514 : : out_free_policy:
1515 : 0 : cpufreq_policy_free(policy);
1516 : 0 : return ret;
1517 : : }
1518 : :
1519 : : /**
1520 : : * cpufreq_add_dev - the cpufreq interface for a CPU device.
1521 : : * @dev: CPU device.
1522 : : * @sif: Subsystem interface structure pointer (not used)
1523 : : */
1524 : 0 : static int cpufreq_add_dev(struct device *dev, struct subsys_interface *sif)
1525 : : {
1526 : : struct cpufreq_policy *policy;
1527 : 0 : unsigned cpu = dev->id;
1528 : : int ret;
1529 : :
1530 : : dev_dbg(dev, "%s: adding CPU%u\n", __func__, cpu);
1531 : :
1532 [ # # ]: 0 : if (cpu_online(cpu)) {
1533 : 0 : ret = cpufreq_online(cpu);
1534 [ # # ]: 0 : if (ret)
1535 : : return ret;
1536 : : }
1537 : :
1538 : : /* Create sysfs link on CPU registration */
1539 : 0 : policy = per_cpu(cpufreq_cpu_data, cpu);
1540 [ # # ]: 0 : if (policy)
1541 : 0 : add_cpu_dev_symlink(policy, cpu);
1542 : :
1543 : : return 0;
1544 : : }
1545 : :
1546 : 0 : static int cpufreq_offline(unsigned int cpu)
1547 : : {
1548 : : struct cpufreq_policy *policy;
1549 : : int ret;
1550 : :
1551 : : pr_debug("%s: unregistering CPU %u\n", __func__, cpu);
1552 : :
1553 : : policy = cpufreq_cpu_get_raw(cpu);
1554 [ # # ]: 0 : if (!policy) {
1555 : : pr_debug("%s: No cpu_data found\n", __func__);
1556 : : return 0;
1557 : : }
1558 : :
1559 : 0 : down_write(&policy->rwsem);
1560 [ # # ]: 0 : if (has_target())
1561 : : cpufreq_stop_governor(policy);
1562 : :
1563 : 0 : cpumask_clear_cpu(cpu, policy->cpus);
1564 : :
1565 [ # # ]: 0 : if (policy_is_inactive(policy)) {
1566 [ # # ]: 0 : if (has_target())
1567 : 0 : strncpy(policy->last_governor, policy->governor->name,
1568 : : CPUFREQ_NAME_LEN);
1569 : : else
1570 : 0 : policy->last_policy = policy->policy;
1571 [ # # ]: 0 : } else if (cpu == policy->cpu) {
1572 : : /* Nominate new CPU */
1573 : 0 : policy->cpu = cpumask_any(policy->cpus);
1574 : : }
1575 : :
1576 : : /* Start governor again for active policy */
1577 [ # # ]: 0 : if (!policy_is_inactive(policy)) {
1578 [ # # ]: 0 : if (has_target()) {
1579 : 0 : ret = cpufreq_start_governor(policy);
1580 [ # # ]: 0 : if (ret)
1581 : 0 : pr_err("%s: Failed to start governor\n", __func__);
1582 : : }
1583 : :
1584 : : goto unlock;
1585 : : }
1586 : :
1587 : : if (cpufreq_thermal_control_enabled(cpufreq_driver)) {
1588 : : cpufreq_cooling_unregister(policy->cdev);
1589 : : policy->cdev = NULL;
1590 : : }
1591 : :
1592 [ # # ]: 0 : if (cpufreq_driver->stop_cpu)
1593 : 0 : cpufreq_driver->stop_cpu(policy);
1594 : :
1595 [ # # ]: 0 : if (has_target())
1596 : 0 : cpufreq_exit_governor(policy);
1597 : :
1598 : : /*
1599 : : * Perform the ->offline() during light-weight tear-down, as
1600 : : * that allows fast recovery when the CPU comes back.
1601 : : */
1602 [ # # ]: 0 : if (cpufreq_driver->offline) {
1603 : 0 : cpufreq_driver->offline(policy);
1604 [ # # ]: 0 : } else if (cpufreq_driver->exit) {
1605 : 0 : cpufreq_driver->exit(policy);
1606 : 0 : policy->freq_table = NULL;
1607 : : }
1608 : :
1609 : : unlock:
1610 : 0 : up_write(&policy->rwsem);
1611 : 0 : return 0;
1612 : : }
1613 : :
1614 : : /**
1615 : : * cpufreq_remove_dev - remove a CPU device
1616 : : *
1617 : : * Removes the cpufreq interface for a CPU device.
1618 : : */
1619 : 0 : static void cpufreq_remove_dev(struct device *dev, struct subsys_interface *sif)
1620 : : {
1621 : 0 : unsigned int cpu = dev->id;
1622 : 0 : struct cpufreq_policy *policy = per_cpu(cpufreq_cpu_data, cpu);
1623 : :
1624 [ # # ]: 0 : if (!policy)
1625 : 0 : return;
1626 : :
1627 [ # # ]: 0 : if (cpu_online(cpu))
1628 : 0 : cpufreq_offline(cpu);
1629 : :
1630 : : cpumask_clear_cpu(cpu, policy->real_cpus);
1631 : : remove_cpu_dev_symlink(policy, dev);
1632 : :
1633 [ # # ]: 0 : if (cpumask_empty(policy->real_cpus)) {
1634 : : /* We did light-weight exit earlier, do full tear down now */
1635 [ # # ]: 0 : if (cpufreq_driver->offline)
1636 : 0 : cpufreq_driver->exit(policy);
1637 : :
1638 : 0 : cpufreq_policy_free(policy);
1639 : : }
1640 : : }
1641 : :
1642 : : /**
1643 : : * cpufreq_out_of_sync - If actual and saved CPU frequency differs, we're
1644 : : * in deep trouble.
1645 : : * @policy: policy managing CPUs
1646 : : * @new_freq: CPU frequency the CPU actually runs at
1647 : : *
1648 : : * We adjust to current frequency first, and need to clean up later.
1649 : : * So either call to cpufreq_update_policy() or schedule handle_update()).
1650 : : */
1651 : 0 : static void cpufreq_out_of_sync(struct cpufreq_policy *policy,
1652 : : unsigned int new_freq)
1653 : : {
1654 : : struct cpufreq_freqs freqs;
1655 : :
1656 : : pr_debug("Warning: CPU frequency out of sync: cpufreq and timing core thinks of %u, is %u kHz\n",
1657 : : policy->cur, new_freq);
1658 : :
1659 : 0 : freqs.old = policy->cur;
1660 : 0 : freqs.new = new_freq;
1661 : :
1662 : 0 : cpufreq_freq_transition_begin(policy, &freqs);
1663 : 0 : cpufreq_freq_transition_end(policy, &freqs, 0);
1664 : 0 : }
1665 : :
1666 : 0 : static unsigned int cpufreq_verify_current_freq(struct cpufreq_policy *policy, bool update)
1667 : : {
1668 : : unsigned int new_freq;
1669 : :
1670 : 0 : new_freq = cpufreq_driver->get(policy->cpu);
1671 [ # # ]: 0 : if (!new_freq)
1672 : : return 0;
1673 : :
1674 : : /*
1675 : : * If fast frequency switching is used with the given policy, the check
1676 : : * against policy->cur is pointless, so skip it in that case.
1677 : : */
1678 [ # # # # ]: 0 : if (policy->fast_switch_enabled || !has_target())
1679 : : return new_freq;
1680 : :
1681 [ # # ]: 0 : if (policy->cur != new_freq) {
1682 : 0 : cpufreq_out_of_sync(policy, new_freq);
1683 [ # # ]: 0 : if (update)
1684 : 0 : schedule_work(&policy->update);
1685 : : }
1686 : :
1687 : 0 : return new_freq;
1688 : : }
1689 : :
1690 : : /**
1691 : : * cpufreq_quick_get - get the CPU frequency (in kHz) from policy->cur
1692 : : * @cpu: CPU number
1693 : : *
1694 : : * This is the last known freq, without actually getting it from the driver.
1695 : : * Return value will be same as what is shown in scaling_cur_freq in sysfs.
1696 : : */
1697 : 0 : unsigned int cpufreq_quick_get(unsigned int cpu)
1698 : : {
1699 : : struct cpufreq_policy *policy;
1700 : : unsigned int ret_freq = 0;
1701 : : unsigned long flags;
1702 : :
1703 : 0 : read_lock_irqsave(&cpufreq_driver_lock, flags);
1704 : :
1705 [ # # # # : 0 : if (cpufreq_driver && cpufreq_driver->setpolicy && cpufreq_driver->get) {
# # ]
1706 : 0 : ret_freq = cpufreq_driver->get(cpu);
1707 : 0 : read_unlock_irqrestore(&cpufreq_driver_lock, flags);
1708 : 0 : return ret_freq;
1709 : : }
1710 : :
1711 : 0 : read_unlock_irqrestore(&cpufreq_driver_lock, flags);
1712 : :
1713 : 0 : policy = cpufreq_cpu_get(cpu);
1714 [ # # ]: 0 : if (policy) {
1715 : 0 : ret_freq = policy->cur;
1716 : : cpufreq_cpu_put(policy);
1717 : : }
1718 : :
1719 : 0 : return ret_freq;
1720 : : }
1721 : : EXPORT_SYMBOL(cpufreq_quick_get);
1722 : :
1723 : : /**
1724 : : * cpufreq_quick_get_max - get the max reported CPU frequency for this CPU
1725 : : * @cpu: CPU number
1726 : : *
1727 : : * Just return the max possible frequency for a given CPU.
1728 : : */
1729 : 0 : unsigned int cpufreq_quick_get_max(unsigned int cpu)
1730 : : {
1731 : 0 : struct cpufreq_policy *policy = cpufreq_cpu_get(cpu);
1732 : : unsigned int ret_freq = 0;
1733 : :
1734 [ # # ]: 0 : if (policy) {
1735 : 0 : ret_freq = policy->max;
1736 : : cpufreq_cpu_put(policy);
1737 : : }
1738 : :
1739 : 0 : return ret_freq;
1740 : : }
1741 : : EXPORT_SYMBOL(cpufreq_quick_get_max);
1742 : :
1743 : 0 : static unsigned int __cpufreq_get(struct cpufreq_policy *policy)
1744 : : {
1745 [ # # ]: 0 : if (unlikely(policy_is_inactive(policy)))
1746 : : return 0;
1747 : :
1748 : 0 : return cpufreq_verify_current_freq(policy, true);
1749 : : }
1750 : :
1751 : : /**
1752 : : * cpufreq_get - get the current CPU frequency (in kHz)
1753 : : * @cpu: CPU number
1754 : : *
1755 : : * Get the CPU current (static) CPU frequency
1756 : : */
1757 : 0 : unsigned int cpufreq_get(unsigned int cpu)
1758 : : {
1759 : 0 : struct cpufreq_policy *policy = cpufreq_cpu_get(cpu);
1760 : : unsigned int ret_freq = 0;
1761 : :
1762 [ # # ]: 0 : if (policy) {
1763 : 0 : down_read(&policy->rwsem);
1764 [ # # ]: 0 : if (cpufreq_driver->get)
1765 : 0 : ret_freq = __cpufreq_get(policy);
1766 : 0 : up_read(&policy->rwsem);
1767 : :
1768 : : cpufreq_cpu_put(policy);
1769 : : }
1770 : :
1771 : 0 : return ret_freq;
1772 : : }
1773 : : EXPORT_SYMBOL(cpufreq_get);
1774 : :
1775 : : static struct subsys_interface cpufreq_interface = {
1776 : : .name = "cpufreq",
1777 : : .subsys = &cpu_subsys,
1778 : : .add_dev = cpufreq_add_dev,
1779 : : .remove_dev = cpufreq_remove_dev,
1780 : : };
1781 : :
1782 : : /*
1783 : : * In case platform wants some specific frequency to be configured
1784 : : * during suspend..
1785 : : */
1786 : 0 : int cpufreq_generic_suspend(struct cpufreq_policy *policy)
1787 : : {
1788 : : int ret;
1789 : :
1790 [ # # ]: 0 : if (!policy->suspend_freq) {
1791 : : pr_debug("%s: suspend_freq not defined\n", __func__);
1792 : : return 0;
1793 : : }
1794 : :
1795 : : pr_debug("%s: Setting suspend-freq: %u\n", __func__,
1796 : : policy->suspend_freq);
1797 : :
1798 : 0 : ret = __cpufreq_driver_target(policy, policy->suspend_freq,
1799 : : CPUFREQ_RELATION_H);
1800 [ # # ]: 0 : if (ret)
1801 : 0 : pr_err("%s: unable to set suspend-freq: %u. err: %d\n",
1802 : : __func__, policy->suspend_freq, ret);
1803 : :
1804 : 0 : return ret;
1805 : : }
1806 : : EXPORT_SYMBOL(cpufreq_generic_suspend);
1807 : :
1808 : : /**
1809 : : * cpufreq_suspend() - Suspend CPUFreq governors
1810 : : *
1811 : : * Called during system wide Suspend/Hibernate cycles for suspending governors
1812 : : * as some platforms can't change frequency after this point in suspend cycle.
1813 : : * Because some of the devices (like: i2c, regulators, etc) they use for
1814 : : * changing frequency are suspended quickly after this point.
1815 : : */
1816 : 0 : void cpufreq_suspend(void)
1817 : : {
1818 : : struct cpufreq_policy *policy;
1819 : :
1820 [ # # ]: 0 : if (!cpufreq_driver)
1821 : 0 : return;
1822 : :
1823 [ # # # # ]: 0 : if (!has_target() && !cpufreq_driver->suspend)
1824 : : goto suspend;
1825 : :
1826 : : pr_debug("%s: Suspending Governors\n", __func__);
1827 : :
1828 [ # # # # ]: 0 : for_each_active_policy(policy) {
1829 [ # # ]: 0 : if (has_target()) {
1830 : 0 : down_write(&policy->rwsem);
1831 : : cpufreq_stop_governor(policy);
1832 : 0 : up_write(&policy->rwsem);
1833 : : }
1834 : :
1835 [ # # # # ]: 0 : if (cpufreq_driver->suspend && cpufreq_driver->suspend(policy))
1836 : 0 : pr_err("%s: Failed to suspend driver: %s\n", __func__,
1837 : : cpufreq_driver->name);
1838 : : }
1839 : :
1840 : : suspend:
1841 : 0 : cpufreq_suspended = true;
1842 : : }
1843 : :
1844 : : /**
1845 : : * cpufreq_resume() - Resume CPUFreq governors
1846 : : *
1847 : : * Called during system wide Suspend/Hibernate cycle for resuming governors that
1848 : : * are suspended with cpufreq_suspend().
1849 : : */
1850 : 0 : void cpufreq_resume(void)
1851 : : {
1852 : : struct cpufreq_policy *policy;
1853 : : int ret;
1854 : :
1855 [ # # ]: 0 : if (!cpufreq_driver)
1856 : : return;
1857 : :
1858 [ # # ]: 0 : if (unlikely(!cpufreq_suspended))
1859 : : return;
1860 : :
1861 : 0 : cpufreq_suspended = false;
1862 : :
1863 [ # # # # ]: 0 : if (!has_target() && !cpufreq_driver->resume)
1864 : : return;
1865 : :
1866 : : pr_debug("%s: Resuming Governors\n", __func__);
1867 : :
1868 [ # # # # ]: 0 : for_each_active_policy(policy) {
1869 [ # # # # ]: 0 : if (cpufreq_driver->resume && cpufreq_driver->resume(policy)) {
1870 : 0 : pr_err("%s: Failed to resume driver: %p\n", __func__,
1871 : : policy);
1872 [ # # ]: 0 : } else if (has_target()) {
1873 : 0 : down_write(&policy->rwsem);
1874 : 0 : ret = cpufreq_start_governor(policy);
1875 : 0 : up_write(&policy->rwsem);
1876 : :
1877 [ # # ]: 0 : if (ret)
1878 : 0 : pr_err("%s: Failed to start governor for policy: %p\n",
1879 : : __func__, policy);
1880 : : }
1881 : : }
1882 : : }
1883 : :
1884 : : /**
1885 : : * cpufreq_get_current_driver - return current driver's name
1886 : : *
1887 : : * Return the name string of the currently loaded cpufreq driver
1888 : : * or NULL, if none.
1889 : : */
1890 : 0 : const char *cpufreq_get_current_driver(void)
1891 : : {
1892 [ # # ]: 0 : if (cpufreq_driver)
1893 : 0 : return cpufreq_driver->name;
1894 : :
1895 : : return NULL;
1896 : : }
1897 : : EXPORT_SYMBOL_GPL(cpufreq_get_current_driver);
1898 : :
1899 : : /**
1900 : : * cpufreq_get_driver_data - return current driver data
1901 : : *
1902 : : * Return the private data of the currently loaded cpufreq
1903 : : * driver, or NULL if no cpufreq driver is loaded.
1904 : : */
1905 : 0 : void *cpufreq_get_driver_data(void)
1906 : : {
1907 [ # # ]: 0 : if (cpufreq_driver)
1908 : 0 : return cpufreq_driver->driver_data;
1909 : :
1910 : : return NULL;
1911 : : }
1912 : : EXPORT_SYMBOL_GPL(cpufreq_get_driver_data);
1913 : :
1914 : : /*********************************************************************
1915 : : * NOTIFIER LISTS INTERFACE *
1916 : : *********************************************************************/
1917 : :
1918 : : /**
1919 : : * cpufreq_register_notifier - register a driver with cpufreq
1920 : : * @nb: notifier function to register
1921 : : * @list: CPUFREQ_TRANSITION_NOTIFIER or CPUFREQ_POLICY_NOTIFIER
1922 : : *
1923 : : * Add a driver to one of two lists: either a list of drivers that
1924 : : * are notified about clock rate changes (once before and once after
1925 : : * the transition), or a list of drivers that are notified about
1926 : : * changes in cpufreq policy.
1927 : : *
1928 : : * This function may sleep, and has the same return conditions as
1929 : : * blocking_notifier_chain_register.
1930 : : */
1931 : 404 : int cpufreq_register_notifier(struct notifier_block *nb, unsigned int list)
1932 : : {
1933 : : int ret;
1934 : :
1935 [ + - ]: 404 : if (cpufreq_disabled())
1936 : : return -EINVAL;
1937 : :
1938 [ + - - ]: 404 : switch (list) {
1939 : : case CPUFREQ_TRANSITION_NOTIFIER:
1940 : 404 : mutex_lock(&cpufreq_fast_switch_lock);
1941 : :
1942 [ - + ]: 404 : if (cpufreq_fast_switch_count > 0) {
1943 : 0 : mutex_unlock(&cpufreq_fast_switch_lock);
1944 : 0 : return -EBUSY;
1945 : : }
1946 : 404 : ret = srcu_notifier_chain_register(
1947 : : &cpufreq_transition_notifier_list, nb);
1948 [ + - ]: 404 : if (!ret)
1949 : 404 : cpufreq_fast_switch_count--;
1950 : :
1951 : 404 : mutex_unlock(&cpufreq_fast_switch_lock);
1952 : 404 : break;
1953 : : case CPUFREQ_POLICY_NOTIFIER:
1954 : 0 : ret = blocking_notifier_chain_register(
1955 : : &cpufreq_policy_notifier_list, nb);
1956 : 0 : break;
1957 : : default:
1958 : : ret = -EINVAL;
1959 : : }
1960 : :
1961 : 404 : return ret;
1962 : : }
1963 : : EXPORT_SYMBOL(cpufreq_register_notifier);
1964 : :
1965 : : /**
1966 : : * cpufreq_unregister_notifier - unregister a driver with cpufreq
1967 : : * @nb: notifier block to be unregistered
1968 : : * @list: CPUFREQ_TRANSITION_NOTIFIER or CPUFREQ_POLICY_NOTIFIER
1969 : : *
1970 : : * Remove a driver from the CPU frequency notifier list.
1971 : : *
1972 : : * This function may sleep, and has the same return conditions as
1973 : : * blocking_notifier_chain_unregister.
1974 : : */
1975 : 0 : int cpufreq_unregister_notifier(struct notifier_block *nb, unsigned int list)
1976 : : {
1977 : : int ret;
1978 : :
1979 [ # # ]: 0 : if (cpufreq_disabled())
1980 : : return -EINVAL;
1981 : :
1982 [ # # # ]: 0 : switch (list) {
1983 : : case CPUFREQ_TRANSITION_NOTIFIER:
1984 : 0 : mutex_lock(&cpufreq_fast_switch_lock);
1985 : :
1986 : 0 : ret = srcu_notifier_chain_unregister(
1987 : : &cpufreq_transition_notifier_list, nb);
1988 [ # # # # : 0 : if (!ret && !WARN_ON(cpufreq_fast_switch_count >= 0))
# # ]
1989 : 0 : cpufreq_fast_switch_count++;
1990 : :
1991 : 0 : mutex_unlock(&cpufreq_fast_switch_lock);
1992 : 0 : break;
1993 : : case CPUFREQ_POLICY_NOTIFIER:
1994 : 0 : ret = blocking_notifier_chain_unregister(
1995 : : &cpufreq_policy_notifier_list, nb);
1996 : 0 : break;
1997 : : default:
1998 : : ret = -EINVAL;
1999 : : }
2000 : :
2001 : 0 : return ret;
2002 : : }
2003 : : EXPORT_SYMBOL(cpufreq_unregister_notifier);
2004 : :
2005 : :
2006 : : /*********************************************************************
2007 : : * GOVERNORS *
2008 : : *********************************************************************/
2009 : :
2010 : : /**
2011 : : * cpufreq_driver_fast_switch - Carry out a fast CPU frequency switch.
2012 : : * @policy: cpufreq policy to switch the frequency for.
2013 : : * @target_freq: New frequency to set (may be approximate).
2014 : : *
2015 : : * Carry out a fast frequency switch without sleeping.
2016 : : *
2017 : : * The driver's ->fast_switch() callback invoked by this function must be
2018 : : * suitable for being called from within RCU-sched read-side critical sections
2019 : : * and it is expected to select the minimum available frequency greater than or
2020 : : * equal to @target_freq (CPUFREQ_RELATION_L).
2021 : : *
2022 : : * This function must not be called if policy->fast_switch_enabled is unset.
2023 : : *
2024 : : * Governors calling this function must guarantee that it will never be invoked
2025 : : * twice in parallel for the same policy and that it will never be called in
2026 : : * parallel with either ->target() or ->target_index() for the same policy.
2027 : : *
2028 : : * Returns the actual frequency set for the CPU.
2029 : : *
2030 : : * If 0 is returned by the driver's ->fast_switch() callback to indicate an
2031 : : * error condition, the hardware configuration must be preserved.
2032 : : */
2033 : 0 : unsigned int cpufreq_driver_fast_switch(struct cpufreq_policy *policy,
2034 : : unsigned int target_freq)
2035 : : {
2036 : 0 : target_freq = clamp_val(target_freq, policy->min, policy->max);
2037 : :
2038 : 0 : return cpufreq_driver->fast_switch(policy, target_freq);
2039 : : }
2040 : : EXPORT_SYMBOL_GPL(cpufreq_driver_fast_switch);
2041 : :
2042 : : /* Must set freqs->new to intermediate frequency */
2043 : 0 : static int __target_intermediate(struct cpufreq_policy *policy,
2044 : : struct cpufreq_freqs *freqs, int index)
2045 : : {
2046 : : int ret;
2047 : :
2048 : 0 : freqs->new = cpufreq_driver->get_intermediate(policy, index);
2049 : :
2050 : : /* We don't need to switch to intermediate freq */
2051 [ # # ]: 0 : if (!freqs->new)
2052 : : return 0;
2053 : :
2054 : : pr_debug("%s: cpu: %d, switching to intermediate freq: oldfreq: %u, intermediate freq: %u\n",
2055 : : __func__, policy->cpu, freqs->old, freqs->new);
2056 : :
2057 : 0 : cpufreq_freq_transition_begin(policy, freqs);
2058 : 0 : ret = cpufreq_driver->target_intermediate(policy, index);
2059 : 0 : cpufreq_freq_transition_end(policy, freqs, ret);
2060 : :
2061 [ # # ]: 0 : if (ret)
2062 : 0 : pr_err("%s: Failed to change to intermediate frequency: %d\n",
2063 : : __func__, ret);
2064 : :
2065 : 0 : return ret;
2066 : : }
2067 : :
2068 : 0 : static int __target_index(struct cpufreq_policy *policy, int index)
2069 : : {
2070 : 0 : struct cpufreq_freqs freqs = {.old = policy->cur, .flags = 0};
2071 : : unsigned int intermediate_freq = 0;
2072 : 0 : unsigned int newfreq = policy->freq_table[index].frequency;
2073 : : int retval = -EINVAL;
2074 : : bool notify;
2075 : :
2076 [ # # ]: 0 : if (newfreq == policy->cur)
2077 : : return 0;
2078 : :
2079 : 0 : notify = !(cpufreq_driver->flags & CPUFREQ_ASYNC_NOTIFICATION);
2080 [ # # ]: 0 : if (notify) {
2081 : : /* Handle switching to intermediate frequency */
2082 [ # # ]: 0 : if (cpufreq_driver->get_intermediate) {
2083 : 0 : retval = __target_intermediate(policy, &freqs, index);
2084 [ # # ]: 0 : if (retval)
2085 : : return retval;
2086 : :
2087 : 0 : intermediate_freq = freqs.new;
2088 : : /* Set old freq to intermediate */
2089 [ # # ]: 0 : if (intermediate_freq)
2090 : 0 : freqs.old = freqs.new;
2091 : : }
2092 : :
2093 : 0 : freqs.new = newfreq;
2094 : : pr_debug("%s: cpu: %d, oldfreq: %u, new freq: %u\n",
2095 : : __func__, policy->cpu, freqs.old, freqs.new);
2096 : :
2097 : 0 : cpufreq_freq_transition_begin(policy, &freqs);
2098 : : }
2099 : :
2100 : 0 : retval = cpufreq_driver->target_index(policy, index);
2101 [ # # ]: 0 : if (retval)
2102 : 0 : pr_err("%s: Failed to change cpu frequency: %d\n", __func__,
2103 : : retval);
2104 : :
2105 [ # # ]: 0 : if (notify) {
2106 : 0 : cpufreq_freq_transition_end(policy, &freqs, retval);
2107 : :
2108 : : /*
2109 : : * Failed after setting to intermediate freq? Driver should have
2110 : : * reverted back to initial frequency and so should we. Check
2111 : : * here for intermediate_freq instead of get_intermediate, in
2112 : : * case we haven't switched to intermediate freq at all.
2113 : : */
2114 [ # # ]: 0 : if (unlikely(retval && intermediate_freq)) {
2115 : 0 : freqs.old = intermediate_freq;
2116 : 0 : freqs.new = policy->restore_freq;
2117 : 0 : cpufreq_freq_transition_begin(policy, &freqs);
2118 : 0 : cpufreq_freq_transition_end(policy, &freqs, 0);
2119 : : }
2120 : : }
2121 : :
2122 : 0 : return retval;
2123 : : }
2124 : :
2125 : 0 : int __cpufreq_driver_target(struct cpufreq_policy *policy,
2126 : : unsigned int target_freq,
2127 : : unsigned int relation)
2128 : : {
2129 : : unsigned int old_target_freq = target_freq;
2130 : : int index;
2131 : :
2132 [ # # ]: 0 : if (cpufreq_disabled())
2133 : : return -ENODEV;
2134 : :
2135 : : /* Make sure that target_freq is within supported range */
2136 : 0 : target_freq = clamp_val(target_freq, policy->min, policy->max);
2137 : :
2138 : : pr_debug("target for CPU %u: %u kHz, relation %u, requested %u kHz\n",
2139 : : policy->cpu, target_freq, relation, old_target_freq);
2140 : :
2141 : : /*
2142 : : * This might look like a redundant call as we are checking it again
2143 : : * after finding index. But it is left intentionally for cases where
2144 : : * exactly same freq is called again and so we can save on few function
2145 : : * calls.
2146 : : */
2147 [ # # ]: 0 : if (target_freq == policy->cur)
2148 : : return 0;
2149 : :
2150 : : /* Save last value to restore later on errors */
2151 : 0 : policy->restore_freq = policy->cur;
2152 : :
2153 [ # # ]: 0 : if (cpufreq_driver->target)
2154 : 0 : return cpufreq_driver->target(policy, target_freq, relation);
2155 : :
2156 [ # # ]: 0 : if (!cpufreq_driver->target_index)
2157 : : return -EINVAL;
2158 : :
2159 : 0 : index = cpufreq_frequency_table_target(policy, target_freq, relation);
2160 : :
2161 : 0 : return __target_index(policy, index);
2162 : : }
2163 : : EXPORT_SYMBOL_GPL(__cpufreq_driver_target);
2164 : :
2165 : 0 : int cpufreq_driver_target(struct cpufreq_policy *policy,
2166 : : unsigned int target_freq,
2167 : : unsigned int relation)
2168 : : {
2169 : : int ret;
2170 : :
2171 : 0 : down_write(&policy->rwsem);
2172 : :
2173 : 0 : ret = __cpufreq_driver_target(policy, target_freq, relation);
2174 : :
2175 : 0 : up_write(&policy->rwsem);
2176 : :
2177 : 0 : return ret;
2178 : : }
2179 : : EXPORT_SYMBOL_GPL(cpufreq_driver_target);
2180 : :
2181 : 0 : __weak struct cpufreq_governor *cpufreq_fallback_governor(void)
2182 : : {
2183 : 0 : return NULL;
2184 : : }
2185 : :
2186 : 0 : static int cpufreq_init_governor(struct cpufreq_policy *policy)
2187 : : {
2188 : : int ret;
2189 : :
2190 : : /* Don't start any governor operations if we are entering suspend */
2191 [ # # ]: 0 : if (cpufreq_suspended)
2192 : : return 0;
2193 : : /*
2194 : : * Governor might not be initiated here if ACPI _PPC changed
2195 : : * notification happened, so check it.
2196 : : */
2197 [ # # ]: 0 : if (!policy->governor)
2198 : : return -EINVAL;
2199 : :
2200 : : /* Platform doesn't want dynamic frequency switching ? */
2201 [ # # # # ]: 0 : if (policy->governor->dynamic_switching &&
2202 : 0 : cpufreq_driver->flags & CPUFREQ_NO_AUTO_DYNAMIC_SWITCHING) {
2203 : 0 : struct cpufreq_governor *gov = cpufreq_fallback_governor();
2204 : :
2205 [ # # ]: 0 : if (gov) {
2206 : 0 : pr_warn("Can't use %s governor as dynamic switching is disallowed. Fallback to %s governor\n",
2207 : : policy->governor->name, gov->name);
2208 : 0 : policy->governor = gov;
2209 : : } else {
2210 : : return -EINVAL;
2211 : : }
2212 : : }
2213 : :
2214 [ # # ]: 0 : if (!try_module_get(policy->governor->owner))
2215 : : return -EINVAL;
2216 : :
2217 : : pr_debug("%s: for CPU %u\n", __func__, policy->cpu);
2218 : :
2219 [ # # ]: 0 : if (policy->governor->init) {
2220 : 0 : ret = policy->governor->init(policy);
2221 [ # # ]: 0 : if (ret) {
2222 : 0 : module_put(policy->governor->owner);
2223 : 0 : return ret;
2224 : : }
2225 : : }
2226 : :
2227 : : return 0;
2228 : : }
2229 : :
2230 : 0 : static void cpufreq_exit_governor(struct cpufreq_policy *policy)
2231 : : {
2232 [ # # # # ]: 0 : if (cpufreq_suspended || !policy->governor)
2233 : 0 : return;
2234 : :
2235 : : pr_debug("%s: for CPU %u\n", __func__, policy->cpu);
2236 : :
2237 [ # # ]: 0 : if (policy->governor->exit)
2238 : 0 : policy->governor->exit(policy);
2239 : :
2240 : 0 : module_put(policy->governor->owner);
2241 : : }
2242 : :
2243 : 0 : static int cpufreq_start_governor(struct cpufreq_policy *policy)
2244 : : {
2245 : : int ret;
2246 : :
2247 [ # # ]: 0 : if (cpufreq_suspended)
2248 : : return 0;
2249 : :
2250 [ # # ]: 0 : if (!policy->governor)
2251 : : return -EINVAL;
2252 : :
2253 : : pr_debug("%s: for CPU %u\n", __func__, policy->cpu);
2254 : :
2255 [ # # ]: 0 : if (cpufreq_driver->get)
2256 : 0 : cpufreq_verify_current_freq(policy, false);
2257 : :
2258 [ # # ]: 0 : if (policy->governor->start) {
2259 : 0 : ret = policy->governor->start(policy);
2260 [ # # ]: 0 : if (ret)
2261 : : return ret;
2262 : : }
2263 : :
2264 [ # # ]: 0 : if (policy->governor->limits)
2265 : 0 : policy->governor->limits(policy);
2266 : :
2267 : : return 0;
2268 : : }
2269 : :
2270 : : static void cpufreq_stop_governor(struct cpufreq_policy *policy)
2271 : : {
2272 [ # # # # : 0 : if (cpufreq_suspended || !policy->governor)
# # # # #
# # # # #
# # ]
2273 : : return;
2274 : :
2275 : : pr_debug("%s: for CPU %u\n", __func__, policy->cpu);
2276 : :
2277 [ # # # # : 0 : if (policy->governor->stop)
# # # # ]
2278 : 0 : policy->governor->stop(policy);
2279 : : }
2280 : :
2281 : : static void cpufreq_governor_limits(struct cpufreq_policy *policy)
2282 : : {
2283 [ # # # # ]: 0 : if (cpufreq_suspended || !policy->governor)
2284 : : return;
2285 : :
2286 : : pr_debug("%s: for CPU %u\n", __func__, policy->cpu);
2287 : :
2288 [ # # ]: 0 : if (policy->governor->limits)
2289 : 0 : policy->governor->limits(policy);
2290 : : }
2291 : :
2292 : 2424 : int cpufreq_register_governor(struct cpufreq_governor *governor)
2293 : : {
2294 : : int err;
2295 : :
2296 [ + - ]: 2424 : if (!governor)
2297 : : return -EINVAL;
2298 : :
2299 [ + - ]: 2424 : if (cpufreq_disabled())
2300 : : return -ENODEV;
2301 : :
2302 : 2424 : mutex_lock(&cpufreq_governor_mutex);
2303 : :
2304 : : err = -EBUSY;
2305 [ + - ]: 2424 : if (!find_governor(governor->name)) {
2306 : : err = 0;
2307 : 2424 : list_add(&governor->governor_list, &cpufreq_governor_list);
2308 : : }
2309 : :
2310 : 2424 : mutex_unlock(&cpufreq_governor_mutex);
2311 : 2424 : return err;
2312 : : }
2313 : : EXPORT_SYMBOL_GPL(cpufreq_register_governor);
2314 : :
2315 : 0 : void cpufreq_unregister_governor(struct cpufreq_governor *governor)
2316 : : {
2317 : : struct cpufreq_policy *policy;
2318 : : unsigned long flags;
2319 : :
2320 [ # # ]: 0 : if (!governor)
2321 : : return;
2322 : :
2323 [ # # ]: 0 : if (cpufreq_disabled())
2324 : : return;
2325 : :
2326 : : /* clear last_governor for all inactive policies */
2327 : 0 : read_lock_irqsave(&cpufreq_driver_lock, flags);
2328 [ # # # # ]: 0 : for_each_inactive_policy(policy) {
2329 [ # # ]: 0 : if (!strcmp(policy->last_governor, governor->name)) {
2330 : 0 : policy->governor = NULL;
2331 : 0 : strcpy(policy->last_governor, "\0");
2332 : : }
2333 : : }
2334 : 0 : read_unlock_irqrestore(&cpufreq_driver_lock, flags);
2335 : :
2336 : 0 : mutex_lock(&cpufreq_governor_mutex);
2337 : : list_del(&governor->governor_list);
2338 : 0 : mutex_unlock(&cpufreq_governor_mutex);
2339 : : }
2340 : : EXPORT_SYMBOL_GPL(cpufreq_unregister_governor);
2341 : :
2342 : :
2343 : : /*********************************************************************
2344 : : * POLICY INTERFACE *
2345 : : *********************************************************************/
2346 : :
2347 : : /**
2348 : : * cpufreq_get_policy - get the current cpufreq_policy
2349 : : * @policy: struct cpufreq_policy into which the current cpufreq_policy
2350 : : * is written
2351 : : *
2352 : : * Reads the current cpufreq policy.
2353 : : */
2354 : 0 : int cpufreq_get_policy(struct cpufreq_policy *policy, unsigned int cpu)
2355 : : {
2356 : : struct cpufreq_policy *cpu_policy;
2357 [ # # ]: 0 : if (!policy)
2358 : : return -EINVAL;
2359 : :
2360 : 0 : cpu_policy = cpufreq_cpu_get(cpu);
2361 [ # # ]: 0 : if (!cpu_policy)
2362 : : return -EINVAL;
2363 : :
2364 : 0 : memcpy(policy, cpu_policy, sizeof(*policy));
2365 : :
2366 : : cpufreq_cpu_put(cpu_policy);
2367 : 0 : return 0;
2368 : : }
2369 : : EXPORT_SYMBOL(cpufreq_get_policy);
2370 : :
2371 : : /**
2372 : : * cpufreq_set_policy - Modify cpufreq policy parameters.
2373 : : * @policy: Policy object to modify.
2374 : : * @new_gov: Policy governor pointer.
2375 : : * @new_pol: Policy value (for drivers with built-in governors).
2376 : : *
2377 : : * Invoke the cpufreq driver's ->verify() callback to sanity-check the frequency
2378 : : * limits to be set for the policy, update @policy with the verified limits
2379 : : * values and either invoke the driver's ->setpolicy() callback (if present) or
2380 : : * carry out a governor update for @policy. That is, run the current governor's
2381 : : * ->limits() callback (if @new_gov points to the same object as the one in
2382 : : * @policy) or replace the governor for @policy with @new_gov.
2383 : : *
2384 : : * The cpuinfo part of @policy is not updated by this function.
2385 : : */
2386 : 0 : static int cpufreq_set_policy(struct cpufreq_policy *policy,
2387 : : struct cpufreq_governor *new_gov,
2388 : : unsigned int new_pol)
2389 : : {
2390 : : struct cpufreq_policy_data new_data;
2391 : : struct cpufreq_governor *old_gov;
2392 : : int ret;
2393 : :
2394 : 0 : memcpy(&new_data.cpuinfo, &policy->cpuinfo, sizeof(policy->cpuinfo));
2395 : 0 : new_data.freq_table = policy->freq_table;
2396 : 0 : new_data.cpu = policy->cpu;
2397 : : /*
2398 : : * PM QoS framework collects all the requests from users and provide us
2399 : : * the final aggregated value here.
2400 : : */
2401 : 0 : new_data.min = freq_qos_read_value(&policy->constraints, FREQ_QOS_MIN);
2402 : 0 : new_data.max = freq_qos_read_value(&policy->constraints, FREQ_QOS_MAX);
2403 : :
2404 : : pr_debug("setting new policy for CPU %u: %u - %u kHz\n",
2405 : : new_data.cpu, new_data.min, new_data.max);
2406 : :
2407 : : /* verify the cpu speed can be set within this limit */
2408 : 0 : ret = cpufreq_driver->verify(&new_data);
2409 [ # # ]: 0 : if (ret)
2410 : : return ret;
2411 : :
2412 : 0 : policy->min = new_data.min;
2413 : 0 : policy->max = new_data.max;
2414 : 0 : trace_cpu_frequency_limits(policy);
2415 : :
2416 : 0 : policy->cached_target_freq = UINT_MAX;
2417 : :
2418 : : pr_debug("new min and max freqs are %u - %u kHz\n",
2419 : : policy->min, policy->max);
2420 : :
2421 [ # # ]: 0 : if (cpufreq_driver->setpolicy) {
2422 : 0 : policy->policy = new_pol;
2423 : : pr_debug("setting range\n");
2424 : 0 : return cpufreq_driver->setpolicy(policy);
2425 : : }
2426 : :
2427 [ # # ]: 0 : if (new_gov == policy->governor) {
2428 : : pr_debug("governor limits update\n");
2429 : : cpufreq_governor_limits(policy);
2430 : : return 0;
2431 : : }
2432 : :
2433 : : pr_debug("governor switch\n");
2434 : :
2435 : : /* save old, working values */
2436 : : old_gov = policy->governor;
2437 : : /* end old governor */
2438 [ # # ]: 0 : if (old_gov) {
2439 : : cpufreq_stop_governor(policy);
2440 : 0 : cpufreq_exit_governor(policy);
2441 : : }
2442 : :
2443 : : /* start new governor */
2444 : 0 : policy->governor = new_gov;
2445 : 0 : ret = cpufreq_init_governor(policy);
2446 [ # # ]: 0 : if (!ret) {
2447 : 0 : ret = cpufreq_start_governor(policy);
2448 [ # # ]: 0 : if (!ret) {
2449 : : pr_debug("governor change\n");
2450 : : sched_cpufreq_governor_change(policy, old_gov);
2451 : : return 0;
2452 : : }
2453 : 0 : cpufreq_exit_governor(policy);
2454 : : }
2455 : :
2456 : : /* new governor failed, so re-start old one */
2457 : : pr_debug("starting governor %s failed\n", policy->governor->name);
2458 [ # # ]: 0 : if (old_gov) {
2459 : 0 : policy->governor = old_gov;
2460 [ # # ]: 0 : if (cpufreq_init_governor(policy))
2461 : 0 : policy->governor = NULL;
2462 : : else
2463 : 0 : cpufreq_start_governor(policy);
2464 : : }
2465 : :
2466 : 0 : return ret;
2467 : : }
2468 : :
2469 : : /**
2470 : : * cpufreq_update_policy - Re-evaluate an existing cpufreq policy.
2471 : : * @cpu: CPU to re-evaluate the policy for.
2472 : : *
2473 : : * Update the current frequency for the cpufreq policy of @cpu and use
2474 : : * cpufreq_set_policy() to re-apply the min and max limits, which triggers the
2475 : : * evaluation of policy notifiers and the cpufreq driver's ->verify() callback
2476 : : * for the policy in question, among other things.
2477 : : */
2478 : 0 : void cpufreq_update_policy(unsigned int cpu)
2479 : : {
2480 : 0 : struct cpufreq_policy *policy = cpufreq_cpu_acquire(cpu);
2481 : :
2482 [ # # ]: 0 : if (!policy)
2483 : 0 : return;
2484 : :
2485 : : /*
2486 : : * BIOS might change freq behind our back
2487 : : * -> ask driver for current freq and notify governors about a change
2488 : : */
2489 [ # # # # : 0 : if (cpufreq_driver->get && has_target() &&
# # ]
2490 [ # # # # ]: 0 : (cpufreq_suspended || WARN_ON(!cpufreq_verify_current_freq(policy, false))))
2491 : : goto unlock;
2492 : :
2493 : 0 : refresh_frequency_limits(policy);
2494 : :
2495 : : unlock:
2496 : 0 : cpufreq_cpu_release(policy);
2497 : : }
2498 : : EXPORT_SYMBOL(cpufreq_update_policy);
2499 : :
2500 : : /**
2501 : : * cpufreq_update_limits - Update policy limits for a given CPU.
2502 : : * @cpu: CPU to update the policy limits for.
2503 : : *
2504 : : * Invoke the driver's ->update_limits callback if present or call
2505 : : * cpufreq_update_policy() for @cpu.
2506 : : */
2507 : 0 : void cpufreq_update_limits(unsigned int cpu)
2508 : : {
2509 [ # # ]: 0 : if (cpufreq_driver->update_limits)
2510 : 0 : cpufreq_driver->update_limits(cpu);
2511 : : else
2512 : 0 : cpufreq_update_policy(cpu);
2513 : 0 : }
2514 : : EXPORT_SYMBOL_GPL(cpufreq_update_limits);
2515 : :
2516 : : /*********************************************************************
2517 : : * BOOST *
2518 : : *********************************************************************/
2519 : 0 : static int cpufreq_boost_set_sw(int state)
2520 : : {
2521 : : struct cpufreq_policy *policy;
2522 : :
2523 [ # # # # ]: 0 : for_each_active_policy(policy) {
2524 : : int ret;
2525 : :
2526 [ # # ]: 0 : if (!policy->freq_table)
2527 : : return -ENXIO;
2528 : :
2529 : 0 : ret = cpufreq_frequency_table_cpuinfo(policy,
2530 : : policy->freq_table);
2531 [ # # ]: 0 : if (ret) {
2532 : 0 : pr_err("%s: Policy frequency update failed\n",
2533 : : __func__);
2534 : 0 : return ret;
2535 : : }
2536 : :
2537 : 0 : ret = freq_qos_update_request(policy->max_freq_req, policy->max);
2538 [ # # ]: 0 : if (ret < 0)
2539 : 0 : return ret;
2540 : : }
2541 : :
2542 : : return 0;
2543 : : }
2544 : :
2545 : 0 : int cpufreq_boost_trigger_state(int state)
2546 : : {
2547 : : unsigned long flags;
2548 : : int ret = 0;
2549 : :
2550 [ # # ]: 0 : if (cpufreq_driver->boost_enabled == state)
2551 : : return 0;
2552 : :
2553 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
2554 : 0 : cpufreq_driver->boost_enabled = state;
2555 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
2556 : :
2557 : 0 : ret = cpufreq_driver->set_boost(state);
2558 [ # # ]: 0 : if (ret) {
2559 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
2560 : 0 : cpufreq_driver->boost_enabled = !state;
2561 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
2562 : :
2563 [ # # ]: 0 : pr_err("%s: Cannot %s BOOST\n",
2564 : : __func__, state ? "enable" : "disable");
2565 : : }
2566 : :
2567 : 0 : return ret;
2568 : : }
2569 : :
2570 : : static bool cpufreq_boost_supported(void)
2571 : : {
2572 : 0 : return cpufreq_driver->set_boost;
2573 : : }
2574 : :
2575 : 0 : static int create_boost_sysfs_file(void)
2576 : : {
2577 : : int ret;
2578 : :
2579 : 0 : ret = sysfs_create_file(cpufreq_global_kobject, &boost.attr);
2580 [ # # ]: 0 : if (ret)
2581 : 0 : pr_err("%s: cannot register global BOOST sysfs file\n",
2582 : : __func__);
2583 : :
2584 : 0 : return ret;
2585 : : }
2586 : :
2587 : 0 : static void remove_boost_sysfs_file(void)
2588 : : {
2589 [ # # ]: 0 : if (cpufreq_boost_supported())
2590 : 0 : sysfs_remove_file(cpufreq_global_kobject, &boost.attr);
2591 : 0 : }
2592 : :
2593 : 0 : int cpufreq_enable_boost_support(void)
2594 : : {
2595 [ # # ]: 0 : if (!cpufreq_driver)
2596 : : return -EINVAL;
2597 : :
2598 [ # # ]: 0 : if (cpufreq_boost_supported())
2599 : : return 0;
2600 : :
2601 : 0 : cpufreq_driver->set_boost = cpufreq_boost_set_sw;
2602 : :
2603 : : /* This will get removed on driver unregister */
2604 : 0 : return create_boost_sysfs_file();
2605 : : }
2606 : : EXPORT_SYMBOL_GPL(cpufreq_enable_boost_support);
2607 : :
2608 : 0 : int cpufreq_boost_enabled(void)
2609 : : {
2610 : 0 : return cpufreq_driver->boost_enabled;
2611 : : }
2612 : : EXPORT_SYMBOL_GPL(cpufreq_boost_enabled);
2613 : :
2614 : : /*********************************************************************
2615 : : * REGISTER / UNREGISTER CPUFREQ DRIVER *
2616 : : *********************************************************************/
2617 : : static enum cpuhp_state hp_online;
2618 : :
2619 : 0 : static int cpuhp_cpufreq_online(unsigned int cpu)
2620 : : {
2621 : 0 : cpufreq_online(cpu);
2622 : :
2623 : 0 : return 0;
2624 : : }
2625 : :
2626 : 0 : static int cpuhp_cpufreq_offline(unsigned int cpu)
2627 : : {
2628 : 0 : cpufreq_offline(cpu);
2629 : :
2630 : 0 : return 0;
2631 : : }
2632 : :
2633 : : /**
2634 : : * cpufreq_register_driver - register a CPU Frequency driver
2635 : : * @driver_data: A struct cpufreq_driver containing the values#
2636 : : * submitted by the CPU Frequency driver.
2637 : : *
2638 : : * Registers a CPU Frequency driver to this core code. This code
2639 : : * returns zero on success, -EEXIST when another driver got here first
2640 : : * (and isn't unregistered in the meantime).
2641 : : *
2642 : : */
2643 : 0 : int cpufreq_register_driver(struct cpufreq_driver *driver_data)
2644 : : {
2645 : : unsigned long flags;
2646 : : int ret;
2647 : :
2648 [ # # ]: 0 : if (cpufreq_disabled())
2649 : : return -ENODEV;
2650 : :
2651 : : /*
2652 : : * The cpufreq core depends heavily on the availability of device
2653 : : * structure, make sure they are available before proceeding further.
2654 : : */
2655 [ # # ]: 0 : if (!get_cpu_device(0))
2656 : : return -EPROBE_DEFER;
2657 : :
2658 [ # # # # : 0 : if (!driver_data || !driver_data->verify || !driver_data->init ||
# # # # ]
2659 [ # # # # ]: 0 : !(driver_data->setpolicy || driver_data->target_index ||
2660 [ # # ]: 0 : driver_data->target) ||
2661 [ # # # # ]: 0 : (driver_data->setpolicy && (driver_data->target_index ||
2662 [ # # ]: 0 : driver_data->target)) ||
2663 [ # # ]: 0 : (!driver_data->get_intermediate != !driver_data->target_intermediate) ||
2664 : 0 : (!driver_data->online != !driver_data->offline))
2665 : : return -EINVAL;
2666 : :
2667 : : pr_debug("trying to register driver %s\n", driver_data->name);
2668 : :
2669 : : /* Protect against concurrent CPU online/offline. */
2670 : : cpus_read_lock();
2671 : :
2672 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
2673 [ # # ]: 0 : if (cpufreq_driver) {
2674 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
2675 : : ret = -EEXIST;
2676 : 0 : goto out;
2677 : : }
2678 : 0 : cpufreq_driver = driver_data;
2679 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
2680 : :
2681 [ # # ]: 0 : if (driver_data->setpolicy)
2682 : 0 : driver_data->flags |= CPUFREQ_CONST_LOOPS;
2683 : :
2684 [ # # ]: 0 : if (cpufreq_boost_supported()) {
2685 : 0 : ret = create_boost_sysfs_file();
2686 [ # # ]: 0 : if (ret)
2687 : : goto err_null_driver;
2688 : : }
2689 : :
2690 : 0 : ret = subsys_interface_register(&cpufreq_interface);
2691 [ # # ]: 0 : if (ret)
2692 : : goto err_boost_unreg;
2693 : :
2694 [ # # # # ]: 0 : if (!(cpufreq_driver->flags & CPUFREQ_STICKY) &&
2695 : : list_empty(&cpufreq_policy_list)) {
2696 : : /* if all ->init() calls failed, unregister */
2697 : : ret = -ENODEV;
2698 : : pr_debug("%s: No CPU initialized for driver %s\n", __func__,
2699 : : driver_data->name);
2700 : : goto err_if_unreg;
2701 : : }
2702 : :
2703 : : ret = cpuhp_setup_state_nocalls_cpuslocked(CPUHP_AP_ONLINE_DYN,
2704 : : "cpufreq:online",
2705 : : cpuhp_cpufreq_online,
2706 : : cpuhp_cpufreq_offline);
2707 [ # # ]: 0 : if (ret < 0)
2708 : : goto err_if_unreg;
2709 : 0 : hp_online = ret;
2710 : : ret = 0;
2711 : :
2712 : : pr_debug("driver %s up and running\n", driver_data->name);
2713 : 0 : goto out;
2714 : :
2715 : : err_if_unreg:
2716 : 0 : subsys_interface_unregister(&cpufreq_interface);
2717 : : err_boost_unreg:
2718 : 0 : remove_boost_sysfs_file();
2719 : : err_null_driver:
2720 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
2721 : 0 : cpufreq_driver = NULL;
2722 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
2723 : : out:
2724 : : cpus_read_unlock();
2725 : 0 : return ret;
2726 : : }
2727 : : EXPORT_SYMBOL_GPL(cpufreq_register_driver);
2728 : :
2729 : : /**
2730 : : * cpufreq_unregister_driver - unregister the current CPUFreq driver
2731 : : *
2732 : : * Unregister the current CPUFreq driver. Only call this if you have
2733 : : * the right to do so, i.e. if you have succeeded in initialising before!
2734 : : * Returns zero if successful, and -EINVAL if the cpufreq_driver is
2735 : : * currently not initialised.
2736 : : */
2737 : 0 : int cpufreq_unregister_driver(struct cpufreq_driver *driver)
2738 : : {
2739 : : unsigned long flags;
2740 : :
2741 [ # # # # ]: 0 : if (!cpufreq_driver || (driver != cpufreq_driver))
2742 : : return -EINVAL;
2743 : :
2744 : : pr_debug("unregistering driver %s\n", driver->name);
2745 : :
2746 : : /* Protect against concurrent cpu hotplug */
2747 : : cpus_read_lock();
2748 : 0 : subsys_interface_unregister(&cpufreq_interface);
2749 : 0 : remove_boost_sysfs_file();
2750 : 0 : cpuhp_remove_state_nocalls_cpuslocked(hp_online);
2751 : :
2752 : 0 : write_lock_irqsave(&cpufreq_driver_lock, flags);
2753 : :
2754 : 0 : cpufreq_driver = NULL;
2755 : :
2756 : 0 : write_unlock_irqrestore(&cpufreq_driver_lock, flags);
2757 : : cpus_read_unlock();
2758 : :
2759 : 0 : return 0;
2760 : : }
2761 : : EXPORT_SYMBOL_GPL(cpufreq_unregister_driver);
2762 : :
2763 : : struct kobject *cpufreq_global_kobject;
2764 : : EXPORT_SYMBOL(cpufreq_global_kobject);
2765 : :
2766 : 404 : static int __init cpufreq_core_init(void)
2767 : : {
2768 [ + - ]: 404 : if (cpufreq_disabled())
2769 : : return -ENODEV;
2770 : :
2771 : 404 : cpufreq_global_kobject = kobject_create_and_add("cpufreq", &cpu_subsys.dev_root->kobj);
2772 [ - + ]: 404 : BUG_ON(!cpufreq_global_kobject);
2773 : :
2774 : : return 0;
2775 : : }
2776 : : module_param(off, int, 0444);
2777 : : core_initcall(cpufreq_core_init);
|
