Merge branch 'x86/nmi' into x86/devel
[pandora-kernel.git] / kernel / rcupdate.c
index 0ccd009..c09605f 100644 (file)
@@ -56,7 +56,10 @@ static atomic_t rcu_barrier_cpu_count;
 static DEFINE_MUTEX(rcu_barrier_mutex);
 static struct completion rcu_barrier_completion;
 
-/* Because of FASTCALL declaration of complete, we use this wrapper */
+/*
+ * Awaken the corresponding synchronize_rcu() instance now that a
+ * grace period has elapsed.
+ */
 static void wakeme_after_rcu(struct rcu_head  *head)
 {
        struct rcu_synchronize *rcu;
@@ -115,7 +118,17 @@ void rcu_barrier(void)
        mutex_lock(&rcu_barrier_mutex);
        init_completion(&rcu_barrier_completion);
        atomic_set(&rcu_barrier_cpu_count, 0);
+       /*
+        * The queueing of callbacks in all CPUs must be atomic with
+        * respect to RCU, otherwise one CPU may queue a callback,
+        * wait for a grace period, decrement barrier count and call
+        * complete(), while other CPUs have not yet queued anything.
+        * So, we need to make sure that grace periods cannot complete
+        * until all the callbacks are queued.
+        */
+       rcu_read_lock();
        on_each_cpu(rcu_barrier_func, NULL, 0, 1);
+       rcu_read_unlock();
        wait_for_completion(&rcu_barrier_completion);
        mutex_unlock(&rcu_barrier_mutex);
 }