arch/arm/include/asm/atomic.h

   1 /*
   2  *  arch/arm/include/asm/atomic.h
   3  *
   4  *  Copyright (C) 1996 Russell King.
   5  *  Copyright (C) 2002 Deep Blue Solutions Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  */
  11 #ifndef __ASM_ARM_ATOMIC_H
  12 #define __ASM_ARM_ATOMIC_H
  13
  14 #include <linux/compiler.h>
  15 #include <linux/types.h>
  16 #include <asm/system.h>
  17
  18 #define ATOMIC_INIT(i)  { (i) }
  19
  20 #ifdef __KERNEL__
  21
  22 /*
  23  * On ARM, ordinary assignment (str instruction) doesn't clear the local
  24  * strex/ldrex monitor on some implementations. The reason we can use it for
  25  * atomic_set() is the clrex or dummy strex done on every exception return.
  26  */
  27 #define atomic_read(v)  (*(volatile int *)&(v)->counter)
  28 #define atomic_set(v,i) (((v)->counter) = (i))
  29
  30 #if __LINUX_ARM_ARCH__ >= 6
  31
  32 /*
  33  * ARMv6 UP and SMP safe atomic ops.  We use load exclusive and
  34  * store exclusive to ensure that these are atomic.  We may loop
  35  * to ensure that the update happens.
  36  */
  37 static inline void atomic_add(int i, atomic_t *v)
  38 {
  39         unsigned long tmp;
  40         int result;
  41
  42         __asm__ __volatile__("@ atomic_add\n"
  43 "1:     ldrex   %0, [%3]\n"
  44 "       add     %0, %0, %4\n"
  45 "       strex   %1, %0, [%3]\n"
  46 "       teq     %1, #0\n"
  47 "       bne     1b"
  48         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
  49         : "r" (&v->counter), "Ir" (i)
  50         : "cc");
  51 }
  52
  53 static inline int atomic_add_return(int i, atomic_t *v)
  54 {
  55         unsigned long tmp;
  56         int result;
  57
  58         smp_mb();
  59
  60         __asm__ __volatile__("@ atomic_add_return\n"
  61 "1:     ldrex   %0, [%3]\n"
  62 "       add     %0, %0, %4\n"
  63 "       strex   %1, %0, [%3]\n"
  64 "       teq     %1, #0\n"
  65 "       bne     1b"
  66         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
  67         : "r" (&v->counter), "Ir" (i)
  68         : "cc");
  69
  70         smp_mb();
  71
  72         return result;
  73 }
  74
  75 static inline void atomic_sub(int i, atomic_t *v)
  76 {
  77         unsigned long tmp;
  78         int result;
  79
  80         __asm__ __volatile__("@ atomic_sub\n"
  81 "1:     ldrex   %0, [%3]\n"
  82 "       sub     %0, %0, %4\n"
  83 "       strex   %1, %0, [%3]\n"
  84 "       teq     %1, #0\n"
  85 "       bne     1b"
  86         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
  87         : "r" (&v->counter), "Ir" (i)
  88         : "cc");
  89 }
  90
  91 static inline int atomic_sub_return(int i, atomic_t *v)
  92 {
  93         unsigned long tmp;
  94         int result;
  95
  96         smp_mb();
  97
  98         __asm__ __volatile__("@ atomic_sub_return\n"
  99 "1:     ldrex   %0, [%3]\n"
 100 "       sub     %0, %0, %4\n"
 101 "       strex   %1, %0, [%3]\n"
 102 "       teq     %1, #0\n"
 103 "       bne     1b"
 104         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 105         : "r" (&v->counter), "Ir" (i)
 106         : "cc");
 107
 108         smp_mb();
 109
 110         return result;
 111 }
 112
 113 static inline int atomic_cmpxchg(atomic_t *ptr, int old, int new)
 114 {
 115         unsigned long oldval, res;
 116
 117         smp_mb();
 118
 119         do {
 120                 __asm__ __volatile__("@ atomic_cmpxchg\n"
 121                 "ldrex  %1, [%3]\n"
 122                 "mov    %0, #0\n"
 123                 "teq    %1, %4\n"
 124                 "strexeq %0, %5, [%3]\n"
 125                     : "=&r" (res), "=&r" (oldval), "+Qo" (ptr->counter)
 126                     : "r" (&ptr->counter), "Ir" (old), "r" (new)
 127                     : "cc");
 128         } while (res);
 129
 130         smp_mb();
 131
 132         return oldval;
 133 }
 134
 135 static inline void atomic_clear_mask(unsigned long mask, unsigned long *addr)
 136 {
 137         unsigned long tmp, tmp2;
 138
 139         __asm__ __volatile__("@ atomic_clear_mask\n"
 140 "1:     ldrex   %0, [%3]\n"
 141 "       bic     %0, %0, %4\n"
 142 "       strex   %1, %0, [%3]\n"
 143 "       teq     %1, #0\n"
 144 "       bne     1b"
 145         : "=&r" (tmp), "=&r" (tmp2), "+Qo" (*addr)
 146         : "r" (addr), "Ir" (mask)
 147         : "cc");
 148 }
 149
 150 static inline int __atomic_add_unless(atomic_t *v, int a, int u)
 151 {
 152         int oldval, newval;
 153         unsigned long tmp;
 154
 155         smp_mb();
 156
 157         __asm__ __volatile__ ("@ atomic_add_unless\n"
 158 "1:     ldrex   %0, [%4]\n"
 159 "       teq     %0, %5\n"
 160 "       beq     2f\n"
 161 "       add     %1, %0, %6\n"
 162 "       strex   %2, %1, [%4]\n"
 163 "       teq     %2, #0\n"
 164 "       bne     1b\n"
 165 "2:"
 166         : "=&r" (oldval), "=&r" (newval), "=&r" (tmp), "+Qo" (v->counter)
 167         : "r" (&v->counter), "r" (u), "r" (a)
 168         : "cc");
 169
 170         if (oldval != u)
 171                 smp_mb();
 172
 173         return oldval;
 174 }
 175
 176 #else /* ARM_ARCH_6 */
 177
 178 #ifdef CONFIG_SMP
 179 #error SMP not supported on pre-ARMv6 CPUs
 180 #endif
 181
 182 static inline int atomic_add_return(int i, atomic_t *v)
 183 {
 184         unsigned long flags;
 185         int val;
 186
 187         raw_local_irq_save(flags);
 188         val = v->counter;
 189         v->counter = val += i;
 190         raw_local_irq_restore(flags);
 191
 192         return val;
 193 }
 194 #define atomic_add(i, v)        (void) atomic_add_return(i, v)
 195
 196 static inline int atomic_sub_return(int i, atomic_t *v)
 197 {
 198         unsigned long flags;
 199         int val;
 200
 201         raw_local_irq_save(flags);
 202         val = v->counter;
 203         v->counter = val -= i;
 204         raw_local_irq_restore(flags);
 205
 206         return val;
 207 }
 208 #define atomic_sub(i, v)        (void) atomic_sub_return(i, v)
 209
 210 static inline int atomic_cmpxchg(atomic_t *v, int old, int new)
 211 {
 212         int ret;
 213         unsigned long flags;
 214
 215         raw_local_irq_save(flags);
 216         ret = v->counter;
 217         if (likely(ret == old))
 218                 v->counter = new;
 219         raw_local_irq_restore(flags);
 220
 221         return ret;
 222 }
 223
 224 static inline void atomic_clear_mask(unsigned long mask, unsigned long *addr)
 225 {
 226         unsigned long flags;
 227
 228         raw_local_irq_save(flags);
 229         *addr &= ~mask;
 230         raw_local_irq_restore(flags);
 231 }
 232
 233 static inline int __atomic_add_unless(atomic_t *v, int a, int u)
 234 {
 235         int c, old;
 236
 237         c = atomic_read(v);
 238         while (c != u && (old = atomic_cmpxchg((v), c, c + a)) != c)
 239                 c = old;
 240         return c;
 241 }
 242
 243 #endif /* __LINUX_ARM_ARCH__ */
 244
 245 #define atomic_xchg(v, new) (xchg(&((v)->counter), new))
 246
 247 #define atomic_inc(v)           atomic_add(1, v)
 248 #define atomic_dec(v)           atomic_sub(1, v)
 249
 250 #define atomic_inc_and_test(v)  (atomic_add_return(1, v) == 0)
 251 #define atomic_dec_and_test(v)  (atomic_sub_return(1, v) == 0)
 252 #define atomic_inc_return(v)    (atomic_add_return(1, v))
 253 #define atomic_dec_return(v)    (atomic_sub_return(1, v))
 254 #define atomic_sub_and_test(i, v) (atomic_sub_return(i, v) == 0)
 255
 256 #define atomic_add_negative(i,v) (atomic_add_return(i, v) < 0)
 257
 258 #define smp_mb__before_atomic_dec()     smp_mb()
 259 #define smp_mb__after_atomic_dec()      smp_mb()
 260 #define smp_mb__before_atomic_inc()     smp_mb()
 261 #define smp_mb__after_atomic_inc()      smp_mb()
 262
 263 #ifndef CONFIG_GENERIC_ATOMIC64
 264 typedef struct {
 265         u64 __aligned(8) counter;
 266 } atomic64_t;
 267
 268 #define ATOMIC64_INIT(i) { (i) }
 269
 270 static inline u64 atomic64_read(const atomic64_t *v)
 271 {
 272         u64 result;
 273
 274         __asm__ __volatile__("@ atomic64_read\n"
 275 "       ldrexd  %0, %H0, [%1]"
 276         : "=&r" (result)
 277         : "r" (&v->counter), "Qo" (v->counter)
 278         );
 279
 280         return result;
 281 }
 282
 283 static inline void atomic64_set(atomic64_t *v, u64 i)
 284 {
 285         u64 tmp;
 286
 287         __asm__ __volatile__("@ atomic64_set\n"
 288 "1:     ldrexd  %0, %H0, [%2]\n"
 289 "       strexd  %0, %3, %H3, [%2]\n"
 290 "       teq     %0, #0\n"
 291 "       bne     1b"
 292         : "=&r" (tmp), "=Qo" (v->counter)
 293         : "r" (&v->counter), "r" (i)
 294         : "cc");
 295 }
 296
 297 static inline void atomic64_add(u64 i, atomic64_t *v)
 298 {
 299         u64 result;
 300         unsigned long tmp;
 301
 302         __asm__ __volatile__("@ atomic64_add\n"
 303 "1:     ldrexd  %0, %H0, [%3]\n"
 304 "       adds    %0, %0, %4\n"
 305 "       adc     %H0, %H0, %H4\n"
 306 "       strexd  %1, %0, %H0, [%3]\n"
 307 "       teq     %1, #0\n"
 308 "       bne     1b"
 309         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 310         : "r" (&v->counter), "r" (i)
 311         : "cc");
 312 }
 313
 314 static inline u64 atomic64_add_return(u64 i, atomic64_t *v)
 315 {
 316         u64 result;
 317         unsigned long tmp;
 318
 319         smp_mb();
 320
 321         __asm__ __volatile__("@ atomic64_add_return\n"
 322 "1:     ldrexd  %0, %H0, [%3]\n"
 323 "       adds    %0, %0, %4\n"
 324 "       adc     %H0, %H0, %H4\n"
 325 "       strexd  %1, %0, %H0, [%3]\n"
 326 "       teq     %1, #0\n"
 327 "       bne     1b"
 328         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 329         : "r" (&v->counter), "r" (i)
 330         : "cc");
 331
 332         smp_mb();
 333
 334         return result;
 335 }
 336
 337 static inline void atomic64_sub(u64 i, atomic64_t *v)
 338 {
 339         u64 result;
 340         unsigned long tmp;
 341
 342         __asm__ __volatile__("@ atomic64_sub\n"
 343 "1:     ldrexd  %0, %H0, [%3]\n"
 344 "       subs    %0, %0, %4\n"
 345 "       sbc     %H0, %H0, %H4\n"
 346 "       strexd  %1, %0, %H0, [%3]\n"
 347 "       teq     %1, #0\n"
 348 "       bne     1b"
 349         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 350         : "r" (&v->counter), "r" (i)
 351         : "cc");
 352 }
 353
 354 static inline u64 atomic64_sub_return(u64 i, atomic64_t *v)
 355 {
 356         u64 result;
 357         unsigned long tmp;
 358
 359         smp_mb();
 360
 361         __asm__ __volatile__("@ atomic64_sub_return\n"
 362 "1:     ldrexd  %0, %H0, [%3]\n"
 363 "       subs    %0, %0, %4\n"
 364 "       sbc     %H0, %H0, %H4\n"
 365 "       strexd  %1, %0, %H0, [%3]\n"
 366 "       teq     %1, #0\n"
 367 "       bne     1b"
 368         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 369         : "r" (&v->counter), "r" (i)
 370         : "cc");
 371
 372         smp_mb();
 373
 374         return result;
 375 }
 376
 377 static inline u64 atomic64_cmpxchg(atomic64_t *ptr, u64 old, u64 new)
 378 {
 379         u64 oldval;
 380         unsigned long res;
 381
 382         smp_mb();
 383
 384         do {
 385                 __asm__ __volatile__("@ atomic64_cmpxchg\n"
 386                 "ldrexd         %1, %H1, [%3]\n"
 387                 "mov            %0, #0\n"
 388                 "teq            %1, %4\n"
 389                 "teqeq          %H1, %H4\n"
 390                 "strexdeq       %0, %5, %H5, [%3]"
 391                 : "=&r" (res), "=&r" (oldval), "+Qo" (ptr->counter)
 392                 : "r" (&ptr->counter), "r" (old), "r" (new)
 393                 : "cc");
 394         } while (res);
 395
 396         smp_mb();
 397
 398         return oldval;
 399 }
 400
 401 static inline u64 atomic64_xchg(atomic64_t *ptr, u64 new)
 402 {
 403         u64 result;
 404         unsigned long tmp;
 405
 406         smp_mb();
 407
 408         __asm__ __volatile__("@ atomic64_xchg\n"
 409 "1:     ldrexd  %0, %H0, [%3]\n"
 410 "       strexd  %1, %4, %H4, [%3]\n"
 411 "       teq     %1, #0\n"
 412 "       bne     1b"
 413         : "=&r" (result), "=&r" (tmp), "+Qo" (ptr->counter)
 414         : "r" (&ptr->counter), "r" (new)
 415         : "cc");
 416
 417         smp_mb();
 418
 419         return result;
 420 }
 421
 422 static inline u64 atomic64_dec_if_positive(atomic64_t *v)
 423 {
 424         u64 result;
 425         unsigned long tmp;
 426
 427         smp_mb();
 428
 429         __asm__ __volatile__("@ atomic64_dec_if_positive\n"
 430 "1:     ldrexd  %0, %H0, [%3]\n"
 431 "       subs    %0, %0, #1\n"
 432 "       sbc     %H0, %H0, #0\n"
 433 "       teq     %H0, #0\n"
 434 "       bmi     2f\n"
 435 "       strexd  %1, %0, %H0, [%3]\n"
 436 "       teq     %1, #0\n"
 437 "       bne     1b\n"
 438 "2:"
 439         : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)
 440         : "r" (&v->counter)
 441         : "cc");
 442
 443         smp_mb();
 444
 445         return result;
 446 }
 447
 448 static inline int atomic64_add_unless(atomic64_t *v, u64 a, u64 u)
 449 {
 450         u64 val;
 451         unsigned long tmp;
 452         int ret = 1;
 453
 454         smp_mb();
 455
 456         __asm__ __volatile__("@ atomic64_add_unless\n"
 457 "1:     ldrexd  %0, %H0, [%4]\n"
 458 "       teq     %0, %5\n"
 459 "       teqeq   %H0, %H5\n"
 460 "       moveq   %1, #0\n"
 461 "       beq     2f\n"
 462 "       adds    %0, %0, %6\n"
 463 "       adc     %H0, %H0, %H6\n"
 464 "       strexd  %2, %0, %H0, [%4]\n"
 465 "       teq     %2, #0\n"
 466 "       bne     1b\n"
 467 "2:"
 468         : "=&r" (val), "+r" (ret), "=&r" (tmp), "+Qo" (v->counter)
 469         : "r" (&v->counter), "r" (u), "r" (a)
 470         : "cc");
 471
 472         if (ret)
 473                 smp_mb();
 474
 475         return ret;
 476 }
 477
 478 #define atomic64_add_negative(a, v)     (atomic64_add_return((a), (v)) < 0)
 479 #define atomic64_inc(v)                 atomic64_add(1LL, (v))
 480 #define atomic64_inc_return(v)          atomic64_add_return(1LL, (v))
 481 #define atomic64_inc_and_test(v)        (atomic64_inc_return(v) == 0)
 482 #define atomic64_sub_and_test(a, v)     (atomic64_sub_return((a), (v)) == 0)
 483 #define atomic64_dec(v)                 atomic64_sub(1LL, (v))
 484 #define atomic64_dec_return(v)          atomic64_sub_return(1LL, (v))
 485 #define atomic64_dec_and_test(v)        (atomic64_dec_return((v)) == 0)
 486 #define atomic64_inc_not_zero(v)        atomic64_add_unless((v), 1LL, 0LL)
 487
 488 #endif /* !CONFIG_GENERIC_ATOMIC64 */
 489 #endif
 490 #endif