arch/parisc/kernel/syscall.S

   1 /*
   2  * Linux/PA-RISC Project (http://www.parisc-linux.org/)
   3  *
   4  * System call entry code Copyright (c) Matthew Wilcox 1999 <willy@bofh.ai>
   5  * Licensed under the GNU GPL.
   6  * thanks to Philipp Rumpf, Mike Shaver and various others
   7  * sorry about the wall, puffin..
   8  */
   9
  10 #include <asm/asm-offsets.h>
  11 #include <asm/unistd.h>
  12 #include <asm/errno.h>
  13 #include <asm/psw.h>
  14 #include <asm/thread_info.h>
  15 #include <asm/assembly.h>
  16 #include <asm/processor.h>
  17
  18 #include <linux/linkage.h>
  19
  20         /* We fill the empty parts of the gateway page with
  21          * something that will kill the kernel or a
  22          * userspace application.
  23          */
  24 #define KILL_INSN       break   0,0
  25
  26 #ifdef CONFIG_64BIT
  27         .level          2.0w
  28 #else
  29         .level          1.1
  30 #endif
  31
  32 /* on 64bit pad to 64bit values */
  33 #ifdef CONFIG_64BIT
  34 #define ULONG_WORD(x)   .word 0, x
  35 #else
  36 #define ULONG_WORD(x)   .word x
  37 #endif
  38
  39
  40         .text
  41
  42         .import syscall_exit,code
  43         .import syscall_exit_rfi,code
  44
  45         /* Linux gateway page is aliased to virtual page 0 in the kernel
  46          * address space. Since it is a gateway page it cannot be
  47          * dereferenced, so null pointers will still fault. We start
  48          * the actual entry point at 0x100. We put break instructions
  49          * at the beginning of the page to trap null indirect function
  50          * pointers.
  51          */
  52
  53         .align ASM_PAGE_SIZE
  54 ENTRY(linux_gateway_page)
  55
  56         /* ADDRESS 0x00 to 0xb0 = 176 bytes / 4 bytes per insn = 44 insns */
  57         .rept 44
  58         KILL_INSN
  59         .endr
  60
  61         /* ADDRESS 0xb0 to 0xb4, lws uses 1 insns for entry */
  62         /* Light-weight-syscall entry must always be located at 0xb0 */
  63         /* WARNING: Keep this number updated with table size changes */
  64 #define __NR_lws_entries (2)
  65
  66 lws_entry:
  67         /* Unconditional branch to lws_start, located on the
  68            same gateway page */
  69         b,n     lws_start
  70
  71         /* Fill from 0xb4 to 0xe0 */
  72         .rept 11
  73         KILL_INSN
  74         .endr
  75
  76         /* This function MUST be located at 0xe0 for glibc's threading
  77         mechanism to work. DO NOT MOVE THIS CODE EVER! */
  78 set_thread_pointer:
  79         gate    .+8, %r0                /* increase privilege */
  80         depi    3, 31, 2, %r31          /* Ensure we return into user mode. */
  81         be      0(%sr7,%r31)            /* return to user space */
  82         mtctl   %r26, %cr27             /* move arg0 to the control register */
  83
  84         /* Increase the chance of trapping if random jumps occur to this
  85         address, fill from 0xf0 to 0x100 */
  86         .rept 4
  87         KILL_INSN
  88         .endr
  89
  90 /* This address must remain fixed at 0x100 for glibc's syscalls to work */
  91         .align 256
  92 linux_gateway_entry:
  93         gate    .+8, %r0                        /* become privileged */
  94         mtsp    %r0,%sr4                        /* get kernel space into sr4 */
  95         mtsp    %r0,%sr5                        /* get kernel space into sr5 */
  96         mtsp    %r0,%sr6                        /* get kernel space into sr6 */
  97         mfsp    %sr7,%r1                        /* save user sr7 */
  98         mtsp    %r1,%sr3                        /* and store it in sr3 */
  99
 100 #ifdef CONFIG_64BIT
 101         /* for now we can *always* set the W bit on entry to the syscall
 102          * since we don't support wide userland processes.  We could
 103          * also save the current SM other than in r0 and restore it on
 104          * exit from the syscall, and also use that value to know
 105          * whether to do narrow or wide syscalls. -PB
 106          */
 107         ssm     PSW_SM_W, %r1
 108         extrd,u %r1,PSW_W_BIT,1,%r1
 109         /* sp must be aligned on 4, so deposit the W bit setting into
 110          * the bottom of sp temporarily */
 111         or,ev   %r1,%r30,%r30
 112         b,n     1f
 113         /* The top halves of argument registers must be cleared on syscall
 114          * entry from narrow executable.
 115          */
 116         depdi   0, 31, 32, %r26
 117         depdi   0, 31, 32, %r25
 118         depdi   0, 31, 32, %r24
 119         depdi   0, 31, 32, %r23
 120         depdi   0, 31, 32, %r22
 121         depdi   0, 31, 32, %r21
 122 1:
 123 #endif
 124         mfctl   %cr30,%r1
 125         xor     %r1,%r30,%r30                   /* ye olde xor trick */
 126         xor     %r1,%r30,%r1
 127         xor     %r1,%r30,%r30
 128
 129         ldo     THREAD_SZ_ALGN+FRAME_SIZE(%r30),%r30  /* set up kernel stack */
 130
 131         /* N.B.: It is critical that we don't set sr7 to 0 until r30
 132          *       contains a valid kernel stack pointer. It is also
 133          *       critical that we don't start using the kernel stack
 134          *       until after sr7 has been set to 0.
 135          */
 136
 137         mtsp    %r0,%sr7                        /* get kernel space into sr7 */
 138         STREGM  %r1,FRAME_SIZE(%r30)            /* save r1 (usp) here for now */
 139         mfctl   %cr30,%r1                       /* get task ptr in %r1 */
 140         LDREG   TI_TASK(%r1),%r1
 141
 142         /* Save some registers for sigcontext and potential task
 143            switch (see entry.S for the details of which ones are
 144            saved/restored).  TASK_PT_PSW is zeroed so we can see whether
 145            a process is on a syscall or not.  For an interrupt the real
 146            PSW value is stored.  This is needed for gdb and sys_ptrace. */
 147         STREG   %r0,  TASK_PT_PSW(%r1)
 148         STREG   %r2,  TASK_PT_GR2(%r1)          /* preserve rp */
 149         STREG   %r19, TASK_PT_GR19(%r1)
 150
 151         LDREGM  -FRAME_SIZE(%r30), %r2          /* get users sp back */
 152 #ifdef CONFIG_64BIT
 153         extrd,u %r2,63,1,%r19                   /* W hidden in bottom bit */
 154 #if 0
 155         xor     %r19,%r2,%r2                    /* clear bottom bit */
 156         depd,z  %r19,1,1,%r19
 157         std     %r19,TASK_PT_PSW(%r1)
 158 #endif
 159 #endif
 160         STREG   %r2,  TASK_PT_GR30(%r1)         /* ... and save it */
 161
 162         STREG   %r20, TASK_PT_GR20(%r1)         /* Syscall number */
 163         STREG   %r21, TASK_PT_GR21(%r1)
 164         STREG   %r22, TASK_PT_GR22(%r1)
 165         STREG   %r23, TASK_PT_GR23(%r1)         /* 4th argument */
 166         STREG   %r24, TASK_PT_GR24(%r1)         /* 3rd argument */
 167         STREG   %r25, TASK_PT_GR25(%r1)         /* 2nd argument */
 168         STREG   %r26, TASK_PT_GR26(%r1)         /* 1st argument */
 169         STREG   %r27, TASK_PT_GR27(%r1)         /* user dp */
 170         STREG   %r28, TASK_PT_GR28(%r1)         /* return value 0 */
 171         STREG   %r28, TASK_PT_ORIG_R28(%r1)     /* return value 0 (saved for signals) */
 172         STREG   %r29, TASK_PT_GR29(%r1)         /* return value 1 */
 173         STREG   %r31, TASK_PT_GR31(%r1)         /* preserve syscall return ptr */
 174
 175         ldo     TASK_PT_FR0(%r1), %r27          /* save fpregs from the kernel */
 176         save_fp %r27                            /* or potential task switch  */
 177
 178         mfctl   %cr11, %r27                     /* i.e. SAR */
 179         STREG   %r27, TASK_PT_SAR(%r1)
 180
 181         loadgp
 182
 183 #ifdef CONFIG_64BIT
 184         ldo     -16(%r30),%r29                  /* Reference param save area */
 185         copy    %r19,%r2                        /* W bit back to r2 */
 186 #else
 187         /* no need to save these on stack in wide mode because the first 8
 188          * args are passed in registers */
 189         stw     %r22, -52(%r30)                 /* 5th argument */
 190         stw     %r21, -56(%r30)                 /* 6th argument */
 191 #endif
 192
 193         /* Are we being ptraced? */
 194         mfctl   %cr30, %r1
 195         LDREG   TI_TASK(%r1),%r1
 196         LDREG   TASK_PTRACE(%r1), %r1
 197         bb,<,n  %r1,31,.Ltracesys
 198
 199         /* Note!  We cannot use the syscall table that is mapped
 200         nearby since the gateway page is mapped execute-only. */
 201
 202 #ifdef CONFIG_64BIT
 203         ldil    L%sys_call_table, %r1
 204         or,=    %r2,%r2,%r2
 205         addil   L%(sys_call_table64-sys_call_table), %r1
 206         ldo     R%sys_call_table(%r1), %r19
 207         or,=    %r2,%r2,%r2
 208         ldo     R%sys_call_table64(%r1), %r19
 209 #else
 210         ldil    L%sys_call_table, %r1
 211         ldo     R%sys_call_table(%r1), %r19
 212 #endif
 213         comiclr,>>=     __NR_Linux_syscalls, %r20, %r0
 214         b,n     .Lsyscall_nosys
 215
 216         LDREGX  %r20(%r19), %r19
 217
 218         /* If this is a sys_rt_sigreturn call, and the signal was received
 219          * when not in_syscall, then we want to return via syscall_exit_rfi,
 220          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
 221          * trampoline code in signal.c).
 222          */
 223         ldi     __NR_rt_sigreturn,%r2
 224         comb,=  %r2,%r20,.Lrt_sigreturn
 225 .Lin_syscall:
 226         ldil    L%syscall_exit,%r2
 227         be      0(%sr7,%r19)
 228         ldo     R%syscall_exit(%r2),%r2
 229 .Lrt_sigreturn:
 230         comib,<> 0,%r25,.Lin_syscall
 231         ldil    L%syscall_exit_rfi,%r2
 232         be      0(%sr7,%r19)
 233         ldo     R%syscall_exit_rfi(%r2),%r2
 234
 235         /* Note!  Because we are not running where we were linked, any
 236         calls to functions external to this file must be indirect.  To
 237         be safe, we apply the opposite rule to functions within this
 238         file, with local labels given to them to ensure correctness. */
 239
 240 .Lsyscall_nosys:
 241 syscall_nosys:
 242         ldil    L%syscall_exit,%r1
 243         be      R%syscall_exit(%sr7,%r1)
 244         ldo     -ENOSYS(%r0),%r28                  /* set errno */
 245
 246
 247 /* Warning! This trace code is a virtual duplicate of the code above so be
 248  * sure to maintain both! */
 249 .Ltracesys:
 250 tracesys:
 251         /* Need to save more registers so the debugger can see where we
 252          * are.  This saves only the lower 8 bits of PSW, so that the C
 253          * bit is still clear on syscalls, and the D bit is set if this
 254          * full register save path has been executed.  We check the D
 255          * bit on syscall_return_rfi to determine which registers to
 256          * restore.  An interrupt results in a full PSW saved with the
 257          * C bit set, a non-straced syscall entry results in C and D clear
 258          * in the saved PSW.
 259          */
 260         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 261         LDREG   TI_TASK(%r1), %r1
 262         ssm     0,%r2
 263         STREG   %r2,TASK_PT_PSW(%r1)            /* Lower 8 bits only!! */
 264         mfsp    %sr0,%r2
 265         STREG   %r2,TASK_PT_SR0(%r1)
 266         mfsp    %sr1,%r2
 267         STREG   %r2,TASK_PT_SR1(%r1)
 268         mfsp    %sr2,%r2
 269         STREG   %r2,TASK_PT_SR2(%r1)
 270         mfsp    %sr3,%r2
 271         STREG   %r2,TASK_PT_SR3(%r1)
 272         STREG   %r2,TASK_PT_SR4(%r1)
 273         STREG   %r2,TASK_PT_SR5(%r1)
 274         STREG   %r2,TASK_PT_SR6(%r1)
 275         STREG   %r2,TASK_PT_SR7(%r1)
 276         STREG   %r2,TASK_PT_IASQ0(%r1)
 277         STREG   %r2,TASK_PT_IASQ1(%r1)
 278         LDREG   TASK_PT_GR31(%r1),%r2
 279         STREG   %r2,TASK_PT_IAOQ0(%r1)
 280         ldo     4(%r2),%r2
 281         STREG   %r2,TASK_PT_IAOQ1(%r1)
 282         ldo     TASK_REGS(%r1),%r2
 283         /* reg_save %r2 */
 284         STREG   %r3,PT_GR3(%r2)
 285         STREG   %r4,PT_GR4(%r2)
 286         STREG   %r5,PT_GR5(%r2)
 287         STREG   %r6,PT_GR6(%r2)
 288         STREG   %r7,PT_GR7(%r2)
 289         STREG   %r8,PT_GR8(%r2)
 290         STREG   %r9,PT_GR9(%r2)
 291         STREG   %r10,PT_GR10(%r2)
 292         STREG   %r11,PT_GR11(%r2)
 293         STREG   %r12,PT_GR12(%r2)
 294         STREG   %r13,PT_GR13(%r2)
 295         STREG   %r14,PT_GR14(%r2)
 296         STREG   %r15,PT_GR15(%r2)
 297         STREG   %r16,PT_GR16(%r2)
 298         STREG   %r17,PT_GR17(%r2)
 299         STREG   %r18,PT_GR18(%r2)
 300         /* Finished saving things for the debugger */
 301
 302         ldil    L%syscall_trace,%r1
 303         ldil    L%tracesys_next,%r2
 304         be      R%syscall_trace(%sr7,%r1)
 305         ldo     R%tracesys_next(%r2),%r2
 306
 307 tracesys_next:
 308         ldil    L%sys_call_table,%r1
 309         ldo     R%sys_call_table(%r1), %r19
 310
 311         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 312         LDREG   TI_TASK(%r1), %r1
 313         LDREG   TASK_PT_GR20(%r1), %r20
 314         LDREG   TASK_PT_GR26(%r1), %r26         /* Restore the users args */
 315         LDREG   TASK_PT_GR25(%r1), %r25
 316         LDREG   TASK_PT_GR24(%r1), %r24
 317         LDREG   TASK_PT_GR23(%r1), %r23
 318 #ifdef CONFIG_64BIT
 319         LDREG   TASK_PT_GR22(%r1), %r22
 320         LDREG   TASK_PT_GR21(%r1), %r21
 321         ldo     -16(%r30),%r29                  /* Reference param save area */
 322 #endif
 323
 324         comiclr,>>=     __NR_Linux_syscalls, %r20, %r0
 325         b,n     .Lsyscall_nosys
 326
 327         LDREGX  %r20(%r19), %r19
 328
 329         /* If this is a sys_rt_sigreturn call, and the signal was received
 330          * when not in_syscall, then we want to return via syscall_exit_rfi,
 331          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
 332          * trampoline code in signal.c).
 333          */
 334         ldi     __NR_rt_sigreturn,%r2
 335         comb,=  %r2,%r20,.Ltrace_rt_sigreturn
 336 .Ltrace_in_syscall:
 337         ldil    L%tracesys_exit,%r2
 338         be      0(%sr7,%r19)
 339         ldo     R%tracesys_exit(%r2),%r2
 340
 341         /* Do *not* call this function on the gateway page, because it
 342         makes a direct call to syscall_trace. */
 343
 344 tracesys_exit:
 345         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 346         LDREG   TI_TASK(%r1), %r1
 347 #ifdef CONFIG_64BIT
 348         ldo     -16(%r30),%r29                  /* Reference param save area */
 349 #endif
 350         bl      syscall_trace, %r2
 351         STREG   %r28,TASK_PT_GR28(%r1)          /* save return value now */
 352         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 353         LDREG   TI_TASK(%r1), %r1
 354         LDREG   TASK_PT_GR28(%r1), %r28         /* Restore return val. */
 355
 356         ldil    L%syscall_exit,%r1
 357         be,n    R%syscall_exit(%sr7,%r1)
 358
 359 .Ltrace_rt_sigreturn:
 360         comib,<> 0,%r25,.Ltrace_in_syscall
 361         ldil    L%tracesys_sigexit,%r2
 362         be      0(%sr7,%r19)
 363         ldo     R%tracesys_sigexit(%r2),%r2
 364
 365 tracesys_sigexit:
 366         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 367         LDREG   0(%r1), %r1
 368 #ifdef CONFIG_64BIT
 369         ldo     -16(%r30),%r29                  /* Reference param save area */
 370 #endif
 371         bl      syscall_trace, %r2
 372         nop
 373
 374         ldil    L%syscall_exit_rfi,%r1
 375         be,n    R%syscall_exit_rfi(%sr7,%r1)
 376
 377
 378         /*********************************************************
 379                 Light-weight-syscall code
 380
 381                 r20 - lws number
 382                 r26,r25,r24,r23,r22 - Input registers
 383                 r28 - Function return register
 384                 r21 - Error code.
 385
 386                 Scracth: Any of the above that aren't being
 387                 currently used, including r1.
 388
 389                 Return pointer: r31 (Not usable)
 390
 391                 Error codes returned by entry path:
 392
 393                 ENOSYS - r20 was an invalid LWS number.
 394
 395         *********************************************************/
 396 lws_start:
 397         /* Gate and ensure we return to userspace */
 398         gate    .+8, %r0
 399         depi    3, 31, 2, %r31  /* Ensure we return to userspace */
 400
 401 #ifdef CONFIG_64BIT
 402         /* FIXME: If we are a 64-bit kernel just
 403          *        turn this on unconditionally.
 404          */
 405         ssm     PSW_SM_W, %r1
 406         extrd,u %r1,PSW_W_BIT,1,%r1
 407         /* sp must be aligned on 4, so deposit the W bit setting into
 408          * the bottom of sp temporarily */
 409         or,ev   %r1,%r30,%r30
 410
 411         /* Clip LWS number to a 32-bit value always */
 412         depdi   0, 31, 32, %r20
 413 #endif
 414
 415         /* Is the lws entry number valid? */
 416         comiclr,>>=     __NR_lws_entries, %r20, %r0
 417         b,n     lws_exit_nosys
 418
 419         /* WARNING: Trashing sr2 and sr3 */
 420         mfsp    %sr7,%r1                        /* get userspace into sr3 */
 421         mtsp    %r1,%sr3
 422         mtsp    %r0,%sr2                        /* get kernel space into sr2 */
 423
 424         /* Load table start */
 425         ldil    L%lws_table, %r1
 426         ldo     R%lws_table(%r1), %r28  /* Scratch use of r28 */
 427         LDREGX  %r20(%sr2,r28), %r21    /* Scratch use of r21 */
 428
 429         /* Jump to lws, lws table pointers already relocated */
 430         be,n    0(%sr2,%r21)
 431
 432 lws_exit_nosys:
 433         ldo     -ENOSYS(%r0),%r21                  /* set errno */
 434         /* Fall through: Return to userspace */
 435
 436 lws_exit:
 437 #ifdef CONFIG_64BIT
 438         /* decide whether to reset the wide mode bit
 439          *
 440          * For a syscall, the W bit is stored in the lowest bit
 441          * of sp.  Extract it and reset W if it is zero */
 442         extrd,u,*<>     %r30,63,1,%r1
 443         rsm     PSW_SM_W, %r0
 444         /* now reset the lowest bit of sp if it was set */
 445         xor     %r30,%r1,%r30
 446 #endif
 447         be,n    0(%sr3, %r31)
 448
 449
 450
 451         /***************************************************
 452                 Implementing CAS as an atomic operation:
 453
 454                 %r26 - Address to examine
 455                 %r25 - Old value to check (old)
 456                 %r24 - New value to set (new)
 457                 %r28 - Return prev through this register.
 458                 %r21 - Kernel error code
 459
 460                 If debugging is DISabled:
 461
 462                 %r21 has the following meanings:
 463
 464                 EAGAIN - CAS is busy, ldcw failed, try again.
 465                 EFAULT - Read or write failed.
 466
 467                 If debugging is enabled:
 468
 469                 EDEADLOCK - CAS called recursively.
 470                 EAGAIN && r28 == 1 - CAS is busy. Lock contended.
 471                 EAGAIN && r28 == 2 - CAS is busy. ldcw failed.
 472                 EFAULT - Read or write failed.
 473
 474                 Scratch: r20, r28, r1
 475
 476         ****************************************************/
 477
 478         /* Do not enable LWS debugging */
 479 #define ENABLE_LWS_DEBUG 0
 480
 481         /* ELF64 Process entry path */
 482 lws_compare_and_swap64:
 483 #ifdef CONFIG_64BIT
 484         b,n     lws_compare_and_swap
 485 #else
 486         /* If we are not a 64-bit kernel, then we don't
 487          * implement having 64-bit input registers
 488          */
 489         b,n     lws_exit_nosys
 490 #endif
 491
 492         /* ELF32 Process entry path */
 493 lws_compare_and_swap32:
 494 #ifdef CONFIG_64BIT
 495         /* Clip all the input registers */
 496         depdi   0, 31, 32, %r26
 497         depdi   0, 31, 32, %r25
 498         depdi   0, 31, 32, %r24
 499 #endif
 500
 501 lws_compare_and_swap:
 502 #ifdef CONFIG_SMP
 503         /* Load start of lock table */
 504         ldil    L%lws_lock_start, %r20
 505         ldo     R%lws_lock_start(%r20), %r28
 506
 507         /* Extract four bits from r26 and hash lock (Bits 4-7) */
 508         extru  %r26, 27, 4, %r20
 509
 510         /* Find lock to use, the hash is either one of 0 to
 511            15, multiplied by 16 (keep it 16-byte aligned)
 512            and add to the lock table offset. */
 513         shlw    %r20, 4, %r20
 514         add     %r20, %r28, %r20
 515
 516 # ifdef ENABLE_LWS_DEBUG
 517         /*
 518                 DEBUG, check for deadlock!
 519                 If the thread register values are the same
 520                 then we were the one that locked it last and
 521                 this is a recurisve call that will deadlock.
 522                 We *must* giveup this call and fail.
 523         */
 524         ldw     4(%sr2,%r20), %r28                      /* Load thread register */
 525         /* WARNING: If cr27 cycles to the same value we have problems */
 526         mfctl   %cr27, %r21                             /* Get current thread register */
 527         cmpb,<>,n       %r21, %r28, cas_lock            /* Called recursive? */
 528         b       lws_exit                                /* Return error! */
 529         ldo     -EDEADLOCK(%r0), %r21
 530 cas_lock:
 531         cmpb,=,n        %r0, %r28, cas_nocontend        /* Is nobody using it? */
 532         ldo     1(%r0), %r28                            /* 1st case */
 533         b       lws_exit                                /* Contended... */
 534         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
 535 cas_nocontend:
 536 # endif
 537 /* ENABLE_LWS_DEBUG */
 538
 539         LDCW    0(%sr2,%r20), %r28                      /* Try to acquire the lock */
 540         cmpb,<>,n       %r0, %r28, cas_action           /* Did we get it? */
 541 cas_wouldblock:
 542         ldo     2(%r0), %r28                            /* 2nd case */
 543         b       lws_exit                                /* Contended... */
 544         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
 545 #endif
 546 /* CONFIG_SMP */
 547
 548         /*
 549                 prev = *addr;
 550                 if ( prev == old )
 551                   *addr = new;
 552                 return prev;
 553         */
 554
 555         /* NOTES:
 556                 This all works becuse intr_do_signal
 557                 and schedule both check the return iasq
 558                 and see that we are on the kernel page
 559                 so this process is never scheduled off
 560                 or is ever sent any signal of any sort,
 561                 thus it is wholly atomic from usrspaces
 562                 perspective
 563         */
 564 cas_action:
 565 #if defined CONFIG_SMP && defined ENABLE_LWS_DEBUG
 566         /* DEBUG */
 567         mfctl   %cr27, %r1
 568         stw     %r1, 4(%sr2,%r20)
 569 #endif
 570         /* The load and store could fail */
 571 1:      ldw     0(%sr3,%r26), %r28
 572         sub,<>  %r28, %r25, %r0
 573 2:      stw     %r24, 0(%sr3,%r26)
 574 #ifdef CONFIG_SMP
 575         /* Free lock */
 576         stw     %r20, 0(%sr2,%r20)
 577 # ifdef ENABLE_LWS_DEBUG
 578         /* Clear thread register indicator */
 579         stw     %r0, 4(%sr2,%r20)
 580 # endif
 581 #endif
 582         /* Return to userspace, set no error */
 583         b       lws_exit
 584         copy    %r0, %r21
 585
 586 3:
 587         /* Error occured on load or store */
 588 #ifdef CONFIG_SMP
 589         /* Free lock */
 590         stw     %r20, 0(%sr2,%r20)
 591 # ifdef ENABLE_LWS_DEBUG
 592         stw     %r0, 4(%sr2,%r20)
 593 # endif
 594 #endif
 595         b       lws_exit
 596         ldo     -EFAULT(%r0),%r21       /* set errno */
 597         nop
 598         nop
 599         nop
 600         nop
 601
 602         /* Two exception table entries, one for the load,
 603            the other for the store. Either return -EFAULT.
 604            Each of the entries must be relocated. */
 605         .section __ex_table,"aw"
 606         ULONG_WORD(2b - linux_gateway_page)
 607         ULONG_WORD(3b - linux_gateway_page)
 608         .previous
 609
 610         .section __ex_table,"aw"
 611         ULONG_WORD(1b - linux_gateway_page)
 612         ULONG_WORD(3b - linux_gateway_page)
 613         .previous
 614
 615 end_compare_and_swap:
 616
 617         /* Make sure nothing else is placed on this page */
 618         .align ASM_PAGE_SIZE
 619 END(linux_gateway_page)
 620 ENTRY(end_linux_gateway_page)
 621
 622         /* Relocate symbols assuming linux_gateway_page is mapped
 623            to virtual address 0x0 */
 624
 625 #define LWS_ENTRY(_name_) ULONG_WORD(lws_##_name_ - linux_gateway_page)
 626
 627         .section .rodata,"a"
 628
 629         .align ASM_PAGE_SIZE
 630         /* Light-weight-syscall table */
 631         /* Start of lws table. */
 632 ENTRY(lws_table)
 633         LWS_ENTRY(compare_and_swap32)   /* 0 - ELF32 Atomic compare and swap */
 634         LWS_ENTRY(compare_and_swap64)   /* 1 - ELF64 Atomic compare and swap */
 635 END(lws_table)
 636         /* End of lws table */
 637
 638         .align ASM_PAGE_SIZE
 639 ENTRY(sys_call_table)
 640 #include "syscall_table.S"
 641 END(sys_call_table)
 642
 643 #ifdef CONFIG_64BIT
 644         .align ASM_PAGE_SIZE
 645 ENTRY(sys_call_table64)
 646 #define SYSCALL_TABLE_64BIT
 647 #include "syscall_table.S"
 648 END(sys_call_table64)
 649 #endif
 650
 651 #ifdef CONFIG_SMP
 652         /*
 653                 All light-weight-syscall atomic operations
 654                 will use this set of locks
 655         */
 656         .section .data
 657         .align 4096
 658 ENTRY(lws_lock_start)
 659         /* lws locks */
 660         .align 16
 661         .rept 16
 662         /* Keep locks aligned at 16-bytes */
 663         .word 1
 664         .word 0
 665         .word 0
 666         .word 0
 667         .endr
 668 END(lws_lock_start)
 669         .previous
 670 #endif
 671 /* CONFIG_SMP for lws_lock_start */
 672
 673 .end
 674
 675