arch/parisc/kernel/syscall.S

   1 /*
   2  * Linux/PA-RISC Project (http://www.parisc-linux.org/)
   3  *
   4  * System call entry code Copyright (c) Matthew Wilcox 1999 <willy@bofh.ai>
   5  * Licensed under the GNU GPL.
   6  * thanks to Philipp Rumpf, Mike Shaver and various others
   7  * sorry about the wall, puffin..
   8  */
   9
  10 #include <asm/asm-offsets.h>
  11 #include <asm/unistd.h>
  12 #include <asm/errno.h>
  13 #include <asm/page.h>
  14 #include <asm/psw.h>
  15 #include <asm/thread_info.h>
  16 #include <asm/assembly.h>
  17 #include <asm/processor.h>
  18
  19 #include <linux/linkage.h>
  20 #include <linux/init.h>
  21
  22         /* We fill the empty parts of the gateway page with
  23          * something that will kill the kernel or a
  24          * userspace application.
  25          */
  26 #define KILL_INSN       break   0,0
  27
  28         .level          LEVEL
  29
  30         __HEAD
  31
  32         .import syscall_exit,code
  33         .import syscall_exit_rfi,code
  34
  35         /* Linux gateway page is aliased to virtual page 0 in the kernel
  36          * address space. Since it is a gateway page it cannot be
  37          * dereferenced, so null pointers will still fault. We start
  38          * the actual entry point at 0x100. We put break instructions
  39          * at the beginning of the page to trap null indirect function
  40          * pointers.
  41          */
  42
  43         .align PAGE_SIZE
  44 ENTRY(linux_gateway_page)
  45
  46         /* ADDRESS 0x00 to 0xb0 = 176 bytes / 4 bytes per insn = 44 insns */
  47         .rept 44
  48         KILL_INSN
  49         .endr
  50
  51         /* ADDRESS 0xb0 to 0xb4, lws uses 1 insns for entry */
  52         /* Light-weight-syscall entry must always be located at 0xb0 */
  53         /* WARNING: Keep this number updated with table size changes */
  54 #define __NR_lws_entries (2)
  55
  56 lws_entry:
  57         /* Unconditional branch to lws_start, located on the
  58            same gateway page */
  59         b,n     lws_start
  60
  61         /* Fill from 0xb4 to 0xe0 */
  62         .rept 11
  63         KILL_INSN
  64         .endr
  65
  66         /* This function MUST be located at 0xe0 for glibc's threading
  67         mechanism to work. DO NOT MOVE THIS CODE EVER! */
  68 set_thread_pointer:
  69         gate    .+8, %r0                /* increase privilege */
  70         depi    3, 31, 2, %r31          /* Ensure we return into user mode. */
  71         be      0(%sr7,%r31)            /* return to user space */
  72         mtctl   %r26, %cr27             /* move arg0 to the control register */
  73
  74         /* Increase the chance of trapping if random jumps occur to this
  75         address, fill from 0xf0 to 0x100 */
  76         .rept 4
  77         KILL_INSN
  78         .endr
  79
  80 /* This address must remain fixed at 0x100 for glibc's syscalls to work */
  81         .align 256
  82 linux_gateway_entry:
  83         gate    .+8, %r0                        /* become privileged */
  84         mtsp    %r0,%sr4                        /* get kernel space into sr4 */
  85         mtsp    %r0,%sr5                        /* get kernel space into sr5 */
  86         mtsp    %r0,%sr6                        /* get kernel space into sr6 */
  87         mfsp    %sr7,%r1                        /* save user sr7 */
  88         mtsp    %r1,%sr3                        /* and store it in sr3 */
  89
  90 #ifdef CONFIG_64BIT
  91         /* for now we can *always* set the W bit on entry to the syscall
  92          * since we don't support wide userland processes.  We could
  93          * also save the current SM other than in r0 and restore it on
  94          * exit from the syscall, and also use that value to know
  95          * whether to do narrow or wide syscalls. -PB
  96          */
  97         ssm     PSW_SM_W, %r1
  98         extrd,u %r1,PSW_W_BIT,1,%r1
  99         /* sp must be aligned on 4, so deposit the W bit setting into
 100          * the bottom of sp temporarily */
 101         or,ev   %r1,%r30,%r30
 102         b,n     1f
 103         /* The top halves of argument registers must be cleared on syscall
 104          * entry from narrow executable.
 105          */
 106         depdi   0, 31, 32, %r26
 107         depdi   0, 31, 32, %r25
 108         depdi   0, 31, 32, %r24
 109         depdi   0, 31, 32, %r23
 110         depdi   0, 31, 32, %r22
 111         depdi   0, 31, 32, %r21
 112 1:
 113 #endif
 114         mfctl   %cr30,%r1
 115         xor     %r1,%r30,%r30                   /* ye olde xor trick */
 116         xor     %r1,%r30,%r1
 117         xor     %r1,%r30,%r30
 118
 119         ldo     THREAD_SZ_ALGN+FRAME_SIZE(%r30),%r30  /* set up kernel stack */
 120
 121         /* N.B.: It is critical that we don't set sr7 to 0 until r30
 122          *       contains a valid kernel stack pointer. It is also
 123          *       critical that we don't start using the kernel stack
 124          *       until after sr7 has been set to 0.
 125          */
 126
 127         mtsp    %r0,%sr7                        /* get kernel space into sr7 */
 128         STREGM  %r1,FRAME_SIZE(%r30)            /* save r1 (usp) here for now */
 129         mfctl   %cr30,%r1                       /* get task ptr in %r1 */
 130         LDREG   TI_TASK(%r1),%r1
 131
 132         /* Save some registers for sigcontext and potential task
 133            switch (see entry.S for the details of which ones are
 134            saved/restored).  TASK_PT_PSW is zeroed so we can see whether
 135            a process is on a syscall or not.  For an interrupt the real
 136            PSW value is stored.  This is needed for gdb and sys_ptrace. */
 137         STREG   %r0,  TASK_PT_PSW(%r1)
 138         STREG   %r2,  TASK_PT_GR2(%r1)          /* preserve rp */
 139         STREG   %r19, TASK_PT_GR19(%r1)
 140
 141         LDREGM  -FRAME_SIZE(%r30), %r2          /* get users sp back */
 142 #ifdef CONFIG_64BIT
 143         extrd,u %r2,63,1,%r19                   /* W hidden in bottom bit */
 144 #if 0
 145         xor     %r19,%r2,%r2                    /* clear bottom bit */
 146         depd,z  %r19,1,1,%r19
 147         std     %r19,TASK_PT_PSW(%r1)
 148 #endif
 149 #endif
 150         STREG   %r2,  TASK_PT_GR30(%r1)         /* ... and save it */
 151
 152         STREG   %r20, TASK_PT_GR20(%r1)         /* Syscall number */
 153         STREG   %r21, TASK_PT_GR21(%r1)
 154         STREG   %r22, TASK_PT_GR22(%r1)
 155         STREG   %r23, TASK_PT_GR23(%r1)         /* 4th argument */
 156         STREG   %r24, TASK_PT_GR24(%r1)         /* 3rd argument */
 157         STREG   %r25, TASK_PT_GR25(%r1)         /* 2nd argument */
 158         STREG   %r26, TASK_PT_GR26(%r1)         /* 1st argument */
 159         STREG   %r27, TASK_PT_GR27(%r1)         /* user dp */
 160         STREG   %r28, TASK_PT_GR28(%r1)         /* return value 0 */
 161         STREG   %r28, TASK_PT_ORIG_R28(%r1)     /* return value 0 (saved for signals) */
 162         STREG   %r29, TASK_PT_GR29(%r1)         /* return value 1 */
 163         STREG   %r31, TASK_PT_GR31(%r1)         /* preserve syscall return ptr */
 164
 165         ldo     TASK_PT_FR0(%r1), %r27          /* save fpregs from the kernel */
 166         save_fp %r27                            /* or potential task switch  */
 167
 168         mfctl   %cr11, %r27                     /* i.e. SAR */
 169         STREG   %r27, TASK_PT_SAR(%r1)
 170
 171         loadgp
 172
 173 #ifdef CONFIG_64BIT
 174         ldo     -16(%r30),%r29                  /* Reference param save area */
 175         copy    %r19,%r2                        /* W bit back to r2 */
 176 #else
 177         /* no need to save these on stack in wide mode because the first 8
 178          * args are passed in registers */
 179         stw     %r22, -52(%r30)                 /* 5th argument */
 180         stw     %r21, -56(%r30)                 /* 6th argument */
 181 #endif
 182
 183         /* Are we being ptraced? */
 184         mfctl   %cr30, %r1
 185         LDREG   TI_TASK(%r1),%r1
 186         ldw     TASK_PTRACE(%r1), %r1
 187         bb,<,n  %r1,31,.Ltracesys
 188
 189         /* Note!  We cannot use the syscall table that is mapped
 190         nearby since the gateway page is mapped execute-only. */
 191
 192 #ifdef CONFIG_64BIT
 193         ldil    L%sys_call_table, %r1
 194         or,=    %r2,%r2,%r2
 195         addil   L%(sys_call_table64-sys_call_table), %r1
 196         ldo     R%sys_call_table(%r1), %r19
 197         or,=    %r2,%r2,%r2
 198         ldo     R%sys_call_table64(%r1), %r19
 199 #else
 200         ldil    L%sys_call_table, %r1
 201         ldo     R%sys_call_table(%r1), %r19
 202 #endif
 203         comiclr,>>      __NR_Linux_syscalls, %r20, %r0
 204         b,n     .Lsyscall_nosys
 205
 206         LDREGX  %r20(%r19), %r19
 207
 208         /* If this is a sys_rt_sigreturn call, and the signal was received
 209          * when not in_syscall, then we want to return via syscall_exit_rfi,
 210          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
 211          * trampoline code in signal.c).
 212          */
 213         ldi     __NR_rt_sigreturn,%r2
 214         comb,=  %r2,%r20,.Lrt_sigreturn
 215 .Lin_syscall:
 216         ldil    L%syscall_exit,%r2
 217         be      0(%sr7,%r19)
 218         ldo     R%syscall_exit(%r2),%r2
 219 .Lrt_sigreturn:
 220         comib,<> 0,%r25,.Lin_syscall
 221         ldil    L%syscall_exit_rfi,%r2
 222         be      0(%sr7,%r19)
 223         ldo     R%syscall_exit_rfi(%r2),%r2
 224
 225         /* Note!  Because we are not running where we were linked, any
 226         calls to functions external to this file must be indirect.  To
 227         be safe, we apply the opposite rule to functions within this
 228         file, with local labels given to them to ensure correctness. */
 229
 230 .Lsyscall_nosys:
 231 syscall_nosys:
 232         ldil    L%syscall_exit,%r1
 233         be      R%syscall_exit(%sr7,%r1)
 234         ldo     -ENOSYS(%r0),%r28                  /* set errno */
 235
 236
 237 /* Warning! This trace code is a virtual duplicate of the code above so be
 238  * sure to maintain both! */
 239 .Ltracesys:
 240 tracesys:
 241         /* Need to save more registers so the debugger can see where we
 242          * are.  This saves only the lower 8 bits of PSW, so that the C
 243          * bit is still clear on syscalls, and the D bit is set if this
 244          * full register save path has been executed.  We check the D
 245          * bit on syscall_return_rfi to determine which registers to
 246          * restore.  An interrupt results in a full PSW saved with the
 247          * C bit set, a non-straced syscall entry results in C and D clear
 248          * in the saved PSW.
 249          */
 250         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 251         LDREG   TI_TASK(%r1), %r1
 252         ssm     0,%r2
 253         STREG   %r2,TASK_PT_PSW(%r1)            /* Lower 8 bits only!! */
 254         mfsp    %sr0,%r2
 255         STREG   %r2,TASK_PT_SR0(%r1)
 256         mfsp    %sr1,%r2
 257         STREG   %r2,TASK_PT_SR1(%r1)
 258         mfsp    %sr2,%r2
 259         STREG   %r2,TASK_PT_SR2(%r1)
 260         mfsp    %sr3,%r2
 261         STREG   %r2,TASK_PT_SR3(%r1)
 262         STREG   %r2,TASK_PT_SR4(%r1)
 263         STREG   %r2,TASK_PT_SR5(%r1)
 264         STREG   %r2,TASK_PT_SR6(%r1)
 265         STREG   %r2,TASK_PT_SR7(%r1)
 266         STREG   %r2,TASK_PT_IASQ0(%r1)
 267         STREG   %r2,TASK_PT_IASQ1(%r1)
 268         LDREG   TASK_PT_GR31(%r1),%r2
 269         STREG   %r2,TASK_PT_IAOQ0(%r1)
 270         ldo     4(%r2),%r2
 271         STREG   %r2,TASK_PT_IAOQ1(%r1)
 272         ldo     TASK_REGS(%r1),%r2
 273         /* reg_save %r2 */
 274         STREG   %r3,PT_GR3(%r2)
 275         STREG   %r4,PT_GR4(%r2)
 276         STREG   %r5,PT_GR5(%r2)
 277         STREG   %r6,PT_GR6(%r2)
 278         STREG   %r7,PT_GR7(%r2)
 279         STREG   %r8,PT_GR8(%r2)
 280         STREG   %r9,PT_GR9(%r2)
 281         STREG   %r10,PT_GR10(%r2)
 282         STREG   %r11,PT_GR11(%r2)
 283         STREG   %r12,PT_GR12(%r2)
 284         STREG   %r13,PT_GR13(%r2)
 285         STREG   %r14,PT_GR14(%r2)
 286         STREG   %r15,PT_GR15(%r2)
 287         STREG   %r16,PT_GR16(%r2)
 288         STREG   %r17,PT_GR17(%r2)
 289         STREG   %r18,PT_GR18(%r2)
 290         /* Finished saving things for the debugger */
 291
 292         ldil    L%syscall_trace,%r1
 293         ldil    L%tracesys_next,%r2
 294         be      R%syscall_trace(%sr7,%r1)
 295         ldo     R%tracesys_next(%r2),%r2
 296
 297 tracesys_next:
 298         ldil    L%sys_call_table,%r1
 299         ldo     R%sys_call_table(%r1), %r19
 300
 301         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 302         LDREG   TI_TASK(%r1), %r1
 303         LDREG   TASK_PT_GR20(%r1), %r20
 304         LDREG   TASK_PT_GR26(%r1), %r26         /* Restore the users args */
 305         LDREG   TASK_PT_GR25(%r1), %r25
 306         LDREG   TASK_PT_GR24(%r1), %r24
 307         LDREG   TASK_PT_GR23(%r1), %r23
 308 #ifdef CONFIG_64BIT
 309         LDREG   TASK_PT_GR22(%r1), %r22
 310         LDREG   TASK_PT_GR21(%r1), %r21
 311         ldo     -16(%r30),%r29                  /* Reference param save area */
 312 #endif
 313
 314         comiclr,>>=     __NR_Linux_syscalls, %r20, %r0
 315         b,n     .Lsyscall_nosys
 316
 317         LDREGX  %r20(%r19), %r19
 318
 319         /* If this is a sys_rt_sigreturn call, and the signal was received
 320          * when not in_syscall, then we want to return via syscall_exit_rfi,
 321          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
 322          * trampoline code in signal.c).
 323          */
 324         ldi     __NR_rt_sigreturn,%r2
 325         comb,=  %r2,%r20,.Ltrace_rt_sigreturn
 326 .Ltrace_in_syscall:
 327         ldil    L%tracesys_exit,%r2
 328         be      0(%sr7,%r19)
 329         ldo     R%tracesys_exit(%r2),%r2
 330
 331         /* Do *not* call this function on the gateway page, because it
 332         makes a direct call to syscall_trace. */
 333
 334 tracesys_exit:
 335         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 336         LDREG   TI_TASK(%r1), %r1
 337 #ifdef CONFIG_64BIT
 338         ldo     -16(%r30),%r29                  /* Reference param save area */
 339 #endif
 340         bl      syscall_trace, %r2
 341         STREG   %r28,TASK_PT_GR28(%r1)          /* save return value now */
 342         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 343         LDREG   TI_TASK(%r1), %r1
 344         LDREG   TASK_PT_GR28(%r1), %r28         /* Restore return val. */
 345
 346         ldil    L%syscall_exit,%r1
 347         be,n    R%syscall_exit(%sr7,%r1)
 348
 349 .Ltrace_rt_sigreturn:
 350         comib,<> 0,%r25,.Ltrace_in_syscall
 351         ldil    L%tracesys_sigexit,%r2
 352         be      0(%sr7,%r19)
 353         ldo     R%tracesys_sigexit(%r2),%r2
 354
 355 tracesys_sigexit:
 356         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
 357         LDREG   0(%r1), %r1
 358 #ifdef CONFIG_64BIT
 359         ldo     -16(%r30),%r29                  /* Reference param save area */
 360 #endif
 361         bl      syscall_trace, %r2
 362         nop
 363
 364         ldil    L%syscall_exit_rfi,%r1
 365         be,n    R%syscall_exit_rfi(%sr7,%r1)
 366
 367
 368         /*********************************************************
 369                 Light-weight-syscall code
 370
 371                 r20 - lws number
 372                 r26,r25,r24,r23,r22 - Input registers
 373                 r28 - Function return register
 374                 r21 - Error code.
 375
 376                 Scracth: Any of the above that aren't being
 377                 currently used, including r1.
 378
 379                 Return pointer: r31 (Not usable)
 380
 381                 Error codes returned by entry path:
 382
 383                 ENOSYS - r20 was an invalid LWS number.
 384
 385         *********************************************************/
 386 lws_start:
 387         /* Gate and ensure we return to userspace */
 388         gate    .+8, %r0
 389         depi    3, 31, 2, %r31  /* Ensure we return to userspace */
 390
 391 #ifdef CONFIG_64BIT
 392         /* FIXME: If we are a 64-bit kernel just
 393          *        turn this on unconditionally.
 394          */
 395         ssm     PSW_SM_W, %r1
 396         extrd,u %r1,PSW_W_BIT,1,%r1
 397         /* sp must be aligned on 4, so deposit the W bit setting into
 398          * the bottom of sp temporarily */
 399         or,ev   %r1,%r30,%r30
 400
 401         /* Clip LWS number to a 32-bit value always */
 402         depdi   0, 31, 32, %r20
 403 #endif
 404
 405         /* Is the lws entry number valid? */
 406         comiclr,>>=     __NR_lws_entries, %r20, %r0
 407         b,n     lws_exit_nosys
 408
 409         /* WARNING: Trashing sr2 and sr3 */
 410         mfsp    %sr7,%r1                        /* get userspace into sr3 */
 411         mtsp    %r1,%sr3
 412         mtsp    %r0,%sr2                        /* get kernel space into sr2 */
 413
 414         /* Load table start */
 415         ldil    L%lws_table, %r1
 416         ldo     R%lws_table(%r1), %r28  /* Scratch use of r28 */
 417         LDREGX  %r20(%sr2,r28), %r21    /* Scratch use of r21 */
 418
 419         /* Jump to lws, lws table pointers already relocated */
 420         be,n    0(%sr2,%r21)
 421
 422 lws_exit_nosys:
 423         ldo     -ENOSYS(%r0),%r21                  /* set errno */
 424         /* Fall through: Return to userspace */
 425
 426 lws_exit:
 427 #ifdef CONFIG_64BIT
 428         /* decide whether to reset the wide mode bit
 429          *
 430          * For a syscall, the W bit is stored in the lowest bit
 431          * of sp.  Extract it and reset W if it is zero */
 432         extrd,u,*<>     %r30,63,1,%r1
 433         rsm     PSW_SM_W, %r0
 434         /* now reset the lowest bit of sp if it was set */
 435         xor     %r30,%r1,%r30
 436 #endif
 437         be,n    0(%sr3, %r31)
 438
 439
 440
 441         /***************************************************
 442                 Implementing CAS as an atomic operation:
 443
 444                 %r26 - Address to examine
 445                 %r25 - Old value to check (old)
 446                 %r24 - New value to set (new)
 447                 %r28 - Return prev through this register.
 448                 %r21 - Kernel error code
 449
 450                 If debugging is DISabled:
 451
 452                 %r21 has the following meanings:
 453
 454                 EAGAIN - CAS is busy, ldcw failed, try again.
 455                 EFAULT - Read or write failed.
 456
 457                 If debugging is enabled:
 458
 459                 EDEADLOCK - CAS called recursively.
 460                 EAGAIN && r28 == 1 - CAS is busy. Lock contended.
 461                 EAGAIN && r28 == 2 - CAS is busy. ldcw failed.
 462                 EFAULT - Read or write failed.
 463
 464                 Scratch: r20, r28, r1
 465
 466         ****************************************************/
 467
 468         /* Do not enable LWS debugging */
 469 #define ENABLE_LWS_DEBUG 0
 470
 471         /* ELF64 Process entry path */
 472 lws_compare_and_swap64:
 473 #ifdef CONFIG_64BIT
 474         b,n     lws_compare_and_swap
 475 #else
 476         /* If we are not a 64-bit kernel, then we don't
 477          * implement having 64-bit input registers
 478          */
 479         b,n     lws_exit_nosys
 480 #endif
 481
 482         /* ELF32 Process entry path */
 483 lws_compare_and_swap32:
 484 #ifdef CONFIG_64BIT
 485         /* Clip all the input registers */
 486         depdi   0, 31, 32, %r26
 487         depdi   0, 31, 32, %r25
 488         depdi   0, 31, 32, %r24
 489 #endif
 490
 491 lws_compare_and_swap:
 492 #ifdef CONFIG_SMP
 493         /* Load start of lock table */
 494         ldil    L%lws_lock_start, %r20
 495         ldo     R%lws_lock_start(%r20), %r28
 496
 497         /* Extract four bits from r26 and hash lock (Bits 4-7) */
 498         extru  %r26, 27, 4, %r20
 499
 500         /* Find lock to use, the hash is either one of 0 to
 501            15, multiplied by 16 (keep it 16-byte aligned)
 502            and add to the lock table offset. */
 503         shlw    %r20, 4, %r20
 504         add     %r20, %r28, %r20
 505
 506 # if ENABLE_LWS_DEBUG
 507         /*
 508                 DEBUG, check for deadlock!
 509                 If the thread register values are the same
 510                 then we were the one that locked it last and
 511                 this is a recurisve call that will deadlock.
 512                 We *must* giveup this call and fail.
 513         */
 514         ldw     4(%sr2,%r20), %r28                      /* Load thread register */
 515         /* WARNING: If cr27 cycles to the same value we have problems */
 516         mfctl   %cr27, %r21                             /* Get current thread register */
 517         cmpb,<>,n       %r21, %r28, cas_lock            /* Called recursive? */
 518         b       lws_exit                                /* Return error! */
 519         ldo     -EDEADLOCK(%r0), %r21
 520 cas_lock:
 521         cmpb,=,n        %r0, %r28, cas_nocontend        /* Is nobody using it? */
 522         ldo     1(%r0), %r28                            /* 1st case */
 523         b       lws_exit                                /* Contended... */
 524         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
 525 cas_nocontend:
 526 # endif
 527 /* ENABLE_LWS_DEBUG */
 528
 529         LDCW    0(%sr2,%r20), %r28                      /* Try to acquire the lock */
 530         cmpb,<>,n       %r0, %r28, cas_action           /* Did we get it? */
 531 cas_wouldblock:
 532         ldo     2(%r0), %r28                            /* 2nd case */
 533         b       lws_exit                                /* Contended... */
 534         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
 535 #endif
 536 /* CONFIG_SMP */
 537
 538         /*
 539                 prev = *addr;
 540                 if ( prev == old )
 541                   *addr = new;
 542                 return prev;
 543         */
 544
 545         /* NOTES:
 546                 This all works becuse intr_do_signal
 547                 and schedule both check the return iasq
 548                 and see that we are on the kernel page
 549                 so this process is never scheduled off
 550                 or is ever sent any signal of any sort,
 551                 thus it is wholly atomic from usrspaces
 552                 perspective
 553         */
 554 cas_action:
 555 #if defined CONFIG_SMP && ENABLE_LWS_DEBUG
 556         /* DEBUG */
 557         mfctl   %cr27, %r1
 558         stw     %r1, 4(%sr2,%r20)
 559 #endif
 560         /* The load and store could fail */
 561 1:      ldw     0(%sr3,%r26), %r28
 562         sub,<>  %r28, %r25, %r0
 563 2:      stw     %r24, 0(%sr3,%r26)
 564 #ifdef CONFIG_SMP
 565         /* Free lock */
 566         stw     %r20, 0(%sr2,%r20)
 567 # if ENABLE_LWS_DEBUG
 568         /* Clear thread register indicator */
 569         stw     %r0, 4(%sr2,%r20)
 570 # endif
 571 #endif
 572         /* Return to userspace, set no error */
 573         b       lws_exit
 574         copy    %r0, %r21
 575
 576 3:
 577         /* Error occured on load or store */
 578 #ifdef CONFIG_SMP
 579         /* Free lock */
 580         stw     %r20, 0(%sr2,%r20)
 581 # if ENABLE_LWS_DEBUG
 582         stw     %r0, 4(%sr2,%r20)
 583 # endif
 584 #endif
 585         b       lws_exit
 586         ldo     -EFAULT(%r0),%r21       /* set errno */
 587         nop
 588         nop
 589         nop
 590         nop
 591
 592         /* Two exception table entries, one for the load,
 593            the other for the store. Either return -EFAULT.
 594            Each of the entries must be relocated. */
 595         .section __ex_table,"aw"
 596         ASM_ULONG_INSN (1b - linux_gateway_page), (3b - linux_gateway_page)
 597         ASM_ULONG_INSN (2b - linux_gateway_page), (3b - linux_gateway_page)
 598         .previous
 599
 600
 601         /* Make sure nothing else is placed on this page */
 602         .align PAGE_SIZE
 603 END(linux_gateway_page)
 604 ENTRY(end_linux_gateway_page)
 605
 606         /* Relocate symbols assuming linux_gateway_page is mapped
 607            to virtual address 0x0 */
 608
 609 #define LWS_ENTRY(_name_) ASM_ULONG_INSN (lws_##_name_ - linux_gateway_page)
 610
 611         .section .rodata,"a"
 612
 613         .align PAGE_SIZE
 614         /* Light-weight-syscall table */
 615         /* Start of lws table. */
 616 ENTRY(lws_table)
 617         LWS_ENTRY(compare_and_swap32)   /* 0 - ELF32 Atomic compare and swap */
 618         LWS_ENTRY(compare_and_swap64)   /* 1 - ELF64 Atomic compare and swap */
 619 END(lws_table)
 620         /* End of lws table */
 621
 622         .align PAGE_SIZE
 623 ENTRY(sys_call_table)
 624 #include "syscall_table.S"
 625 END(sys_call_table)
 626
 627 #ifdef CONFIG_64BIT
 628         .align PAGE_SIZE
 629 ENTRY(sys_call_table64)
 630 #define SYSCALL_TABLE_64BIT
 631 #include "syscall_table.S"
 632 END(sys_call_table64)
 633 #endif
 634
 635 #ifdef CONFIG_SMP
 636         /*
 637                 All light-weight-syscall atomic operations
 638                 will use this set of locks
 639         */
 640         .section .data, "aw"
 641         .align  PAGE_SIZE
 642 ENTRY(lws_lock_start)
 643         /* lws locks */
 644         .align 16
 645         .rept 16
 646         /* Keep locks aligned at 16-bytes */
 647         .word 1
 648         .word 0
 649         .word 0
 650         .word 0
 651         .endr
 652 END(lws_lock_start)
 653         .previous
 654 #endif
 655 /* CONFIG_SMP for lws_lock_start */
 656
 657 .end
 658
 659