arch/s390/lib/uaccess64.S

   1 /*
   2  *  arch/s390x/lib/uaccess.S
   3  *    __copy_{from|to}_user functions.
   4  *
   5  *  s390
   6  *    Copyright (C) 2000,2002 IBM Deutschland Entwicklung GmbH, IBM Corporation
   7  *    Authors(s): Martin Schwidefsky (schwidefsky@de.ibm.com)
   8  *
   9  *  These functions have standard call interface
  10  */
  11
  12 #include <linux/errno.h>
  13 #include <asm/lowcore.h>
  14 #include <asm/asm-offsets.h>
  15
  16         .text
  17         .align 4
  18         .globl __copy_from_user_asm
  19         # %r2 = to, %r3 = n, %r4 = from
  20 __copy_from_user_asm:
  21         slgr    %r0,%r0
  22 0:      mvcp    0(%r3,%r2),0(%r4),%r0
  23         jnz     1f
  24         slgr    %r2,%r2
  25         br      %r14
  26 1:      la      %r2,256(%r2)
  27         la      %r4,256(%r4)
  28         aghi    %r3,-256
  29 2:      mvcp    0(%r3,%r2),0(%r4),%r0
  30         jnz     1b
  31 3:      slgr    %r2,%r2
  32         br      %r14
  33 4:      lghi    %r0,-4096
  34         lgr     %r5,%r4
  35         slgr    %r5,%r0
  36         ngr     %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  37         slgr    %r5,%r4         # %r5 = #bytes to next user page boundary
  38         clgr    %r3,%r5         # copy crosses next page boundary ?
  39         jnh     6f              # no, the current page faulted
  40         # move with the reduced length which is < 256
  41 5:      mvcp    0(%r5,%r2),0(%r4),%r0
  42         slgr    %r3,%r5
  43 6:      lgr     %r2,%r3
  44         br      %r14
  45         .section __ex_table,"a"
  46         .quad   0b,4b
  47         .quad   2b,4b
  48         .quad   5b,6b
  49         .previous
  50
  51         .align 4
  52         .text
  53         .globl __copy_to_user_asm
  54         # %r2 = from, %r3 = n, %r4 = to
  55 __copy_to_user_asm:
  56         slgr    %r0,%r0
  57 0:      mvcs    0(%r3,%r4),0(%r2),%r0
  58         jnz     1f
  59         slgr    %r2,%r2
  60         br      %r14
  61 1:      la      %r2,256(%r2)
  62         la      %r4,256(%r4)
  63         aghi    %r3,-256
  64 2:      mvcs    0(%r3,%r4),0(%r2),%r0
  65         jnz     1b
  66 3:      slgr    %r2,%r2
  67         br      %r14
  68 4:      lghi    %r0,-4096
  69         lgr     %r5,%r4
  70         slgr    %r5,%r0
  71         ngr     %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  72         slgr    %r5,%r4         # %r5 = #bytes to next user page boundary
  73         clgr    %r3,%r5         # copy crosses next page boundary ?
  74         jnh     6f              # no, the current page faulted
  75         # move with the reduced length which is < 256
  76 5:      mvcs    0(%r5,%r4),0(%r2),%r0
  77         slgr    %r3,%r5
  78 6:      lgr     %r2,%r3
  79         br      %r14
  80         .section __ex_table,"a"
  81         .quad   0b,4b
  82         .quad   2b,4b
  83         .quad   5b,6b
  84         .previous
  85
  86         .align 4
  87         .text
  88         .globl __copy_in_user_asm
  89         # %r2 = from, %r3 = n, %r4 = to
  90 __copy_in_user_asm:
  91         aghi    %r3,-1
  92         jo      6f
  93         sacf    256
  94         bras    %r1,4f
  95 0:      aghi    %r3,257
  96 1:      mvc     0(1,%r4),0(%r2)
  97         la      %r2,1(%r2)
  98         la      %r4,1(%r4)
  99         aghi    %r3,-1
 100         jnz     1b
 101 2:      lgr     %r2,%r3
 102         br      %r14
 103 3:      mvc     0(256,%r4),0(%r2)
 104         la      %r2,256(%r2)
 105         la      %r4,256(%r4)
 106 4:      aghi    %r3,-256
 107         jnm     3b
 108 5:      ex      %r3,4(%r1)
 109         sacf    0
 110 6:      slgr    %r2,%r2
 111         br      14
 112         .section __ex_table,"a"
 113         .quad   1b,2b
 114         .quad   3b,0b
 115         .quad   5b,0b
 116         .previous
 117
 118         .align 4
 119         .text
 120         .globl __clear_user_asm
 121         # %r2 = to, %r3 = n
 122 __clear_user_asm:
 123         slgr    %r0,%r0
 124         larl    %r5,empty_zero_page
 125 1:      mvcs    0(%r3,%r2),0(%r5),%r0
 126         jnz     2f
 127         slgr    %r2,%r2
 128         br      %r14
 129 2:      la      %r2,256(%r2)
 130         aghi    %r3,-256
 131 3:      mvcs    0(%r3,%r2),0(%r5),%r0
 132         jnz     2b
 133 4:      slgr    %r2,%r2
 134         br      %r14
 135 5:      lghi    %r0,-4096
 136         lgr     %r4,%r2
 137         slgr    %r4,%r0
 138         ngr     %r4,%r0         # %r4 = (%r2 + 4096) & -4096
 139         slgr    %r4,%r2         # %r4 = #bytes to next user page boundary
 140         clgr    %r3,%r4         # clear crosses next page boundary ?
 141         jnh     7f              # no, the current page faulted
 142         # clear with the reduced length which is < 256
 143 6:      mvcs    0(%r4,%r2),0(%r5),%r0
 144         slgr    %r3,%r4
 145 7:      lgr     %r2,%r3
 146         br      %r14
 147         .section __ex_table,"a"
 148         .quad   1b,5b
 149         .quad   3b,5b
 150         .quad   6b,7b
 151         .previous
 152
 153         .align 4
 154         .text
 155         .globl __strncpy_from_user_asm
 156         # %r2 = count, %r3 = dst, %r4 = src
 157 __strncpy_from_user_asm:
 158         lghi    %r0,0
 159         lgr     %r1,%r4
 160         la      %r2,0(%r2,%r4)  # %r2 points to first byte after string
 161         sacf    256
 162 0:      srst    %r2,%r1
 163         jo      0b
 164         sacf    0
 165         lgr     %r1,%r2
 166         jh      1f              # \0 found in string ?
 167         aghi    %r1,1           # include \0 in copy
 168 1:      slgr    %r1,%r4         # %r1 = copy length (without \0)
 169         slgr    %r2,%r4         # %r2 = return length (including \0)
 170 2:      mvcp    0(%r1,%r3),0(%r4),%r0
 171         jnz     3f
 172         br      %r14
 173 3:      la      %r3,256(%r3)
 174         la      %r4,256(%r4)
 175         aghi    %r1,-256
 176         mvcp    0(%r1,%r3),0(%r4),%r0
 177         jnz     3b
 178         br      %r14
 179 4:      sacf    0
 180         lghi    %r2,-EFAULT
 181         br      %r14
 182         .section __ex_table,"a"
 183         .quad   0b,4b
 184         .previous
 185
 186         .align 4
 187         .text
 188         .globl __strnlen_user_asm
 189         # %r2 = count, %r3 = src
 190 __strnlen_user_asm:
 191         lghi    %r0,0
 192         lgr     %r1,%r3
 193         la      %r2,0(%r2,%r3)  # %r2 points to first byte after string
 194         sacf    256
 195 0:      srst    %r2,%r1
 196         jo      0b
 197         sacf    0
 198         aghi    %r2,1           # strnlen_user result includes the \0
 199                                 # or return count+1 if \0 not found
 200         slgr    %r2,%r3
 201         br      %r14
 202 2:      sacf    0
 203         slgr    %r2,%r2         # return 0 on exception
 204         br      %r14
 205         .section __ex_table,"a"
 206         .quad   0b,2b
 207         .previous