fs/read_write.c

   1 /*
   2  *  linux/fs/read_write.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  */
   6
   7 #include <linux/slab.h>
   8 #include <linux/stat.h>
   9 #include <linux/fcntl.h>
  10 #include <linux/file.h>
  11 #include <linux/uio.h>
  12 #include <linux/fsnotify.h>
  13 #include <linux/security.h>
  14 #include <linux/module.h>
  15 #include <linux/syscalls.h>
  16 #include <linux/pagemap.h>
  17 #include <linux/splice.h>
  18 #include "read_write.h"
  19
  20 #include <asm/uaccess.h>
  21 #include <asm/unistd.h>
  22
  23 const struct file_operations generic_ro_fops = {
  24         .llseek         = generic_file_llseek,
  25         .read           = do_sync_read,
  26         .aio_read       = generic_file_aio_read,
  27         .mmap           = generic_file_readonly_mmap,
  28         .splice_read    = generic_file_splice_read,
  29 };
  30
  31 EXPORT_SYMBOL(generic_ro_fops);
  32
  33 static inline int unsigned_offsets(struct file *file)
  34 {
  35         return file->f_mode & FMODE_UNSIGNED_OFFSET;
  36 }
  37
  38 /**
  39  * generic_file_llseek_unlocked - lockless generic llseek implementation
  40  * @file:       file structure to seek on
  41  * @offset:     file offset to seek to
  42  * @origin:     type of seek
  43  *
  44  * Updates the file offset to the value specified by @offset and @origin.
  45  * Locking must be provided by the caller.
  46  */
  47 loff_t
  48 generic_file_llseek_unlocked(struct file *file, loff_t offset, int origin)
  49 {
  50         struct inode *inode = file->f_mapping->host;
  51
  52         switch (origin) {
  53         case SEEK_END:
  54                 offset += inode->i_size;
  55                 break;
  56         case SEEK_CUR:
  57                 /*
  58                  * Here we special-case the lseek(fd, 0, SEEK_CUR)
  59                  * position-querying operation.  Avoid rewriting the "same"
  60                  * f_pos value back to the file because a concurrent read(),
  61                  * write() or lseek() might have altered it
  62                  */
  63                 if (offset == 0)
  64                         return file->f_pos;
  65                 offset += file->f_pos;
  66                 break;
  67         }
  68
  69         if (offset < 0 && !unsigned_offsets(file))
  70                 return -EINVAL;
  71         if (offset > inode->i_sb->s_maxbytes)
  72                 return -EINVAL;
  73
  74         /* Special lock needed here? */
  75         if (offset != file->f_pos) {
  76                 file->f_pos = offset;
  77                 file->f_version = 0;
  78         }
  79
  80         return offset;
  81 }
  82 EXPORT_SYMBOL(generic_file_llseek_unlocked);
  83
  84 /**
  85  * generic_file_llseek - generic llseek implementation for regular files
  86  * @file:       file structure to seek on
  87  * @offset:     file offset to seek to
  88  * @origin:     type of seek
  89  *
  90  * This is a generic implemenation of ->llseek useable for all normal local
  91  * filesystems.  It just updates the file offset to the value specified by
  92  * @offset and @origin under i_mutex.
  93  */
  94 loff_t generic_file_llseek(struct file *file, loff_t offset, int origin)
  95 {
  96         loff_t rval;
  97
  98         mutex_lock(&file->f_dentry->d_inode->i_mutex);
  99         rval = generic_file_llseek_unlocked(file, offset, origin);
 100         mutex_unlock(&file->f_dentry->d_inode->i_mutex);
 101
 102         return rval;
 103 }
 104 EXPORT_SYMBOL(generic_file_llseek);
 105
 106 /**
 107  * noop_llseek - No Operation Performed llseek implementation
 108  * @file:       file structure to seek on
 109  * @offset:     file offset to seek to
 110  * @origin:     type of seek
 111  *
 112  * This is an implementation of ->llseek useable for the rare special case when
 113  * userspace expects the seek to succeed but the (device) file is actually not
 114  * able to perform the seek. In this case you use noop_llseek() instead of
 115  * falling back to the default implementation of ->llseek.
 116  */
 117 loff_t noop_llseek(struct file *file, loff_t offset, int origin)
 118 {
 119         return file->f_pos;
 120 }
 121 EXPORT_SYMBOL(noop_llseek);
 122
 123 loff_t no_llseek(struct file *file, loff_t offset, int origin)
 124 {
 125         return -ESPIPE;
 126 }
 127 EXPORT_SYMBOL(no_llseek);
 128
 129 loff_t default_llseek(struct file *file, loff_t offset, int origin)
 130 {
 131         loff_t retval;
 132
 133         mutex_lock(&file->f_dentry->d_inode->i_mutex);
 134         switch (origin) {
 135                 case SEEK_END:
 136                         offset += i_size_read(file->f_path.dentry->d_inode);
 137                         break;
 138                 case SEEK_CUR:
 139                         if (offset == 0) {
 140                                 retval = file->f_pos;
 141                                 goto out;
 142                         }
 143                         offset += file->f_pos;
 144         }
 145         retval = -EINVAL;
 146         if (offset >= 0 || unsigned_offsets(file)) {
 147                 if (offset != file->f_pos) {
 148                         file->f_pos = offset;
 149                         file->f_version = 0;
 150                 }
 151                 retval = offset;
 152         }
 153 out:
 154         mutex_unlock(&file->f_dentry->d_inode->i_mutex);
 155         return retval;
 156 }
 157 EXPORT_SYMBOL(default_llseek);
 158
 159 loff_t vfs_llseek(struct file *file, loff_t offset, int origin)
 160 {
 161         loff_t (*fn)(struct file *, loff_t, int);
 162
 163         fn = no_llseek;
 164         if (file->f_mode & FMODE_LSEEK) {
 165                 if (file->f_op && file->f_op->llseek)
 166                         fn = file->f_op->llseek;
 167         }
 168         return fn(file, offset, origin);
 169 }
 170 EXPORT_SYMBOL(vfs_llseek);
 171
 172 SYSCALL_DEFINE3(lseek, unsigned int, fd, off_t, offset, unsigned int, origin)
 173 {
 174         off_t retval;
 175         struct file * file;
 176         int fput_needed;
 177
 178         retval = -EBADF;
 179         file = fget_light(fd, &fput_needed);
 180         if (!file)
 181                 goto bad;
 182
 183         retval = -EINVAL;
 184         if (origin <= SEEK_MAX) {
 185                 loff_t res = vfs_llseek(file, offset, origin);
 186                 retval = res;
 187                 if (res != (loff_t)retval)
 188                         retval = -EOVERFLOW;    /* LFS: should only happen on 32 bit platforms */
 189         }
 190         fput_light(file, fput_needed);
 191 bad:
 192         return retval;
 193 }
 194
 195 #ifdef __ARCH_WANT_SYS_LLSEEK
 196 SYSCALL_DEFINE5(llseek, unsigned int, fd, unsigned long, offset_high,
 197                 unsigned long, offset_low, loff_t __user *, result,
 198                 unsigned int, origin)
 199 {
 200         int retval;
 201         struct file * file;
 202         loff_t offset;
 203         int fput_needed;
 204
 205         retval = -EBADF;
 206         file = fget_light(fd, &fput_needed);
 207         if (!file)
 208                 goto bad;
 209
 210         retval = -EINVAL;
 211         if (origin > SEEK_MAX)
 212                 goto out_putf;
 213
 214         offset = vfs_llseek(file, ((loff_t) offset_high << 32) | offset_low,
 215                         origin);
 216
 217         retval = (int)offset;
 218         if (offset >= 0) {
 219                 retval = -EFAULT;
 220                 if (!copy_to_user(result, &offset, sizeof(offset)))
 221                         retval = 0;
 222         }
 223 out_putf:
 224         fput_light(file, fput_needed);
 225 bad:
 226         return retval;
 227 }
 228 #endif
 229
 230
 231 /*
 232  * rw_verify_area doesn't like huge counts. We limit
 233  * them to something that fits in "int" so that others
 234  * won't have to do range checks all the time.
 235  */
 236 int rw_verify_area(int read_write, struct file *file, loff_t *ppos, size_t count)
 237 {
 238         struct inode *inode;
 239         loff_t pos;
 240         int retval = -EINVAL;
 241
 242         inode = file->f_path.dentry->d_inode;
 243         if (unlikely((ssize_t) count < 0))
 244                 return retval;
 245         pos = *ppos;
 246         if (unlikely(pos < 0)) {
 247                 if (!unsigned_offsets(file))
 248                         return retval;
 249                 if (count >= -pos) /* both values are in 0..LLONG_MAX */
 250                         return -EOVERFLOW;
 251         } else if (unlikely((loff_t) (pos + count) < 0)) {
 252                 if (!unsigned_offsets(file))
 253                         return retval;
 254         }
 255
 256         if (unlikely(inode->i_flock && mandatory_lock(inode))) {
 257                 retval = locks_mandatory_area(
 258                         read_write == READ ? FLOCK_VERIFY_READ : FLOCK_VERIFY_WRITE,
 259                         inode, file, pos, count);
 260                 if (retval < 0)
 261                         return retval;
 262         }
 263         retval = security_file_permission(file,
 264                                 read_write == READ ? MAY_READ : MAY_WRITE);
 265         if (retval)
 266                 return retval;
 267         return count > MAX_RW_COUNT ? MAX_RW_COUNT : count;
 268 }
 269
 270 static void wait_on_retry_sync_kiocb(struct kiocb *iocb)
 271 {
 272         set_current_state(TASK_UNINTERRUPTIBLE);
 273         if (!kiocbIsKicked(iocb))
 274                 schedule();
 275         else
 276                 kiocbClearKicked(iocb);
 277         __set_current_state(TASK_RUNNING);
 278 }
 279
 280 ssize_t do_sync_read(struct file *filp, char __user *buf, size_t len, loff_t *ppos)
 281 {
 282         struct iovec iov = { .iov_base = buf, .iov_len = len };
 283         struct kiocb kiocb;
 284         ssize_t ret;
 285
 286         init_sync_kiocb(&kiocb, filp);
 287         kiocb.ki_pos = *ppos;
 288         kiocb.ki_left = len;
 289         kiocb.ki_nbytes = len;
 290
 291         for (;;) {
 292                 ret = filp->f_op->aio_read(&kiocb, &iov, 1, kiocb.ki_pos);
 293                 if (ret != -EIOCBRETRY)
 294                         break;
 295                 wait_on_retry_sync_kiocb(&kiocb);
 296         }
 297
 298         if (-EIOCBQUEUED == ret)
 299                 ret = wait_on_sync_kiocb(&kiocb);
 300         *ppos = kiocb.ki_pos;
 301         return ret;
 302 }
 303
 304 EXPORT_SYMBOL(do_sync_read);
 305
 306 ssize_t vfs_read(struct file *file, char __user *buf, size_t count, loff_t *pos)
 307 {
 308         ssize_t ret;
 309
 310         if (!(file->f_mode & FMODE_READ))
 311                 return -EBADF;
 312         if (!file->f_op || (!file->f_op->read && !file->f_op->aio_read))
 313                 return -EINVAL;
 314         if (unlikely(!access_ok(VERIFY_WRITE, buf, count)))
 315                 return -EFAULT;
 316
 317         ret = rw_verify_area(READ, file, pos, count);
 318         if (ret >= 0) {
 319                 count = ret;
 320                 if (file->f_op->read)
 321                         ret = file->f_op->read(file, buf, count, pos);
 322                 else
 323                         ret = do_sync_read(file, buf, count, pos);
 324                 if (ret > 0) {
 325                         fsnotify_access(file);
 326                         add_rchar(current, ret);
 327                 }
 328                 inc_syscr(current);
 329         }
 330
 331         return ret;
 332 }
 333
 334 EXPORT_SYMBOL(vfs_read);
 335
 336 ssize_t do_sync_write(struct file *filp, const char __user *buf, size_t len, loff_t *ppos)
 337 {
 338         struct iovec iov = { .iov_base = (void __user *)buf, .iov_len = len };
 339         struct kiocb kiocb;
 340         ssize_t ret;
 341
 342         init_sync_kiocb(&kiocb, filp);
 343         kiocb.ki_pos = *ppos;
 344         kiocb.ki_left = len;
 345         kiocb.ki_nbytes = len;
 346
 347         for (;;) {
 348                 ret = filp->f_op->aio_write(&kiocb, &iov, 1, kiocb.ki_pos);
 349                 if (ret != -EIOCBRETRY)
 350                         break;
 351                 wait_on_retry_sync_kiocb(&kiocb);
 352         }
 353
 354         if (-EIOCBQUEUED == ret)
 355                 ret = wait_on_sync_kiocb(&kiocb);
 356         *ppos = kiocb.ki_pos;
 357         return ret;
 358 }
 359
 360 EXPORT_SYMBOL(do_sync_write);
 361
 362 ssize_t vfs_write(struct file *file, const char __user *buf, size_t count, loff_t *pos)
 363 {
 364         ssize_t ret;
 365
 366         if (!(file->f_mode & FMODE_WRITE))
 367                 return -EBADF;
 368         if (!file->f_op || (!file->f_op->write && !file->f_op->aio_write))
 369                 return -EINVAL;
 370         if (unlikely(!access_ok(VERIFY_READ, buf, count)))
 371                 return -EFAULT;
 372
 373         ret = rw_verify_area(WRITE, file, pos, count);
 374         if (ret >= 0) {
 375                 count = ret;
 376                 if (file->f_op->write)
 377                         ret = file->f_op->write(file, buf, count, pos);
 378                 else
 379                         ret = do_sync_write(file, buf, count, pos);
 380                 if (ret > 0) {
 381                         fsnotify_modify(file);
 382                         add_wchar(current, ret);
 383                 }
 384                 inc_syscw(current);
 385         }
 386
 387         return ret;
 388 }
 389
 390 EXPORT_SYMBOL(vfs_write);
 391
 392 static inline loff_t file_pos_read(struct file *file)
 393 {
 394         return file->f_pos;
 395 }
 396
 397 static inline void file_pos_write(struct file *file, loff_t pos)
 398 {
 399         file->f_pos = pos;
 400 }
 401
 402 SYSCALL_DEFINE3(read, unsigned int, fd, char __user *, buf, size_t, count)
 403 {
 404         struct file *file;
 405         ssize_t ret = -EBADF;
 406         int fput_needed;
 407
 408         file = fget_light(fd, &fput_needed);
 409         if (file) {
 410                 loff_t pos = file_pos_read(file);
 411                 ret = vfs_read(file, buf, count, &pos);
 412                 file_pos_write(file, pos);
 413                 fput_light(file, fput_needed);
 414         }
 415
 416         return ret;
 417 }
 418
 419 SYSCALL_DEFINE3(write, unsigned int, fd, const char __user *, buf,
 420                 size_t, count)
 421 {
 422         struct file *file;
 423         ssize_t ret = -EBADF;
 424         int fput_needed;
 425
 426         file = fget_light(fd, &fput_needed);
 427         if (file) {
 428                 loff_t pos = file_pos_read(file);
 429                 ret = vfs_write(file, buf, count, &pos);
 430                 file_pos_write(file, pos);
 431                 fput_light(file, fput_needed);
 432         }
 433
 434         return ret;
 435 }
 436
 437 SYSCALL_DEFINE(pread64)(unsigned int fd, char __user *buf,
 438                         size_t count, loff_t pos)
 439 {
 440         struct file *file;
 441         ssize_t ret = -EBADF;
 442         int fput_needed;
 443
 444         if (pos < 0)
 445                 return -EINVAL;
 446
 447         file = fget_light(fd, &fput_needed);
 448         if (file) {
 449                 ret = -ESPIPE;
 450                 if (file->f_mode & FMODE_PREAD)
 451                         ret = vfs_read(file, buf, count, &pos);
 452                 fput_light(file, fput_needed);
 453         }
 454
 455         return ret;
 456 }
 457 #ifdef CONFIG_HAVE_SYSCALL_WRAPPERS
 458 asmlinkage long SyS_pread64(long fd, long buf, long count, loff_t pos)
 459 {
 460         return SYSC_pread64((unsigned int) fd, (char __user *) buf,
 461                             (size_t) count, pos);
 462 }
 463 SYSCALL_ALIAS(sys_pread64, SyS_pread64);
 464 #endif
 465
 466 SYSCALL_DEFINE(pwrite64)(unsigned int fd, const char __user *buf,
 467                          size_t count, loff_t pos)
 468 {
 469         struct file *file;
 470         ssize_t ret = -EBADF;
 471         int fput_needed;
 472
 473         if (pos < 0)
 474                 return -EINVAL;
 475
 476         file = fget_light(fd, &fput_needed);
 477         if (file) {
 478                 ret = -ESPIPE;
 479                 if (file->f_mode & FMODE_PWRITE)
 480                         ret = vfs_write(file, buf, count, &pos);
 481                 fput_light(file, fput_needed);
 482         }
 483
 484         return ret;
 485 }
 486 #ifdef CONFIG_HAVE_SYSCALL_WRAPPERS
 487 asmlinkage long SyS_pwrite64(long fd, long buf, long count, loff_t pos)
 488 {
 489         return SYSC_pwrite64((unsigned int) fd, (const char __user *) buf,
 490                              (size_t) count, pos);
 491 }
 492 SYSCALL_ALIAS(sys_pwrite64, SyS_pwrite64);
 493 #endif
 494
 495 /*
 496  * Reduce an iovec's length in-place.  Return the resulting number of segments
 497  */
 498 unsigned long iov_shorten(struct iovec *iov, unsigned long nr_segs, size_t to)
 499 {
 500         unsigned long seg = 0;
 501         size_t len = 0;
 502
 503         while (seg < nr_segs) {
 504                 seg++;
 505                 if (len + iov->iov_len >= to) {
 506                         iov->iov_len = to - len;
 507                         break;
 508                 }
 509                 len += iov->iov_len;
 510                 iov++;
 511         }
 512         return seg;
 513 }
 514 EXPORT_SYMBOL(iov_shorten);
 515
 516 ssize_t do_sync_readv_writev(struct file *filp, const struct iovec *iov,
 517                 unsigned long nr_segs, size_t len, loff_t *ppos, iov_fn_t fn)
 518 {
 519         struct kiocb kiocb;
 520         ssize_t ret;
 521
 522         init_sync_kiocb(&kiocb, filp);
 523         kiocb.ki_pos = *ppos;
 524         kiocb.ki_left = len;
 525         kiocb.ki_nbytes = len;
 526
 527         for (;;) {
 528                 ret = fn(&kiocb, iov, nr_segs, kiocb.ki_pos);
 529                 if (ret != -EIOCBRETRY)
 530                         break;
 531                 wait_on_retry_sync_kiocb(&kiocb);
 532         }
 533
 534         if (ret == -EIOCBQUEUED)
 535                 ret = wait_on_sync_kiocb(&kiocb);
 536         *ppos = kiocb.ki_pos;
 537         return ret;
 538 }
 539
 540 /* Do it by hand, with file-ops */
 541 ssize_t do_loop_readv_writev(struct file *filp, struct iovec *iov,
 542                 unsigned long nr_segs, loff_t *ppos, io_fn_t fn)
 543 {
 544         struct iovec *vector = iov;
 545         ssize_t ret = 0;
 546
 547         while (nr_segs > 0) {
 548                 void __user *base;
 549                 size_t len;
 550                 ssize_t nr;
 551
 552                 base = vector->iov_base;
 553                 len = vector->iov_len;
 554                 vector++;
 555                 nr_segs--;
 556
 557                 nr = fn(filp, base, len, ppos);
 558
 559                 if (nr < 0) {
 560                         if (!ret)
 561                                 ret = nr;
 562                         break;
 563                 }
 564                 ret += nr;
 565                 if (nr != len)
 566                         break;
 567         }
 568
 569         return ret;
 570 }
 571
 572 /* A write operation does a read from user space and vice versa */
 573 #define vrfy_dir(type) ((type) == READ ? VERIFY_WRITE : VERIFY_READ)
 574
 575 ssize_t rw_copy_check_uvector(int type, const struct iovec __user * uvector,
 576                               unsigned long nr_segs, unsigned long fast_segs,
 577                               struct iovec *fast_pointer,
 578                               struct iovec **ret_pointer)
 579 {
 580         unsigned long seg;
 581         ssize_t ret;
 582         struct iovec *iov = fast_pointer;
 583
 584         /*
 585          * SuS says "The readv() function *may* fail if the iovcnt argument
 586          * was less than or equal to 0, or greater than {IOV_MAX}.  Linux has
 587          * traditionally returned zero for zero segments, so...
 588          */
 589         if (nr_segs == 0) {
 590                 ret = 0;
 591                 goto out;
 592         }
 593
 594         /*
 595          * First get the "struct iovec" from user memory and
 596          * verify all the pointers
 597          */
 598         if (nr_segs > UIO_MAXIOV) {
 599                 ret = -EINVAL;
 600                 goto out;
 601         }
 602         if (nr_segs > fast_segs) {
 603                 iov = kmalloc(nr_segs*sizeof(struct iovec), GFP_KERNEL);
 604                 if (iov == NULL) {
 605                         ret = -ENOMEM;
 606                         goto out;
 607                 }
 608         }
 609         if (copy_from_user(iov, uvector, nr_segs*sizeof(*uvector))) {
 610                 ret = -EFAULT;
 611                 goto out;
 612         }
 613
 614         /*
 615          * According to the Single Unix Specification we should return EINVAL
 616          * if an element length is < 0 when cast to ssize_t or if the
 617          * total length would overflow the ssize_t return value of the
 618          * system call.
 619          *
 620          * Linux caps all read/write calls to MAX_RW_COUNT, and avoids the
 621          * overflow case.
 622          */
 623         ret = 0;
 624         for (seg = 0; seg < nr_segs; seg++) {
 625                 void __user *buf = iov[seg].iov_base;
 626                 ssize_t len = (ssize_t)iov[seg].iov_len;
 627
 628                 /* see if we we're about to use an invalid len or if
 629                  * it's about to overflow ssize_t */
 630                 if (len < 0) {
 631                         ret = -EINVAL;
 632                         goto out;
 633                 }
 634                 if (unlikely(!access_ok(vrfy_dir(type), buf, len))) {
 635                         ret = -EFAULT;
 636                         goto out;
 637                 }
 638                 if (len > MAX_RW_COUNT - ret) {
 639                         len = MAX_RW_COUNT - ret;
 640                         iov[seg].iov_len = len;
 641                 }
 642                 ret += len;
 643         }
 644 out:
 645         *ret_pointer = iov;
 646         return ret;
 647 }
 648
 649 static ssize_t do_readv_writev(int type, struct file *file,
 650                                const struct iovec __user * uvector,
 651                                unsigned long nr_segs, loff_t *pos)
 652 {
 653         size_t tot_len;
 654         struct iovec iovstack[UIO_FASTIOV];
 655         struct iovec *iov = iovstack;
 656         ssize_t ret;
 657         io_fn_t fn;
 658         iov_fn_t fnv;
 659
 660         if (!file->f_op) {
 661                 ret = -EINVAL;
 662                 goto out;
 663         }
 664
 665         ret = rw_copy_check_uvector(type, uvector, nr_segs,
 666                         ARRAY_SIZE(iovstack), iovstack, &iov);
 667         if (ret <= 0)
 668                 goto out;
 669
 670         tot_len = ret;
 671         ret = rw_verify_area(type, file, pos, tot_len);
 672         if (ret < 0)
 673                 goto out;
 674
 675         fnv = NULL;
 676         if (type == READ) {
 677                 fn = file->f_op->read;
 678                 fnv = file->f_op->aio_read;
 679         } else {
 680                 fn = (io_fn_t)file->f_op->write;
 681                 fnv = file->f_op->aio_write;
 682         }
 683
 684         if (fnv)
 685                 ret = do_sync_readv_writev(file, iov, nr_segs, tot_len,
 686                                                 pos, fnv);
 687         else
 688                 ret = do_loop_readv_writev(file, iov, nr_segs, pos, fn);
 689
 690 out:
 691         if (iov != iovstack)
 692                 kfree(iov);
 693         if ((ret + (type == READ)) > 0) {
 694                 if (type == READ)
 695                         fsnotify_access(file);
 696                 else
 697                         fsnotify_modify(file);
 698         }
 699         return ret;
 700 }
 701
 702 ssize_t vfs_readv(struct file *file, const struct iovec __user *vec,
 703                   unsigned long vlen, loff_t *pos)
 704 {
 705         if (!(file->f_mode & FMODE_READ))
 706                 return -EBADF;
 707         if (!file->f_op || (!file->f_op->aio_read && !file->f_op->read))
 708                 return -EINVAL;
 709
 710         return do_readv_writev(READ, file, vec, vlen, pos);
 711 }
 712
 713 EXPORT_SYMBOL(vfs_readv);
 714
 715 ssize_t vfs_writev(struct file *file, const struct iovec __user *vec,
 716                    unsigned long vlen, loff_t *pos)
 717 {
 718         if (!(file->f_mode & FMODE_WRITE))
 719                 return -EBADF;
 720         if (!file->f_op || (!file->f_op->aio_write && !file->f_op->write))
 721                 return -EINVAL;
 722
 723         return do_readv_writev(WRITE, file, vec, vlen, pos);
 724 }
 725
 726 EXPORT_SYMBOL(vfs_writev);
 727
 728 SYSCALL_DEFINE3(readv, unsigned long, fd, const struct iovec __user *, vec,
 729                 unsigned long, vlen)
 730 {
 731         struct file *file;
 732         ssize_t ret = -EBADF;
 733         int fput_needed;
 734
 735         file = fget_light(fd, &fput_needed);
 736         if (file) {
 737                 loff_t pos = file_pos_read(file);
 738                 ret = vfs_readv(file, vec, vlen, &pos);
 739                 file_pos_write(file, pos);
 740                 fput_light(file, fput_needed);
 741         }
 742
 743         if (ret > 0)
 744                 add_rchar(current, ret);
 745         inc_syscr(current);
 746         return ret;
 747 }
 748
 749 SYSCALL_DEFINE3(writev, unsigned long, fd, const struct iovec __user *, vec,
 750                 unsigned long, vlen)
 751 {
 752         struct file *file;
 753         ssize_t ret = -EBADF;
 754         int fput_needed;
 755
 756         file = fget_light(fd, &fput_needed);
 757         if (file) {
 758                 loff_t pos = file_pos_read(file);
 759                 ret = vfs_writev(file, vec, vlen, &pos);
 760                 file_pos_write(file, pos);
 761                 fput_light(file, fput_needed);
 762         }
 763
 764         if (ret > 0)
 765                 add_wchar(current, ret);
 766         inc_syscw(current);
 767         return ret;
 768 }
 769
 770 static inline loff_t pos_from_hilo(unsigned long high, unsigned long low)
 771 {
 772 #define HALF_LONG_BITS (BITS_PER_LONG / 2)
 773         return (((loff_t)high << HALF_LONG_BITS) << HALF_LONG_BITS) | low;
 774 }
 775
 776 SYSCALL_DEFINE5(preadv, unsigned long, fd, const struct iovec __user *, vec,
 777                 unsigned long, vlen, unsigned long, pos_l, unsigned long, pos_h)
 778 {
 779         loff_t pos = pos_from_hilo(pos_h, pos_l);
 780         struct file *file;
 781         ssize_t ret = -EBADF;
 782         int fput_needed;
 783
 784         if (pos < 0)
 785                 return -EINVAL;
 786
 787         file = fget_light(fd, &fput_needed);
 788         if (file) {
 789                 ret = -ESPIPE;
 790                 if (file->f_mode & FMODE_PREAD)
 791                         ret = vfs_readv(file, vec, vlen, &pos);
 792                 fput_light(file, fput_needed);
 793         }
 794
 795         if (ret > 0)
 796                 add_rchar(current, ret);
 797         inc_syscr(current);
 798         return ret;
 799 }
 800
 801 SYSCALL_DEFINE5(pwritev, unsigned long, fd, const struct iovec __user *, vec,
 802                 unsigned long, vlen, unsigned long, pos_l, unsigned long, pos_h)
 803 {
 804         loff_t pos = pos_from_hilo(pos_h, pos_l);
 805         struct file *file;
 806         ssize_t ret = -EBADF;
 807         int fput_needed;
 808
 809         if (pos < 0)
 810                 return -EINVAL;
 811
 812         file = fget_light(fd, &fput_needed);
 813         if (file) {
 814                 ret = -ESPIPE;
 815                 if (file->f_mode & FMODE_PWRITE)
 816                         ret = vfs_writev(file, vec, vlen, &pos);
 817                 fput_light(file, fput_needed);
 818         }
 819
 820         if (ret > 0)
 821                 add_wchar(current, ret);
 822         inc_syscw(current);
 823         return ret;
 824 }
 825
 826 static ssize_t do_sendfile(int out_fd, int in_fd, loff_t *ppos,
 827                            size_t count, loff_t max)
 828 {
 829         struct file * in_file, * out_file;
 830         struct inode * in_inode, * out_inode;
 831         loff_t pos;
 832         ssize_t retval;
 833         int fput_needed_in, fput_needed_out, fl;
 834
 835         /*
 836          * Get input file, and verify that it is ok..
 837          */
 838         retval = -EBADF;
 839         in_file = fget_light(in_fd, &fput_needed_in);
 840         if (!in_file)
 841                 goto out;
 842         if (!(in_file->f_mode & FMODE_READ))
 843                 goto fput_in;
 844         retval = -ESPIPE;
 845         if (!ppos)
 846                 ppos = &in_file->f_pos;
 847         else
 848                 if (!(in_file->f_mode & FMODE_PREAD))
 849                         goto fput_in;
 850         retval = rw_verify_area(READ, in_file, ppos, count);
 851         if (retval < 0)
 852                 goto fput_in;
 853         count = retval;
 854
 855         /*
 856          * Get output file, and verify that it is ok..
 857          */
 858         retval = -EBADF;
 859         out_file = fget_light(out_fd, &fput_needed_out);
 860         if (!out_file)
 861                 goto fput_in;
 862         if (!(out_file->f_mode & FMODE_WRITE))
 863                 goto fput_out;
 864         retval = -EINVAL;
 865         in_inode = in_file->f_path.dentry->d_inode;
 866         out_inode = out_file->f_path.dentry->d_inode;
 867         retval = rw_verify_area(WRITE, out_file, &out_file->f_pos, count);
 868         if (retval < 0)
 869                 goto fput_out;
 870         count = retval;
 871
 872         if (!max)
 873                 max = min(in_inode->i_sb->s_maxbytes, out_inode->i_sb->s_maxbytes);
 874
 875         pos = *ppos;
 876         if (unlikely(pos + count > max)) {
 877                 retval = -EOVERFLOW;
 878                 if (pos >= max)
 879                         goto fput_out;
 880                 count = max - pos;
 881         }
 882
 883         fl = 0;
 884 #if 0
 885         /*
 886          * We need to debate whether we can enable this or not. The
 887          * man page documents EAGAIN return for the output at least,
 888          * and the application is arguably buggy if it doesn't expect
 889          * EAGAIN on a non-blocking file descriptor.
 890          */
 891         if (in_file->f_flags & O_NONBLOCK)
 892                 fl = SPLICE_F_NONBLOCK;
 893 #endif
 894         retval = do_splice_direct(in_file, ppos, out_file, count, fl);
 895
 896         if (retval > 0) {
 897                 add_rchar(current, retval);
 898                 add_wchar(current, retval);
 899         }
 900
 901         inc_syscr(current);
 902         inc_syscw(current);
 903         if (*ppos > max)
 904                 retval = -EOVERFLOW;
 905
 906 fput_out:
 907         fput_light(out_file, fput_needed_out);
 908 fput_in:
 909         fput_light(in_file, fput_needed_in);
 910 out:
 911         return retval;
 912 }
 913
 914 SYSCALL_DEFINE4(sendfile, int, out_fd, int, in_fd, off_t __user *, offset, size_t, count)
 915 {
 916         loff_t pos;
 917         off_t off;
 918         ssize_t ret;
 919
 920         if (offset) {
 921                 if (unlikely(get_user(off, offset)))
 922                         return -EFAULT;
 923                 pos = off;
 924                 ret = do_sendfile(out_fd, in_fd, &pos, count, MAX_NON_LFS);
 925                 if (unlikely(put_user(pos, offset)))
 926                         return -EFAULT;
 927                 return ret;
 928         }
 929
 930         return do_sendfile(out_fd, in_fd, NULL, count, 0);
 931 }
 932
 933 SYSCALL_DEFINE4(sendfile64, int, out_fd, int, in_fd, loff_t __user *, offset, size_t, count)
 934 {
 935         loff_t pos;
 936         ssize_t ret;
 937
 938         if (offset) {
 939                 if (unlikely(copy_from_user(&pos, offset, sizeof(loff_t))))
 940                         return -EFAULT;
 941                 ret = do_sendfile(out_fd, in_fd, &pos, count, 0);
 942                 if (unlikely(put_user(pos, offset)))
 943                         return -EFAULT;
 944                 return ret;
 945         }
 946
 947         return do_sendfile(out_fd, in_fd, NULL, count, 0);
 948 }