Intel IOMMU: IOVA allocation and management routines
[pandora-kernel.git] / ipc / sem.c
index 6af226a..35952c0 100644 (file)
--- a/ipc/sem.c
+++ b/ipc/sem.c
@@ -80,7 +80,7 @@
 #include <linux/audit.h>
 #include <linux/capability.h>
 #include <linux/seq_file.h>
-#include <linux/mutex.h>
+#include <linux/rwsem.h>
 #include <linux/nsproxy.h>
 
 #include <asm/uaccess.h>
 
 #define sem_ids(ns)    (*((ns)->ids[IPC_SEM_IDS]))
 
-#define sem_lock(ns, id)       ((struct sem_array*)ipc_lock(&sem_ids(ns), id))
 #define sem_unlock(sma)                ipc_unlock(&(sma)->sem_perm)
-#define sem_checkid(ns, sma, semid)    \
-       ipc_checkid(&sem_ids(ns),&sma->sem_perm,semid)
-#define sem_buildid(ns, id, seq) \
-       ipc_buildid(&sem_ids(ns), id, seq)
+#define sem_checkid(sma, semid)        ipc_checkid(&sma->sem_perm, semid)
+#define sem_buildid(id, seq)   ipc_buildid(id, seq)
 
 static struct ipc_ids init_sem_ids;
 
@@ -149,7 +146,7 @@ void sem_exit_ns(struct ipc_namespace *ns)
        int next_id;
        int total, in_use;
 
-       mutex_lock(&sem_ids(ns).mutex);
+       down_write(&sem_ids(ns).rw_mutex);
 
        in_use = sem_ids(ns).in_use;
 
@@ -161,7 +158,7 @@ void sem_exit_ns(struct ipc_namespace *ns)
                freeary(ns, sma);
                total++;
        }
-       mutex_unlock(&sem_ids(ns).mutex);
+       up_write(&sem_ids(ns).rw_mutex);
 
        kfree(ns->ids[IPC_SEM_IDS]);
        ns->ids[IPC_SEM_IDS] = NULL;
@@ -175,6 +172,37 @@ void __init sem_init (void)
                                IPC_SEM_IDS, sysvipc_sem_proc_show);
 }
 
+/*
+ * This routine is called in the paths where the rw_mutex is held to protect
+ * access to the idr tree.
+ */
+static inline struct sem_array *sem_lock_check_down(struct ipc_namespace *ns,
+                                               int id)
+{
+       struct kern_ipc_perm *ipcp = ipc_lock_check_down(&sem_ids(ns), id);
+
+       return container_of(ipcp, struct sem_array, sem_perm);
+}
+
+/*
+ * sem_lock_(check_) routines are called in the paths where the rw_mutex
+ * is not held.
+ */
+static inline struct sem_array *sem_lock(struct ipc_namespace *ns, int id)
+{
+       struct kern_ipc_perm *ipcp = ipc_lock(&sem_ids(ns), id);
+
+       return container_of(ipcp, struct sem_array, sem_perm);
+}
+
+static inline struct sem_array *sem_lock_check(struct ipc_namespace *ns,
+                                               int id)
+{
+       struct kern_ipc_perm *ipcp = ipc_lock_check(&sem_ids(ns), id);
+
+       return container_of(ipcp, struct sem_array, sem_perm);
+}
+
 static inline void sem_rmid(struct ipc_namespace *ns, struct sem_array *s)
 {
        ipc_rmid(&sem_ids(ns), &s->sem_perm);
@@ -214,6 +242,14 @@ static inline void sem_rmid(struct ipc_namespace *ns, struct sem_array *s)
  */
 #define IN_WAKEUP      1
 
+/**
+ * newary - Create a new semaphore set
+ * @ns: namespace
+ * @params: ptr to the structure that contains key, semflg and nsems
+ *
+ * Called with sem_ids.rw_mutex held (as a writer)
+ */
+
 static int newary(struct ipc_namespace *ns, struct ipc_params *params)
 {
        int id;
@@ -247,14 +283,14 @@ static int newary(struct ipc_namespace *ns, struct ipc_params *params)
        }
 
        id = ipc_addid(&sem_ids(ns), &sma->sem_perm, ns->sc_semmni);
-       if(id == -1) {
+       if (id < 0) {
                security_sem_free(sma);
                ipc_rcu_putref(sma);
-               return -ENOSPC;
+               return id;
        }
        ns->used_sems += nsems;
 
-       sma->sem_perm.id = sem_buildid(ns, id, sma->sem_perm.seq);
+       sma->sem_perm.id = sem_buildid(id, sma->sem_perm.seq);
        sma->sem_base = (struct sem *) &sma[1];
        /* sma->sem_pending = NULL; */
        sma->sem_pending_last = &sma->sem_pending;
@@ -267,14 +303,27 @@ static int newary(struct ipc_namespace *ns, struct ipc_params *params)
 }
 
 
-static inline int sem_security(void *sma, int semflg)
+/*
+ * Called with sem_ids.rw_mutex and ipcp locked.
+ */
+static inline int sem_security(struct kern_ipc_perm *ipcp, int semflg)
 {
-       return security_sem_associate((struct sem_array *) sma, semflg);
+       struct sem_array *sma;
+
+       sma = container_of(ipcp, struct sem_array, sem_perm);
+       return security_sem_associate(sma, semflg);
 }
 
-static inline int sem_more_checks(void *sma, struct ipc_params *params)
+/*
+ * Called with sem_ids.rw_mutex and ipcp locked.
+ */
+static inline int sem_more_checks(struct kern_ipc_perm *ipcp,
+                               struct ipc_params *params)
 {
-       if (params->u.nsems > ((struct sem_array *)sma)->sem_nsems)
+       struct sem_array *sma;
+
+       sma = container_of(ipcp, struct sem_array, sem_perm);
+       if (params->u.nsems > sma->sem_nsems)
                return -EINVAL;
 
        return 0;
@@ -493,9 +542,9 @@ static int count_semzcnt (struct sem_array * sma, ushort semnum)
        return semzcnt;
 }
 
-/* Free a semaphore set. freeary() is called with sem_ids.mutex locked and
- * the spinlock for this semaphore set hold. sem_ids.mutex remains locked
- * on exit.
+/* Free a semaphore set. freeary() is called with sem_ids.rw_mutex locked
+ * as a writer and the spinlock for this semaphore set hold. sem_ids.rw_mutex
+ * remains locked on exit.
  */
 static void freeary(struct ipc_namespace *ns, struct sem_array *sma)
 {
@@ -580,7 +629,7 @@ static int semctl_nolock(struct ipc_namespace *ns, int semid, int semnum,
                seminfo.semmnu = SEMMNU;
                seminfo.semmap = SEMMAP;
                seminfo.semume = SEMUME;
-               mutex_lock(&sem_ids(ns).mutex);
+               down_read(&sem_ids(ns).rw_mutex);
                if (cmd == SEM_INFO) {
                        seminfo.semusz = sem_ids(ns).in_use;
                        seminfo.semaem = ns->used_sems;
@@ -589,7 +638,7 @@ static int semctl_nolock(struct ipc_namespace *ns, int semid, int semnum,
                        seminfo.semaem = SEMAEM;
                }
                max_id = ipc_get_maxid(&sem_ids(ns));
-               mutex_unlock(&sem_ids(ns).mutex);
+               up_read(&sem_ids(ns).rw_mutex);
                if (copy_to_user (arg.__buf, &seminfo, sizeof(struct seminfo))) 
                        return -EFAULT;
                return (max_id < 0) ? 0: max_id;
@@ -599,11 +648,9 @@ static int semctl_nolock(struct ipc_namespace *ns, int semid, int semnum,
                struct semid64_ds tbuf;
                int id;
 
-               memset(&tbuf,0,sizeof(tbuf));
-
                sma = sem_lock(ns, semid);
-               if(sma == NULL)
-                       return -EINVAL;
+               if (IS_ERR(sma))
+                       return PTR_ERR(sma);
 
                err = -EACCES;
                if (ipcperms (&sma->sem_perm, S_IRUGO))
@@ -615,6 +662,8 @@ static int semctl_nolock(struct ipc_namespace *ns, int semid, int semnum,
 
                id = sma->sem_perm.id;
 
+               memset(&tbuf, 0, sizeof(tbuf));
+
                kernel_to_ipc64_perm(&sma->sem_perm, &tbuf.sem_perm);
                tbuf.sem_otime  = sma->sem_otime;
                tbuf.sem_ctime  = sma->sem_ctime;
@@ -643,16 +692,12 @@ static int semctl_main(struct ipc_namespace *ns, int semid, int semnum,
        ushort* sem_io = fast_sem_io;
        int nsems;
 
-       sma = sem_lock(ns, semid);
-       if(sma==NULL)
-               return -EINVAL;
+       sma = sem_lock_check(ns, semid);
+       if (IS_ERR(sma))
+               return PTR_ERR(sma);
 
        nsems = sma->sem_nsems;
 
-       err=-EIDRM;
-       if (sem_checkid(ns,sma,semid))
-               goto out_unlock;
-
        err = -EACCES;
        if (ipcperms (&sma->sem_perm, (cmd==SETVAL||cmd==SETALL)?S_IWUGO:S_IRUGO))
                goto out_unlock;
@@ -864,14 +909,10 @@ static int semctl_down(struct ipc_namespace *ns, int semid, int semnum,
                if(copy_semid_from_user (&setbuf, arg.buf, version))
                        return -EFAULT;
        }
-       sma = sem_lock(ns, semid);
-       if(sma==NULL)
-               return -EINVAL;
+       sma = sem_lock_check_down(ns, semid);
+       if (IS_ERR(sma))
+               return PTR_ERR(sma);
 
-       if (sem_checkid(ns,sma,semid)) {
-               err=-EIDRM;
-               goto out_unlock;
-       }       
        ipcp = &sma->sem_perm;
 
        err = audit_ipc_obj(ipcp);
@@ -949,45 +990,15 @@ asmlinkage long sys_semctl (int semid, int semnum, int cmd, union semun arg)
                return err;
        case IPC_RMID:
        case IPC_SET:
-               mutex_lock(&sem_ids(ns).mutex);
+               down_write(&sem_ids(ns).rw_mutex);
                err = semctl_down(ns,semid,semnum,cmd,version,arg);
-               mutex_unlock(&sem_ids(ns).mutex);
+               up_write(&sem_ids(ns).rw_mutex);
                return err;
        default:
                return -EINVAL;
        }
 }
 
-static inline void lock_semundo(void)
-{
-       struct sem_undo_list *undo_list;
-
-       undo_list = current->sysvsem.undo_list;
-       if (undo_list)
-               spin_lock(&undo_list->lock);
-}
-
-/* This code has an interaction with copy_semundo().
- * Consider; two tasks are sharing the undo_list. task1
- * acquires the undo_list lock in lock_semundo().  If task2 now
- * exits before task1 releases the lock (by calling
- * unlock_semundo()), then task1 will never call spin_unlock().
- * This leave the sem_undo_list in a locked state.  If task1 now creats task3
- * and once again shares the sem_undo_list, the sem_undo_list will still be
- * locked, and future SEM_UNDO operations will deadlock.  This case is
- * dealt with in copy_semundo() by having it reinitialize the spin lock when 
- * the refcnt goes from 1 to 2.
- */
-static inline void unlock_semundo(void)
-{
-       struct sem_undo_list *undo_list;
-
-       undo_list = current->sysvsem.undo_list;
-       if (undo_list)
-               spin_unlock(&undo_list->lock);
-}
-
-
 /* If the task doesn't already have a undo_list, then allocate one
  * here.  We guarantee there is only one thread using this undo list,
  * and current is THE ONE
@@ -1048,22 +1059,17 @@ static struct sem_undo *find_undo(struct ipc_namespace *ns, int semid)
        if (error)
                return ERR_PTR(error);
 
-       lock_semundo();
+       spin_lock(&ulp->lock);
        un = lookup_undo(ulp, semid);
-       unlock_semundo();
+       spin_unlock(&ulp->lock);
        if (likely(un!=NULL))
                goto out;
 
        /* no undo structure around - allocate one. */
-       sma = sem_lock(ns, semid);
-       un = ERR_PTR(-EINVAL);
-       if(sma==NULL)
-               goto out;
-       un = ERR_PTR(-EIDRM);
-       if (sem_checkid(ns,sma,semid)) {
-               sem_unlock(sma);
-               goto out;
-       }
+       sma = sem_lock_check(ns, semid);
+       if (IS_ERR(sma))
+               return ERR_PTR(PTR_ERR(sma));
+
        nsems = sma->sem_nsems;
        ipc_rcu_getref(sma);
        sem_unlock(sma);
@@ -1078,10 +1084,10 @@ static struct sem_undo *find_undo(struct ipc_namespace *ns, int semid)
        new->semadj = (short *) &new[1];
        new->semid = semid;
 
-       lock_semundo();
+       spin_lock(&ulp->lock);
        un = lookup_undo(ulp, semid);
        if (un) {
-               unlock_semundo();
+               spin_unlock(&ulp->lock);
                kfree(new);
                ipc_lock_by_ptr(&sma->sem_perm);
                ipc_rcu_putref(sma);
@@ -1092,7 +1098,7 @@ static struct sem_undo *find_undo(struct ipc_namespace *ns, int semid)
        ipc_rcu_putref(sma);
        if (sma->sem_perm.deleted) {
                sem_unlock(sma);
-               unlock_semundo();
+               spin_unlock(&ulp->lock);
                kfree(new);
                un = ERR_PTR(-EIDRM);
                goto out;
@@ -1103,7 +1109,7 @@ static struct sem_undo *find_undo(struct ipc_namespace *ns, int semid)
        sma->undo = new;
        sem_unlock(sma);
        un = new;
-       unlock_semundo();
+       spin_unlock(&ulp->lock);
 out:
        return un;
 }
@@ -1169,15 +1175,14 @@ retry_undos:
        } else
                un = NULL;
 
-       sma = sem_lock(ns, semid);
-       error=-EINVAL;
-       if(sma==NULL)
+       sma = sem_lock_check(ns, semid);
+       if (IS_ERR(sma)) {
+               error = PTR_ERR(sma);
                goto out_free;
-       error = -EIDRM;
-       if (sem_checkid(ns,sma,semid))
-               goto out_unlock_free;
+       }
+
        /*
-        * semid identifies are not unique - find_undo may have
+        * semid identifiers are not unique - find_undo may have
         * allocated an undo structure, it was invalidated by an RMID
         * and now a new array with received the same id. Check and retry.
         */
@@ -1243,7 +1248,7 @@ retry_undos:
        }
 
        sma = sem_lock(ns, semid);
-       if(sma==NULL) {
+       if (IS_ERR(sma)) {
                BUG_ON(queue.prev != NULL);
                error = -EIDRM;
                goto out_free;
@@ -1280,10 +1285,6 @@ asmlinkage long sys_semop (int semid, struct sembuf __user *tsops, unsigned nsop
 
 /* If CLONE_SYSVSEM is set, establish sharing of SEM_UNDO state between
  * parent and child tasks.
- *
- * See the notes above unlock_semundo() regarding the spin_lock_init()
- * in this code.  Initialize the undo_list->lock here instead of get_undo_list()
- * because of the reasoning in the comment above unlock_semundo.
  */
 
 int copy_semundo(unsigned long clone_flags, struct task_struct *tsk)
@@ -1343,13 +1344,13 @@ void exit_sem(struct task_struct *tsk)
                if(semid == -1)
                        continue;
                sma = sem_lock(ns, semid);
-               if (sma == NULL)
+               if (IS_ERR(sma))
                        continue;
 
                if (u->semid == -1)
                        goto next_entry;
 
-               BUG_ON(sem_checkid(ns,sma,u->semid));
+               BUG_ON(sem_checkid(sma, u->semid));
 
                /* remove u from the sma->undo list */
                for (unp = &sma->undo; (un = *unp); unp = &un->id_next) {