drivers/scsi/scsi_transport_iscsi.c

   1 /*
   2  * iSCSI transport class definitions
   3  *
   4  * Copyright (C) IBM Corporation, 2004
   5  * Copyright (C) Mike Christie, 2004 - 2005
   6  * Copyright (C) Dmitry Yusupov, 2004 - 2005
   7  * Copyright (C) Alex Aizman, 2004 - 2005
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  22  */
  23 #include <linux/module.h>
  24 #include <linux/string.h>
  25 #include <linux/slab.h>
  26 #include <linux/mempool.h>
  27 #include <net/tcp.h>
  28
  29 #include <scsi/scsi.h>
  30 #include <scsi/scsi_host.h>
  31 #include <scsi/scsi_device.h>
  32 #include <scsi/scsi_transport.h>
  33 #include <scsi/scsi_transport_iscsi.h>
  34 #include <scsi/iscsi_if.h>
  35
  36 #define ISCSI_SESSION_ATTRS 8
  37 #define ISCSI_CONN_ATTRS 6
  38
  39 struct iscsi_internal {
  40         struct scsi_transport_template t;
  41         struct iscsi_transport *iscsi_transport;
  42         struct list_head list;
  43         /*
  44          * List of sessions for this transport
  45          */
  46         struct list_head sessions;
  47         /*
  48          * lock to serialize access to the sessions list which must
  49          * be taken after the rx_queue_sema
  50          */
  51         spinlock_t session_lock;
  52         /*
  53          * based on transport capabilities, at register time we set these
  54          * bits to tell the transport class it wants attributes displayed
  55          * in sysfs or that it can support different iSCSI Data-Path
  56          * capabilities
  57          */
  58         uint32_t param_mask;
  59
  60         struct class_device cdev;
  61         /*
  62          * We do not have any private or other attrs.
  63          */
  64         struct transport_container conn_cont;
  65         struct class_device_attribute *conn_attrs[ISCSI_CONN_ATTRS + 1];
  66         struct transport_container session_cont;
  67         struct class_device_attribute *session_attrs[ISCSI_SESSION_ATTRS + 1];
  68 };
  69
  70 /*
  71  * list of registered transports and lock that must
  72  * be held while accessing list. The iscsi_transport_lock must
  73  * be acquired after the rx_queue_sema.
  74  */
  75 static LIST_HEAD(iscsi_transports);
  76 static DEFINE_SPINLOCK(iscsi_transport_lock);
  77
  78 #define to_iscsi_internal(tmpl) \
  79         container_of(tmpl, struct iscsi_internal, t)
  80
  81 #define cdev_to_iscsi_internal(_cdev) \
  82         container_of(_cdev, struct iscsi_internal, cdev)
  83
  84 static void iscsi_transport_release(struct class_device *cdev)
  85 {
  86         struct iscsi_internal *priv = cdev_to_iscsi_internal(cdev);
  87         kfree(priv);
  88 }
  89
  90 /*
  91  * iscsi_transport_class represents the iscsi_transports that are
  92  * registered.
  93  */
  94 static struct class iscsi_transport_class = {
  95         .name = "iscsi_transport",
  96         .release = iscsi_transport_release,
  97 };
  98
  99 static ssize_t
 100 show_transport_handle(struct class_device *cdev, char *buf)
 101 {
 102         struct iscsi_internal *priv = cdev_to_iscsi_internal(cdev);
 103         return sprintf(buf, "%llu\n", (unsigned long long)iscsi_handle(priv->iscsi_transport));
 104 }
 105 static CLASS_DEVICE_ATTR(handle, S_IRUGO, show_transport_handle, NULL);
 106
 107 #define show_transport_attr(name, format)                               \
 108 static ssize_t                                                          \
 109 show_transport_##name(struct class_device *cdev, char *buf)             \
 110 {                                                                       \
 111         struct iscsi_internal *priv = cdev_to_iscsi_internal(cdev);     \
 112         return sprintf(buf, format"\n", priv->iscsi_transport->name);   \
 113 }                                                                       \
 114 static CLASS_DEVICE_ATTR(name, S_IRUGO, show_transport_##name, NULL);
 115
 116 show_transport_attr(caps, "0x%x");
 117 show_transport_attr(max_lun, "%d");
 118 show_transport_attr(max_conn, "%d");
 119 show_transport_attr(max_cmd_len, "%d");
 120
 121 static struct attribute *iscsi_transport_attrs[] = {
 122         &class_device_attr_handle.attr,
 123         &class_device_attr_caps.attr,
 124         &class_device_attr_max_lun.attr,
 125         &class_device_attr_max_conn.attr,
 126         &class_device_attr_max_cmd_len.attr,
 127         NULL,
 128 };
 129
 130 static struct attribute_group iscsi_transport_group = {
 131         .attrs = iscsi_transport_attrs,
 132 };
 133
 134 static DECLARE_TRANSPORT_CLASS(iscsi_session_class,
 135                                "iscsi_session",
 136                                NULL,
 137                                NULL,
 138                                NULL);
 139
 140 static DECLARE_TRANSPORT_CLASS(iscsi_connection_class,
 141                                "iscsi_connection",
 142                                NULL,
 143                                NULL,
 144                                NULL);
 145
 146 static struct sock *nls;
 147 static int daemon_pid;
 148 static DECLARE_MUTEX(rx_queue_sema);
 149
 150 struct mempool_zone {
 151         mempool_t *pool;
 152         atomic_t allocated;
 153         int size;
 154         int hiwat;
 155         struct list_head freequeue;
 156         spinlock_t freelock;
 157 };
 158
 159 static struct mempool_zone z_reply;
 160
 161 /*
 162  * Z_MAX_* - actual mempool size allocated at the mempool_zone_init() time
 163  * Z_HIWAT_* - zone's high watermark when if_error bit will be set to -ENOMEM
 164  *             so daemon will notice OOM on NETLINK tranposrt level and will
 165  *             be able to predict or change operational behavior
 166  */
 167 #define Z_MAX_REPLY     8
 168 #define Z_HIWAT_REPLY   6
 169 #define Z_MAX_PDU       8
 170 #define Z_HIWAT_PDU     6
 171 #define Z_MAX_ERROR     16
 172 #define Z_HIWAT_ERROR   12
 173
 174 struct iscsi_if_conn {
 175         struct list_head conn_list;     /* item in connlist */
 176         struct list_head session_list;  /* item in session->connections */
 177         iscsi_connh_t connh;
 178         int active;                     /* must be accessed with the connlock */
 179         struct Scsi_Host *host;         /* originated shost */
 180         struct device dev;              /* sysfs transport/container device */
 181         struct iscsi_transport *transport;
 182         struct mempool_zone z_error;
 183         struct mempool_zone z_pdu;
 184         struct list_head freequeue;
 185 };
 186
 187 #define iscsi_dev_to_if_conn(_dev) \
 188         container_of(_dev, struct iscsi_if_conn, dev)
 189
 190 #define iscsi_cdev_to_if_conn(_cdev) \
 191         iscsi_dev_to_if_conn(_cdev->dev)
 192
 193 static LIST_HEAD(connlist);
 194 static DEFINE_SPINLOCK(connlock);
 195
 196 struct iscsi_if_session {
 197         struct list_head list;  /* item in session_list */
 198         struct list_head connections;
 199         iscsi_sessionh_t sessionh;
 200         struct iscsi_transport *transport;
 201         struct device dev;      /* sysfs transport/container device */
 202 };
 203
 204 #define iscsi_dev_to_if_session(_dev) \
 205         container_of(_dev, struct iscsi_if_session, dev)
 206
 207 #define iscsi_cdev_to_if_session(_cdev) \
 208         iscsi_dev_to_if_session(_cdev->dev)
 209
 210 #define iscsi_if_session_to_shost(_session) \
 211         dev_to_shost(_session->dev.parent)
 212
 213 static struct iscsi_if_conn*
 214 iscsi_if_find_conn(uint64_t key)
 215 {
 216         unsigned long flags;
 217         struct iscsi_if_conn *conn;
 218
 219         spin_lock_irqsave(&connlock, flags);
 220         list_for_each_entry(conn, &connlist, conn_list)
 221                 if (conn->connh == key) {
 222                         spin_unlock_irqrestore(&connlock, flags);
 223                         return conn;
 224                 }
 225         spin_unlock_irqrestore(&connlock, flags);
 226         return NULL;
 227 }
 228
 229 static struct iscsi_internal *
 230 iscsi_if_transport_lookup(struct iscsi_transport *tt)
 231 {
 232         struct iscsi_internal *priv;
 233         unsigned long flags;
 234
 235         spin_lock_irqsave(&iscsi_transport_lock, flags);
 236         list_for_each_entry(priv, &iscsi_transports, list) {
 237                 if (tt == priv->iscsi_transport) {
 238                         spin_unlock_irqrestore(&iscsi_transport_lock, flags);
 239                         return priv;
 240                 }
 241         }
 242         spin_unlock_irqrestore(&iscsi_transport_lock, flags);
 243         return NULL;
 244 }
 245
 246 static inline struct list_head *skb_to_lh(struct sk_buff *skb)
 247 {
 248         return (struct list_head *)&skb->cb;
 249 }
 250
 251 static void*
 252 mempool_zone_alloc_skb(gfp_t gfp_mask, void *pool_data)
 253 {
 254         struct mempool_zone *zone = pool_data;
 255
 256         return alloc_skb(zone->size, gfp_mask);
 257 }
 258
 259 static void
 260 mempool_zone_free_skb(void *element, void *pool_data)
 261 {
 262         kfree_skb(element);
 263 }
 264
 265 static void
 266 mempool_zone_complete(struct mempool_zone *zone)
 267 {
 268         unsigned long flags;
 269         struct list_head *lh, *n;
 270
 271         spin_lock_irqsave(&zone->freelock, flags);
 272         list_for_each_safe(lh, n, &zone->freequeue) {
 273                 struct sk_buff *skb = (struct sk_buff *)((char *)lh -
 274                                 offsetof(struct sk_buff, cb));
 275                 if (!skb_shared(skb)) {
 276                         list_del(skb_to_lh(skb));
 277                         mempool_free(skb, zone->pool);
 278                         atomic_dec(&zone->allocated);
 279                 }
 280         }
 281         spin_unlock_irqrestore(&zone->freelock, flags);
 282 }
 283
 284 static int
 285 mempool_zone_init(struct mempool_zone *zp, unsigned max, unsigned size,
 286                 unsigned hiwat)
 287 {
 288         zp->pool = mempool_create(max, mempool_zone_alloc_skb,
 289                                   mempool_zone_free_skb, zp);
 290         if (!zp->pool)
 291                 return -ENOMEM;
 292
 293         zp->size = size;
 294         zp->hiwat = hiwat;
 295
 296         INIT_LIST_HEAD(&zp->freequeue);
 297         spin_lock_init(&zp->freelock);
 298         atomic_set(&zp->allocated, 0);
 299
 300         return 0;
 301 }
 302
 303
 304 static struct sk_buff*
 305 mempool_zone_get_skb(struct mempool_zone *zone)
 306 {
 307         struct sk_buff *skb;
 308
 309         skb = mempool_alloc(zone->pool, GFP_ATOMIC);
 310         if (skb)
 311                 atomic_inc(&zone->allocated);
 312         return skb;
 313 }
 314
 315 static int
 316 iscsi_unicast_skb(struct mempool_zone *zone, struct sk_buff *skb)
 317 {
 318         unsigned long flags;
 319         int rc;
 320
 321         skb_get(skb);
 322         rc = netlink_unicast(nls, skb, daemon_pid, MSG_DONTWAIT);
 323         if (rc < 0) {
 324                 mempool_free(skb, zone->pool);
 325                 printk(KERN_ERR "iscsi: can not unicast skb (%d)\n", rc);
 326                 return rc;
 327         }
 328
 329         spin_lock_irqsave(&zone->freelock, flags);
 330         list_add(skb_to_lh(skb), &zone->freequeue);
 331         spin_unlock_irqrestore(&zone->freelock, flags);
 332
 333         return 0;
 334 }
 335
 336 int iscsi_recv_pdu(iscsi_connh_t connh, struct iscsi_hdr *hdr,
 337                    char *data, uint32_t data_size)
 338 {
 339         struct nlmsghdr *nlh;
 340         struct sk_buff *skb;
 341         struct iscsi_uevent *ev;
 342         struct iscsi_if_conn *conn;
 343         char *pdu;
 344         int len = NLMSG_SPACE(sizeof(*ev) + sizeof(struct iscsi_hdr) +
 345                               data_size);
 346
 347         conn = iscsi_if_find_conn(connh);
 348         BUG_ON(!conn);
 349
 350         mempool_zone_complete(&conn->z_pdu);
 351
 352         skb = mempool_zone_get_skb(&conn->z_pdu);
 353         if (!skb) {
 354                 iscsi_conn_error(connh, ISCSI_ERR_CONN_FAILED);
 355                 printk(KERN_ERR "iscsi%d: can not deliver control PDU: OOM\n",
 356                        conn->host->host_no);
 357                 return -ENOMEM;
 358         }
 359
 360         nlh = __nlmsg_put(skb, daemon_pid, 0, 0, (len - sizeof(*nlh)), 0);
 361         ev = NLMSG_DATA(nlh);
 362         memset(ev, 0, sizeof(*ev));
 363         ev->transport_handle = iscsi_handle(conn->transport);
 364         ev->type = ISCSI_KEVENT_RECV_PDU;
 365         if (atomic_read(&conn->z_pdu.allocated) >= conn->z_pdu.hiwat)
 366                 ev->iferror = -ENOMEM;
 367         ev->r.recv_req.conn_handle = connh;
 368         pdu = (char*)ev + sizeof(*ev);
 369         memcpy(pdu, hdr, sizeof(struct iscsi_hdr));
 370         memcpy(pdu + sizeof(struct iscsi_hdr), data, data_size);
 371
 372         return iscsi_unicast_skb(&conn->z_pdu, skb);
 373 }
 374 EXPORT_SYMBOL_GPL(iscsi_recv_pdu);
 375
 376 void iscsi_conn_error(iscsi_connh_t connh, enum iscsi_err error)
 377 {
 378         struct nlmsghdr *nlh;
 379         struct sk_buff  *skb;
 380         struct iscsi_uevent *ev;
 381         struct iscsi_if_conn *conn;
 382         int len = NLMSG_SPACE(sizeof(*ev));
 383
 384         conn = iscsi_if_find_conn(connh);
 385         BUG_ON(!conn);
 386
 387         mempool_zone_complete(&conn->z_error);
 388
 389         skb = mempool_zone_get_skb(&conn->z_error);
 390         if (!skb) {
 391                 printk(KERN_ERR "iscsi%d: gracefully ignored conn error (%d)\n",
 392                        conn->host->host_no, error);
 393                 return;
 394         }
 395
 396         nlh = __nlmsg_put(skb, daemon_pid, 0, 0, (len - sizeof(*nlh)), 0);
 397         ev = NLMSG_DATA(nlh);
 398         ev->transport_handle = iscsi_handle(conn->transport);
 399         ev->type = ISCSI_KEVENT_CONN_ERROR;
 400         if (atomic_read(&conn->z_error.allocated) >= conn->z_error.hiwat)
 401                 ev->iferror = -ENOMEM;
 402         ev->r.connerror.error = error;
 403         ev->r.connerror.conn_handle = connh;
 404
 405         iscsi_unicast_skb(&conn->z_error, skb);
 406
 407         printk(KERN_INFO "iscsi%d: detected conn error (%d)\n",
 408                conn->host->host_no, error);
 409 }
 410 EXPORT_SYMBOL_GPL(iscsi_conn_error);
 411
 412 static int
 413 iscsi_if_send_reply(int pid, int seq, int type, int done, int multi,
 414                       void *payload, int size)
 415 {
 416         struct sk_buff  *skb;
 417         struct nlmsghdr *nlh;
 418         int len = NLMSG_SPACE(size);
 419         int flags = multi ? NLM_F_MULTI : 0;
 420         int t = done ? NLMSG_DONE : type;
 421
 422         mempool_zone_complete(&z_reply);
 423
 424         skb = mempool_zone_get_skb(&z_reply);
 425         /*
 426          * FIXME:
 427          * user is supposed to react on iferror == -ENOMEM;
 428          * see iscsi_if_rx().
 429          */
 430         BUG_ON(!skb);
 431
 432         nlh = __nlmsg_put(skb, pid, seq, t, (len - sizeof(*nlh)), 0);
 433         nlh->nlmsg_flags = flags;
 434         memcpy(NLMSG_DATA(nlh), payload, size);
 435         return iscsi_unicast_skb(&z_reply, skb);
 436 }
 437
 438 /*
 439  * iSCSI Session's hostdata organization:
 440  *
 441  *    *------------------* <== host->hostdata
 442  *    | transport        |
 443  *    |------------------| <== iscsi_hostdata(host->hostdata)
 444  *    | transport's data |
 445  *    |------------------| <== hostdata_session(host->hostdata)
 446  *    | interface's data |
 447  *    *------------------*
 448  */
 449
 450 #define hostdata_privsize(_t)   (sizeof(unsigned long) + _t->hostdata_size + \
 451                                  _t->hostdata_size % sizeof(unsigned long) + \
 452                                  sizeof(struct iscsi_if_session))
 453
 454 #define hostdata_session(_hostdata) ((void*)_hostdata + sizeof(unsigned long) + \
 455                         ((struct iscsi_transport *) \
 456                          iscsi_ptr(*(uint64_t *)_hostdata))->hostdata_size)
 457
 458 static void iscsi_if_session_dev_release(struct device *dev)
 459 {
 460         struct iscsi_if_session *session = iscsi_dev_to_if_session(dev);
 461         struct iscsi_transport *transport = session->transport;
 462         struct Scsi_Host *shost = iscsi_if_session_to_shost(session);
 463         struct iscsi_if_conn *conn, *tmp;
 464         unsigned long flags;
 465
 466         /* now free connections */
 467         spin_lock_irqsave(&connlock, flags);
 468         list_for_each_entry_safe(conn, tmp, &session->connections,
 469                                  session_list) {
 470                 list_del(&conn->session_list);
 471                 mempool_destroy(conn->z_pdu.pool);
 472                 mempool_destroy(conn->z_error.pool);
 473                 kfree(conn);
 474         }
 475         spin_unlock_irqrestore(&connlock, flags);
 476         scsi_host_put(shost);
 477         module_put(transport->owner);
 478 }
 479
 480 static int
 481 iscsi_if_create_session(struct iscsi_internal *priv, struct iscsi_uevent *ev)
 482 {
 483         struct iscsi_transport *transport = priv->iscsi_transport;
 484         struct iscsi_if_session *session;
 485         struct Scsi_Host *shost;
 486         unsigned long flags;
 487         int error;
 488
 489         if (!try_module_get(transport->owner))
 490                 return -EPERM;
 491
 492         shost = scsi_host_alloc(transport->host_template,
 493                                 hostdata_privsize(transport));
 494         if (!shost) {
 495                 ev->r.c_session_ret.session_handle = iscsi_handle(NULL);
 496                 printk(KERN_ERR "iscsi: can not allocate SCSI host for "
 497                        "session\n");
 498                 error = -ENOMEM;
 499                 goto out_module_put;
 500         }
 501         shost->max_id = 1;
 502         shost->max_channel = 0;
 503         shost->max_lun = transport->max_lun;
 504         shost->max_cmd_len = transport->max_cmd_len;
 505         shost->transportt = &priv->t;
 506
 507         /* store struct iscsi_transport in hostdata */
 508         *(uint64_t*)shost->hostdata = ev->transport_handle;
 509
 510         ev->r.c_session_ret.session_handle = transport->create_session(
 511                                         ev->u.c_session.initial_cmdsn, shost);
 512         if (ev->r.c_session_ret.session_handle == iscsi_handle(NULL)) {
 513                 error = 0;
 514                 goto out_host_put;
 515         }
 516
 517         /* host_no becomes assigned SID */
 518         ev->r.c_session_ret.sid = shost->host_no;
 519         /* initialize session */
 520         session = hostdata_session(shost->hostdata);
 521         INIT_LIST_HEAD(&session->connections);
 522         INIT_LIST_HEAD(&session->list);
 523         session->sessionh = ev->r.c_session_ret.session_handle;
 524         session->transport = transport;
 525
 526         error = scsi_add_host(shost, NULL);
 527         if (error)
 528                 goto out_destroy_session;
 529
 530         /*
 531          * this is released in the dev's release function)
 532          */
 533         scsi_host_get(shost);
 534         snprintf(session->dev.bus_id, BUS_ID_SIZE, "session%u", shost->host_no);
 535         session->dev.parent = &shost->shost_gendev;
 536         session->dev.release = iscsi_if_session_dev_release;
 537         error = device_register(&session->dev);
 538         if (error) {
 539                 printk(KERN_ERR "iscsi: could not register session%d's dev\n",
 540                        shost->host_no);
 541                 goto out_remove_host;
 542         }
 543         transport_register_device(&session->dev);
 544
 545         /* add this session to the list of active sessions */
 546         spin_lock_irqsave(&priv->session_lock, flags);
 547         list_add(&session->list, &priv->sessions);
 548         spin_unlock_irqrestore(&priv->session_lock, flags);
 549
 550         return 0;
 551
 552 out_remove_host:
 553         scsi_remove_host(shost);
 554 out_destroy_session:
 555         transport->destroy_session(ev->r.c_session_ret.session_handle);
 556         ev->r.c_session_ret.session_handle = iscsi_handle(NULL);
 557 out_host_put:
 558         scsi_host_put(shost);
 559 out_module_put:
 560         module_put(transport->owner);
 561         return error;
 562 }
 563
 564 static int
 565 iscsi_if_destroy_session(struct iscsi_internal *priv, struct iscsi_uevent *ev)
 566 {
 567         struct iscsi_transport *transport = priv->iscsi_transport;
 568         struct Scsi_Host *shost;
 569         struct iscsi_if_session *session;
 570         unsigned long flags;
 571         struct iscsi_if_conn *conn;
 572         int error = 0;
 573
 574         shost = scsi_host_lookup(ev->u.d_session.sid);
 575         if (shost == ERR_PTR(-ENXIO))
 576                 return -EEXIST;
 577         session = hostdata_session(shost->hostdata);
 578
 579         /* check if we have active connections */
 580         spin_lock_irqsave(&connlock, flags);
 581         list_for_each_entry(conn, &session->connections, session_list) {
 582                 if (conn->active) {
 583                         printk(KERN_ERR "iscsi%d: can not destroy session: "
 584                                "has active connection (%p)\n",
 585                                shost->host_no, iscsi_ptr(conn->connh));
 586                         spin_unlock_irqrestore(&connlock, flags);
 587                         error = EIO;
 588                         goto out_release_ref;
 589                 }
 590         }
 591         spin_unlock_irqrestore(&connlock, flags);
 592
 593         scsi_remove_host(shost);
 594         transport->destroy_session(ev->u.d_session.session_handle);
 595         transport_unregister_device(&session->dev);
 596         device_unregister(&session->dev);
 597
 598         /* remove this session from the list of active sessions */
 599         spin_lock_irqsave(&priv->session_lock, flags);
 600         list_del(&session->list);
 601         spin_unlock_irqrestore(&priv->session_lock, flags);
 602
 603         /* ref from host alloc */
 604         scsi_host_put(shost);
 605 out_release_ref:
 606         /* ref from host lookup */
 607         scsi_host_put(shost);
 608         return error;
 609 }
 610
 611 static void iscsi_if_conn_dev_release(struct device *dev)
 612 {
 613         struct iscsi_if_conn *conn = iscsi_dev_to_if_conn(dev);
 614         struct Scsi_Host *shost = conn->host;
 615
 616         scsi_host_put(shost);
 617 }
 618
 619 static int
 620 iscsi_if_create_conn(struct iscsi_transport *transport, struct iscsi_uevent *ev)
 621 {
 622         struct iscsi_if_session *session;
 623         struct Scsi_Host *shost;
 624         struct iscsi_if_conn *conn;
 625         unsigned long flags;
 626         int error;
 627
 628         shost = scsi_host_lookup(ev->u.c_conn.sid);
 629         if (shost == ERR_PTR(-ENXIO))
 630                 return -EEXIST;
 631         session = hostdata_session(shost->hostdata);
 632
 633         conn = kmalloc(sizeof(struct iscsi_if_conn), GFP_KERNEL);
 634         if (!conn) {
 635                 error = -ENOMEM;
 636                 goto out_release_ref;
 637         }
 638         memset(conn, 0, sizeof(struct iscsi_if_conn));
 639         INIT_LIST_HEAD(&conn->session_list);
 640         INIT_LIST_HEAD(&conn->conn_list);
 641         conn->host = shost;
 642         conn->transport = transport;
 643
 644         error = mempool_zone_init(&conn->z_pdu, Z_MAX_PDU,
 645                         NLMSG_SPACE(sizeof(struct iscsi_uevent) +
 646                                     sizeof(struct iscsi_hdr) +
 647                                     DEFAULT_MAX_RECV_DATA_SEGMENT_LENGTH),
 648                         Z_HIWAT_PDU);
 649         if (error) {
 650                 printk(KERN_ERR "iscsi%d: can not allocate pdu zone for new "
 651                        "conn\n", shost->host_no);
 652                 goto out_free_conn;
 653         }
 654         error = mempool_zone_init(&conn->z_error, Z_MAX_ERROR,
 655                         NLMSG_SPACE(sizeof(struct iscsi_uevent)),
 656                         Z_HIWAT_ERROR);
 657         if (error) {
 658                 printk(KERN_ERR "iscsi%d: can not allocate error zone for "
 659                        "new conn\n", shost->host_no);
 660                 goto out_free_pdu_pool;
 661         }
 662
 663         ev->r.handle = transport->create_conn(ev->u.c_conn.session_handle,
 664                                         ev->u.c_conn.cid);
 665         if (!ev->r.handle) {
 666                 error = -ENODEV;
 667                 goto out_free_error_pool;
 668         }
 669
 670         conn->connh = ev->r.handle;
 671
 672         /*
 673          * this is released in the dev's release function
 674          */
 675         if (!scsi_host_get(shost))
 676                 goto out_destroy_conn;
 677         snprintf(conn->dev.bus_id, BUS_ID_SIZE, "connection%d:%u",
 678                  shost->host_no, ev->u.c_conn.cid);
 679         conn->dev.parent = &session->dev;
 680         conn->dev.release = iscsi_if_conn_dev_release;
 681         error = device_register(&conn->dev);
 682         if (error) {
 683                 printk(KERN_ERR "iscsi%d: could not register connections%u "
 684                        "dev\n", shost->host_no, ev->u.c_conn.cid);
 685                 goto out_release_parent_ref;
 686         }
 687         transport_register_device(&conn->dev);
 688
 689         spin_lock_irqsave(&connlock, flags);
 690         list_add(&conn->conn_list, &connlist);
 691         list_add(&conn->session_list, &session->connections);
 692         conn->active = 1;
 693         spin_unlock_irqrestore(&connlock, flags);
 694
 695         scsi_host_put(shost);
 696         return 0;
 697
 698 out_release_parent_ref:
 699         scsi_host_put(shost);
 700 out_destroy_conn:
 701         transport->destroy_conn(ev->r.handle);
 702 out_free_error_pool:
 703         mempool_destroy(conn->z_error.pool);
 704 out_free_pdu_pool:
 705         mempool_destroy(conn->z_pdu.pool);
 706 out_free_conn:
 707         kfree(conn);
 708 out_release_ref:
 709         scsi_host_put(shost);
 710         return error;
 711 }
 712
 713 static int
 714 iscsi_if_destroy_conn(struct iscsi_transport *transport, struct iscsi_uevent *ev)
 715 {
 716         unsigned long flags;
 717         struct iscsi_if_conn *conn;
 718
 719         conn = iscsi_if_find_conn(ev->u.d_conn.conn_handle);
 720         if (!conn)
 721                 return -EEXIST;
 722
 723         transport->destroy_conn(ev->u.d_conn.conn_handle);
 724
 725         spin_lock_irqsave(&connlock, flags);
 726         conn->active = 0;
 727         list_del(&conn->conn_list);
 728         spin_unlock_irqrestore(&connlock, flags);
 729
 730         transport_unregister_device(&conn->dev);
 731         device_unregister(&conn->dev);
 732         return 0;
 733 }
 734
 735 static int
 736 iscsi_if_get_stats(struct iscsi_transport *transport, struct sk_buff *skb,
 737                    struct nlmsghdr *nlh)
 738 {
 739         struct iscsi_uevent *ev = NLMSG_DATA(nlh);
 740         struct iscsi_stats *stats;
 741         struct sk_buff *skbstat;
 742         struct iscsi_if_conn *conn;
 743         struct nlmsghdr *nlhstat;
 744         struct iscsi_uevent *evstat;
 745         int len = NLMSG_SPACE(sizeof(*ev) +
 746                               sizeof(struct iscsi_stats) +
 747                               sizeof(struct iscsi_stats_custom) *
 748                               ISCSI_STATS_CUSTOM_MAX);
 749         int err = 0;
 750
 751         conn = iscsi_if_find_conn(ev->u.get_stats.conn_handle);
 752         if (!conn)
 753                 return -EEXIST;
 754
 755         do {
 756                 int actual_size;
 757
 758                 mempool_zone_complete(&conn->z_pdu);
 759
 760                 skbstat = mempool_zone_get_skb(&conn->z_pdu);
 761                 if (!skbstat) {
 762                         printk(KERN_ERR "iscsi%d: can not deliver stats: OOM\n",
 763                                conn->host->host_no);
 764                         return -ENOMEM;
 765                 }
 766
 767                 nlhstat = __nlmsg_put(skbstat, daemon_pid, 0, 0,
 768                                       (len - sizeof(*nlhstat)), 0);
 769                 evstat = NLMSG_DATA(nlhstat);
 770                 memset(evstat, 0, sizeof(*evstat));
 771                 evstat->transport_handle = iscsi_handle(conn->transport);
 772                 evstat->type = nlh->nlmsg_type;
 773                 if (atomic_read(&conn->z_pdu.allocated) >= conn->z_pdu.hiwat)
 774                         evstat->iferror = -ENOMEM;
 775                 evstat->u.get_stats.conn_handle =
 776                         ev->u.get_stats.conn_handle;
 777                 stats = (struct iscsi_stats *)
 778                         ((char*)evstat + sizeof(*evstat));
 779                 memset(stats, 0, sizeof(*stats));
 780
 781                 transport->get_stats(ev->u.get_stats.conn_handle, stats);
 782                 actual_size = NLMSG_SPACE(sizeof(struct iscsi_uevent) +
 783                                           sizeof(struct iscsi_stats) +
 784                                           sizeof(struct iscsi_stats_custom) *
 785                                           stats->custom_length);
 786                 actual_size -= sizeof(*nlhstat);
 787                 actual_size = NLMSG_LENGTH(actual_size);
 788                 skb_trim(skb, NLMSG_ALIGN(actual_size));
 789                 nlhstat->nlmsg_len = actual_size;
 790
 791                 err = iscsi_unicast_skb(&conn->z_pdu, skbstat);
 792         } while (err < 0 && err != -ECONNREFUSED);
 793
 794         return err;
 795 }
 796
 797 static int
 798 iscsi_if_recv_msg(struct sk_buff *skb, struct nlmsghdr *nlh)
 799 {
 800         int err = 0;
 801         struct iscsi_uevent *ev = NLMSG_DATA(nlh);
 802         struct iscsi_transport *transport = NULL;
 803         struct iscsi_internal *priv;
 804
 805         if (NETLINK_CREDS(skb)->uid)
 806                 return -EPERM;
 807
 808         priv = iscsi_if_transport_lookup(iscsi_ptr(ev->transport_handle));
 809         if (!priv)
 810                 return -EINVAL;
 811         transport = priv->iscsi_transport;
 812
 813         daemon_pid = NETLINK_CREDS(skb)->pid;
 814
 815         switch (nlh->nlmsg_type) {
 816         case ISCSI_UEVENT_CREATE_SESSION:
 817                 err = iscsi_if_create_session(priv, ev);
 818                 break;
 819         case ISCSI_UEVENT_DESTROY_SESSION:
 820                 err = iscsi_if_destroy_session(priv, ev);
 821                 break;
 822         case ISCSI_UEVENT_CREATE_CONN:
 823                 err = iscsi_if_create_conn(transport, ev);
 824                 break;
 825         case ISCSI_UEVENT_DESTROY_CONN:
 826                 err = iscsi_if_destroy_conn(transport, ev);
 827                 break;
 828         case ISCSI_UEVENT_BIND_CONN:
 829                 if (!iscsi_if_find_conn(ev->u.b_conn.conn_handle))
 830                         return -EEXIST;
 831                 ev->r.retcode = transport->bind_conn(
 832                         ev->u.b_conn.session_handle,
 833                         ev->u.b_conn.conn_handle,
 834                         ev->u.b_conn.transport_fd,
 835                         ev->u.b_conn.is_leading);
 836                 break;
 837         case ISCSI_UEVENT_SET_PARAM:
 838                 if (!iscsi_if_find_conn(ev->u.set_param.conn_handle))
 839                         return -EEXIST;
 840                 ev->r.retcode = transport->set_param(
 841                         ev->u.set_param.conn_handle,
 842                         ev->u.set_param.param, ev->u.set_param.value);
 843                 break;
 844         case ISCSI_UEVENT_START_CONN:
 845                 if (!iscsi_if_find_conn(ev->u.start_conn.conn_handle))
 846                         return -EEXIST;
 847                 ev->r.retcode = transport->start_conn(
 848                         ev->u.start_conn.conn_handle);
 849                 break;
 850         case ISCSI_UEVENT_STOP_CONN:
 851                 if (!iscsi_if_find_conn(ev->u.stop_conn.conn_handle))
 852                         return -EEXIST;
 853                 transport->stop_conn(ev->u.stop_conn.conn_handle,
 854                         ev->u.stop_conn.flag);
 855                 break;
 856         case ISCSI_UEVENT_SEND_PDU:
 857                 if (!iscsi_if_find_conn(ev->u.send_pdu.conn_handle))
 858                         return -EEXIST;
 859                 ev->r.retcode = transport->send_pdu(
 860                        ev->u.send_pdu.conn_handle,
 861                        (struct iscsi_hdr*)((char*)ev + sizeof(*ev)),
 862                        (char*)ev + sizeof(*ev) + ev->u.send_pdu.hdr_size,
 863                         ev->u.send_pdu.data_size);
 864                 break;
 865         case ISCSI_UEVENT_GET_STATS:
 866                 err = iscsi_if_get_stats(transport, skb, nlh);
 867                 break;
 868         default:
 869                 err = -EINVAL;
 870                 break;
 871         }
 872
 873         return err;
 874 }
 875
 876 /* Get message from skb (based on rtnetlink_rcv_skb).  Each message is
 877  * processed by iscsi_if_recv_msg.  Malformed skbs with wrong length are
 878  * discarded silently.  */
 879 static void
 880 iscsi_if_rx(struct sock *sk, int len)
 881 {
 882         struct sk_buff *skb;
 883
 884         down(&rx_queue_sema);
 885         while ((skb = skb_dequeue(&sk->sk_receive_queue)) != NULL) {
 886                 while (skb->len >= NLMSG_SPACE(0)) {
 887                         int err;
 888                         uint32_t rlen;
 889                         struct nlmsghdr *nlh;
 890                         struct iscsi_uevent *ev;
 891
 892                         nlh = (struct nlmsghdr *)skb->data;
 893                         if (nlh->nlmsg_len < sizeof(*nlh) ||
 894                             skb->len < nlh->nlmsg_len) {
 895                                 break;
 896                         }
 897                         ev = NLMSG_DATA(nlh);
 898                         rlen = NLMSG_ALIGN(nlh->nlmsg_len);
 899                         if (rlen > skb->len)
 900                                 rlen = skb->len;
 901                         err = iscsi_if_recv_msg(skb, nlh);
 902                         if (err) {
 903                                 ev->type = ISCSI_KEVENT_IF_ERROR;
 904                                 ev->iferror = err;
 905                         }
 906                         do {
 907                                 /*
 908                                  * special case for GET_STATS:
 909                                  * on success - sending reply and stats from
 910                                  * inside of if_recv_msg(),
 911                                  * on error - fall through.
 912                                  */
 913                                 if (ev->type == ISCSI_UEVENT_GET_STATS && !err)
 914                                         break;
 915                                 err = iscsi_if_send_reply(
 916                                         NETLINK_CREDS(skb)->pid, nlh->nlmsg_seq,
 917                                         nlh->nlmsg_type, 0, 0, ev, sizeof(*ev));
 918                                 if (atomic_read(&z_reply.allocated) >=
 919                                                 z_reply.hiwat)
 920                                         ev->iferror = -ENOMEM;
 921                         } while (err < 0 && err != -ECONNREFUSED);
 922                         skb_pull(skb, rlen);
 923                 }
 924                 kfree_skb(skb);
 925         }
 926         up(&rx_queue_sema);
 927 }
 928
 929 /*
 930  * iSCSI connection attrs
 931  */
 932 #define iscsi_conn_int_attr_show(param, format)                         \
 933 static ssize_t                                                          \
 934 show_conn_int_param_##param(struct class_device *cdev, char *buf)       \
 935 {                                                                       \
 936         uint32_t value = 0;                                             \
 937         struct iscsi_if_conn *conn = iscsi_cdev_to_if_conn(cdev);       \
 938         struct iscsi_internal *priv;                                    \
 939                                                                         \
 940         priv = to_iscsi_internal(conn->host->transportt);               \
 941         if (priv->param_mask & (1 << param))                            \
 942                 priv->iscsi_transport->get_param(conn->connh, param, &value); \
 943         return snprintf(buf, 20, format"\n", value);                    \
 944 }
 945
 946 #define iscsi_conn_int_attr(field, param, format)                       \
 947         iscsi_conn_int_attr_show(param, format)                         \
 948 static CLASS_DEVICE_ATTR(field, S_IRUGO, show_conn_int_param_##param, NULL);
 949
 950 iscsi_conn_int_attr(max_recv_dlength, ISCSI_PARAM_MAX_RECV_DLENGTH, "%u");
 951 iscsi_conn_int_attr(max_xmit_dlength, ISCSI_PARAM_MAX_XMIT_DLENGTH, "%u");
 952 iscsi_conn_int_attr(header_digest, ISCSI_PARAM_HDRDGST_EN, "%d");
 953 iscsi_conn_int_attr(data_digest, ISCSI_PARAM_DATADGST_EN, "%d");
 954 iscsi_conn_int_attr(ifmarker, ISCSI_PARAM_IFMARKER_EN, "%d");
 955 iscsi_conn_int_attr(ofmarker, ISCSI_PARAM_OFMARKER_EN, "%d");
 956
 957 /*
 958  * iSCSI session attrs
 959  */
 960 #define iscsi_session_int_attr_show(param, format)                      \
 961 static ssize_t                                                          \
 962 show_session_int_param_##param(struct class_device *cdev, char *buf)    \
 963 {                                                                       \
 964         uint32_t value = 0;                                             \
 965         struct iscsi_if_session *session = iscsi_cdev_to_if_session(cdev); \
 966         struct Scsi_Host *shost = iscsi_if_session_to_shost(session);   \
 967         struct iscsi_internal *priv = to_iscsi_internal(shost->transportt); \
 968         struct iscsi_if_conn *conn = NULL;                              \
 969         unsigned long  flags;                                           \
 970                                                                         \
 971         spin_lock_irqsave(&connlock, flags);                            \
 972         if (!list_empty(&session->connections))                         \
 973                 conn = list_entry(session->connections.next,            \
 974                                   struct iscsi_if_conn, session_list);  \
 975         spin_unlock_irqrestore(&connlock, flags);                       \
 976                                                                         \
 977         if (conn && (priv->param_mask & (1 << param)))                  \
 978                 priv->iscsi_transport->get_param(conn->connh, param, &value);\
 979         return snprintf(buf, 20, format"\n", value);                    \
 980 }
 981
 982 #define iscsi_session_int_attr(field, param, format)                    \
 983         iscsi_session_int_attr_show(param, format)                      \
 984 static CLASS_DEVICE_ATTR(field, S_IRUGO, show_session_int_param_##param, NULL);
 985
 986 iscsi_session_int_attr(initial_r2t, ISCSI_PARAM_INITIAL_R2T_EN, "%d");
 987 iscsi_session_int_attr(max_outstanding_r2t, ISCSI_PARAM_MAX_R2T, "%hu");
 988 iscsi_session_int_attr(immediate_data, ISCSI_PARAM_IMM_DATA_EN, "%d");
 989 iscsi_session_int_attr(first_burst_len, ISCSI_PARAM_FIRST_BURST, "%u");
 990 iscsi_session_int_attr(max_burst_len, ISCSI_PARAM_MAX_BURST, "%u");
 991 iscsi_session_int_attr(data_pdu_in_order, ISCSI_PARAM_PDU_INORDER_EN, "%d");
 992 iscsi_session_int_attr(data_seq_in_order, ISCSI_PARAM_DATASEQ_INORDER_EN, "%d");
 993 iscsi_session_int_attr(erl, ISCSI_PARAM_ERL, "%d");
 994
 995 #define SETUP_SESSION_RD_ATTR(field, param)                             \
 996         if (priv->param_mask & (1 << param)) {                          \
 997                 priv->session_attrs[count] = &class_device_attr_##field;\
 998                 count++;                                                \
 999         }
1000
1001 #define SETUP_CONN_RD_ATTR(field, param)                                \
1002         if (priv->param_mask & (1 << param)) {                          \
1003                 priv->conn_attrs[count] = &class_device_attr_##field;   \
1004                 count++;                                                \
1005         }
1006
1007 static int iscsi_is_session_dev(const struct device *dev)
1008 {
1009         return dev->release == iscsi_if_session_dev_release;
1010 }
1011
1012 static int iscsi_session_match(struct attribute_container *cont,
1013                            struct device *dev)
1014 {
1015         struct iscsi_if_session *session;
1016         struct Scsi_Host *shost;
1017         struct iscsi_internal *priv;
1018
1019         if (!iscsi_is_session_dev(dev))
1020                 return 0;
1021
1022         session = iscsi_dev_to_if_session(dev);
1023         shost = iscsi_if_session_to_shost(session);
1024         if (!shost->transportt)
1025                 return 0;
1026
1027         priv = to_iscsi_internal(shost->transportt);
1028         if (priv->session_cont.ac.class != &iscsi_session_class.class)
1029                 return 0;
1030
1031         return &priv->session_cont.ac == cont;
1032 }
1033
1034 static int iscsi_is_conn_dev(const struct device *dev)
1035 {
1036         return dev->release == iscsi_if_conn_dev_release;
1037 }
1038
1039 static int iscsi_conn_match(struct attribute_container *cont,
1040                            struct device *dev)
1041 {
1042         struct iscsi_if_conn *conn;
1043         struct Scsi_Host *shost;
1044         struct iscsi_internal *priv;
1045
1046         if (!iscsi_is_conn_dev(dev))
1047                 return 0;
1048
1049         conn = iscsi_dev_to_if_conn(dev);
1050         shost = conn->host;
1051         if (!shost->transportt)
1052                 return 0;
1053
1054         priv = to_iscsi_internal(shost->transportt);
1055         if (priv->conn_cont.ac.class != &iscsi_connection_class.class)
1056                 return 0;
1057
1058         return &priv->conn_cont.ac == cont;
1059 }
1060
1061 int iscsi_register_transport(struct iscsi_transport *tt)
1062 {
1063         struct iscsi_internal *priv;
1064         unsigned long flags;
1065         int count = 0, err;
1066
1067         BUG_ON(!tt);
1068
1069         priv = iscsi_if_transport_lookup(tt);
1070         if (priv)
1071                 return -EEXIST;
1072
1073         priv = kmalloc(sizeof(*priv), GFP_KERNEL);
1074         if (!priv)
1075                 return -ENOMEM;
1076         memset(priv, 0, sizeof(*priv));
1077         INIT_LIST_HEAD(&priv->list);
1078         INIT_LIST_HEAD(&priv->sessions);
1079         spin_lock_init(&priv->session_lock);
1080         priv->iscsi_transport = tt;
1081
1082         priv->cdev.class = &iscsi_transport_class;
1083         snprintf(priv->cdev.class_id, BUS_ID_SIZE, "%s", tt->name);
1084         err = class_device_register(&priv->cdev);
1085         if (err)
1086                 goto free_priv;
1087
1088         err = sysfs_create_group(&priv->cdev.kobj, &iscsi_transport_group);
1089         if (err)
1090                 goto unregister_cdev;
1091
1092         /* setup parameters mask */
1093         priv->param_mask = 0xFFFFFFFF;
1094         if (!(tt->caps & CAP_MULTI_R2T))
1095                 priv->param_mask &= ~(1 << ISCSI_PARAM_MAX_R2T);
1096         if (!(tt->caps & CAP_HDRDGST))
1097                 priv->param_mask &= ~(1 << ISCSI_PARAM_HDRDGST_EN);
1098         if (!(tt->caps & CAP_DATADGST))
1099                 priv->param_mask &= ~(1 << ISCSI_PARAM_DATADGST_EN);
1100         if (!(tt->caps & CAP_MARKERS)) {
1101                 priv->param_mask &= ~(1 << ISCSI_PARAM_IFMARKER_EN);
1102                 priv->param_mask &= ~(1 << ISCSI_PARAM_OFMARKER_EN);
1103         }
1104
1105         /* connection parameters */
1106         priv->conn_cont.ac.attrs = &priv->conn_attrs[0];
1107         priv->conn_cont.ac.class = &iscsi_connection_class.class;
1108         priv->conn_cont.ac.match = iscsi_conn_match;
1109         transport_container_register(&priv->conn_cont);
1110
1111         SETUP_CONN_RD_ATTR(max_recv_dlength, ISCSI_PARAM_MAX_RECV_DLENGTH);
1112         SETUP_CONN_RD_ATTR(max_xmit_dlength, ISCSI_PARAM_MAX_XMIT_DLENGTH);
1113         SETUP_CONN_RD_ATTR(header_digest, ISCSI_PARAM_HDRDGST_EN);
1114         SETUP_CONN_RD_ATTR(data_digest, ISCSI_PARAM_DATADGST_EN);
1115         SETUP_CONN_RD_ATTR(ifmarker, ISCSI_PARAM_IFMARKER_EN);
1116         SETUP_CONN_RD_ATTR(ofmarker, ISCSI_PARAM_OFMARKER_EN);
1117
1118         BUG_ON(count > ISCSI_CONN_ATTRS);
1119         priv->conn_attrs[count] = NULL;
1120         count = 0;
1121
1122         /* session parameters */
1123         priv->session_cont.ac.attrs = &priv->session_attrs[0];
1124         priv->session_cont.ac.class = &iscsi_session_class.class;
1125         priv->session_cont.ac.match = iscsi_session_match;
1126         transport_container_register(&priv->session_cont);
1127
1128         SETUP_SESSION_RD_ATTR(initial_r2t, ISCSI_PARAM_INITIAL_R2T_EN);
1129         SETUP_SESSION_RD_ATTR(max_outstanding_r2t, ISCSI_PARAM_MAX_R2T);
1130         SETUP_SESSION_RD_ATTR(immediate_data, ISCSI_PARAM_IMM_DATA_EN);
1131         SETUP_SESSION_RD_ATTR(first_burst_len, ISCSI_PARAM_FIRST_BURST);
1132         SETUP_SESSION_RD_ATTR(max_burst_len, ISCSI_PARAM_MAX_BURST);
1133         SETUP_SESSION_RD_ATTR(data_pdu_in_order, ISCSI_PARAM_PDU_INORDER_EN);
1134         SETUP_SESSION_RD_ATTR(data_seq_in_order,ISCSI_PARAM_DATASEQ_INORDER_EN)
1135         SETUP_SESSION_RD_ATTR(erl, ISCSI_PARAM_ERL);
1136
1137         BUG_ON(count > ISCSI_SESSION_ATTRS);
1138         priv->session_attrs[count] = NULL;
1139
1140         spin_lock_irqsave(&iscsi_transport_lock, flags);
1141         list_add(&priv->list, &iscsi_transports);
1142         spin_unlock_irqrestore(&iscsi_transport_lock, flags);
1143
1144         printk(KERN_NOTICE "iscsi: registered transport (%s)\n", tt->name);
1145         return 0;
1146
1147 unregister_cdev:
1148         class_device_unregister(&priv->cdev);
1149 free_priv:
1150         kfree(priv);
1151         return err;
1152 }
1153 EXPORT_SYMBOL_GPL(iscsi_register_transport);
1154
1155 int iscsi_unregister_transport(struct iscsi_transport *tt)
1156 {
1157         struct iscsi_internal *priv;
1158         unsigned long flags;
1159
1160         BUG_ON(!tt);
1161
1162         down(&rx_queue_sema);
1163
1164         priv = iscsi_if_transport_lookup(tt);
1165         BUG_ON (!priv);
1166
1167         spin_lock_irqsave(&priv->session_lock, flags);
1168         if (!list_empty(&priv->sessions)) {
1169                 spin_unlock_irqrestore(&priv->session_lock, flags);
1170                 up(&rx_queue_sema);
1171                 return -EPERM;
1172         }
1173         spin_unlock_irqrestore(&priv->session_lock, flags);
1174
1175         spin_lock_irqsave(&iscsi_transport_lock, flags);
1176         list_del(&priv->list);
1177         spin_unlock_irqrestore(&iscsi_transport_lock, flags);
1178
1179         transport_container_unregister(&priv->conn_cont);
1180         transport_container_unregister(&priv->session_cont);
1181
1182         sysfs_remove_group(&priv->cdev.kobj, &iscsi_transport_group);
1183         class_device_unregister(&priv->cdev);
1184         up(&rx_queue_sema);
1185
1186         return 0;
1187 }
1188 EXPORT_SYMBOL_GPL(iscsi_unregister_transport);
1189
1190 static int
1191 iscsi_rcv_nl_event(struct notifier_block *this, unsigned long event, void *ptr)
1192 {
1193         struct netlink_notify *n = ptr;
1194
1195         if (event == NETLINK_URELEASE &&
1196             n->protocol == NETLINK_ISCSI && n->pid) {
1197                 struct iscsi_if_conn *conn;
1198                 unsigned long flags;
1199
1200                 mempool_zone_complete(&z_reply);
1201                 spin_lock_irqsave(&connlock, flags);
1202                 list_for_each_entry(conn, &connlist, conn_list) {
1203                         mempool_zone_complete(&conn->z_error);
1204                         mempool_zone_complete(&conn->z_pdu);
1205                 }
1206                 spin_unlock_irqrestore(&connlock, flags);
1207         }
1208
1209         return NOTIFY_DONE;
1210 }
1211
1212 static struct notifier_block iscsi_nl_notifier = {
1213         .notifier_call  = iscsi_rcv_nl_event,
1214 };
1215
1216 static __init int iscsi_transport_init(void)
1217 {
1218         int err;
1219
1220         err = class_register(&iscsi_transport_class);
1221         if (err)
1222                 return err;
1223
1224         err = transport_class_register(&iscsi_connection_class);
1225         if (err)
1226                 goto unregister_transport_class;
1227
1228         err = transport_class_register(&iscsi_session_class);
1229         if (err)
1230                 goto unregister_conn_class;
1231
1232         err = netlink_register_notifier(&iscsi_nl_notifier);
1233         if (err)
1234                 goto unregister_session_class;
1235
1236         nls = netlink_kernel_create(NETLINK_ISCSI, 1, iscsi_if_rx,
1237                                     THIS_MODULE);
1238         if (!nls) {
1239                 err = -ENOBUFS;
1240                 goto unregister_notifier;
1241         }
1242
1243         err = mempool_zone_init(&z_reply, Z_MAX_REPLY,
1244                 NLMSG_SPACE(sizeof(struct iscsi_uevent)), Z_HIWAT_REPLY);
1245         if (!err)
1246                 return 0;
1247
1248         sock_release(nls->sk_socket);
1249 unregister_notifier:
1250         netlink_unregister_notifier(&iscsi_nl_notifier);
1251 unregister_session_class:
1252         transport_class_unregister(&iscsi_session_class);
1253 unregister_conn_class:
1254         transport_class_unregister(&iscsi_connection_class);
1255 unregister_transport_class:
1256         class_unregister(&iscsi_transport_class);
1257         return err;
1258 }
1259
1260 static void __exit iscsi_transport_exit(void)
1261 {
1262         mempool_destroy(z_reply.pool);
1263         sock_release(nls->sk_socket);
1264         netlink_unregister_notifier(&iscsi_nl_notifier);
1265         transport_class_unregister(&iscsi_connection_class);
1266         transport_class_unregister(&iscsi_session_class);
1267         class_unregister(&iscsi_transport_class);
1268 }
1269
1270 module_init(iscsi_transport_init);
1271 module_exit(iscsi_transport_exit);
1272
1273 MODULE_AUTHOR("Mike Christie <michaelc@cs.wisc.edu>, "
1274               "Dmitry Yusupov <dmitry_yus@yahoo.com>, "
1275               "Alex Aizman <itn780@yahoo.com>");
1276 MODULE_DESCRIPTION("iSCSI Transport Interface");
1277 MODULE_LICENSE("GPL");