drivers/rapidio/rio.c

   1 /*
   2  * RapidIO interconnect services
   3  * (RapidIO Interconnect Specification, http://www.rapidio.org)
   4  *
   5  * Copyright 2005 MontaVista Software, Inc.
   6  * Matt Porter <mporter@kernel.crashing.org>
   7  *
   8  * Copyright 2009 Integrated Device Technology, Inc.
   9  * Alex Bounine <alexandre.bounine@idt.com>
  10  * - Added Port-Write/Error Management initialization and handling
  11  *
  12  * This program is free software; you can redistribute  it and/or modify it
  13  * under  the terms of  the GNU General  Public License as published by the
  14  * Free Software Foundation;  either version 2 of the  License, or (at your
  15  * option) any later version.
  16  */
  17
  18 #include <linux/types.h>
  19 #include <linux/kernel.h>
  20
  21 #include <linux/delay.h>
  22 #include <linux/init.h>
  23 #include <linux/rio.h>
  24 #include <linux/rio_drv.h>
  25 #include <linux/rio_ids.h>
  26 #include <linux/rio_regs.h>
  27 #include <linux/module.h>
  28 #include <linux/spinlock.h>
  29 #include <linux/slab.h>
  30 #include <linux/interrupt.h>
  31
  32 #include "rio.h"
  33
  34 static LIST_HEAD(rio_mports);
  35
  36 /**
  37  * rio_local_get_device_id - Get the base/extended device id for a port
  38  * @port: RIO master port from which to get the deviceid
  39  *
  40  * Reads the base/extended device id from the local device
  41  * implementing the master port. Returns the 8/16-bit device
  42  * id.
  43  */
  44 u16 rio_local_get_device_id(struct rio_mport *port)
  45 {
  46         u32 result;
  47
  48         rio_local_read_config_32(port, RIO_DID_CSR, &result);
  49
  50         return (RIO_GET_DID(port->sys_size, result));
  51 }
  52
  53 /**
  54  * rio_request_inb_mbox - request inbound mailbox service
  55  * @mport: RIO master port from which to allocate the mailbox resource
  56  * @dev_id: Device specific pointer to pass on event
  57  * @mbox: Mailbox number to claim
  58  * @entries: Number of entries in inbound mailbox queue
  59  * @minb: Callback to execute when inbound message is received
  60  *
  61  * Requests ownership of an inbound mailbox resource and binds
  62  * a callback function to the resource. Returns %0 on success.
  63  */
  64 int rio_request_inb_mbox(struct rio_mport *mport,
  65                          void *dev_id,
  66                          int mbox,
  67                          int entries,
  68                          void (*minb) (struct rio_mport * mport, void *dev_id, int mbox,
  69                                        int slot))
  70 {
  71         int rc = 0;
  72
  73         struct resource *res = kmalloc(sizeof(struct resource), GFP_KERNEL);
  74
  75         if (res) {
  76                 rio_init_mbox_res(res, mbox, mbox);
  77
  78                 /* Make sure this mailbox isn't in use */
  79                 if ((rc =
  80                      request_resource(&mport->riores[RIO_INB_MBOX_RESOURCE],
  81                                       res)) < 0) {
  82                         kfree(res);
  83                         goto out;
  84                 }
  85
  86                 mport->inb_msg[mbox].res = res;
  87
  88                 /* Hook the inbound message callback */
  89                 mport->inb_msg[mbox].mcback = minb;
  90
  91                 rc = rio_open_inb_mbox(mport, dev_id, mbox, entries);
  92         } else
  93                 rc = -ENOMEM;
  94
  95       out:
  96         return rc;
  97 }
  98
  99 /**
 100  * rio_release_inb_mbox - release inbound mailbox message service
 101  * @mport: RIO master port from which to release the mailbox resource
 102  * @mbox: Mailbox number to release
 103  *
 104  * Releases ownership of an inbound mailbox resource. Returns 0
 105  * if the request has been satisfied.
 106  */
 107 int rio_release_inb_mbox(struct rio_mport *mport, int mbox)
 108 {
 109         rio_close_inb_mbox(mport, mbox);
 110
 111         /* Release the mailbox resource */
 112         return release_resource(mport->inb_msg[mbox].res);
 113 }
 114
 115 /**
 116  * rio_request_outb_mbox - request outbound mailbox service
 117  * @mport: RIO master port from which to allocate the mailbox resource
 118  * @dev_id: Device specific pointer to pass on event
 119  * @mbox: Mailbox number to claim
 120  * @entries: Number of entries in outbound mailbox queue
 121  * @moutb: Callback to execute when outbound message is sent
 122  *
 123  * Requests ownership of an outbound mailbox resource and binds
 124  * a callback function to the resource. Returns 0 on success.
 125  */
 126 int rio_request_outb_mbox(struct rio_mport *mport,
 127                           void *dev_id,
 128                           int mbox,
 129                           int entries,
 130                           void (*moutb) (struct rio_mport * mport, void *dev_id, int mbox, int slot))
 131 {
 132         int rc = 0;
 133
 134         struct resource *res = kmalloc(sizeof(struct resource), GFP_KERNEL);
 135
 136         if (res) {
 137                 rio_init_mbox_res(res, mbox, mbox);
 138
 139                 /* Make sure this outbound mailbox isn't in use */
 140                 if ((rc =
 141                      request_resource(&mport->riores[RIO_OUTB_MBOX_RESOURCE],
 142                                       res)) < 0) {
 143                         kfree(res);
 144                         goto out;
 145                 }
 146
 147                 mport->outb_msg[mbox].res = res;
 148
 149                 /* Hook the inbound message callback */
 150                 mport->outb_msg[mbox].mcback = moutb;
 151
 152                 rc = rio_open_outb_mbox(mport, dev_id, mbox, entries);
 153         } else
 154                 rc = -ENOMEM;
 155
 156       out:
 157         return rc;
 158 }
 159
 160 /**
 161  * rio_release_outb_mbox - release outbound mailbox message service
 162  * @mport: RIO master port from which to release the mailbox resource
 163  * @mbox: Mailbox number to release
 164  *
 165  * Releases ownership of an inbound mailbox resource. Returns 0
 166  * if the request has been satisfied.
 167  */
 168 int rio_release_outb_mbox(struct rio_mport *mport, int mbox)
 169 {
 170         rio_close_outb_mbox(mport, mbox);
 171
 172         /* Release the mailbox resource */
 173         return release_resource(mport->outb_msg[mbox].res);
 174 }
 175
 176 /**
 177  * rio_setup_inb_dbell - bind inbound doorbell callback
 178  * @mport: RIO master port to bind the doorbell callback
 179  * @dev_id: Device specific pointer to pass on event
 180  * @res: Doorbell message resource
 181  * @dinb: Callback to execute when doorbell is received
 182  *
 183  * Adds a doorbell resource/callback pair into a port's
 184  * doorbell event list. Returns 0 if the request has been
 185  * satisfied.
 186  */
 187 static int
 188 rio_setup_inb_dbell(struct rio_mport *mport, void *dev_id, struct resource *res,
 189                     void (*dinb) (struct rio_mport * mport, void *dev_id, u16 src, u16 dst,
 190                                   u16 info))
 191 {
 192         int rc = 0;
 193         struct rio_dbell *dbell;
 194
 195         if (!(dbell = kmalloc(sizeof(struct rio_dbell), GFP_KERNEL))) {
 196                 rc = -ENOMEM;
 197                 goto out;
 198         }
 199
 200         dbell->res = res;
 201         dbell->dinb = dinb;
 202         dbell->dev_id = dev_id;
 203
 204         list_add_tail(&dbell->node, &mport->dbells);
 205
 206       out:
 207         return rc;
 208 }
 209
 210 /**
 211  * rio_request_inb_dbell - request inbound doorbell message service
 212  * @mport: RIO master port from which to allocate the doorbell resource
 213  * @dev_id: Device specific pointer to pass on event
 214  * @start: Doorbell info range start
 215  * @end: Doorbell info range end
 216  * @dinb: Callback to execute when doorbell is received
 217  *
 218  * Requests ownership of an inbound doorbell resource and binds
 219  * a callback function to the resource. Returns 0 if the request
 220  * has been satisfied.
 221  */
 222 int rio_request_inb_dbell(struct rio_mport *mport,
 223                           void *dev_id,
 224                           u16 start,
 225                           u16 end,
 226                           void (*dinb) (struct rio_mport * mport, void *dev_id, u16 src,
 227                                         u16 dst, u16 info))
 228 {
 229         int rc = 0;
 230
 231         struct resource *res = kmalloc(sizeof(struct resource), GFP_KERNEL);
 232
 233         if (res) {
 234                 rio_init_dbell_res(res, start, end);
 235
 236                 /* Make sure these doorbells aren't in use */
 237                 if ((rc =
 238                      request_resource(&mport->riores[RIO_DOORBELL_RESOURCE],
 239                                       res)) < 0) {
 240                         kfree(res);
 241                         goto out;
 242                 }
 243
 244                 /* Hook the doorbell callback */
 245                 rc = rio_setup_inb_dbell(mport, dev_id, res, dinb);
 246         } else
 247                 rc = -ENOMEM;
 248
 249       out:
 250         return rc;
 251 }
 252
 253 /**
 254  * rio_release_inb_dbell - release inbound doorbell message service
 255  * @mport: RIO master port from which to release the doorbell resource
 256  * @start: Doorbell info range start
 257  * @end: Doorbell info range end
 258  *
 259  * Releases ownership of an inbound doorbell resource and removes
 260  * callback from the doorbell event list. Returns 0 if the request
 261  * has been satisfied.
 262  */
 263 int rio_release_inb_dbell(struct rio_mport *mport, u16 start, u16 end)
 264 {
 265         int rc = 0, found = 0;
 266         struct rio_dbell *dbell;
 267
 268         list_for_each_entry(dbell, &mport->dbells, node) {
 269                 if ((dbell->res->start == start) && (dbell->res->end == end)) {
 270                         found = 1;
 271                         break;
 272                 }
 273         }
 274
 275         /* If we can't find an exact match, fail */
 276         if (!found) {
 277                 rc = -EINVAL;
 278                 goto out;
 279         }
 280
 281         /* Delete from list */
 282         list_del(&dbell->node);
 283
 284         /* Release the doorbell resource */
 285         rc = release_resource(dbell->res);
 286
 287         /* Free the doorbell event */
 288         kfree(dbell);
 289
 290       out:
 291         return rc;
 292 }
 293
 294 /**
 295  * rio_request_outb_dbell - request outbound doorbell message range
 296  * @rdev: RIO device from which to allocate the doorbell resource
 297  * @start: Doorbell message range start
 298  * @end: Doorbell message range end
 299  *
 300  * Requests ownership of a doorbell message range. Returns a resource
 301  * if the request has been satisfied or %NULL on failure.
 302  */
 303 struct resource *rio_request_outb_dbell(struct rio_dev *rdev, u16 start,
 304                                         u16 end)
 305 {
 306         struct resource *res = kmalloc(sizeof(struct resource), GFP_KERNEL);
 307
 308         if (res) {
 309                 rio_init_dbell_res(res, start, end);
 310
 311                 /* Make sure these doorbells aren't in use */
 312                 if (request_resource(&rdev->riores[RIO_DOORBELL_RESOURCE], res)
 313                     < 0) {
 314                         kfree(res);
 315                         res = NULL;
 316                 }
 317         }
 318
 319         return res;
 320 }
 321
 322 /**
 323  * rio_release_outb_dbell - release outbound doorbell message range
 324  * @rdev: RIO device from which to release the doorbell resource
 325  * @res: Doorbell resource to be freed
 326  *
 327  * Releases ownership of a doorbell message range. Returns 0 if the
 328  * request has been satisfied.
 329  */
 330 int rio_release_outb_dbell(struct rio_dev *rdev, struct resource *res)
 331 {
 332         int rc = release_resource(res);
 333
 334         kfree(res);
 335
 336         return rc;
 337 }
 338
 339 /**
 340  * rio_request_inb_pwrite - request inbound port-write message service
 341  * @rdev: RIO device to which register inbound port-write callback routine
 342  * @pwcback: Callback routine to execute when port-write is received
 343  *
 344  * Binds a port-write callback function to the RapidIO device.
 345  * Returns 0 if the request has been satisfied.
 346  */
 347 int rio_request_inb_pwrite(struct rio_dev *rdev,
 348         int (*pwcback)(struct rio_dev *rdev, union rio_pw_msg *msg, int step))
 349 {
 350         int rc = 0;
 351
 352         spin_lock(&rio_global_list_lock);
 353         if (rdev->pwcback != NULL)
 354                 rc = -ENOMEM;
 355         else
 356                 rdev->pwcback = pwcback;
 357
 358         spin_unlock(&rio_global_list_lock);
 359         return rc;
 360 }
 361 EXPORT_SYMBOL_GPL(rio_request_inb_pwrite);
 362
 363 /**
 364  * rio_release_inb_pwrite - release inbound port-write message service
 365  * @rdev: RIO device which registered for inbound port-write callback
 366  *
 367  * Removes callback from the rio_dev structure. Returns 0 if the request
 368  * has been satisfied.
 369  */
 370 int rio_release_inb_pwrite(struct rio_dev *rdev)
 371 {
 372         int rc = -ENOMEM;
 373
 374         spin_lock(&rio_global_list_lock);
 375         if (rdev->pwcback) {
 376                 rdev->pwcback = NULL;
 377                 rc = 0;
 378         }
 379
 380         spin_unlock(&rio_global_list_lock);
 381         return rc;
 382 }
 383 EXPORT_SYMBOL_GPL(rio_release_inb_pwrite);
 384
 385 /**
 386  * rio_mport_get_physefb - Helper function that returns register offset
 387  *                      for Physical Layer Extended Features Block.
 388  * @port: Master port to issue transaction
 389  * @local: Indicate a local master port or remote device access
 390  * @destid: Destination ID of the device
 391  * @hopcount: Number of switch hops to the device
 392  */
 393 u32
 394 rio_mport_get_physefb(struct rio_mport *port, int local,
 395                       u16 destid, u8 hopcount)
 396 {
 397         u32 ext_ftr_ptr;
 398         u32 ftr_header;
 399
 400         ext_ftr_ptr = rio_mport_get_efb(port, local, destid, hopcount, 0);
 401
 402         while (ext_ftr_ptr)  {
 403                 if (local)
 404                         rio_local_read_config_32(port, ext_ftr_ptr,
 405                                                  &ftr_header);
 406                 else
 407                         rio_mport_read_config_32(port, destid, hopcount,
 408                                                  ext_ftr_ptr, &ftr_header);
 409
 410                 ftr_header = RIO_GET_BLOCK_ID(ftr_header);
 411                 switch (ftr_header) {
 412
 413                 case RIO_EFB_SER_EP_ID_V13P:
 414                 case RIO_EFB_SER_EP_REC_ID_V13P:
 415                 case RIO_EFB_SER_EP_FREE_ID_V13P:
 416                 case RIO_EFB_SER_EP_ID:
 417                 case RIO_EFB_SER_EP_REC_ID:
 418                 case RIO_EFB_SER_EP_FREE_ID:
 419                 case RIO_EFB_SER_EP_FREC_ID:
 420
 421                         return ext_ftr_ptr;
 422
 423                 default:
 424                         break;
 425                 }
 426
 427                 ext_ftr_ptr = rio_mport_get_efb(port, local, destid,
 428                                                 hopcount, ext_ftr_ptr);
 429         }
 430
 431         return ext_ftr_ptr;
 432 }
 433
 434 /**
 435  * rio_get_comptag - Begin or continue searching for a RIO device by component tag
 436  * @comp_tag: RIO component tag to match
 437  * @from: Previous RIO device found in search, or %NULL for new search
 438  *
 439  * Iterates through the list of known RIO devices. If a RIO device is
 440  * found with a matching @comp_tag, a pointer to its device
 441  * structure is returned. Otherwise, %NULL is returned. A new search
 442  * is initiated by passing %NULL to the @from argument. Otherwise, if
 443  * @from is not %NULL, searches continue from next device on the global
 444  * list.
 445  */
 446 static struct rio_dev *rio_get_comptag(u32 comp_tag, struct rio_dev *from)
 447 {
 448         struct list_head *n;
 449         struct rio_dev *rdev;
 450
 451         spin_lock(&rio_global_list_lock);
 452         n = from ? from->global_list.next : rio_devices.next;
 453
 454         while (n && (n != &rio_devices)) {
 455                 rdev = rio_dev_g(n);
 456                 if (rdev->comp_tag == comp_tag)
 457                         goto exit;
 458                 n = n->next;
 459         }
 460         rdev = NULL;
 461 exit:
 462         spin_unlock(&rio_global_list_lock);
 463         return rdev;
 464 }
 465
 466 /**
 467  * rio_set_port_lockout - Sets/clears LOCKOUT bit (RIO EM 1.3) for a switch port.
 468  * @rdev: Pointer to RIO device control structure
 469  * @pnum: Switch port number to set LOCKOUT bit
 470  * @lock: Operation : set (=1) or clear (=0)
 471  */
 472 int rio_set_port_lockout(struct rio_dev *rdev, u32 pnum, int lock)
 473 {
 474         u8 hopcount = 0xff;
 475         u16 destid = rdev->destid;
 476         u32 regval;
 477
 478         if (rdev->rswitch) {
 479                 destid = rdev->rswitch->destid;
 480                 hopcount = rdev->rswitch->hopcount;
 481         }
 482
 483         rio_mport_read_config_32(rdev->net->hport, destid, hopcount,
 484                                  rdev->phys_efptr + RIO_PORT_N_CTL_CSR(pnum),
 485                                  &regval);
 486         if (lock)
 487                 regval |= RIO_PORT_N_CTL_LOCKOUT;
 488         else
 489                 regval &= ~RIO_PORT_N_CTL_LOCKOUT;
 490
 491         rio_mport_write_config_32(rdev->net->hport, destid, hopcount,
 492                                   rdev->phys_efptr + RIO_PORT_N_CTL_CSR(pnum),
 493                                   regval);
 494         return 0;
 495 }
 496
 497 /**
 498  * rio_chk_dev_route - Validate route to the specified device.
 499  * @rdev:  RIO device failed to respond
 500  * @nrdev: Last active device on the route to rdev
 501  * @npnum: nrdev's port number on the route to rdev
 502  *
 503  * Follows a route to the specified RIO device to determine the last available
 504  * device (and corresponding RIO port) on the route.
 505  */
 506 static int
 507 rio_chk_dev_route(struct rio_dev *rdev, struct rio_dev **nrdev, int *npnum)
 508 {
 509         u32 result;
 510         int p_port, rc = -EIO;
 511         struct rio_dev *prev = NULL;
 512
 513         /* Find switch with failed RIO link */
 514         while (rdev->prev && (rdev->prev->pef & RIO_PEF_SWITCH)) {
 515                 if (!rio_read_config_32(rdev->prev, RIO_DEV_ID_CAR, &result)) {
 516                         prev = rdev->prev;
 517                         break;
 518                 }
 519                 rdev = rdev->prev;
 520         }
 521
 522         if (prev == NULL)
 523                 goto err_out;
 524
 525         /* Find port with failed RIO link */
 526         for (p_port = 0;
 527              p_port < RIO_GET_TOTAL_PORTS(prev->swpinfo); p_port++)
 528                 if (prev->rswitch->nextdev[p_port] == rdev)
 529                         break;
 530
 531         if (p_port < RIO_GET_TOTAL_PORTS(prev->swpinfo)) {
 532                 pr_debug("RIO: link failed on [%s]-P%d\n",
 533                          rio_name(prev), p_port);
 534                 *nrdev = prev;
 535                 *npnum = p_port;
 536                 rc = 0;
 537         } else
 538                 pr_debug("RIO: failed to trace route to %s\n", rio_name(prev));
 539 err_out:
 540         return rc;
 541 }
 542
 543 /**
 544  * rio_mport_chk_dev_access - Validate access to the specified device.
 545  * @mport: Master port to send transactions
 546  * @destid: Device destination ID in network
 547  * @hopcount: Number of hops into the network
 548  */
 549 int
 550 rio_mport_chk_dev_access(struct rio_mport *mport, u16 destid, u8 hopcount)
 551 {
 552         int i = 0;
 553         u32 tmp;
 554
 555         while (rio_mport_read_config_32(mport, destid, hopcount,
 556                                         RIO_DEV_ID_CAR, &tmp)) {
 557                 i++;
 558                 if (i == RIO_MAX_CHK_RETRY)
 559                         return -EIO;
 560                 mdelay(1);
 561         }
 562
 563         return 0;
 564 }
 565
 566 /**
 567  * rio_chk_dev_access - Validate access to the specified device.
 568  * @rdev: Pointer to RIO device control structure
 569  */
 570 static int rio_chk_dev_access(struct rio_dev *rdev)
 571 {
 572         u8 hopcount = 0xff;
 573         u16 destid = rdev->destid;
 574
 575         if (rdev->rswitch) {
 576                 destid = rdev->rswitch->destid;
 577                 hopcount = rdev->rswitch->hopcount;
 578         }
 579
 580         return rio_mport_chk_dev_access(rdev->net->hport, destid, hopcount);
 581 }
 582
 583 /**
 584  * rio_get_input_status - Sends a Link-Request/Input-Status control symbol and
 585  *                        returns link-response (if requested).
 586  * @rdev: RIO devive to issue Input-status command
 587  * @pnum: Device port number to issue the command
 588  * @lnkresp: Response from a link partner
 589  */
 590 static int
 591 rio_get_input_status(struct rio_dev *rdev, int pnum, u32 *lnkresp)
 592 {
 593         struct rio_mport *mport = rdev->net->hport;
 594         u16 destid = rdev->rswitch->destid;
 595         u8 hopcount = rdev->rswitch->hopcount;
 596         u32 regval;
 597         int checkcount;
 598
 599         if (lnkresp) {
 600                 /* Read from link maintenance response register
 601                  * to clear valid bit */
 602                 rio_mport_read_config_32(mport, destid, hopcount,
 603                         rdev->phys_efptr + RIO_PORT_N_MNT_RSP_CSR(pnum),
 604                         &regval);
 605                 udelay(50);
 606         }
 607
 608         /* Issue Input-status command */
 609         rio_mport_write_config_32(mport, destid, hopcount,
 610                 rdev->phys_efptr + RIO_PORT_N_MNT_REQ_CSR(pnum),
 611                 RIO_MNT_REQ_CMD_IS);
 612
 613         /* Exit if the response is not expected */
 614         if (lnkresp == NULL)
 615                 return 0;
 616
 617         checkcount = 3;
 618         while (checkcount--) {
 619                 udelay(50);
 620                 rio_mport_read_config_32(mport, destid, hopcount,
 621                         rdev->phys_efptr + RIO_PORT_N_MNT_RSP_CSR(pnum),
 622                         &regval);
 623                 if (regval & RIO_PORT_N_MNT_RSP_RVAL) {
 624                         *lnkresp = regval;
 625                         return 0;
 626                 }
 627         }
 628
 629         return -EIO;
 630 }
 631
 632 /**
 633  * rio_clr_err_stopped - Clears port Error-stopped states.
 634  * @rdev: Pointer to RIO device control structure
 635  * @pnum: Switch port number to clear errors
 636  * @err_status: port error status (if 0 reads register from device)
 637  */
 638 static int rio_clr_err_stopped(struct rio_dev *rdev, u32 pnum, u32 err_status)
 639 {
 640         struct rio_mport *mport = rdev->net->hport;
 641         u16 destid = rdev->rswitch->destid;
 642         u8 hopcount = rdev->rswitch->hopcount;
 643         struct rio_dev *nextdev = rdev->rswitch->nextdev[pnum];
 644         u32 regval;
 645         u32 far_ackid, far_linkstat, near_ackid;
 646
 647         if (err_status == 0)
 648                 rio_mport_read_config_32(mport, destid, hopcount,
 649                         rdev->phys_efptr + RIO_PORT_N_ERR_STS_CSR(pnum),
 650                         &err_status);
 651
 652         if (err_status & RIO_PORT_N_ERR_STS_PW_OUT_ES) {
 653                 pr_debug("RIO_EM: servicing Output Error-Stopped state\n");
 654                 /*
 655                  * Send a Link-Request/Input-Status control symbol
 656                  */
 657                 if (rio_get_input_status(rdev, pnum, &regval)) {
 658                         pr_debug("RIO_EM: Input-status response timeout\n");
 659                         goto rd_err;
 660                 }
 661
 662                 pr_debug("RIO_EM: SP%d Input-status response=0x%08x\n",
 663                          pnum, regval);
 664                 far_ackid = (regval & RIO_PORT_N_MNT_RSP_ASTAT) >> 5;
 665                 far_linkstat = regval & RIO_PORT_N_MNT_RSP_LSTAT;
 666                 rio_mport_read_config_32(mport, destid, hopcount,
 667                         rdev->phys_efptr + RIO_PORT_N_ACK_STS_CSR(pnum),
 668                         &regval);
 669                 pr_debug("RIO_EM: SP%d_ACK_STS_CSR=0x%08x\n", pnum, regval);
 670                 near_ackid = (regval & RIO_PORT_N_ACK_INBOUND) >> 24;
 671                 pr_debug("RIO_EM: SP%d far_ackID=0x%02x far_linkstat=0x%02x" \
 672                          " near_ackID=0x%02x\n",
 673                         pnum, far_ackid, far_linkstat, near_ackid);
 674
 675                 /*
 676                  * If required, synchronize ackIDs of near and
 677                  * far sides.
 678                  */
 679                 if ((far_ackid != ((regval & RIO_PORT_N_ACK_OUTSTAND) >> 8)) ||
 680                     (far_ackid != (regval & RIO_PORT_N_ACK_OUTBOUND))) {
 681                         /* Align near outstanding/outbound ackIDs with
 682                          * far inbound.
 683                          */
 684                         rio_mport_write_config_32(mport, destid,
 685                                 hopcount, rdev->phys_efptr +
 686                                         RIO_PORT_N_ACK_STS_CSR(pnum),
 687                                 (near_ackid << 24) |
 688                                         (far_ackid << 8) | far_ackid);
 689                         /* Align far outstanding/outbound ackIDs with
 690                          * near inbound.
 691                          */
 692                         far_ackid++;
 693                         if (nextdev)
 694                                 rio_write_config_32(nextdev,
 695                                         nextdev->phys_efptr +
 696                                         RIO_PORT_N_ACK_STS_CSR(RIO_GET_PORT_NUM(nextdev->swpinfo)),
 697                                         (far_ackid << 24) |
 698                                         (near_ackid << 8) | near_ackid);
 699                         else
 700                                 pr_debug("RIO_EM: Invalid nextdev pointer (NULL)\n");
 701                 }
 702 rd_err:
 703                 rio_mport_read_config_32(mport, destid, hopcount,
 704                         rdev->phys_efptr + RIO_PORT_N_ERR_STS_CSR(pnum),
 705                         &err_status);
 706                 pr_debug("RIO_EM: SP%d_ERR_STS_CSR=0x%08x\n", pnum, err_status);
 707         }
 708
 709         if ((err_status & RIO_PORT_N_ERR_STS_PW_INP_ES) && nextdev) {
 710                 pr_debug("RIO_EM: servicing Input Error-Stopped state\n");
 711                 rio_get_input_status(nextdev,
 712                                      RIO_GET_PORT_NUM(nextdev->swpinfo), NULL);
 713                 udelay(50);
 714
 715                 rio_mport_read_config_32(mport, destid, hopcount,
 716                         rdev->phys_efptr + RIO_PORT_N_ERR_STS_CSR(pnum),
 717                         &err_status);
 718                 pr_debug("RIO_EM: SP%d_ERR_STS_CSR=0x%08x\n", pnum, err_status);
 719         }
 720
 721         return (err_status & (RIO_PORT_N_ERR_STS_PW_OUT_ES |
 722                               RIO_PORT_N_ERR_STS_PW_INP_ES)) ? 1 : 0;
 723 }
 724
 725 /**
 726  * rio_inb_pwrite_handler - process inbound port-write message
 727  * @pw_msg: pointer to inbound port-write message
 728  *
 729  * Processes an inbound port-write message. Returns 0 if the request
 730  * has been satisfied.
 731  */
 732 int rio_inb_pwrite_handler(union rio_pw_msg *pw_msg)
 733 {
 734         struct rio_dev *rdev;
 735         struct rio_mport *mport;
 736         u8 hopcount;
 737         u16 destid;
 738         u32 err_status, em_perrdet, em_ltlerrdet;
 739         int rc, portnum;
 740
 741         rdev = rio_get_comptag(pw_msg->em.comptag, NULL);
 742         if (rdev == NULL) {
 743                 /* Device removed or enumeration error */
 744                 pr_debug("RIO: %s No matching device for CTag 0x%08x\n",
 745                         __func__, pw_msg->em.comptag);
 746                 return -EIO;
 747         }
 748
 749         pr_debug("RIO: Port-Write message from %s\n", rio_name(rdev));
 750
 751 #ifdef DEBUG_PW
 752         {
 753         u32 i;
 754         for (i = 0; i < RIO_PW_MSG_SIZE/sizeof(u32);) {
 755                         pr_debug("0x%02x: %08x %08x %08x %08x\n",
 756                                  i*4, pw_msg->raw[i], pw_msg->raw[i + 1],
 757                                  pw_msg->raw[i + 2], pw_msg->raw[i + 3]);
 758                         i += 4;
 759         }
 760         }
 761 #endif
 762
 763         /* Call an external service function (if such is registered
 764          * for this device). This may be the service for endpoints that send
 765          * device-specific port-write messages. End-point messages expected
 766          * to be handled completely by EP specific device driver.
 767          * For switches rc==0 signals that no standard processing required.
 768          */
 769         if (rdev->pwcback != NULL) {
 770                 rc = rdev->pwcback(rdev, pw_msg, 0);
 771                 if (rc == 0)
 772                         return 0;
 773         }
 774
 775         portnum = pw_msg->em.is_port & 0xFF;
 776
 777         /* Check if device and route to it are functional:
 778          * Sometimes devices may send PW message(s) just before being
 779          * powered down (or link being lost).
 780          */
 781         if (rio_chk_dev_access(rdev)) {
 782                 pr_debug("RIO: device access failed - get link partner\n");
 783                 /* Scan route to the device and identify failed link.
 784                  * This will replace device and port reported in PW message.
 785                  * PW message should not be used after this point.
 786                  */
 787                 if (rio_chk_dev_route(rdev, &rdev, &portnum)) {
 788                         pr_err("RIO: Route trace for %s failed\n",
 789                                 rio_name(rdev));
 790                         return -EIO;
 791                 }
 792                 pw_msg = NULL;
 793         }
 794
 795         /* For End-point devices processing stops here */
 796         if (!(rdev->pef & RIO_PEF_SWITCH))
 797                 return 0;
 798
 799         if (rdev->phys_efptr == 0) {
 800                 pr_err("RIO_PW: Bad switch initialization for %s\n",
 801                         rio_name(rdev));
 802                 return 0;
 803         }
 804
 805         mport = rdev->net->hport;
 806         destid = rdev->rswitch->destid;
 807         hopcount = rdev->rswitch->hopcount;
 808
 809         /*
 810          * Process the port-write notification from switch
 811          */
 812         if (rdev->rswitch->em_handle)
 813                 rdev->rswitch->em_handle(rdev, portnum);
 814
 815         rio_mport_read_config_32(mport, destid, hopcount,
 816                         rdev->phys_efptr + RIO_PORT_N_ERR_STS_CSR(portnum),
 817                         &err_status);
 818         pr_debug("RIO_PW: SP%d_ERR_STS_CSR=0x%08x\n", portnum, err_status);
 819
 820         if (err_status & RIO_PORT_N_ERR_STS_PORT_OK) {
 821
 822                 if (!(rdev->rswitch->port_ok & (1 << portnum))) {
 823                         rdev->rswitch->port_ok |= (1 << portnum);
 824                         rio_set_port_lockout(rdev, portnum, 0);
 825                         /* Schedule Insertion Service */
 826                         pr_debug("RIO_PW: Device Insertion on [%s]-P%d\n",
 827                                rio_name(rdev), portnum);
 828                 }
 829
 830                 /* Clear error-stopped states (if reported).
 831                  * Depending on the link partner state, two attempts
 832                  * may be needed for successful recovery.
 833                  */
 834                 if (err_status & (RIO_PORT_N_ERR_STS_PW_OUT_ES |
 835                                   RIO_PORT_N_ERR_STS_PW_INP_ES)) {
 836                         if (rio_clr_err_stopped(rdev, portnum, err_status))
 837                                 rio_clr_err_stopped(rdev, portnum, 0);
 838                 }
 839         }  else { /* if (err_status & RIO_PORT_N_ERR_STS_PORT_UNINIT) */
 840
 841                 if (rdev->rswitch->port_ok & (1 << portnum)) {
 842                         rdev->rswitch->port_ok &= ~(1 << portnum);
 843                         rio_set_port_lockout(rdev, portnum, 1);
 844
 845                         rio_mport_write_config_32(mport, destid, hopcount,
 846                                 rdev->phys_efptr +
 847                                         RIO_PORT_N_ACK_STS_CSR(portnum),
 848                                 RIO_PORT_N_ACK_CLEAR);
 849
 850                         /* Schedule Extraction Service */
 851                         pr_debug("RIO_PW: Device Extraction on [%s]-P%d\n",
 852                                rio_name(rdev), portnum);
 853                 }
 854         }
 855
 856         rio_mport_read_config_32(mport, destid, hopcount,
 857                 rdev->em_efptr + RIO_EM_PN_ERR_DETECT(portnum), &em_perrdet);
 858         if (em_perrdet) {
 859                 pr_debug("RIO_PW: RIO_EM_P%d_ERR_DETECT=0x%08x\n",
 860                          portnum, em_perrdet);
 861                 /* Clear EM Port N Error Detect CSR */
 862                 rio_mport_write_config_32(mport, destid, hopcount,
 863                         rdev->em_efptr + RIO_EM_PN_ERR_DETECT(portnum), 0);
 864         }
 865
 866         rio_mport_read_config_32(mport, destid, hopcount,
 867                 rdev->em_efptr + RIO_EM_LTL_ERR_DETECT, &em_ltlerrdet);
 868         if (em_ltlerrdet) {
 869                 pr_debug("RIO_PW: RIO_EM_LTL_ERR_DETECT=0x%08x\n",
 870                          em_ltlerrdet);
 871                 /* Clear EM L/T Layer Error Detect CSR */
 872                 rio_mport_write_config_32(mport, destid, hopcount,
 873                         rdev->em_efptr + RIO_EM_LTL_ERR_DETECT, 0);
 874         }
 875
 876         /* Clear remaining error bits */
 877         rio_mport_write_config_32(mport, destid, hopcount,
 878                         rdev->phys_efptr + RIO_PORT_N_ERR_STS_CSR(portnum),
 879                         err_status & RIO_PORT_N_ERR_STS_CLR_MASK);
 880
 881         /* Clear Port-Write Pending bit */
 882         rio_mport_write_config_32(mport, destid, hopcount,
 883                         rdev->phys_efptr + RIO_PORT_N_ERR_STS_CSR(portnum),
 884                         RIO_PORT_N_ERR_STS_PW_PEND);
 885
 886         return 0;
 887 }
 888 EXPORT_SYMBOL_GPL(rio_inb_pwrite_handler);
 889
 890 /**
 891  * rio_mport_get_efb - get pointer to next extended features block
 892  * @port: Master port to issue transaction
 893  * @local: Indicate a local master port or remote device access
 894  * @destid: Destination ID of the device
 895  * @hopcount: Number of switch hops to the device
 896  * @from: Offset of  current Extended Feature block header (if 0 starts
 897  * from ExtFeaturePtr)
 898  */
 899 u32
 900 rio_mport_get_efb(struct rio_mport *port, int local, u16 destid,
 901                       u8 hopcount, u32 from)
 902 {
 903         u32 reg_val;
 904
 905         if (from == 0) {
 906                 if (local)
 907                         rio_local_read_config_32(port, RIO_ASM_INFO_CAR,
 908                                                  &reg_val);
 909                 else
 910                         rio_mport_read_config_32(port, destid, hopcount,
 911                                                  RIO_ASM_INFO_CAR, &reg_val);
 912                 return reg_val & RIO_EXT_FTR_PTR_MASK;
 913         } else {
 914                 if (local)
 915                         rio_local_read_config_32(port, from, &reg_val);
 916                 else
 917                         rio_mport_read_config_32(port, destid, hopcount,
 918                                                  from, &reg_val);
 919                 return RIO_GET_BLOCK_ID(reg_val);
 920         }
 921 }
 922
 923 /**
 924  * rio_mport_get_feature - query for devices' extended features
 925  * @port: Master port to issue transaction
 926  * @local: Indicate a local master port or remote device access
 927  * @destid: Destination ID of the device
 928  * @hopcount: Number of switch hops to the device
 929  * @ftr: Extended feature code
 930  *
 931  * Tell if a device supports a given RapidIO capability.
 932  * Returns the offset of the requested extended feature
 933  * block within the device's RIO configuration space or
 934  * 0 in case the device does not support it.  Possible
 935  * values for @ftr:
 936  *
 937  * %RIO_EFB_PAR_EP_ID           LP/LVDS EP Devices
 938  *
 939  * %RIO_EFB_PAR_EP_REC_ID       LP/LVDS EP Recovery Devices
 940  *
 941  * %RIO_EFB_PAR_EP_FREE_ID      LP/LVDS EP Free Devices
 942  *
 943  * %RIO_EFB_SER_EP_ID           LP/Serial EP Devices
 944  *
 945  * %RIO_EFB_SER_EP_REC_ID       LP/Serial EP Recovery Devices
 946  *
 947  * %RIO_EFB_SER_EP_FREE_ID      LP/Serial EP Free Devices
 948  */
 949 u32
 950 rio_mport_get_feature(struct rio_mport * port, int local, u16 destid,
 951                       u8 hopcount, int ftr)
 952 {
 953         u32 asm_info, ext_ftr_ptr, ftr_header;
 954
 955         if (local)
 956                 rio_local_read_config_32(port, RIO_ASM_INFO_CAR, &asm_info);
 957         else
 958                 rio_mport_read_config_32(port, destid, hopcount,
 959                                          RIO_ASM_INFO_CAR, &asm_info);
 960
 961         ext_ftr_ptr = asm_info & RIO_EXT_FTR_PTR_MASK;
 962
 963         while (ext_ftr_ptr) {
 964                 if (local)
 965                         rio_local_read_config_32(port, ext_ftr_ptr,
 966                                                  &ftr_header);
 967                 else
 968                         rio_mport_read_config_32(port, destid, hopcount,
 969                                                  ext_ftr_ptr, &ftr_header);
 970                 if (RIO_GET_BLOCK_ID(ftr_header) == ftr)
 971                         return ext_ftr_ptr;
 972                 if (!(ext_ftr_ptr = RIO_GET_BLOCK_PTR(ftr_header)))
 973                         break;
 974         }
 975
 976         return 0;
 977 }
 978
 979 /**
 980  * rio_get_asm - Begin or continue searching for a RIO device by vid/did/asm_vid/asm_did
 981  * @vid: RIO vid to match or %RIO_ANY_ID to match all vids
 982  * @did: RIO did to match or %RIO_ANY_ID to match all dids
 983  * @asm_vid: RIO asm_vid to match or %RIO_ANY_ID to match all asm_vids
 984  * @asm_did: RIO asm_did to match or %RIO_ANY_ID to match all asm_dids
 985  * @from: Previous RIO device found in search, or %NULL for new search
 986  *
 987  * Iterates through the list of known RIO devices. If a RIO device is
 988  * found with a matching @vid, @did, @asm_vid, @asm_did, the reference
 989  * count to the device is incrememted and a pointer to its device
 990  * structure is returned. Otherwise, %NULL is returned. A new search
 991  * is initiated by passing %NULL to the @from argument. Otherwise, if
 992  * @from is not %NULL, searches continue from next device on the global
 993  * list. The reference count for @from is always decremented if it is
 994  * not %NULL.
 995  */
 996 struct rio_dev *rio_get_asm(u16 vid, u16 did,
 997                             u16 asm_vid, u16 asm_did, struct rio_dev *from)
 998 {
 999         struct list_head *n;
1000         struct rio_dev *rdev;
1001
1002         WARN_ON(in_interrupt());
1003         spin_lock(&rio_global_list_lock);
1004         n = from ? from->global_list.next : rio_devices.next;
1005
1006         while (n && (n != &rio_devices)) {
1007                 rdev = rio_dev_g(n);
1008                 if ((vid == RIO_ANY_ID || rdev->vid == vid) &&
1009                     (did == RIO_ANY_ID || rdev->did == did) &&
1010                     (asm_vid == RIO_ANY_ID || rdev->asm_vid == asm_vid) &&
1011                     (asm_did == RIO_ANY_ID || rdev->asm_did == asm_did))
1012                         goto exit;
1013                 n = n->next;
1014         }
1015         rdev = NULL;
1016       exit:
1017         rio_dev_put(from);
1018         rdev = rio_dev_get(rdev);
1019         spin_unlock(&rio_global_list_lock);
1020         return rdev;
1021 }
1022
1023 /**
1024  * rio_get_device - Begin or continue searching for a RIO device by vid/did
1025  * @vid: RIO vid to match or %RIO_ANY_ID to match all vids
1026  * @did: RIO did to match or %RIO_ANY_ID to match all dids
1027  * @from: Previous RIO device found in search, or %NULL for new search
1028  *
1029  * Iterates through the list of known RIO devices. If a RIO device is
1030  * found with a matching @vid and @did, the reference count to the
1031  * device is incrememted and a pointer to its device structure is returned.
1032  * Otherwise, %NULL is returned. A new search is initiated by passing %NULL
1033  * to the @from argument. Otherwise, if @from is not %NULL, searches
1034  * continue from next device on the global list. The reference count for
1035  * @from is always decremented if it is not %NULL.
1036  */
1037 struct rio_dev *rio_get_device(u16 vid, u16 did, struct rio_dev *from)
1038 {
1039         return rio_get_asm(vid, did, RIO_ANY_ID, RIO_ANY_ID, from);
1040 }
1041
1042 /**
1043  * rio_std_route_add_entry - Add switch route table entry using standard
1044  *   registers defined in RIO specification rev.1.3
1045  * @mport: Master port to issue transaction
1046  * @destid: Destination ID of the device
1047  * @hopcount: Number of switch hops to the device
1048  * @table: routing table ID (global or port-specific)
1049  * @route_destid: destID entry in the RT
1050  * @route_port: destination port for specified destID
1051  */
1052 int rio_std_route_add_entry(struct rio_mport *mport, u16 destid, u8 hopcount,
1053                        u16 table, u16 route_destid, u8 route_port)
1054 {
1055         if (table == RIO_GLOBAL_TABLE) {
1056                 rio_mport_write_config_32(mport, destid, hopcount,
1057                                 RIO_STD_RTE_CONF_DESTID_SEL_CSR,
1058                                 (u32)route_destid);
1059                 rio_mport_write_config_32(mport, destid, hopcount,
1060                                 RIO_STD_RTE_CONF_PORT_SEL_CSR,
1061                                 (u32)route_port);
1062         }
1063
1064         udelay(10);
1065         return 0;
1066 }
1067
1068 /**
1069  * rio_std_route_get_entry - Read switch route table entry (port number)
1070  *   associated with specified destID using standard registers defined in RIO
1071  *   specification rev.1.3
1072  * @mport: Master port to issue transaction
1073  * @destid: Destination ID of the device
1074  * @hopcount: Number of switch hops to the device
1075  * @table: routing table ID (global or port-specific)
1076  * @route_destid: destID entry in the RT
1077  * @route_port: returned destination port for specified destID
1078  */
1079 int rio_std_route_get_entry(struct rio_mport *mport, u16 destid, u8 hopcount,
1080                        u16 table, u16 route_destid, u8 *route_port)
1081 {
1082         u32 result;
1083
1084         if (table == RIO_GLOBAL_TABLE) {
1085                 rio_mport_write_config_32(mport, destid, hopcount,
1086                                 RIO_STD_RTE_CONF_DESTID_SEL_CSR, route_destid);
1087                 rio_mport_read_config_32(mport, destid, hopcount,
1088                                 RIO_STD_RTE_CONF_PORT_SEL_CSR, &result);
1089
1090                 *route_port = (u8)result;
1091         }
1092
1093         return 0;
1094 }
1095
1096 /**
1097  * rio_std_route_clr_table - Clear swotch route table using standard registers
1098  *   defined in RIO specification rev.1.3.
1099  * @mport: Master port to issue transaction
1100  * @destid: Destination ID of the device
1101  * @hopcount: Number of switch hops to the device
1102  * @table: routing table ID (global or port-specific)
1103  */
1104 int rio_std_route_clr_table(struct rio_mport *mport, u16 destid, u8 hopcount,
1105                        u16 table)
1106 {
1107         u32 max_destid = 0xff;
1108         u32 i, pef, id_inc = 1, ext_cfg = 0;
1109         u32 port_sel = RIO_INVALID_ROUTE;
1110
1111         if (table == RIO_GLOBAL_TABLE) {
1112                 rio_mport_read_config_32(mport, destid, hopcount,
1113                                          RIO_PEF_CAR, &pef);
1114
1115                 if (mport->sys_size) {
1116                         rio_mport_read_config_32(mport, destid, hopcount,
1117                                                  RIO_SWITCH_RT_LIMIT,
1118                                                  &max_destid);
1119                         max_destid &= RIO_RT_MAX_DESTID;
1120                 }
1121
1122                 if (pef & RIO_PEF_EXT_RT) {
1123                         ext_cfg = 0x80000000;
1124                         id_inc = 4;
1125                         port_sel = (RIO_INVALID_ROUTE << 24) |
1126                                    (RIO_INVALID_ROUTE << 16) |
1127                                    (RIO_INVALID_ROUTE << 8) |
1128                                    RIO_INVALID_ROUTE;
1129                 }
1130
1131                 for (i = 0; i <= max_destid;) {
1132                         rio_mport_write_config_32(mport, destid, hopcount,
1133                                         RIO_STD_RTE_CONF_DESTID_SEL_CSR,
1134                                         ext_cfg | i);
1135                         rio_mport_write_config_32(mport, destid, hopcount,
1136                                         RIO_STD_RTE_CONF_PORT_SEL_CSR,
1137                                         port_sel);
1138                         i += id_inc;
1139                 }
1140         }
1141
1142         udelay(10);
1143         return 0;
1144 }
1145
1146 static void rio_fixup_device(struct rio_dev *dev)
1147 {
1148 }
1149
1150 static int __devinit rio_init(void)
1151 {
1152         struct rio_dev *dev = NULL;
1153
1154         while ((dev = rio_get_device(RIO_ANY_ID, RIO_ANY_ID, dev)) != NULL) {
1155                 rio_fixup_device(dev);
1156         }
1157         return 0;
1158 }
1159
1160 device_initcall(rio_init);
1161
1162 int __devinit rio_init_mports(void)
1163 {
1164         int rc = 0;
1165         struct rio_mport *port;
1166
1167         list_for_each_entry(port, &rio_mports, node) {
1168                 if (!request_mem_region(port->iores.start,
1169                                         port->iores.end - port->iores.start,
1170                                         port->name)) {
1171                         printk(KERN_ERR
1172                                "RIO: Error requesting master port region 0x%016llx-0x%016llx\n",
1173                                (u64)port->iores.start, (u64)port->iores.end - 1);
1174                         rc = -ENOMEM;
1175                         goto out;
1176                 }
1177
1178                 if (port->host_deviceid >= 0)
1179                         rio_enum_mport(port);
1180                 else
1181                         rio_disc_mport(port);
1182         }
1183
1184       out:
1185         return rc;
1186 }
1187
1188 void rio_register_mport(struct rio_mport *port)
1189 {
1190         list_add_tail(&port->node, &rio_mports);
1191 }
1192
1193 EXPORT_SYMBOL_GPL(rio_local_get_device_id);
1194 EXPORT_SYMBOL_GPL(rio_get_device);
1195 EXPORT_SYMBOL_GPL(rio_get_asm);
1196 EXPORT_SYMBOL_GPL(rio_request_inb_dbell);
1197 EXPORT_SYMBOL_GPL(rio_release_inb_dbell);
1198 EXPORT_SYMBOL_GPL(rio_request_outb_dbell);
1199 EXPORT_SYMBOL_GPL(rio_release_outb_dbell);
1200 EXPORT_SYMBOL_GPL(rio_request_inb_mbox);
1201 EXPORT_SYMBOL_GPL(rio_release_inb_mbox);
1202 EXPORT_SYMBOL_GPL(rio_request_outb_mbox);
1203 EXPORT_SYMBOL_GPL(rio_release_outb_mbox);