drivers/scsi/ipr.c

   1 /*
   2  * ipr.c -- driver for IBM Power Linux RAID adapters
   3  *
   4  * Written By: Brian King <brking@us.ibm.com>, IBM Corporation
   5  *
   6  * Copyright (C) 2003, 2004 IBM Corporation
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  * GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with this program; if not, write to the Free Software
  20  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  21  *
  22  */
  23
  24 /*
  25  * Notes:
  26  *
  27  * This driver is used to control the following SCSI adapters:
  28  *
  29  * IBM iSeries: 5702, 5703, 2780, 5709, 570A, 570B
  30  *
  31  * IBM pSeries: PCI-X Dual Channel Ultra 320 SCSI RAID Adapter
  32  *              PCI-X Dual Channel Ultra 320 SCSI Adapter
  33  *              PCI-X Dual Channel Ultra 320 SCSI RAID Enablement Card
  34  *              Embedded SCSI adapter on p615 and p655 systems
  35  *
  36  * Supported Hardware Features:
  37  *      - Ultra 320 SCSI controller
  38  *      - PCI-X host interface
  39  *      - Embedded PowerPC RISC Processor and Hardware XOR DMA Engine
  40  *      - Non-Volatile Write Cache
  41  *      - Supports attachment of non-RAID disks, tape, and optical devices
  42  *      - RAID Levels 0, 5, 10
  43  *      - Hot spare
  44  *      - Background Parity Checking
  45  *      - Background Data Scrubbing
  46  *      - Ability to increase the capacity of an existing RAID 5 disk array
  47  *              by adding disks
  48  *
  49  * Driver Features:
  50  *      - Tagged command queuing
  51  *      - Adapter microcode download
  52  *      - PCI hot plug
  53  *      - SCSI device hot plug
  54  *
  55  */
  56
  57 #include <linux/fs.h>
  58 #include <linux/init.h>
  59 #include <linux/types.h>
  60 #include <linux/errno.h>
  61 #include <linux/kernel.h>
  62 #include <linux/slab.h>
  63 #include <linux/vmalloc.h>
  64 #include <linux/ioport.h>
  65 #include <linux/delay.h>
  66 #include <linux/pci.h>
  67 #include <linux/wait.h>
  68 #include <linux/spinlock.h>
  69 #include <linux/sched.h>
  70 #include <linux/interrupt.h>
  71 #include <linux/blkdev.h>
  72 #include <linux/firmware.h>
  73 #include <linux/module.h>
  74 #include <linux/moduleparam.h>
  75 #include <linux/libata.h>
  76 #include <linux/hdreg.h>
  77 #include <linux/reboot.h>
  78 #include <linux/stringify.h>
  79 #include <asm/io.h>
  80 #include <asm/irq.h>
  81 #include <asm/processor.h>
  82 #include <scsi/scsi.h>
  83 #include <scsi/scsi_host.h>
  84 #include <scsi/scsi_tcq.h>
  85 #include <scsi/scsi_eh.h>
  86 #include <scsi/scsi_cmnd.h>
  87 #include "ipr.h"
  88
  89 /*
  90  *   Global Data
  91  */
  92 static LIST_HEAD(ipr_ioa_head);
  93 static unsigned int ipr_log_level = IPR_DEFAULT_LOG_LEVEL;
  94 static unsigned int ipr_max_speed = 1;
  95 static int ipr_testmode = 0;
  96 static unsigned int ipr_fastfail = 0;
  97 static unsigned int ipr_transop_timeout = 0;
  98 static unsigned int ipr_debug = 0;
  99 static unsigned int ipr_max_devs = IPR_DEFAULT_SIS64_DEVS;
 100 static unsigned int ipr_dual_ioa_raid = 1;
 101 static DEFINE_SPINLOCK(ipr_driver_lock);
 102
 103 /* This table describes the differences between DMA controller chips */
 104 static const struct ipr_chip_cfg_t ipr_chip_cfg[] = {
 105         { /* Gemstone, Citrine, Obsidian, and Obsidian-E */
 106                 .mailbox = 0x0042C,
 107                 .cache_line_size = 0x20,
 108                 {
 109                         .set_interrupt_mask_reg = 0x0022C,
 110                         .clr_interrupt_mask_reg = 0x00230,
 111                         .clr_interrupt_mask_reg32 = 0x00230,
 112                         .sense_interrupt_mask_reg = 0x0022C,
 113                         .sense_interrupt_mask_reg32 = 0x0022C,
 114                         .clr_interrupt_reg = 0x00228,
 115                         .clr_interrupt_reg32 = 0x00228,
 116                         .sense_interrupt_reg = 0x00224,
 117                         .sense_interrupt_reg32 = 0x00224,
 118                         .ioarrin_reg = 0x00404,
 119                         .sense_uproc_interrupt_reg = 0x00214,
 120                         .sense_uproc_interrupt_reg32 = 0x00214,
 121                         .set_uproc_interrupt_reg = 0x00214,
 122                         .set_uproc_interrupt_reg32 = 0x00214,
 123                         .clr_uproc_interrupt_reg = 0x00218,
 124                         .clr_uproc_interrupt_reg32 = 0x00218
 125                 }
 126         },
 127         { /* Snipe and Scamp */
 128                 .mailbox = 0x0052C,
 129                 .cache_line_size = 0x20,
 130                 {
 131                         .set_interrupt_mask_reg = 0x00288,
 132                         .clr_interrupt_mask_reg = 0x0028C,
 133                         .clr_interrupt_mask_reg32 = 0x0028C,
 134                         .sense_interrupt_mask_reg = 0x00288,
 135                         .sense_interrupt_mask_reg32 = 0x00288,
 136                         .clr_interrupt_reg = 0x00284,
 137                         .clr_interrupt_reg32 = 0x00284,
 138                         .sense_interrupt_reg = 0x00280,
 139                         .sense_interrupt_reg32 = 0x00280,
 140                         .ioarrin_reg = 0x00504,
 141                         .sense_uproc_interrupt_reg = 0x00290,
 142                         .sense_uproc_interrupt_reg32 = 0x00290,
 143                         .set_uproc_interrupt_reg = 0x00290,
 144                         .set_uproc_interrupt_reg32 = 0x00290,
 145                         .clr_uproc_interrupt_reg = 0x00294,
 146                         .clr_uproc_interrupt_reg32 = 0x00294
 147                 }
 148         },
 149         { /* CRoC */
 150                 .mailbox = 0x00044,
 151                 .cache_line_size = 0x20,
 152                 {
 153                         .set_interrupt_mask_reg = 0x00010,
 154                         .clr_interrupt_mask_reg = 0x00018,
 155                         .clr_interrupt_mask_reg32 = 0x0001C,
 156                         .sense_interrupt_mask_reg = 0x00010,
 157                         .sense_interrupt_mask_reg32 = 0x00014,
 158                         .clr_interrupt_reg = 0x00008,
 159                         .clr_interrupt_reg32 = 0x0000C,
 160                         .sense_interrupt_reg = 0x00000,
 161                         .sense_interrupt_reg32 = 0x00004,
 162                         .ioarrin_reg = 0x00070,
 163                         .sense_uproc_interrupt_reg = 0x00020,
 164                         .sense_uproc_interrupt_reg32 = 0x00024,
 165                         .set_uproc_interrupt_reg = 0x00020,
 166                         .set_uproc_interrupt_reg32 = 0x00024,
 167                         .clr_uproc_interrupt_reg = 0x00028,
 168                         .clr_uproc_interrupt_reg32 = 0x0002C,
 169                         .init_feedback_reg = 0x0005C,
 170                         .dump_addr_reg = 0x00064,
 171                         .dump_data_reg = 0x00068,
 172                         .endian_swap_reg = 0x00084
 173                 }
 174         },
 175 };
 176
 177 static const struct ipr_chip_t ipr_chip[] = {
 178         { PCI_VENDOR_ID_MYLEX, PCI_DEVICE_ID_IBM_GEMSTONE, IPR_USE_LSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[0] },
 179         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CITRINE, IPR_USE_LSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[0] },
 180         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_OBSIDIAN, IPR_USE_LSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[0] },
 181         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN, IPR_USE_LSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[0] },
 182         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN_E, IPR_USE_MSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[0] },
 183         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_SNIPE, IPR_USE_LSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[1] },
 184         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_SCAMP, IPR_USE_LSI, IPR_SIS32, IPR_PCI_CFG, &ipr_chip_cfg[1] },
 185         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_FPGA_E2, IPR_USE_MSI, IPR_SIS64, IPR_MMIO, &ipr_chip_cfg[2] },
 186         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_ASIC_E2, IPR_USE_MSI, IPR_SIS64, IPR_MMIO, &ipr_chip_cfg[2] }
 187 };
 188
 189 static int ipr_max_bus_speeds [] = {
 190         IPR_80MBs_SCSI_RATE, IPR_U160_SCSI_RATE, IPR_U320_SCSI_RATE
 191 };
 192
 193 MODULE_AUTHOR("Brian King <brking@us.ibm.com>");
 194 MODULE_DESCRIPTION("IBM Power RAID SCSI Adapter Driver");
 195 module_param_named(max_speed, ipr_max_speed, uint, 0);
 196 MODULE_PARM_DESC(max_speed, "Maximum bus speed (0-2). Default: 1=U160. Speeds: 0=80 MB/s, 1=U160, 2=U320");
 197 module_param_named(log_level, ipr_log_level, uint, 0);
 198 MODULE_PARM_DESC(log_level, "Set to 0 - 4 for increasing verbosity of device driver");
 199 module_param_named(testmode, ipr_testmode, int, 0);
 200 MODULE_PARM_DESC(testmode, "DANGEROUS!!! Allows unsupported configurations");
 201 module_param_named(fastfail, ipr_fastfail, int, S_IRUGO | S_IWUSR);
 202 MODULE_PARM_DESC(fastfail, "Reduce timeouts and retries");
 203 module_param_named(transop_timeout, ipr_transop_timeout, int, 0);
 204 MODULE_PARM_DESC(transop_timeout, "Time in seconds to wait for adapter to come operational (default: 300)");
 205 module_param_named(debug, ipr_debug, int, S_IRUGO | S_IWUSR);
 206 MODULE_PARM_DESC(debug, "Enable device driver debugging logging. Set to 1 to enable. (default: 0)");
 207 module_param_named(dual_ioa_raid, ipr_dual_ioa_raid, int, 0);
 208 MODULE_PARM_DESC(dual_ioa_raid, "Enable dual adapter RAID support. Set to 1 to enable. (default: 1)");
 209 module_param_named(max_devs, ipr_max_devs, int, 0);
 210 MODULE_PARM_DESC(max_devs, "Specify the maximum number of physical devices. "
 211                  "[Default=" __stringify(IPR_DEFAULT_SIS64_DEVS) "]");
 212 MODULE_LICENSE("GPL");
 213 MODULE_VERSION(IPR_DRIVER_VERSION);
 214
 215 /*  A constant array of IOASCs/URCs/Error Messages */
 216 static const
 217 struct ipr_error_table_t ipr_error_table[] = {
 218         {0x00000000, 1, IPR_DEFAULT_LOG_LEVEL,
 219         "8155: An unknown error was received"},
 220         {0x00330000, 0, 0,
 221         "Soft underlength error"},
 222         {0x005A0000, 0, 0,
 223         "Command to be cancelled not found"},
 224         {0x00808000, 0, 0,
 225         "Qualified success"},
 226         {0x01080000, 1, IPR_DEFAULT_LOG_LEVEL,
 227         "FFFE: Soft device bus error recovered by the IOA"},
 228         {0x01088100, 0, IPR_DEFAULT_LOG_LEVEL,
 229         "4101: Soft device bus fabric error"},
 230         {0x01100100, 0, IPR_DEFAULT_LOG_LEVEL,
 231         "FFFC: Logical block guard error recovered by the device"},
 232         {0x01100300, 0, IPR_DEFAULT_LOG_LEVEL,
 233         "FFFC: Logical block reference tag error recovered by the device"},
 234         {0x01108300, 0, IPR_DEFAULT_LOG_LEVEL,
 235         "4171: Recovered scatter list tag / sequence number error"},
 236         {0x01109000, 0, IPR_DEFAULT_LOG_LEVEL,
 237         "FF3D: Recovered logical block CRC error on IOA to Host transfer"},
 238         {0x01109200, 0, IPR_DEFAULT_LOG_LEVEL,
 239         "4171: Recovered logical block sequence number error on IOA to Host transfer"},
 240         {0x0110A000, 0, IPR_DEFAULT_LOG_LEVEL,
 241         "FFFD: Recovered logical block reference tag error detected by the IOA"},
 242         {0x0110A100, 0, IPR_DEFAULT_LOG_LEVEL,
 243         "FFFD: Logical block guard error recovered by the IOA"},
 244         {0x01170600, 0, IPR_DEFAULT_LOG_LEVEL,
 245         "FFF9: Device sector reassign successful"},
 246         {0x01170900, 0, IPR_DEFAULT_LOG_LEVEL,
 247         "FFF7: Media error recovered by device rewrite procedures"},
 248         {0x01180200, 0, IPR_DEFAULT_LOG_LEVEL,
 249         "7001: IOA sector reassignment successful"},
 250         {0x01180500, 0, IPR_DEFAULT_LOG_LEVEL,
 251         "FFF9: Soft media error. Sector reassignment recommended"},
 252         {0x01180600, 0, IPR_DEFAULT_LOG_LEVEL,
 253         "FFF7: Media error recovered by IOA rewrite procedures"},
 254         {0x01418000, 0, IPR_DEFAULT_LOG_LEVEL,
 255         "FF3D: Soft PCI bus error recovered by the IOA"},
 256         {0x01440000, 1, IPR_DEFAULT_LOG_LEVEL,
 257         "FFF6: Device hardware error recovered by the IOA"},
 258         {0x01448100, 0, IPR_DEFAULT_LOG_LEVEL,
 259         "FFF6: Device hardware error recovered by the device"},
 260         {0x01448200, 1, IPR_DEFAULT_LOG_LEVEL,
 261         "FF3D: Soft IOA error recovered by the IOA"},
 262         {0x01448300, 0, IPR_DEFAULT_LOG_LEVEL,
 263         "FFFA: Undefined device response recovered by the IOA"},
 264         {0x014A0000, 1, IPR_DEFAULT_LOG_LEVEL,
 265         "FFF6: Device bus error, message or command phase"},
 266         {0x014A8000, 0, IPR_DEFAULT_LOG_LEVEL,
 267         "FFFE: Task Management Function failed"},
 268         {0x015D0000, 0, IPR_DEFAULT_LOG_LEVEL,
 269         "FFF6: Failure prediction threshold exceeded"},
 270         {0x015D9200, 0, IPR_DEFAULT_LOG_LEVEL,
 271         "8009: Impending cache battery pack failure"},
 272         {0x02040400, 0, 0,
 273         "34FF: Disk device format in progress"},
 274         {0x02048000, 0, IPR_DEFAULT_LOG_LEVEL,
 275         "9070: IOA requested reset"},
 276         {0x023F0000, 0, 0,
 277         "Synchronization required"},
 278         {0x024E0000, 0, 0,
 279         "No ready, IOA shutdown"},
 280         {0x025A0000, 0, 0,
 281         "Not ready, IOA has been shutdown"},
 282         {0x02670100, 0, IPR_DEFAULT_LOG_LEVEL,
 283         "3020: Storage subsystem configuration error"},
 284         {0x03110B00, 0, 0,
 285         "FFF5: Medium error, data unreadable, recommend reassign"},
 286         {0x03110C00, 0, 0,
 287         "7000: Medium error, data unreadable, do not reassign"},
 288         {0x03310000, 0, IPR_DEFAULT_LOG_LEVEL,
 289         "FFF3: Disk media format bad"},
 290         {0x04050000, 0, IPR_DEFAULT_LOG_LEVEL,
 291         "3002: Addressed device failed to respond to selection"},
 292         {0x04080000, 1, IPR_DEFAULT_LOG_LEVEL,
 293         "3100: Device bus error"},
 294         {0x04080100, 0, IPR_DEFAULT_LOG_LEVEL,
 295         "3109: IOA timed out a device command"},
 296         {0x04088000, 0, 0,
 297         "3120: SCSI bus is not operational"},
 298         {0x04088100, 0, IPR_DEFAULT_LOG_LEVEL,
 299         "4100: Hard device bus fabric error"},
 300         {0x04100100, 0, IPR_DEFAULT_LOG_LEVEL,
 301         "310C: Logical block guard error detected by the device"},
 302         {0x04100300, 0, IPR_DEFAULT_LOG_LEVEL,
 303         "310C: Logical block reference tag error detected by the device"},
 304         {0x04108300, 1, IPR_DEFAULT_LOG_LEVEL,
 305         "4170: Scatter list tag / sequence number error"},
 306         {0x04109000, 1, IPR_DEFAULT_LOG_LEVEL,
 307         "8150: Logical block CRC error on IOA to Host transfer"},
 308         {0x04109200, 1, IPR_DEFAULT_LOG_LEVEL,
 309         "4170: Logical block sequence number error on IOA to Host transfer"},
 310         {0x0410A000, 0, IPR_DEFAULT_LOG_LEVEL,
 311         "310D: Logical block reference tag error detected by the IOA"},
 312         {0x0410A100, 0, IPR_DEFAULT_LOG_LEVEL,
 313         "310D: Logical block guard error detected by the IOA"},
 314         {0x04118000, 0, IPR_DEFAULT_LOG_LEVEL,
 315         "9000: IOA reserved area data check"},
 316         {0x04118100, 0, IPR_DEFAULT_LOG_LEVEL,
 317         "9001: IOA reserved area invalid data pattern"},
 318         {0x04118200, 0, IPR_DEFAULT_LOG_LEVEL,
 319         "9002: IOA reserved area LRC error"},
 320         {0x04118300, 1, IPR_DEFAULT_LOG_LEVEL,
 321         "Hardware Error, IOA metadata access error"},
 322         {0x04320000, 0, IPR_DEFAULT_LOG_LEVEL,
 323         "102E: Out of alternate sectors for disk storage"},
 324         {0x04330000, 1, IPR_DEFAULT_LOG_LEVEL,
 325         "FFF4: Data transfer underlength error"},
 326         {0x04338000, 1, IPR_DEFAULT_LOG_LEVEL,
 327         "FFF4: Data transfer overlength error"},
 328         {0x043E0100, 0, IPR_DEFAULT_LOG_LEVEL,
 329         "3400: Logical unit failure"},
 330         {0x04408500, 0, IPR_DEFAULT_LOG_LEVEL,
 331         "FFF4: Device microcode is corrupt"},
 332         {0x04418000, 1, IPR_DEFAULT_LOG_LEVEL,
 333         "8150: PCI bus error"},
 334         {0x04430000, 1, 0,
 335         "Unsupported device bus message received"},
 336         {0x04440000, 1, IPR_DEFAULT_LOG_LEVEL,
 337         "FFF4: Disk device problem"},
 338         {0x04448200, 1, IPR_DEFAULT_LOG_LEVEL,
 339         "8150: Permanent IOA failure"},
 340         {0x04448300, 0, IPR_DEFAULT_LOG_LEVEL,
 341         "3010: Disk device returned wrong response to IOA"},
 342         {0x04448400, 0, IPR_DEFAULT_LOG_LEVEL,
 343         "8151: IOA microcode error"},
 344         {0x04448500, 0, 0,
 345         "Device bus status error"},
 346         {0x04448600, 0, IPR_DEFAULT_LOG_LEVEL,
 347         "8157: IOA error requiring IOA reset to recover"},
 348         {0x04448700, 0, 0,
 349         "ATA device status error"},
 350         {0x04490000, 0, 0,
 351         "Message reject received from the device"},
 352         {0x04449200, 0, IPR_DEFAULT_LOG_LEVEL,
 353         "8008: A permanent cache battery pack failure occurred"},
 354         {0x0444A000, 0, IPR_DEFAULT_LOG_LEVEL,
 355         "9090: Disk unit has been modified after the last known status"},
 356         {0x0444A200, 0, IPR_DEFAULT_LOG_LEVEL,
 357         "9081: IOA detected device error"},
 358         {0x0444A300, 0, IPR_DEFAULT_LOG_LEVEL,
 359         "9082: IOA detected device error"},
 360         {0x044A0000, 1, IPR_DEFAULT_LOG_LEVEL,
 361         "3110: Device bus error, message or command phase"},
 362         {0x044A8000, 1, IPR_DEFAULT_LOG_LEVEL,
 363         "3110: SAS Command / Task Management Function failed"},
 364         {0x04670400, 0, IPR_DEFAULT_LOG_LEVEL,
 365         "9091: Incorrect hardware configuration change has been detected"},
 366         {0x04678000, 0, IPR_DEFAULT_LOG_LEVEL,
 367         "9073: Invalid multi-adapter configuration"},
 368         {0x04678100, 0, IPR_DEFAULT_LOG_LEVEL,
 369         "4010: Incorrect connection between cascaded expanders"},
 370         {0x04678200, 0, IPR_DEFAULT_LOG_LEVEL,
 371         "4020: Connections exceed IOA design limits"},
 372         {0x04678300, 0, IPR_DEFAULT_LOG_LEVEL,
 373         "4030: Incorrect multipath connection"},
 374         {0x04679000, 0, IPR_DEFAULT_LOG_LEVEL,
 375         "4110: Unsupported enclosure function"},
 376         {0x046E0000, 0, IPR_DEFAULT_LOG_LEVEL,
 377         "FFF4: Command to logical unit failed"},
 378         {0x05240000, 1, 0,
 379         "Illegal request, invalid request type or request packet"},
 380         {0x05250000, 0, 0,
 381         "Illegal request, invalid resource handle"},
 382         {0x05258000, 0, 0,
 383         "Illegal request, commands not allowed to this device"},
 384         {0x05258100, 0, 0,
 385         "Illegal request, command not allowed to a secondary adapter"},
 386         {0x05258200, 0, 0,
 387         "Illegal request, command not allowed to a non-optimized resource"},
 388         {0x05260000, 0, 0,
 389         "Illegal request, invalid field in parameter list"},
 390         {0x05260100, 0, 0,
 391         "Illegal request, parameter not supported"},
 392         {0x05260200, 0, 0,
 393         "Illegal request, parameter value invalid"},
 394         {0x052C0000, 0, 0,
 395         "Illegal request, command sequence error"},
 396         {0x052C8000, 1, 0,
 397         "Illegal request, dual adapter support not enabled"},
 398         {0x06040500, 0, IPR_DEFAULT_LOG_LEVEL,
 399         "9031: Array protection temporarily suspended, protection resuming"},
 400         {0x06040600, 0, IPR_DEFAULT_LOG_LEVEL,
 401         "9040: Array protection temporarily suspended, protection resuming"},
 402         {0x06288000, 0, IPR_DEFAULT_LOG_LEVEL,
 403         "3140: Device bus not ready to ready transition"},
 404         {0x06290000, 0, IPR_DEFAULT_LOG_LEVEL,
 405         "FFFB: SCSI bus was reset"},
 406         {0x06290500, 0, 0,
 407         "FFFE: SCSI bus transition to single ended"},
 408         {0x06290600, 0, 0,
 409         "FFFE: SCSI bus transition to LVD"},
 410         {0x06298000, 0, IPR_DEFAULT_LOG_LEVEL,
 411         "FFFB: SCSI bus was reset by another initiator"},
 412         {0x063F0300, 0, IPR_DEFAULT_LOG_LEVEL,
 413         "3029: A device replacement has occurred"},
 414         {0x064C8000, 0, IPR_DEFAULT_LOG_LEVEL,
 415         "9051: IOA cache data exists for a missing or failed device"},
 416         {0x064C8100, 0, IPR_DEFAULT_LOG_LEVEL,
 417         "9055: Auxiliary cache IOA contains cache data needed by the primary IOA"},
 418         {0x06670100, 0, IPR_DEFAULT_LOG_LEVEL,
 419         "9025: Disk unit is not supported at its physical location"},
 420         {0x06670600, 0, IPR_DEFAULT_LOG_LEVEL,
 421         "3020: IOA detected a SCSI bus configuration error"},
 422         {0x06678000, 0, IPR_DEFAULT_LOG_LEVEL,
 423         "3150: SCSI bus configuration error"},
 424         {0x06678100, 0, IPR_DEFAULT_LOG_LEVEL,
 425         "9074: Asymmetric advanced function disk configuration"},
 426         {0x06678300, 0, IPR_DEFAULT_LOG_LEVEL,
 427         "4040: Incomplete multipath connection between IOA and enclosure"},
 428         {0x06678400, 0, IPR_DEFAULT_LOG_LEVEL,
 429         "4041: Incomplete multipath connection between enclosure and device"},
 430         {0x06678500, 0, IPR_DEFAULT_LOG_LEVEL,
 431         "9075: Incomplete multipath connection between IOA and remote IOA"},
 432         {0x06678600, 0, IPR_DEFAULT_LOG_LEVEL,
 433         "9076: Configuration error, missing remote IOA"},
 434         {0x06679100, 0, IPR_DEFAULT_LOG_LEVEL,
 435         "4050: Enclosure does not support a required multipath function"},
 436         {0x06690000, 0, IPR_DEFAULT_LOG_LEVEL,
 437         "4070: Logically bad block written on device"},
 438         {0x06690200, 0, IPR_DEFAULT_LOG_LEVEL,
 439         "9041: Array protection temporarily suspended"},
 440         {0x06698200, 0, IPR_DEFAULT_LOG_LEVEL,
 441         "9042: Corrupt array parity detected on specified device"},
 442         {0x066B0200, 0, IPR_DEFAULT_LOG_LEVEL,
 443         "9030: Array no longer protected due to missing or failed disk unit"},
 444         {0x066B8000, 0, IPR_DEFAULT_LOG_LEVEL,
 445         "9071: Link operational transition"},
 446         {0x066B8100, 0, IPR_DEFAULT_LOG_LEVEL,
 447         "9072: Link not operational transition"},
 448         {0x066B8200, 0, IPR_DEFAULT_LOG_LEVEL,
 449         "9032: Array exposed but still protected"},
 450         {0x066B8300, 0, IPR_DEFAULT_LOG_LEVEL + 1,
 451         "70DD: Device forced failed by disrupt device command"},
 452         {0x066B9100, 0, IPR_DEFAULT_LOG_LEVEL,
 453         "4061: Multipath redundancy level got better"},
 454         {0x066B9200, 0, IPR_DEFAULT_LOG_LEVEL,
 455         "4060: Multipath redundancy level got worse"},
 456         {0x07270000, 0, 0,
 457         "Failure due to other device"},
 458         {0x07278000, 0, IPR_DEFAULT_LOG_LEVEL,
 459         "9008: IOA does not support functions expected by devices"},
 460         {0x07278100, 0, IPR_DEFAULT_LOG_LEVEL,
 461         "9010: Cache data associated with attached devices cannot be found"},
 462         {0x07278200, 0, IPR_DEFAULT_LOG_LEVEL,
 463         "9011: Cache data belongs to devices other than those attached"},
 464         {0x07278400, 0, IPR_DEFAULT_LOG_LEVEL,
 465         "9020: Array missing 2 or more devices with only 1 device present"},
 466         {0x07278500, 0, IPR_DEFAULT_LOG_LEVEL,
 467         "9021: Array missing 2 or more devices with 2 or more devices present"},
 468         {0x07278600, 0, IPR_DEFAULT_LOG_LEVEL,
 469         "9022: Exposed array is missing a required device"},
 470         {0x07278700, 0, IPR_DEFAULT_LOG_LEVEL,
 471         "9023: Array member(s) not at required physical locations"},
 472         {0x07278800, 0, IPR_DEFAULT_LOG_LEVEL,
 473         "9024: Array not functional due to present hardware configuration"},
 474         {0x07278900, 0, IPR_DEFAULT_LOG_LEVEL,
 475         "9026: Array not functional due to present hardware configuration"},
 476         {0x07278A00, 0, IPR_DEFAULT_LOG_LEVEL,
 477         "9027: Array is missing a device and parity is out of sync"},
 478         {0x07278B00, 0, IPR_DEFAULT_LOG_LEVEL,
 479         "9028: Maximum number of arrays already exist"},
 480         {0x07278C00, 0, IPR_DEFAULT_LOG_LEVEL,
 481         "9050: Required cache data cannot be located for a disk unit"},
 482         {0x07278D00, 0, IPR_DEFAULT_LOG_LEVEL,
 483         "9052: Cache data exists for a device that has been modified"},
 484         {0x07278F00, 0, IPR_DEFAULT_LOG_LEVEL,
 485         "9054: IOA resources not available due to previous problems"},
 486         {0x07279100, 0, IPR_DEFAULT_LOG_LEVEL,
 487         "9092: Disk unit requires initialization before use"},
 488         {0x07279200, 0, IPR_DEFAULT_LOG_LEVEL,
 489         "9029: Incorrect hardware configuration change has been detected"},
 490         {0x07279600, 0, IPR_DEFAULT_LOG_LEVEL,
 491         "9060: One or more disk pairs are missing from an array"},
 492         {0x07279700, 0, IPR_DEFAULT_LOG_LEVEL,
 493         "9061: One or more disks are missing from an array"},
 494         {0x07279800, 0, IPR_DEFAULT_LOG_LEVEL,
 495         "9062: One or more disks are missing from an array"},
 496         {0x07279900, 0, IPR_DEFAULT_LOG_LEVEL,
 497         "9063: Maximum number of functional arrays has been exceeded"},
 498         {0x0B260000, 0, 0,
 499         "Aborted command, invalid descriptor"},
 500         {0x0B5A0000, 0, 0,
 501         "Command terminated by host"}
 502 };
 503
 504 static const struct ipr_ses_table_entry ipr_ses_table[] = {
 505         { "2104-DL1        ", "XXXXXXXXXXXXXXXX", 80 },
 506         { "2104-TL1        ", "XXXXXXXXXXXXXXXX", 80 },
 507         { "HSBP07M P U2SCSI", "XXXXXXXXXXXXXXXX", 80 }, /* Hidive 7 slot */
 508         { "HSBP05M P U2SCSI", "XXXXXXXXXXXXXXXX", 80 }, /* Hidive 5 slot */
 509         { "HSBP05M S U2SCSI", "XXXXXXXXXXXXXXXX", 80 }, /* Bowtie */
 510         { "HSBP06E ASU2SCSI", "XXXXXXXXXXXXXXXX", 80 }, /* MartinFenning */
 511         { "2104-DU3        ", "XXXXXXXXXXXXXXXX", 160 },
 512         { "2104-TU3        ", "XXXXXXXXXXXXXXXX", 160 },
 513         { "HSBP04C RSU2SCSI", "XXXXXXX*XXXXXXXX", 160 },
 514         { "HSBP06E RSU2SCSI", "XXXXXXX*XXXXXXXX", 160 },
 515         { "St  V1S2        ", "XXXXXXXXXXXXXXXX", 160 },
 516         { "HSBPD4M  PU3SCSI", "XXXXXXX*XXXXXXXX", 160 },
 517         { "VSBPD1H   U3SCSI", "XXXXXXX*XXXXXXXX", 160 }
 518 };
 519
 520 /*
 521  *  Function Prototypes
 522  */
 523 static int ipr_reset_alert(struct ipr_cmnd *);
 524 static void ipr_process_ccn(struct ipr_cmnd *);
 525 static void ipr_process_error(struct ipr_cmnd *);
 526 static void ipr_reset_ioa_job(struct ipr_cmnd *);
 527 static void ipr_initiate_ioa_reset(struct ipr_ioa_cfg *,
 528                                    enum ipr_shutdown_type);
 529
 530 #ifdef CONFIG_SCSI_IPR_TRACE
 531 /**
 532  * ipr_trc_hook - Add a trace entry to the driver trace
 533  * @ipr_cmd:    ipr command struct
 534  * @type:               trace type
 535  * @add_data:   additional data
 536  *
 537  * Return value:
 538  *      none
 539  **/
 540 static void ipr_trc_hook(struct ipr_cmnd *ipr_cmd,
 541                          u8 type, u32 add_data)
 542 {
 543         struct ipr_trace_entry *trace_entry;
 544         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
 545
 546         trace_entry = &ioa_cfg->trace[ioa_cfg->trace_index++];
 547         trace_entry->time = jiffies;
 548         trace_entry->op_code = ipr_cmd->ioarcb.cmd_pkt.cdb[0];
 549         trace_entry->type = type;
 550         if (ipr_cmd->ioa_cfg->sis64)
 551                 trace_entry->ata_op_code = ipr_cmd->i.ata_ioadl.regs.command;
 552         else
 553                 trace_entry->ata_op_code = ipr_cmd->ioarcb.u.add_data.u.regs.command;
 554         trace_entry->cmd_index = ipr_cmd->cmd_index & 0xff;
 555         trace_entry->res_handle = ipr_cmd->ioarcb.res_handle;
 556         trace_entry->u.add_data = add_data;
 557 }
 558 #else
 559 #define ipr_trc_hook(ipr_cmd, type, add_data) do { } while(0)
 560 #endif
 561
 562 /**
 563  * ipr_reinit_ipr_cmnd - Re-initialize an IPR Cmnd block for reuse
 564  * @ipr_cmd:    ipr command struct
 565  *
 566  * Return value:
 567  *      none
 568  **/
 569 static void ipr_reinit_ipr_cmnd(struct ipr_cmnd *ipr_cmd)
 570 {
 571         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
 572         struct ipr_ioasa *ioasa = &ipr_cmd->s.ioasa;
 573         struct ipr_ioasa64 *ioasa64 = &ipr_cmd->s.ioasa64;
 574         dma_addr_t dma_addr = ipr_cmd->dma_addr;
 575
 576         memset(&ioarcb->cmd_pkt, 0, sizeof(struct ipr_cmd_pkt));
 577         ioarcb->data_transfer_length = 0;
 578         ioarcb->read_data_transfer_length = 0;
 579         ioarcb->ioadl_len = 0;
 580         ioarcb->read_ioadl_len = 0;
 581
 582         if (ipr_cmd->ioa_cfg->sis64) {
 583                 ioarcb->u.sis64_addr_data.data_ioadl_addr =
 584                         cpu_to_be64(dma_addr + offsetof(struct ipr_cmnd, i.ioadl64));
 585                 ioasa64->u.gata.status = 0;
 586         } else {
 587                 ioarcb->write_ioadl_addr =
 588                         cpu_to_be32(dma_addr + offsetof(struct ipr_cmnd, i.ioadl));
 589                 ioarcb->read_ioadl_addr = ioarcb->write_ioadl_addr;
 590                 ioasa->u.gata.status = 0;
 591         }
 592
 593         ioasa->hdr.ioasc = 0;
 594         ioasa->hdr.residual_data_len = 0;
 595         ipr_cmd->scsi_cmd = NULL;
 596         ipr_cmd->qc = NULL;
 597         ipr_cmd->sense_buffer[0] = 0;
 598         ipr_cmd->dma_use_sg = 0;
 599 }
 600
 601 /**
 602  * ipr_init_ipr_cmnd - Initialize an IPR Cmnd block
 603  * @ipr_cmd:    ipr command struct
 604  *
 605  * Return value:
 606  *      none
 607  **/
 608 static void ipr_init_ipr_cmnd(struct ipr_cmnd *ipr_cmd)
 609 {
 610         ipr_reinit_ipr_cmnd(ipr_cmd);
 611         ipr_cmd->u.scratch = 0;
 612         ipr_cmd->sibling = NULL;
 613         init_timer(&ipr_cmd->timer);
 614 }
 615
 616 /**
 617  * ipr_get_free_ipr_cmnd - Get a free IPR Cmnd block
 618  * @ioa_cfg:    ioa config struct
 619  *
 620  * Return value:
 621  *      pointer to ipr command struct
 622  **/
 623 static
 624 struct ipr_cmnd *ipr_get_free_ipr_cmnd(struct ipr_ioa_cfg *ioa_cfg)
 625 {
 626         struct ipr_cmnd *ipr_cmd;
 627
 628         ipr_cmd = list_entry(ioa_cfg->free_q.next, struct ipr_cmnd, queue);
 629         list_del(&ipr_cmd->queue);
 630         ipr_init_ipr_cmnd(ipr_cmd);
 631
 632         return ipr_cmd;
 633 }
 634
 635 /**
 636  * ipr_mask_and_clear_interrupts - Mask all and clear specified interrupts
 637  * @ioa_cfg:    ioa config struct
 638  * @clr_ints:     interrupts to clear
 639  *
 640  * This function masks all interrupts on the adapter, then clears the
 641  * interrupts specified in the mask
 642  *
 643  * Return value:
 644  *      none
 645  **/
 646 static void ipr_mask_and_clear_interrupts(struct ipr_ioa_cfg *ioa_cfg,
 647                                           u32 clr_ints)
 648 {
 649         volatile u32 int_reg;
 650
 651         /* Stop new interrupts */
 652         ioa_cfg->allow_interrupts = 0;
 653
 654         /* Set interrupt mask to stop all new interrupts */
 655         if (ioa_cfg->sis64)
 656                 writeq(~0, ioa_cfg->regs.set_interrupt_mask_reg);
 657         else
 658                 writel(~0, ioa_cfg->regs.set_interrupt_mask_reg);
 659
 660         /* Clear any pending interrupts */
 661         if (ioa_cfg->sis64)
 662                 writel(~0, ioa_cfg->regs.clr_interrupt_reg);
 663         writel(clr_ints, ioa_cfg->regs.clr_interrupt_reg32);
 664         int_reg = readl(ioa_cfg->regs.sense_interrupt_reg);
 665 }
 666
 667 /**
 668  * ipr_save_pcix_cmd_reg - Save PCI-X command register
 669  * @ioa_cfg:    ioa config struct
 670  *
 671  * Return value:
 672  *      0 on success / -EIO on failure
 673  **/
 674 static int ipr_save_pcix_cmd_reg(struct ipr_ioa_cfg *ioa_cfg)
 675 {
 676         int pcix_cmd_reg = pci_find_capability(ioa_cfg->pdev, PCI_CAP_ID_PCIX);
 677
 678         if (pcix_cmd_reg == 0)
 679                 return 0;
 680
 681         if (pci_read_config_word(ioa_cfg->pdev, pcix_cmd_reg + PCI_X_CMD,
 682                                  &ioa_cfg->saved_pcix_cmd_reg) != PCIBIOS_SUCCESSFUL) {
 683                 dev_err(&ioa_cfg->pdev->dev, "Failed to save PCI-X command register\n");
 684                 return -EIO;
 685         }
 686
 687         ioa_cfg->saved_pcix_cmd_reg |= PCI_X_CMD_DPERR_E | PCI_X_CMD_ERO;
 688         return 0;
 689 }
 690
 691 /**
 692  * ipr_set_pcix_cmd_reg - Setup PCI-X command register
 693  * @ioa_cfg:    ioa config struct
 694  *
 695  * Return value:
 696  *      0 on success / -EIO on failure
 697  **/
 698 static int ipr_set_pcix_cmd_reg(struct ipr_ioa_cfg *ioa_cfg)
 699 {
 700         int pcix_cmd_reg = pci_find_capability(ioa_cfg->pdev, PCI_CAP_ID_PCIX);
 701
 702         if (pcix_cmd_reg) {
 703                 if (pci_write_config_word(ioa_cfg->pdev, pcix_cmd_reg + PCI_X_CMD,
 704                                           ioa_cfg->saved_pcix_cmd_reg) != PCIBIOS_SUCCESSFUL) {
 705                         dev_err(&ioa_cfg->pdev->dev, "Failed to setup PCI-X command register\n");
 706                         return -EIO;
 707                 }
 708         }
 709
 710         return 0;
 711 }
 712
 713 /**
 714  * ipr_sata_eh_done - done function for aborted SATA commands
 715  * @ipr_cmd:    ipr command struct
 716  *
 717  * This function is invoked for ops generated to SATA
 718  * devices which are being aborted.
 719  *
 720  * Return value:
 721  *      none
 722  **/
 723 static void ipr_sata_eh_done(struct ipr_cmnd *ipr_cmd)
 724 {
 725         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
 726         struct ata_queued_cmd *qc = ipr_cmd->qc;
 727         struct ipr_sata_port *sata_port = qc->ap->private_data;
 728
 729         qc->err_mask |= AC_ERR_OTHER;
 730         sata_port->ioasa.status |= ATA_BUSY;
 731         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
 732         ata_qc_complete(qc);
 733 }
 734
 735 /**
 736  * ipr_scsi_eh_done - mid-layer done function for aborted ops
 737  * @ipr_cmd:    ipr command struct
 738  *
 739  * This function is invoked by the interrupt handler for
 740  * ops generated by the SCSI mid-layer which are being aborted.
 741  *
 742  * Return value:
 743  *      none
 744  **/
 745 static void ipr_scsi_eh_done(struct ipr_cmnd *ipr_cmd)
 746 {
 747         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
 748         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
 749
 750         scsi_cmd->result |= (DID_ERROR << 16);
 751
 752         scsi_dma_unmap(ipr_cmd->scsi_cmd);
 753         scsi_cmd->scsi_done(scsi_cmd);
 754         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
 755 }
 756
 757 /**
 758  * ipr_fail_all_ops - Fails all outstanding ops.
 759  * @ioa_cfg:    ioa config struct
 760  *
 761  * This function fails all outstanding ops.
 762  *
 763  * Return value:
 764  *      none
 765  **/
 766 static void ipr_fail_all_ops(struct ipr_ioa_cfg *ioa_cfg)
 767 {
 768         struct ipr_cmnd *ipr_cmd, *temp;
 769
 770         ENTER;
 771         list_for_each_entry_safe(ipr_cmd, temp, &ioa_cfg->pending_q, queue) {
 772                 list_del(&ipr_cmd->queue);
 773
 774                 ipr_cmd->s.ioasa.hdr.ioasc = cpu_to_be32(IPR_IOASC_IOA_WAS_RESET);
 775                 ipr_cmd->s.ioasa.hdr.ilid = cpu_to_be32(IPR_DRIVER_ILID);
 776
 777                 if (ipr_cmd->scsi_cmd)
 778                         ipr_cmd->done = ipr_scsi_eh_done;
 779                 else if (ipr_cmd->qc)
 780                         ipr_cmd->done = ipr_sata_eh_done;
 781
 782                 ipr_trc_hook(ipr_cmd, IPR_TRACE_FINISH, IPR_IOASC_IOA_WAS_RESET);
 783                 del_timer(&ipr_cmd->timer);
 784                 ipr_cmd->done(ipr_cmd);
 785         }
 786
 787         LEAVE;
 788 }
 789
 790 /**
 791  * ipr_send_command -  Send driver initiated requests.
 792  * @ipr_cmd:            ipr command struct
 793  *
 794  * This function sends a command to the adapter using the correct write call.
 795  * In the case of sis64, calculate the ioarcb size required. Then or in the
 796  * appropriate bits.
 797  *
 798  * Return value:
 799  *      none
 800  **/
 801 static void ipr_send_command(struct ipr_cmnd *ipr_cmd)
 802 {
 803         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
 804         dma_addr_t send_dma_addr = ipr_cmd->dma_addr;
 805
 806         if (ioa_cfg->sis64) {
 807                 /* The default size is 256 bytes */
 808                 send_dma_addr |= 0x1;
 809
 810                 /* If the number of ioadls * size of ioadl > 128 bytes,
 811                    then use a 512 byte ioarcb */
 812                 if (ipr_cmd->dma_use_sg * sizeof(struct ipr_ioadl64_desc) > 128 )
 813                         send_dma_addr |= 0x4;
 814                 writeq(send_dma_addr, ioa_cfg->regs.ioarrin_reg);
 815         } else
 816                 writel(send_dma_addr, ioa_cfg->regs.ioarrin_reg);
 817 }
 818
 819 /**
 820  * ipr_do_req -  Send driver initiated requests.
 821  * @ipr_cmd:            ipr command struct
 822  * @done:                       done function
 823  * @timeout_func:       timeout function
 824  * @timeout:            timeout value
 825  *
 826  * This function sends the specified command to the adapter with the
 827  * timeout given. The done function is invoked on command completion.
 828  *
 829  * Return value:
 830  *      none
 831  **/
 832 static void ipr_do_req(struct ipr_cmnd *ipr_cmd,
 833                        void (*done) (struct ipr_cmnd *),
 834                        void (*timeout_func) (struct ipr_cmnd *), u32 timeout)
 835 {
 836         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
 837
 838         list_add_tail(&ipr_cmd->queue, &ioa_cfg->pending_q);
 839
 840         ipr_cmd->done = done;
 841
 842         ipr_cmd->timer.data = (unsigned long) ipr_cmd;
 843         ipr_cmd->timer.expires = jiffies + timeout;
 844         ipr_cmd->timer.function = (void (*)(unsigned long))timeout_func;
 845
 846         add_timer(&ipr_cmd->timer);
 847
 848         ipr_trc_hook(ipr_cmd, IPR_TRACE_START, 0);
 849
 850         mb();
 851
 852         ipr_send_command(ipr_cmd);
 853 }
 854
 855 /**
 856  * ipr_internal_cmd_done - Op done function for an internally generated op.
 857  * @ipr_cmd:    ipr command struct
 858  *
 859  * This function is the op done function for an internally generated,
 860  * blocking op. It simply wakes the sleeping thread.
 861  *
 862  * Return value:
 863  *      none
 864  **/
 865 static void ipr_internal_cmd_done(struct ipr_cmnd *ipr_cmd)
 866 {
 867         if (ipr_cmd->sibling)
 868                 ipr_cmd->sibling = NULL;
 869         else
 870                 complete(&ipr_cmd->completion);
 871 }
 872
 873 /**
 874  * ipr_init_ioadl - initialize the ioadl for the correct SIS type
 875  * @ipr_cmd:    ipr command struct
 876  * @dma_addr:   dma address
 877  * @len:        transfer length
 878  * @flags:      ioadl flag value
 879  *
 880  * This function initializes an ioadl in the case where there is only a single
 881  * descriptor.
 882  *
 883  * Return value:
 884  *      nothing
 885  **/
 886 static void ipr_init_ioadl(struct ipr_cmnd *ipr_cmd, dma_addr_t dma_addr,
 887                            u32 len, int flags)
 888 {
 889         struct ipr_ioadl_desc *ioadl = ipr_cmd->i.ioadl;
 890         struct ipr_ioadl64_desc *ioadl64 = ipr_cmd->i.ioadl64;
 891
 892         ipr_cmd->dma_use_sg = 1;
 893
 894         if (ipr_cmd->ioa_cfg->sis64) {
 895                 ioadl64->flags = cpu_to_be32(flags);
 896                 ioadl64->data_len = cpu_to_be32(len);
 897                 ioadl64->address = cpu_to_be64(dma_addr);
 898
 899                 ipr_cmd->ioarcb.ioadl_len =
 900                         cpu_to_be32(sizeof(struct ipr_ioadl64_desc));
 901                 ipr_cmd->ioarcb.data_transfer_length = cpu_to_be32(len);
 902         } else {
 903                 ioadl->flags_and_data_len = cpu_to_be32(flags | len);
 904                 ioadl->address = cpu_to_be32(dma_addr);
 905
 906                 if (flags == IPR_IOADL_FLAGS_READ_LAST) {
 907                         ipr_cmd->ioarcb.read_ioadl_len =
 908                                 cpu_to_be32(sizeof(struct ipr_ioadl_desc));
 909                         ipr_cmd->ioarcb.read_data_transfer_length = cpu_to_be32(len);
 910                 } else {
 911                         ipr_cmd->ioarcb.ioadl_len =
 912                                 cpu_to_be32(sizeof(struct ipr_ioadl_desc));
 913                         ipr_cmd->ioarcb.data_transfer_length = cpu_to_be32(len);
 914                 }
 915         }
 916 }
 917
 918 /**
 919  * ipr_send_blocking_cmd - Send command and sleep on its completion.
 920  * @ipr_cmd:    ipr command struct
 921  * @timeout_func:       function to invoke if command times out
 922  * @timeout:    timeout
 923  *
 924  * Return value:
 925  *      none
 926  **/
 927 static void ipr_send_blocking_cmd(struct ipr_cmnd *ipr_cmd,
 928                                   void (*timeout_func) (struct ipr_cmnd *ipr_cmd),
 929                                   u32 timeout)
 930 {
 931         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
 932
 933         init_completion(&ipr_cmd->completion);
 934         ipr_do_req(ipr_cmd, ipr_internal_cmd_done, timeout_func, timeout);
 935
 936         spin_unlock_irq(ioa_cfg->host->host_lock);
 937         wait_for_completion(&ipr_cmd->completion);
 938         spin_lock_irq(ioa_cfg->host->host_lock);
 939 }
 940
 941 /**
 942  * ipr_send_hcam - Send an HCAM to the adapter.
 943  * @ioa_cfg:    ioa config struct
 944  * @type:               HCAM type
 945  * @hostrcb:    hostrcb struct
 946  *
 947  * This function will send a Host Controlled Async command to the adapter.
 948  * If HCAMs are currently not allowed to be issued to the adapter, it will
 949  * place the hostrcb on the free queue.
 950  *
 951  * Return value:
 952  *      none
 953  **/
 954 static void ipr_send_hcam(struct ipr_ioa_cfg *ioa_cfg, u8 type,
 955                           struct ipr_hostrcb *hostrcb)
 956 {
 957         struct ipr_cmnd *ipr_cmd;
 958         struct ipr_ioarcb *ioarcb;
 959
 960         if (ioa_cfg->allow_cmds) {
 961                 ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
 962                 list_add_tail(&ipr_cmd->queue, &ioa_cfg->pending_q);
 963                 list_add_tail(&hostrcb->queue, &ioa_cfg->hostrcb_pending_q);
 964
 965                 ipr_cmd->u.hostrcb = hostrcb;
 966                 ioarcb = &ipr_cmd->ioarcb;
 967
 968                 ioarcb->res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
 969                 ioarcb->cmd_pkt.request_type = IPR_RQTYPE_HCAM;
 970                 ioarcb->cmd_pkt.cdb[0] = IPR_HOST_CONTROLLED_ASYNC;
 971                 ioarcb->cmd_pkt.cdb[1] = type;
 972                 ioarcb->cmd_pkt.cdb[7] = (sizeof(hostrcb->hcam) >> 8) & 0xff;
 973                 ioarcb->cmd_pkt.cdb[8] = sizeof(hostrcb->hcam) & 0xff;
 974
 975                 ipr_init_ioadl(ipr_cmd, hostrcb->hostrcb_dma,
 976                                sizeof(hostrcb->hcam), IPR_IOADL_FLAGS_READ_LAST);
 977
 978                 if (type == IPR_HCAM_CDB_OP_CODE_CONFIG_CHANGE)
 979                         ipr_cmd->done = ipr_process_ccn;
 980                 else
 981                         ipr_cmd->done = ipr_process_error;
 982
 983                 ipr_trc_hook(ipr_cmd, IPR_TRACE_START, IPR_IOA_RES_ADDR);
 984
 985                 mb();
 986
 987                 ipr_send_command(ipr_cmd);
 988         } else {
 989                 list_add_tail(&hostrcb->queue, &ioa_cfg->hostrcb_free_q);
 990         }
 991 }
 992
 993 /**
 994  * ipr_update_ata_class - Update the ata class in the resource entry
 995  * @res:        resource entry struct
 996  * @proto:      cfgte device bus protocol value
 997  *
 998  * Return value:
 999  *      none
1000  **/
1001 static void ipr_update_ata_class(struct ipr_resource_entry *res, unsigned int proto)
1002 {
1003         switch(proto) {
1004         case IPR_PROTO_SATA:
1005         case IPR_PROTO_SAS_STP:
1006                 res->ata_class = ATA_DEV_ATA;
1007                 break;
1008         case IPR_PROTO_SATA_ATAPI:
1009         case IPR_PROTO_SAS_STP_ATAPI:
1010                 res->ata_class = ATA_DEV_ATAPI;
1011                 break;
1012         default:
1013                 res->ata_class = ATA_DEV_UNKNOWN;
1014                 break;
1015         };
1016 }
1017
1018 /**
1019  * ipr_init_res_entry - Initialize a resource entry struct.
1020  * @res:        resource entry struct
1021  * @cfgtew:     config table entry wrapper struct
1022  *
1023  * Return value:
1024  *      none
1025  **/
1026 static void ipr_init_res_entry(struct ipr_resource_entry *res,
1027                                struct ipr_config_table_entry_wrapper *cfgtew)
1028 {
1029         int found = 0;
1030         unsigned int proto;
1031         struct ipr_ioa_cfg *ioa_cfg = res->ioa_cfg;
1032         struct ipr_resource_entry *gscsi_res = NULL;
1033
1034         res->needs_sync_complete = 0;
1035         res->in_erp = 0;
1036         res->add_to_ml = 0;
1037         res->del_from_ml = 0;
1038         res->resetting_device = 0;
1039         res->sdev = NULL;
1040         res->sata_port = NULL;
1041
1042         if (ioa_cfg->sis64) {
1043                 proto = cfgtew->u.cfgte64->proto;
1044                 res->res_flags = cfgtew->u.cfgte64->res_flags;
1045                 res->qmodel = IPR_QUEUEING_MODEL64(res);
1046                 res->type = cfgtew->u.cfgte64->res_type;
1047
1048                 memcpy(res->res_path, &cfgtew->u.cfgte64->res_path,
1049                         sizeof(res->res_path));
1050
1051                 res->bus = 0;
1052                 memcpy(&res->dev_lun.scsi_lun, &cfgtew->u.cfgte64->lun,
1053                         sizeof(res->dev_lun.scsi_lun));
1054                 res->lun = scsilun_to_int(&res->dev_lun);
1055
1056                 if (res->type == IPR_RES_TYPE_GENERIC_SCSI) {
1057                         list_for_each_entry(gscsi_res, &ioa_cfg->used_res_q, queue) {
1058                                 if (gscsi_res->dev_id == cfgtew->u.cfgte64->dev_id) {
1059                                         found = 1;
1060                                         res->target = gscsi_res->target;
1061                                         break;
1062                                 }
1063                         }
1064                         if (!found) {
1065                                 res->target = find_first_zero_bit(ioa_cfg->target_ids,
1066                                                                   ioa_cfg->max_devs_supported);
1067                                 set_bit(res->target, ioa_cfg->target_ids);
1068                         }
1069                 } else if (res->type == IPR_RES_TYPE_IOAFP) {
1070                         res->bus = IPR_IOAFP_VIRTUAL_BUS;
1071                         res->target = 0;
1072                 } else if (res->type == IPR_RES_TYPE_ARRAY) {
1073                         res->bus = IPR_ARRAY_VIRTUAL_BUS;
1074                         res->target = find_first_zero_bit(ioa_cfg->array_ids,
1075                                                           ioa_cfg->max_devs_supported);
1076                         set_bit(res->target, ioa_cfg->array_ids);
1077                 } else if (res->type == IPR_RES_TYPE_VOLUME_SET) {
1078                         res->bus = IPR_VSET_VIRTUAL_BUS;
1079                         res->target = find_first_zero_bit(ioa_cfg->vset_ids,
1080                                                           ioa_cfg->max_devs_supported);
1081                         set_bit(res->target, ioa_cfg->vset_ids);
1082                 } else {
1083                         res->target = find_first_zero_bit(ioa_cfg->target_ids,
1084                                                           ioa_cfg->max_devs_supported);
1085                         set_bit(res->target, ioa_cfg->target_ids);
1086                 }
1087         } else {
1088                 proto = cfgtew->u.cfgte->proto;
1089                 res->qmodel = IPR_QUEUEING_MODEL(res);
1090                 res->flags = cfgtew->u.cfgte->flags;
1091                 if (res->flags & IPR_IS_IOA_RESOURCE)
1092                         res->type = IPR_RES_TYPE_IOAFP;
1093                 else
1094                         res->type = cfgtew->u.cfgte->rsvd_subtype & 0x0f;
1095
1096                 res->bus = cfgtew->u.cfgte->res_addr.bus;
1097                 res->target = cfgtew->u.cfgte->res_addr.target;
1098                 res->lun = cfgtew->u.cfgte->res_addr.lun;
1099                 res->lun_wwn = get_unaligned_be64(cfgtew->u.cfgte->lun_wwn);
1100         }
1101
1102         ipr_update_ata_class(res, proto);
1103 }
1104
1105 /**
1106  * ipr_is_same_device - Determine if two devices are the same.
1107  * @res:        resource entry struct
1108  * @cfgtew:     config table entry wrapper struct
1109  *
1110  * Return value:
1111  *      1 if the devices are the same / 0 otherwise
1112  **/
1113 static int ipr_is_same_device(struct ipr_resource_entry *res,
1114                               struct ipr_config_table_entry_wrapper *cfgtew)
1115 {
1116         if (res->ioa_cfg->sis64) {
1117                 if (!memcmp(&res->dev_id, &cfgtew->u.cfgte64->dev_id,
1118                                         sizeof(cfgtew->u.cfgte64->dev_id)) &&
1119                         !memcmp(&res->dev_lun.scsi_lun, &cfgtew->u.cfgte64->lun,
1120                                         sizeof(cfgtew->u.cfgte64->lun))) {
1121                         return 1;
1122                 }
1123         } else {
1124                 if (res->bus == cfgtew->u.cfgte->res_addr.bus &&
1125                     res->target == cfgtew->u.cfgte->res_addr.target &&
1126                     res->lun == cfgtew->u.cfgte->res_addr.lun)
1127                         return 1;
1128         }
1129
1130         return 0;
1131 }
1132
1133 /**
1134  * ipr_format_res_path - Format the resource path for printing.
1135  * @res_path:   resource path
1136  * @buf:        buffer
1137  *
1138  * Return value:
1139  *      pointer to buffer
1140  **/
1141 static char *ipr_format_res_path(u8 *res_path, char *buffer, int len)
1142 {
1143         int i;
1144         char *p = buffer;
1145
1146         *p = '\0';
1147         p += snprintf(p, buffer + len - p, "%02X", res_path[0]);
1148         for (i = 1; res_path[i] != 0xff && ((i * 3) < len); i++)
1149                 p += snprintf(p, buffer + len - p, "-%02X", res_path[i]);
1150
1151         return buffer;
1152 }
1153
1154 /**
1155  * ipr_update_res_entry - Update the resource entry.
1156  * @res:        resource entry struct
1157  * @cfgtew:     config table entry wrapper struct
1158  *
1159  * Return value:
1160  *      none
1161  **/
1162 static void ipr_update_res_entry(struct ipr_resource_entry *res,
1163                                  struct ipr_config_table_entry_wrapper *cfgtew)
1164 {
1165         char buffer[IPR_MAX_RES_PATH_LENGTH];
1166         unsigned int proto;
1167         int new_path = 0;
1168
1169         if (res->ioa_cfg->sis64) {
1170                 res->flags = cfgtew->u.cfgte64->flags;
1171                 res->res_flags = cfgtew->u.cfgte64->res_flags;
1172                 res->type = cfgtew->u.cfgte64->res_type;
1173
1174                 memcpy(&res->std_inq_data, &cfgtew->u.cfgte64->std_inq_data,
1175                         sizeof(struct ipr_std_inq_data));
1176
1177                 res->qmodel = IPR_QUEUEING_MODEL64(res);
1178                 proto = cfgtew->u.cfgte64->proto;
1179                 res->res_handle = cfgtew->u.cfgte64->res_handle;
1180                 res->dev_id = cfgtew->u.cfgte64->dev_id;
1181
1182                 memcpy(&res->dev_lun.scsi_lun, &cfgtew->u.cfgte64->lun,
1183                         sizeof(res->dev_lun.scsi_lun));
1184
1185                 if (memcmp(res->res_path, &cfgtew->u.cfgte64->res_path,
1186                                         sizeof(res->res_path))) {
1187                         memcpy(res->res_path, &cfgtew->u.cfgte64->res_path,
1188                                 sizeof(res->res_path));
1189                         new_path = 1;
1190                 }
1191
1192                 if (res->sdev && new_path)
1193                         sdev_printk(KERN_INFO, res->sdev, "Resource path: %s\n",
1194                                     ipr_format_res_path(res->res_path, buffer,
1195                                                         sizeof(buffer)));
1196         } else {
1197                 res->flags = cfgtew->u.cfgte->flags;
1198                 if (res->flags & IPR_IS_IOA_RESOURCE)
1199                         res->type = IPR_RES_TYPE_IOAFP;
1200                 else
1201                         res->type = cfgtew->u.cfgte->rsvd_subtype & 0x0f;
1202
1203                 memcpy(&res->std_inq_data, &cfgtew->u.cfgte->std_inq_data,
1204                         sizeof(struct ipr_std_inq_data));
1205
1206                 res->qmodel = IPR_QUEUEING_MODEL(res);
1207                 proto = cfgtew->u.cfgte->proto;
1208                 res->res_handle = cfgtew->u.cfgte->res_handle;
1209         }
1210
1211         ipr_update_ata_class(res, proto);
1212 }
1213
1214 /**
1215  * ipr_clear_res_target - Clear the bit in the bit map representing the target
1216  *                        for the resource.
1217  * @res:        resource entry struct
1218  * @cfgtew:     config table entry wrapper struct
1219  *
1220  * Return value:
1221  *      none
1222  **/
1223 static void ipr_clear_res_target(struct ipr_resource_entry *res)
1224 {
1225         struct ipr_resource_entry *gscsi_res = NULL;
1226         struct ipr_ioa_cfg *ioa_cfg = res->ioa_cfg;
1227
1228         if (!ioa_cfg->sis64)
1229                 return;
1230
1231         if (res->bus == IPR_ARRAY_VIRTUAL_BUS)
1232                 clear_bit(res->target, ioa_cfg->array_ids);
1233         else if (res->bus == IPR_VSET_VIRTUAL_BUS)
1234                 clear_bit(res->target, ioa_cfg->vset_ids);
1235         else if (res->bus == 0 && res->type == IPR_RES_TYPE_GENERIC_SCSI) {
1236                 list_for_each_entry(gscsi_res, &ioa_cfg->used_res_q, queue)
1237                         if (gscsi_res->dev_id == res->dev_id && gscsi_res != res)
1238                                 return;
1239                 clear_bit(res->target, ioa_cfg->target_ids);
1240
1241         } else if (res->bus == 0)
1242                 clear_bit(res->target, ioa_cfg->target_ids);
1243 }
1244
1245 /**
1246  * ipr_handle_config_change - Handle a config change from the adapter
1247  * @ioa_cfg:    ioa config struct
1248  * @hostrcb:    hostrcb
1249  *
1250  * Return value:
1251  *      none
1252  **/
1253 static void ipr_handle_config_change(struct ipr_ioa_cfg *ioa_cfg,
1254                                      struct ipr_hostrcb *hostrcb)
1255 {
1256         struct ipr_resource_entry *res = NULL;
1257         struct ipr_config_table_entry_wrapper cfgtew;
1258         __be32 cc_res_handle;
1259
1260         u32 is_ndn = 1;
1261
1262         if (ioa_cfg->sis64) {
1263                 cfgtew.u.cfgte64 = &hostrcb->hcam.u.ccn.u.cfgte64;
1264                 cc_res_handle = cfgtew.u.cfgte64->res_handle;
1265         } else {
1266                 cfgtew.u.cfgte = &hostrcb->hcam.u.ccn.u.cfgte;
1267                 cc_res_handle = cfgtew.u.cfgte->res_handle;
1268         }
1269
1270         list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
1271                 if (res->res_handle == cc_res_handle) {
1272                         is_ndn = 0;
1273                         break;
1274                 }
1275         }
1276
1277         if (is_ndn) {
1278                 if (list_empty(&ioa_cfg->free_res_q)) {
1279                         ipr_send_hcam(ioa_cfg,
1280                                       IPR_HCAM_CDB_OP_CODE_CONFIG_CHANGE,
1281                                       hostrcb);
1282                         return;
1283                 }
1284
1285                 res = list_entry(ioa_cfg->free_res_q.next,
1286                                  struct ipr_resource_entry, queue);
1287
1288                 list_del(&res->queue);
1289                 ipr_init_res_entry(res, &cfgtew);
1290                 list_add_tail(&res->queue, &ioa_cfg->used_res_q);
1291         }
1292
1293         ipr_update_res_entry(res, &cfgtew);
1294
1295         if (hostrcb->hcam.notify_type == IPR_HOST_RCB_NOTIF_TYPE_REM_ENTRY) {
1296                 if (res->sdev) {
1297                         res->del_from_ml = 1;
1298                         res->res_handle = IPR_INVALID_RES_HANDLE;
1299                         if (ioa_cfg->allow_ml_add_del)
1300                                 schedule_work(&ioa_cfg->work_q);
1301                 } else {
1302                         ipr_clear_res_target(res);
1303                         list_move_tail(&res->queue, &ioa_cfg->free_res_q);
1304                 }
1305         } else if (!res->sdev || res->del_from_ml) {
1306                 res->add_to_ml = 1;
1307                 if (ioa_cfg->allow_ml_add_del)
1308                         schedule_work(&ioa_cfg->work_q);
1309         }
1310
1311         ipr_send_hcam(ioa_cfg, IPR_HCAM_CDB_OP_CODE_CONFIG_CHANGE, hostrcb);
1312 }
1313
1314 /**
1315  * ipr_process_ccn - Op done function for a CCN.
1316  * @ipr_cmd:    ipr command struct
1317  *
1318  * This function is the op done function for a configuration
1319  * change notification host controlled async from the adapter.
1320  *
1321  * Return value:
1322  *      none
1323  **/
1324 static void ipr_process_ccn(struct ipr_cmnd *ipr_cmd)
1325 {
1326         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
1327         struct ipr_hostrcb *hostrcb = ipr_cmd->u.hostrcb;
1328         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
1329
1330         list_del(&hostrcb->queue);
1331         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
1332
1333         if (ioasc) {
1334                 if (ioasc != IPR_IOASC_IOA_WAS_RESET)
1335                         dev_err(&ioa_cfg->pdev->dev,
1336                                 "Host RCB failed with IOASC: 0x%08X\n", ioasc);
1337
1338                 ipr_send_hcam(ioa_cfg, IPR_HCAM_CDB_OP_CODE_CONFIG_CHANGE, hostrcb);
1339         } else {
1340                 ipr_handle_config_change(ioa_cfg, hostrcb);
1341         }
1342 }
1343
1344 /**
1345  * strip_and_pad_whitespace - Strip and pad trailing whitespace.
1346  * @i:          index into buffer
1347  * @buf:                string to modify
1348  *
1349  * This function will strip all trailing whitespace, pad the end
1350  * of the string with a single space, and NULL terminate the string.
1351  *
1352  * Return value:
1353  *      new length of string
1354  **/
1355 static int strip_and_pad_whitespace(int i, char *buf)
1356 {
1357         while (i && buf[i] == ' ')
1358                 i--;
1359         buf[i+1] = ' ';
1360         buf[i+2] = '\0';
1361         return i + 2;
1362 }
1363
1364 /**
1365  * ipr_log_vpd_compact - Log the passed extended VPD compactly.
1366  * @prefix:             string to print at start of printk
1367  * @hostrcb:    hostrcb pointer
1368  * @vpd:                vendor/product id/sn struct
1369  *
1370  * Return value:
1371  *      none
1372  **/
1373 static void ipr_log_vpd_compact(char *prefix, struct ipr_hostrcb *hostrcb,
1374                                 struct ipr_vpd *vpd)
1375 {
1376         char buffer[IPR_VENDOR_ID_LEN + IPR_PROD_ID_LEN + IPR_SERIAL_NUM_LEN + 3];
1377         int i = 0;
1378
1379         memcpy(buffer, vpd->vpids.vendor_id, IPR_VENDOR_ID_LEN);
1380         i = strip_and_pad_whitespace(IPR_VENDOR_ID_LEN - 1, buffer);
1381
1382         memcpy(&buffer[i], vpd->vpids.product_id, IPR_PROD_ID_LEN);
1383         i = strip_and_pad_whitespace(i + IPR_PROD_ID_LEN - 1, buffer);
1384
1385         memcpy(&buffer[i], vpd->sn, IPR_SERIAL_NUM_LEN);
1386         buffer[IPR_SERIAL_NUM_LEN + i] = '\0';
1387
1388         ipr_hcam_err(hostrcb, "%s VPID/SN: %s\n", prefix, buffer);
1389 }
1390
1391 /**
1392  * ipr_log_vpd - Log the passed VPD to the error log.
1393  * @vpd:                vendor/product id/sn struct
1394  *
1395  * Return value:
1396  *      none
1397  **/
1398 static void ipr_log_vpd(struct ipr_vpd *vpd)
1399 {
1400         char buffer[IPR_VENDOR_ID_LEN + IPR_PROD_ID_LEN
1401                     + IPR_SERIAL_NUM_LEN];
1402
1403         memcpy(buffer, vpd->vpids.vendor_id, IPR_VENDOR_ID_LEN);
1404         memcpy(buffer + IPR_VENDOR_ID_LEN, vpd->vpids.product_id,
1405                IPR_PROD_ID_LEN);
1406         buffer[IPR_VENDOR_ID_LEN + IPR_PROD_ID_LEN] = '\0';
1407         ipr_err("Vendor/Product ID: %s\n", buffer);
1408
1409         memcpy(buffer, vpd->sn, IPR_SERIAL_NUM_LEN);
1410         buffer[IPR_SERIAL_NUM_LEN] = '\0';
1411         ipr_err("    Serial Number: %s\n", buffer);
1412 }
1413
1414 /**
1415  * ipr_log_ext_vpd_compact - Log the passed extended VPD compactly.
1416  * @prefix:             string to print at start of printk
1417  * @hostrcb:    hostrcb pointer
1418  * @vpd:                vendor/product id/sn/wwn struct
1419  *
1420  * Return value:
1421  *      none
1422  **/
1423 static void ipr_log_ext_vpd_compact(char *prefix, struct ipr_hostrcb *hostrcb,
1424                                     struct ipr_ext_vpd *vpd)
1425 {
1426         ipr_log_vpd_compact(prefix, hostrcb, &vpd->vpd);
1427         ipr_hcam_err(hostrcb, "%s WWN: %08X%08X\n", prefix,
1428                      be32_to_cpu(vpd->wwid[0]), be32_to_cpu(vpd->wwid[1]));
1429 }
1430
1431 /**
1432  * ipr_log_ext_vpd - Log the passed extended VPD to the error log.
1433  * @vpd:                vendor/product id/sn/wwn struct
1434  *
1435  * Return value:
1436  *      none
1437  **/
1438 static void ipr_log_ext_vpd(struct ipr_ext_vpd *vpd)
1439 {
1440         ipr_log_vpd(&vpd->vpd);
1441         ipr_err("    WWN: %08X%08X\n", be32_to_cpu(vpd->wwid[0]),
1442                 be32_to_cpu(vpd->wwid[1]));
1443 }
1444
1445 /**
1446  * ipr_log_enhanced_cache_error - Log a cache error.
1447  * @ioa_cfg:    ioa config struct
1448  * @hostrcb:    hostrcb struct
1449  *
1450  * Return value:
1451  *      none
1452  **/
1453 static void ipr_log_enhanced_cache_error(struct ipr_ioa_cfg *ioa_cfg,
1454                                          struct ipr_hostrcb *hostrcb)
1455 {
1456         struct ipr_hostrcb_type_12_error *error;
1457
1458         if (ioa_cfg->sis64)
1459                 error = &hostrcb->hcam.u.error64.u.type_12_error;
1460         else
1461                 error = &hostrcb->hcam.u.error.u.type_12_error;
1462
1463         ipr_err("-----Current Configuration-----\n");
1464         ipr_err("Cache Directory Card Information:\n");
1465         ipr_log_ext_vpd(&error->ioa_vpd);
1466         ipr_err("Adapter Card Information:\n");
1467         ipr_log_ext_vpd(&error->cfc_vpd);
1468
1469         ipr_err("-----Expected Configuration-----\n");
1470         ipr_err("Cache Directory Card Information:\n");
1471         ipr_log_ext_vpd(&error->ioa_last_attached_to_cfc_vpd);
1472         ipr_err("Adapter Card Information:\n");
1473         ipr_log_ext_vpd(&error->cfc_last_attached_to_ioa_vpd);
1474
1475         ipr_err("Additional IOA Data: %08X %08X %08X\n",
1476                      be32_to_cpu(error->ioa_data[0]),
1477                      be32_to_cpu(error->ioa_data[1]),
1478                      be32_to_cpu(error->ioa_data[2]));
1479 }
1480
1481 /**
1482  * ipr_log_cache_error - Log a cache error.
1483  * @ioa_cfg:    ioa config struct
1484  * @hostrcb:    hostrcb struct
1485  *
1486  * Return value:
1487  *      none
1488  **/
1489 static void ipr_log_cache_error(struct ipr_ioa_cfg *ioa_cfg,
1490                                 struct ipr_hostrcb *hostrcb)
1491 {
1492         struct ipr_hostrcb_type_02_error *error =
1493                 &hostrcb->hcam.u.error.u.type_02_error;
1494
1495         ipr_err("-----Current Configuration-----\n");
1496         ipr_err("Cache Directory Card Information:\n");
1497         ipr_log_vpd(&error->ioa_vpd);
1498         ipr_err("Adapter Card Information:\n");
1499         ipr_log_vpd(&error->cfc_vpd);
1500
1501         ipr_err("-----Expected Configuration-----\n");
1502         ipr_err("Cache Directory Card Information:\n");
1503         ipr_log_vpd(&error->ioa_last_attached_to_cfc_vpd);
1504         ipr_err("Adapter Card Information:\n");
1505         ipr_log_vpd(&error->cfc_last_attached_to_ioa_vpd);
1506
1507         ipr_err("Additional IOA Data: %08X %08X %08X\n",
1508                      be32_to_cpu(error->ioa_data[0]),
1509                      be32_to_cpu(error->ioa_data[1]),
1510                      be32_to_cpu(error->ioa_data[2]));
1511 }
1512
1513 /**
1514  * ipr_log_enhanced_config_error - Log a configuration error.
1515  * @ioa_cfg:    ioa config struct
1516  * @hostrcb:    hostrcb struct
1517  *
1518  * Return value:
1519  *      none
1520  **/
1521 static void ipr_log_enhanced_config_error(struct ipr_ioa_cfg *ioa_cfg,
1522                                           struct ipr_hostrcb *hostrcb)
1523 {
1524         int errors_logged, i;
1525         struct ipr_hostrcb_device_data_entry_enhanced *dev_entry;
1526         struct ipr_hostrcb_type_13_error *error;
1527
1528         error = &hostrcb->hcam.u.error.u.type_13_error;
1529         errors_logged = be32_to_cpu(error->errors_logged);
1530
1531         ipr_err("Device Errors Detected/Logged: %d/%d\n",
1532                 be32_to_cpu(error->errors_detected), errors_logged);
1533
1534         dev_entry = error->dev;
1535
1536         for (i = 0; i < errors_logged; i++, dev_entry++) {
1537                 ipr_err_separator;
1538
1539                 ipr_phys_res_err(ioa_cfg, dev_entry->dev_res_addr, "Device %d", i + 1);
1540                 ipr_log_ext_vpd(&dev_entry->vpd);
1541
1542                 ipr_err("-----New Device Information-----\n");
1543                 ipr_log_ext_vpd(&dev_entry->new_vpd);
1544
1545                 ipr_err("Cache Directory Card Information:\n");
1546                 ipr_log_ext_vpd(&dev_entry->ioa_last_with_dev_vpd);
1547
1548                 ipr_err("Adapter Card Information:\n");
1549                 ipr_log_ext_vpd(&dev_entry->cfc_last_with_dev_vpd);
1550         }
1551 }
1552
1553 /**
1554  * ipr_log_sis64_config_error - Log a device error.
1555  * @ioa_cfg:    ioa config struct
1556  * @hostrcb:    hostrcb struct
1557  *
1558  * Return value:
1559  *      none
1560  **/
1561 static void ipr_log_sis64_config_error(struct ipr_ioa_cfg *ioa_cfg,
1562                                        struct ipr_hostrcb *hostrcb)
1563 {
1564         int errors_logged, i;
1565         struct ipr_hostrcb64_device_data_entry_enhanced *dev_entry;
1566         struct ipr_hostrcb_type_23_error *error;
1567         char buffer[IPR_MAX_RES_PATH_LENGTH];
1568
1569         error = &hostrcb->hcam.u.error64.u.type_23_error;
1570         errors_logged = be32_to_cpu(error->errors_logged);
1571
1572         ipr_err("Device Errors Detected/Logged: %d/%d\n",
1573                 be32_to_cpu(error->errors_detected), errors_logged);
1574
1575         dev_entry = error->dev;
1576
1577         for (i = 0; i < errors_logged; i++, dev_entry++) {
1578                 ipr_err_separator;
1579
1580                 ipr_err("Device %d : %s", i + 1,
1581                          ipr_format_res_path(dev_entry->res_path, buffer,
1582                                              sizeof(buffer)));
1583                 ipr_log_ext_vpd(&dev_entry->vpd);
1584
1585                 ipr_err("-----New Device Information-----\n");
1586                 ipr_log_ext_vpd(&dev_entry->new_vpd);
1587
1588                 ipr_err("Cache Directory Card Information:\n");
1589                 ipr_log_ext_vpd(&dev_entry->ioa_last_with_dev_vpd);
1590
1591                 ipr_err("Adapter Card Information:\n");
1592                 ipr_log_ext_vpd(&dev_entry->cfc_last_with_dev_vpd);
1593         }
1594 }
1595
1596 /**
1597  * ipr_log_config_error - Log a configuration error.
1598  * @ioa_cfg:    ioa config struct
1599  * @hostrcb:    hostrcb struct
1600  *
1601  * Return value:
1602  *      none
1603  **/
1604 static void ipr_log_config_error(struct ipr_ioa_cfg *ioa_cfg,
1605                                  struct ipr_hostrcb *hostrcb)
1606 {
1607         int errors_logged, i;
1608         struct ipr_hostrcb_device_data_entry *dev_entry;
1609         struct ipr_hostrcb_type_03_error *error;
1610
1611         error = &hostrcb->hcam.u.error.u.type_03_error;
1612         errors_logged = be32_to_cpu(error->errors_logged);
1613
1614         ipr_err("Device Errors Detected/Logged: %d/%d\n",
1615                 be32_to_cpu(error->errors_detected), errors_logged);
1616
1617         dev_entry = error->dev;
1618
1619         for (i = 0; i < errors_logged; i++, dev_entry++) {
1620                 ipr_err_separator;
1621
1622                 ipr_phys_res_err(ioa_cfg, dev_entry->dev_res_addr, "Device %d", i + 1);
1623                 ipr_log_vpd(&dev_entry->vpd);
1624
1625                 ipr_err("-----New Device Information-----\n");
1626                 ipr_log_vpd(&dev_entry->new_vpd);
1627
1628                 ipr_err("Cache Directory Card Information:\n");
1629                 ipr_log_vpd(&dev_entry->ioa_last_with_dev_vpd);
1630
1631                 ipr_err("Adapter Card Information:\n");
1632                 ipr_log_vpd(&dev_entry->cfc_last_with_dev_vpd);
1633
1634                 ipr_err("Additional IOA Data: %08X %08X %08X %08X %08X\n",
1635                         be32_to_cpu(dev_entry->ioa_data[0]),
1636                         be32_to_cpu(dev_entry->ioa_data[1]),
1637                         be32_to_cpu(dev_entry->ioa_data[2]),
1638                         be32_to_cpu(dev_entry->ioa_data[3]),
1639                         be32_to_cpu(dev_entry->ioa_data[4]));
1640         }
1641 }
1642
1643 /**
1644  * ipr_log_enhanced_array_error - Log an array configuration error.
1645  * @ioa_cfg:    ioa config struct
1646  * @hostrcb:    hostrcb struct
1647  *
1648  * Return value:
1649  *      none
1650  **/
1651 static void ipr_log_enhanced_array_error(struct ipr_ioa_cfg *ioa_cfg,
1652                                          struct ipr_hostrcb *hostrcb)
1653 {
1654         int i, num_entries;
1655         struct ipr_hostrcb_type_14_error *error;
1656         struct ipr_hostrcb_array_data_entry_enhanced *array_entry;
1657         const u8 zero_sn[IPR_SERIAL_NUM_LEN] = { [0 ... IPR_SERIAL_NUM_LEN-1] = '0' };
1658
1659         error = &hostrcb->hcam.u.error.u.type_14_error;
1660
1661         ipr_err_separator;
1662
1663         ipr_err("RAID %s Array Configuration: %d:%d:%d:%d\n",
1664                 error->protection_level,
1665                 ioa_cfg->host->host_no,
1666                 error->last_func_vset_res_addr.bus,
1667                 error->last_func_vset_res_addr.target,
1668                 error->last_func_vset_res_addr.lun);
1669
1670         ipr_err_separator;
1671
1672         array_entry = error->array_member;
1673         num_entries = min_t(u32, be32_to_cpu(error->num_entries),
1674                             ARRAY_SIZE(error->array_member));
1675
1676         for (i = 0; i < num_entries; i++, array_entry++) {
1677                 if (!memcmp(array_entry->vpd.vpd.sn, zero_sn, IPR_SERIAL_NUM_LEN))
1678                         continue;
1679
1680                 if (be32_to_cpu(error->exposed_mode_adn) == i)
1681                         ipr_err("Exposed Array Member %d:\n", i);
1682                 else
1683                         ipr_err("Array Member %d:\n", i);
1684
1685                 ipr_log_ext_vpd(&array_entry->vpd);
1686                 ipr_phys_res_err(ioa_cfg, array_entry->dev_res_addr, "Current Location");
1687                 ipr_phys_res_err(ioa_cfg, array_entry->expected_dev_res_addr,
1688                                  "Expected Location");
1689
1690                 ipr_err_separator;
1691         }
1692 }
1693
1694 /**
1695  * ipr_log_array_error - Log an array configuration error.
1696  * @ioa_cfg:    ioa config struct
1697  * @hostrcb:    hostrcb struct
1698  *
1699  * Return value:
1700  *      none
1701  **/
1702 static void ipr_log_array_error(struct ipr_ioa_cfg *ioa_cfg,
1703                                 struct ipr_hostrcb *hostrcb)
1704 {
1705         int i;
1706         struct ipr_hostrcb_type_04_error *error;
1707         struct ipr_hostrcb_array_data_entry *array_entry;
1708         const u8 zero_sn[IPR_SERIAL_NUM_LEN] = { [0 ... IPR_SERIAL_NUM_LEN-1] = '0' };
1709
1710         error = &hostrcb->hcam.u.error.u.type_04_error;
1711
1712         ipr_err_separator;
1713
1714         ipr_err("RAID %s Array Configuration: %d:%d:%d:%d\n",
1715                 error->protection_level,
1716                 ioa_cfg->host->host_no,
1717                 error->last_func_vset_res_addr.bus,
1718                 error->last_func_vset_res_addr.target,
1719                 error->last_func_vset_res_addr.lun);
1720
1721         ipr_err_separator;
1722
1723         array_entry = error->array_member;
1724
1725         for (i = 0; i < 18; i++) {
1726                 if (!memcmp(array_entry->vpd.sn, zero_sn, IPR_SERIAL_NUM_LEN))
1727                         continue;
1728
1729                 if (be32_to_cpu(error->exposed_mode_adn) == i)
1730                         ipr_err("Exposed Array Member %d:\n", i);
1731                 else
1732                         ipr_err("Array Member %d:\n", i);
1733
1734                 ipr_log_vpd(&array_entry->vpd);
1735
1736                 ipr_phys_res_err(ioa_cfg, array_entry->dev_res_addr, "Current Location");
1737                 ipr_phys_res_err(ioa_cfg, array_entry->expected_dev_res_addr,
1738                                  "Expected Location");
1739
1740                 ipr_err_separator;
1741
1742                 if (i == 9)
1743                         array_entry = error->array_member2;
1744                 else
1745                         array_entry++;
1746         }
1747 }
1748
1749 /**
1750  * ipr_log_hex_data - Log additional hex IOA error data.
1751  * @ioa_cfg:    ioa config struct
1752  * @data:               IOA error data
1753  * @len:                data length
1754  *
1755  * Return value:
1756  *      none
1757  **/
1758 static void ipr_log_hex_data(struct ipr_ioa_cfg *ioa_cfg, u32 *data, int len)
1759 {
1760         int i;
1761
1762         if (len == 0)
1763                 return;
1764
1765         if (ioa_cfg->log_level <= IPR_DEFAULT_LOG_LEVEL)
1766                 len = min_t(int, len, IPR_DEFAULT_MAX_ERROR_DUMP);
1767
1768         for (i = 0; i < len / 4; i += 4) {
1769                 ipr_err("%08X: %08X %08X %08X %08X\n", i*4,
1770                         be32_to_cpu(data[i]),
1771                         be32_to_cpu(data[i+1]),
1772                         be32_to_cpu(data[i+2]),
1773                         be32_to_cpu(data[i+3]));
1774         }
1775 }
1776
1777 /**
1778  * ipr_log_enhanced_dual_ioa_error - Log an enhanced dual adapter error.
1779  * @ioa_cfg:    ioa config struct
1780  * @hostrcb:    hostrcb struct
1781  *
1782  * Return value:
1783  *      none
1784  **/
1785 static void ipr_log_enhanced_dual_ioa_error(struct ipr_ioa_cfg *ioa_cfg,
1786                                             struct ipr_hostrcb *hostrcb)
1787 {
1788         struct ipr_hostrcb_type_17_error *error;
1789
1790         if (ioa_cfg->sis64)
1791                 error = &hostrcb->hcam.u.error64.u.type_17_error;
1792         else
1793                 error = &hostrcb->hcam.u.error.u.type_17_error;
1794
1795         error->failure_reason[sizeof(error->failure_reason) - 1] = '\0';
1796         strim(error->failure_reason);
1797
1798         ipr_hcam_err(hostrcb, "%s [PRC: %08X]\n", error->failure_reason,
1799                      be32_to_cpu(hostrcb->hcam.u.error.prc));
1800         ipr_log_ext_vpd_compact("Remote IOA", hostrcb, &error->vpd);
1801         ipr_log_hex_data(ioa_cfg, error->data,
1802                          be32_to_cpu(hostrcb->hcam.length) -
1803                          (offsetof(struct ipr_hostrcb_error, u) +
1804                           offsetof(struct ipr_hostrcb_type_17_error, data)));
1805 }
1806
1807 /**
1808  * ipr_log_dual_ioa_error - Log a dual adapter error.
1809  * @ioa_cfg:    ioa config struct
1810  * @hostrcb:    hostrcb struct
1811  *
1812  * Return value:
1813  *      none
1814  **/
1815 static void ipr_log_dual_ioa_error(struct ipr_ioa_cfg *ioa_cfg,
1816                                    struct ipr_hostrcb *hostrcb)
1817 {
1818         struct ipr_hostrcb_type_07_error *error;
1819
1820         error = &hostrcb->hcam.u.error.u.type_07_error;
1821         error->failure_reason[sizeof(error->failure_reason) - 1] = '\0';
1822         strim(error->failure_reason);
1823
1824         ipr_hcam_err(hostrcb, "%s [PRC: %08X]\n", error->failure_reason,
1825                      be32_to_cpu(hostrcb->hcam.u.error.prc));
1826         ipr_log_vpd_compact("Remote IOA", hostrcb, &error->vpd);
1827         ipr_log_hex_data(ioa_cfg, error->data,
1828                          be32_to_cpu(hostrcb->hcam.length) -
1829                          (offsetof(struct ipr_hostrcb_error, u) +
1830                           offsetof(struct ipr_hostrcb_type_07_error, data)));
1831 }
1832
1833 static const struct {
1834         u8 active;
1835         char *desc;
1836 } path_active_desc[] = {
1837         { IPR_PATH_NO_INFO, "Path" },
1838         { IPR_PATH_ACTIVE, "Active path" },
1839         { IPR_PATH_NOT_ACTIVE, "Inactive path" }
1840 };
1841
1842 static const struct {
1843         u8 state;
1844         char *desc;
1845 } path_state_desc[] = {
1846         { IPR_PATH_STATE_NO_INFO, "has no path state information available" },
1847         { IPR_PATH_HEALTHY, "is healthy" },
1848         { IPR_PATH_DEGRADED, "is degraded" },
1849         { IPR_PATH_FAILED, "is failed" }
1850 };
1851
1852 /**
1853  * ipr_log_fabric_path - Log a fabric path error
1854  * @hostrcb:    hostrcb struct
1855  * @fabric:             fabric descriptor
1856  *
1857  * Return value:
1858  *      none
1859  **/
1860 static void ipr_log_fabric_path(struct ipr_hostrcb *hostrcb,
1861                                 struct ipr_hostrcb_fabric_desc *fabric)
1862 {
1863         int i, j;
1864         u8 path_state = fabric->path_state;
1865         u8 active = path_state & IPR_PATH_ACTIVE_MASK;
1866         u8 state = path_state & IPR_PATH_STATE_MASK;
1867
1868         for (i = 0; i < ARRAY_SIZE(path_active_desc); i++) {
1869                 if (path_active_desc[i].active != active)
1870                         continue;
1871
1872                 for (j = 0; j < ARRAY_SIZE(path_state_desc); j++) {
1873                         if (path_state_desc[j].state != state)
1874                                 continue;
1875
1876                         if (fabric->cascaded_expander == 0xff && fabric->phy == 0xff) {
1877                                 ipr_hcam_err(hostrcb, "%s %s: IOA Port=%d\n",
1878                                              path_active_desc[i].desc, path_state_desc[j].desc,
1879                                              fabric->ioa_port);
1880                         } else if (fabric->cascaded_expander == 0xff) {
1881                                 ipr_hcam_err(hostrcb, "%s %s: IOA Port=%d, Phy=%d\n",
1882                                              path_active_desc[i].desc, path_state_desc[j].desc,
1883                                              fabric->ioa_port, fabric->phy);
1884                         } else if (fabric->phy == 0xff) {
1885                                 ipr_hcam_err(hostrcb, "%s %s: IOA Port=%d, Cascade=%d\n",
1886                                              path_active_desc[i].desc, path_state_desc[j].desc,
1887                                              fabric->ioa_port, fabric->cascaded_expander);
1888                         } else {
1889                                 ipr_hcam_err(hostrcb, "%s %s: IOA Port=%d, Cascade=%d, Phy=%d\n",
1890                                              path_active_desc[i].desc, path_state_desc[j].desc,
1891                                              fabric->ioa_port, fabric->cascaded_expander, fabric->phy);
1892                         }
1893                         return;
1894                 }
1895         }
1896
1897         ipr_err("Path state=%02X IOA Port=%d Cascade=%d Phy=%d\n", path_state,
1898                 fabric->ioa_port, fabric->cascaded_expander, fabric->phy);
1899 }
1900
1901 /**
1902  * ipr_log64_fabric_path - Log a fabric path error
1903  * @hostrcb:    hostrcb struct
1904  * @fabric:             fabric descriptor
1905  *
1906  * Return value:
1907  *      none
1908  **/
1909 static void ipr_log64_fabric_path(struct ipr_hostrcb *hostrcb,
1910                                   struct ipr_hostrcb64_fabric_desc *fabric)
1911 {
1912         int i, j;
1913         u8 path_state = fabric->path_state;
1914         u8 active = path_state & IPR_PATH_ACTIVE_MASK;
1915         u8 state = path_state & IPR_PATH_STATE_MASK;
1916         char buffer[IPR_MAX_RES_PATH_LENGTH];
1917
1918         for (i = 0; i < ARRAY_SIZE(path_active_desc); i++) {
1919                 if (path_active_desc[i].active != active)
1920                         continue;
1921
1922                 for (j = 0; j < ARRAY_SIZE(path_state_desc); j++) {
1923                         if (path_state_desc[j].state != state)
1924                                 continue;
1925
1926                         ipr_hcam_err(hostrcb, "%s %s: Resource Path=%s\n",
1927                                      path_active_desc[i].desc, path_state_desc[j].desc,
1928                                      ipr_format_res_path(fabric->res_path, buffer,
1929                                                          sizeof(buffer)));
1930                         return;
1931                 }
1932         }
1933
1934         ipr_err("Path state=%02X Resource Path=%s\n", path_state,
1935                 ipr_format_res_path(fabric->res_path, buffer, sizeof(buffer)));
1936 }
1937
1938 static const struct {
1939         u8 type;
1940         char *desc;
1941 } path_type_desc[] = {
1942         { IPR_PATH_CFG_IOA_PORT, "IOA port" },
1943         { IPR_PATH_CFG_EXP_PORT, "Expander port" },
1944         { IPR_PATH_CFG_DEVICE_PORT, "Device port" },
1945         { IPR_PATH_CFG_DEVICE_LUN, "Device LUN" }
1946 };
1947
1948 static const struct {
1949         u8 status;
1950         char *desc;
1951 } path_status_desc[] = {
1952         { IPR_PATH_CFG_NO_PROB, "Functional" },
1953         { IPR_PATH_CFG_DEGRADED, "Degraded" },
1954         { IPR_PATH_CFG_FAILED, "Failed" },
1955         { IPR_PATH_CFG_SUSPECT, "Suspect" },
1956         { IPR_PATH_NOT_DETECTED, "Missing" },
1957         { IPR_PATH_INCORRECT_CONN, "Incorrectly connected" }
1958 };
1959
1960 static const char *link_rate[] = {
1961         "unknown",
1962         "disabled",
1963         "phy reset problem",
1964         "spinup hold",
1965         "port selector",
1966         "unknown",
1967         "unknown",
1968         "unknown",
1969         "1.5Gbps",
1970         "3.0Gbps",
1971         "unknown",
1972         "unknown",
1973         "unknown",
1974         "unknown",
1975         "unknown",
1976         "unknown"
1977 };
1978
1979 /**
1980  * ipr_log_path_elem - Log a fabric path element.
1981  * @hostrcb:    hostrcb struct
1982  * @cfg:                fabric path element struct
1983  *
1984  * Return value:
1985  *      none
1986  **/
1987 static void ipr_log_path_elem(struct ipr_hostrcb *hostrcb,
1988                               struct ipr_hostrcb_config_element *cfg)
1989 {
1990         int i, j;
1991         u8 type = cfg->type_status & IPR_PATH_CFG_TYPE_MASK;
1992         u8 status = cfg->type_status & IPR_PATH_CFG_STATUS_MASK;
1993
1994         if (type == IPR_PATH_CFG_NOT_EXIST)
1995                 return;
1996
1997         for (i = 0; i < ARRAY_SIZE(path_type_desc); i++) {
1998                 if (path_type_desc[i].type != type)
1999                         continue;
2000
2001                 for (j = 0; j < ARRAY_SIZE(path_status_desc); j++) {
2002                         if (path_status_desc[j].status != status)
2003                                 continue;
2004
2005                         if (type == IPR_PATH_CFG_IOA_PORT) {
2006                                 ipr_hcam_err(hostrcb, "%s %s: Phy=%d, Link rate=%s, WWN=%08X%08X\n",
2007                                              path_status_desc[j].desc, path_type_desc[i].desc,
2008                                              cfg->phy, link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2009                                              be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2010                         } else {
2011                                 if (cfg->cascaded_expander == 0xff && cfg->phy == 0xff) {
2012                                         ipr_hcam_err(hostrcb, "%s %s: Link rate=%s, WWN=%08X%08X\n",
2013                                                      path_status_desc[j].desc, path_type_desc[i].desc,
2014                                                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2015                                                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2016                                 } else if (cfg->cascaded_expander == 0xff) {
2017                                         ipr_hcam_err(hostrcb, "%s %s: Phy=%d, Link rate=%s, "
2018                                                      "WWN=%08X%08X\n", path_status_desc[j].desc,
2019                                                      path_type_desc[i].desc, cfg->phy,
2020                                                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2021                                                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2022                                 } else if (cfg->phy == 0xff) {
2023                                         ipr_hcam_err(hostrcb, "%s %s: Cascade=%d, Link rate=%s, "
2024                                                      "WWN=%08X%08X\n", path_status_desc[j].desc,
2025                                                      path_type_desc[i].desc, cfg->cascaded_expander,
2026                                                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2027                                                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2028                                 } else {
2029                                         ipr_hcam_err(hostrcb, "%s %s: Cascade=%d, Phy=%d, Link rate=%s "
2030                                                      "WWN=%08X%08X\n", path_status_desc[j].desc,
2031                                                      path_type_desc[i].desc, cfg->cascaded_expander, cfg->phy,
2032                                                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2033                                                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2034                                 }
2035                         }
2036                         return;
2037                 }
2038         }
2039
2040         ipr_hcam_err(hostrcb, "Path element=%02X: Cascade=%d Phy=%d Link rate=%s "
2041                      "WWN=%08X%08X\n", cfg->type_status, cfg->cascaded_expander, cfg->phy,
2042                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2043                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2044 }
2045
2046 /**
2047  * ipr_log64_path_elem - Log a fabric path element.
2048  * @hostrcb:    hostrcb struct
2049  * @cfg:                fabric path element struct
2050  *
2051  * Return value:
2052  *      none
2053  **/
2054 static void ipr_log64_path_elem(struct ipr_hostrcb *hostrcb,
2055                                 struct ipr_hostrcb64_config_element *cfg)
2056 {
2057         int i, j;
2058         u8 desc_id = cfg->descriptor_id & IPR_DESCRIPTOR_MASK;
2059         u8 type = cfg->type_status & IPR_PATH_CFG_TYPE_MASK;
2060         u8 status = cfg->type_status & IPR_PATH_CFG_STATUS_MASK;
2061         char buffer[IPR_MAX_RES_PATH_LENGTH];
2062
2063         if (type == IPR_PATH_CFG_NOT_EXIST || desc_id != IPR_DESCRIPTOR_SIS64)
2064                 return;
2065
2066         for (i = 0; i < ARRAY_SIZE(path_type_desc); i++) {
2067                 if (path_type_desc[i].type != type)
2068                         continue;
2069
2070                 for (j = 0; j < ARRAY_SIZE(path_status_desc); j++) {
2071                         if (path_status_desc[j].status != status)
2072                                 continue;
2073
2074                         ipr_hcam_err(hostrcb, "%s %s: Resource Path=%s, Link rate=%s, WWN=%08X%08X\n",
2075                                      path_status_desc[j].desc, path_type_desc[i].desc,
2076                                      ipr_format_res_path(cfg->res_path, buffer,
2077                                                          sizeof(buffer)),
2078                                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2079                                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2080                         return;
2081                 }
2082         }
2083         ipr_hcam_err(hostrcb, "Path element=%02X: Resource Path=%s, Link rate=%s "
2084                      "WWN=%08X%08X\n", cfg->type_status,
2085                      ipr_format_res_path(cfg->res_path, buffer, sizeof(buffer)),
2086                      link_rate[cfg->link_rate & IPR_PHY_LINK_RATE_MASK],
2087                      be32_to_cpu(cfg->wwid[0]), be32_to_cpu(cfg->wwid[1]));
2088 }
2089
2090 /**
2091  * ipr_log_fabric_error - Log a fabric error.
2092  * @ioa_cfg:    ioa config struct
2093  * @hostrcb:    hostrcb struct
2094  *
2095  * Return value:
2096  *      none
2097  **/
2098 static void ipr_log_fabric_error(struct ipr_ioa_cfg *ioa_cfg,
2099                                  struct ipr_hostrcb *hostrcb)
2100 {
2101         struct ipr_hostrcb_type_20_error *error;
2102         struct ipr_hostrcb_fabric_desc *fabric;
2103         struct ipr_hostrcb_config_element *cfg;
2104         int i, add_len;
2105
2106         error = &hostrcb->hcam.u.error.u.type_20_error;
2107         error->failure_reason[sizeof(error->failure_reason) - 1] = '\0';
2108         ipr_hcam_err(hostrcb, "%s\n", error->failure_reason);
2109
2110         add_len = be32_to_cpu(hostrcb->hcam.length) -
2111                 (offsetof(struct ipr_hostrcb_error, u) +
2112                  offsetof(struct ipr_hostrcb_type_20_error, desc));
2113
2114         for (i = 0, fabric = error->desc; i < error->num_entries; i++) {
2115                 ipr_log_fabric_path(hostrcb, fabric);
2116                 for_each_fabric_cfg(fabric, cfg)
2117                         ipr_log_path_elem(hostrcb, cfg);
2118
2119                 add_len -= be16_to_cpu(fabric->length);
2120                 fabric = (struct ipr_hostrcb_fabric_desc *)
2121                         ((unsigned long)fabric + be16_to_cpu(fabric->length));
2122         }
2123
2124         ipr_log_hex_data(ioa_cfg, (u32 *)fabric, add_len);
2125 }
2126
2127 /**
2128  * ipr_log_sis64_array_error - Log a sis64 array error.
2129  * @ioa_cfg:    ioa config struct
2130  * @hostrcb:    hostrcb struct
2131  *
2132  * Return value:
2133  *      none
2134  **/
2135 static void ipr_log_sis64_array_error(struct ipr_ioa_cfg *ioa_cfg,
2136                                       struct ipr_hostrcb *hostrcb)
2137 {
2138         int i, num_entries;
2139         struct ipr_hostrcb_type_24_error *error;
2140         struct ipr_hostrcb64_array_data_entry *array_entry;
2141         char buffer[IPR_MAX_RES_PATH_LENGTH];
2142         const u8 zero_sn[IPR_SERIAL_NUM_LEN] = { [0 ... IPR_SERIAL_NUM_LEN-1] = '0' };
2143
2144         error = &hostrcb->hcam.u.error64.u.type_24_error;
2145
2146         ipr_err_separator;
2147
2148         ipr_err("RAID %s Array Configuration: %s\n",
2149                 error->protection_level,
2150                 ipr_format_res_path(error->last_res_path, buffer, sizeof(buffer)));
2151
2152         ipr_err_separator;
2153
2154         array_entry = error->array_member;
2155         num_entries = min_t(u32, error->num_entries,
2156                             ARRAY_SIZE(error->array_member));
2157
2158         for (i = 0; i < num_entries; i++, array_entry++) {
2159
2160                 if (!memcmp(array_entry->vpd.vpd.sn, zero_sn, IPR_SERIAL_NUM_LEN))
2161                         continue;
2162
2163                 if (error->exposed_mode_adn == i)
2164                         ipr_err("Exposed Array Member %d:\n", i);
2165                 else
2166                         ipr_err("Array Member %d:\n", i);
2167
2168                 ipr_err("Array Member %d:\n", i);
2169                 ipr_log_ext_vpd(&array_entry->vpd);
2170                 ipr_err("Current Location: %s\n",
2171                          ipr_format_res_path(array_entry->res_path, buffer,
2172                                              sizeof(buffer)));
2173                 ipr_err("Expected Location: %s\n",
2174                          ipr_format_res_path(array_entry->expected_res_path,
2175                                              buffer, sizeof(buffer)));
2176
2177                 ipr_err_separator;
2178         }
2179 }
2180
2181 /**
2182  * ipr_log_sis64_fabric_error - Log a sis64 fabric error.
2183  * @ioa_cfg:    ioa config struct
2184  * @hostrcb:    hostrcb struct
2185  *
2186  * Return value:
2187  *      none
2188  **/
2189 static void ipr_log_sis64_fabric_error(struct ipr_ioa_cfg *ioa_cfg,
2190                                        struct ipr_hostrcb *hostrcb)
2191 {
2192         struct ipr_hostrcb_type_30_error *error;
2193         struct ipr_hostrcb64_fabric_desc *fabric;
2194         struct ipr_hostrcb64_config_element *cfg;
2195         int i, add_len;
2196
2197         error = &hostrcb->hcam.u.error64.u.type_30_error;
2198
2199         error->failure_reason[sizeof(error->failure_reason) - 1] = '\0';
2200         ipr_hcam_err(hostrcb, "%s\n", error->failure_reason);
2201
2202         add_len = be32_to_cpu(hostrcb->hcam.length) -
2203                 (offsetof(struct ipr_hostrcb64_error, u) +
2204                  offsetof(struct ipr_hostrcb_type_30_error, desc));
2205
2206         for (i = 0, fabric = error->desc; i < error->num_entries; i++) {
2207                 ipr_log64_fabric_path(hostrcb, fabric);
2208                 for_each_fabric_cfg(fabric, cfg)
2209                         ipr_log64_path_elem(hostrcb, cfg);
2210
2211                 add_len -= be16_to_cpu(fabric->length);
2212                 fabric = (struct ipr_hostrcb64_fabric_desc *)
2213                         ((unsigned long)fabric + be16_to_cpu(fabric->length));
2214         }
2215
2216         ipr_log_hex_data(ioa_cfg, (u32 *)fabric, add_len);
2217 }
2218
2219 /**
2220  * ipr_log_generic_error - Log an adapter error.
2221  * @ioa_cfg:    ioa config struct
2222  * @hostrcb:    hostrcb struct
2223  *
2224  * Return value:
2225  *      none
2226  **/
2227 static void ipr_log_generic_error(struct ipr_ioa_cfg *ioa_cfg,
2228                                   struct ipr_hostrcb *hostrcb)
2229 {
2230         ipr_log_hex_data(ioa_cfg, hostrcb->hcam.u.raw.data,
2231                          be32_to_cpu(hostrcb->hcam.length));
2232 }
2233
2234 /**
2235  * ipr_get_error - Find the specfied IOASC in the ipr_error_table.
2236  * @ioasc:      IOASC
2237  *
2238  * This function will return the index of into the ipr_error_table
2239  * for the specified IOASC. If the IOASC is not in the table,
2240  * 0 will be returned, which points to the entry used for unknown errors.
2241  *
2242  * Return value:
2243  *      index into the ipr_error_table
2244  **/
2245 static u32 ipr_get_error(u32 ioasc)
2246 {
2247         int i;
2248
2249         for (i = 0; i < ARRAY_SIZE(ipr_error_table); i++)
2250                 if (ipr_error_table[i].ioasc == (ioasc & IPR_IOASC_IOASC_MASK))
2251                         return i;
2252
2253         return 0;
2254 }
2255
2256 /**
2257  * ipr_handle_log_data - Log an adapter error.
2258  * @ioa_cfg:    ioa config struct
2259  * @hostrcb:    hostrcb struct
2260  *
2261  * This function logs an adapter error to the system.
2262  *
2263  * Return value:
2264  *      none
2265  **/
2266 static void ipr_handle_log_data(struct ipr_ioa_cfg *ioa_cfg,
2267                                 struct ipr_hostrcb *hostrcb)
2268 {
2269         u32 ioasc;
2270         int error_index;
2271
2272         if (hostrcb->hcam.notify_type != IPR_HOST_RCB_NOTIF_TYPE_ERROR_LOG_ENTRY)
2273                 return;
2274
2275         if (hostrcb->hcam.notifications_lost == IPR_HOST_RCB_NOTIFICATIONS_LOST)
2276                 dev_err(&ioa_cfg->pdev->dev, "Error notifications lost\n");
2277
2278         if (ioa_cfg->sis64)
2279                 ioasc = be32_to_cpu(hostrcb->hcam.u.error64.fd_ioasc);
2280         else
2281                 ioasc = be32_to_cpu(hostrcb->hcam.u.error.fd_ioasc);
2282
2283         if (!ioa_cfg->sis64 && (ioasc == IPR_IOASC_BUS_WAS_RESET ||
2284             ioasc == IPR_IOASC_BUS_WAS_RESET_BY_OTHER)) {
2285                 /* Tell the midlayer we had a bus reset so it will handle the UA properly */
2286                 scsi_report_bus_reset(ioa_cfg->host,
2287                                       hostrcb->hcam.u.error.fd_res_addr.bus);
2288         }
2289
2290         error_index = ipr_get_error(ioasc);
2291
2292         if (!ipr_error_table[error_index].log_hcam)
2293                 return;
2294
2295         ipr_hcam_err(hostrcb, "%s\n", ipr_error_table[error_index].error);
2296
2297         /* Set indication we have logged an error */
2298         ioa_cfg->errors_logged++;
2299
2300         if (ioa_cfg->log_level < ipr_error_table[error_index].log_hcam)
2301                 return;
2302         if (be32_to_cpu(hostrcb->hcam.length) > sizeof(hostrcb->hcam.u.raw))
2303                 hostrcb->hcam.length = cpu_to_be32(sizeof(hostrcb->hcam.u.raw));
2304
2305         switch (hostrcb->hcam.overlay_id) {
2306         case IPR_HOST_RCB_OVERLAY_ID_2:
2307                 ipr_log_cache_error(ioa_cfg, hostrcb);
2308                 break;
2309         case IPR_HOST_RCB_OVERLAY_ID_3:
2310                 ipr_log_config_error(ioa_cfg, hostrcb);
2311                 break;
2312         case IPR_HOST_RCB_OVERLAY_ID_4:
2313         case IPR_HOST_RCB_OVERLAY_ID_6:
2314                 ipr_log_array_error(ioa_cfg, hostrcb);
2315                 break;
2316         case IPR_HOST_RCB_OVERLAY_ID_7:
2317                 ipr_log_dual_ioa_error(ioa_cfg, hostrcb);
2318                 break;
2319         case IPR_HOST_RCB_OVERLAY_ID_12:
2320                 ipr_log_enhanced_cache_error(ioa_cfg, hostrcb);
2321                 break;
2322         case IPR_HOST_RCB_OVERLAY_ID_13:
2323                 ipr_log_enhanced_config_error(ioa_cfg, hostrcb);
2324                 break;
2325         case IPR_HOST_RCB_OVERLAY_ID_14:
2326         case IPR_HOST_RCB_OVERLAY_ID_16:
2327                 ipr_log_enhanced_array_error(ioa_cfg, hostrcb);
2328                 break;
2329         case IPR_HOST_RCB_OVERLAY_ID_17:
2330                 ipr_log_enhanced_dual_ioa_error(ioa_cfg, hostrcb);
2331                 break;
2332         case IPR_HOST_RCB_OVERLAY_ID_20:
2333                 ipr_log_fabric_error(ioa_cfg, hostrcb);
2334                 break;
2335         case IPR_HOST_RCB_OVERLAY_ID_23:
2336                 ipr_log_sis64_config_error(ioa_cfg, hostrcb);
2337                 break;
2338         case IPR_HOST_RCB_OVERLAY_ID_24:
2339         case IPR_HOST_RCB_OVERLAY_ID_26:
2340                 ipr_log_sis64_array_error(ioa_cfg, hostrcb);
2341                 break;
2342         case IPR_HOST_RCB_OVERLAY_ID_30:
2343                 ipr_log_sis64_fabric_error(ioa_cfg, hostrcb);
2344                 break;
2345         case IPR_HOST_RCB_OVERLAY_ID_1:
2346         case IPR_HOST_RCB_OVERLAY_ID_DEFAULT:
2347         default:
2348                 ipr_log_generic_error(ioa_cfg, hostrcb);
2349                 break;
2350         }
2351 }
2352
2353 /**
2354  * ipr_process_error - Op done function for an adapter error log.
2355  * @ipr_cmd:    ipr command struct
2356  *
2357  * This function is the op done function for an error log host
2358  * controlled async from the adapter. It will log the error and
2359  * send the HCAM back to the adapter.
2360  *
2361  * Return value:
2362  *      none
2363  **/
2364 static void ipr_process_error(struct ipr_cmnd *ipr_cmd)
2365 {
2366         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
2367         struct ipr_hostrcb *hostrcb = ipr_cmd->u.hostrcb;
2368         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
2369         u32 fd_ioasc;
2370
2371         if (ioa_cfg->sis64)
2372                 fd_ioasc = be32_to_cpu(hostrcb->hcam.u.error64.fd_ioasc);
2373         else
2374                 fd_ioasc = be32_to_cpu(hostrcb->hcam.u.error.fd_ioasc);
2375
2376         list_del(&hostrcb->queue);
2377         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
2378
2379         if (!ioasc) {
2380                 ipr_handle_log_data(ioa_cfg, hostrcb);
2381                 if (fd_ioasc == IPR_IOASC_NR_IOA_RESET_REQUIRED)
2382                         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_ABBREV);
2383         } else if (ioasc != IPR_IOASC_IOA_WAS_RESET) {
2384                 dev_err(&ioa_cfg->pdev->dev,
2385                         "Host RCB failed with IOASC: 0x%08X\n", ioasc);
2386         }
2387
2388         ipr_send_hcam(ioa_cfg, IPR_HCAM_CDB_OP_CODE_LOG_DATA, hostrcb);
2389 }
2390
2391 /**
2392  * ipr_timeout -  An internally generated op has timed out.
2393  * @ipr_cmd:    ipr command struct
2394  *
2395  * This function blocks host requests and initiates an
2396  * adapter reset.
2397  *
2398  * Return value:
2399  *      none
2400  **/
2401 static void ipr_timeout(struct ipr_cmnd *ipr_cmd)
2402 {
2403         unsigned long lock_flags = 0;
2404         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
2405
2406         ENTER;
2407         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
2408
2409         ioa_cfg->errors_logged++;
2410         dev_err(&ioa_cfg->pdev->dev,
2411                 "Adapter being reset due to command timeout.\n");
2412
2413         if (WAIT_FOR_DUMP == ioa_cfg->sdt_state)
2414                 ioa_cfg->sdt_state = GET_DUMP;
2415
2416         if (!ioa_cfg->in_reset_reload || ioa_cfg->reset_cmd == ipr_cmd)
2417                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
2418
2419         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2420         LEAVE;
2421 }
2422
2423 /**
2424  * ipr_oper_timeout -  Adapter timed out transitioning to operational
2425  * @ipr_cmd:    ipr command struct
2426  *
2427  * This function blocks host requests and initiates an
2428  * adapter reset.
2429  *
2430  * Return value:
2431  *      none
2432  **/
2433 static void ipr_oper_timeout(struct ipr_cmnd *ipr_cmd)
2434 {
2435         unsigned long lock_flags = 0;
2436         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
2437
2438         ENTER;
2439         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
2440
2441         ioa_cfg->errors_logged++;
2442         dev_err(&ioa_cfg->pdev->dev,
2443                 "Adapter timed out transitioning to operational.\n");
2444
2445         if (WAIT_FOR_DUMP == ioa_cfg->sdt_state)
2446                 ioa_cfg->sdt_state = GET_DUMP;
2447
2448         if (!ioa_cfg->in_reset_reload || ioa_cfg->reset_cmd == ipr_cmd) {
2449                 if (ipr_fastfail)
2450                         ioa_cfg->reset_retries += IPR_NUM_RESET_RELOAD_RETRIES;
2451                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
2452         }
2453
2454         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2455         LEAVE;
2456 }
2457
2458 /**
2459  * ipr_reset_reload - Reset/Reload the IOA
2460  * @ioa_cfg:            ioa config struct
2461  * @shutdown_type:      shutdown type
2462  *
2463  * This function resets the adapter and re-initializes it.
2464  * This function assumes that all new host commands have been stopped.
2465  * Return value:
2466  *      SUCCESS / FAILED
2467  **/
2468 static int ipr_reset_reload(struct ipr_ioa_cfg *ioa_cfg,
2469                             enum ipr_shutdown_type shutdown_type)
2470 {
2471         if (!ioa_cfg->in_reset_reload)
2472                 ipr_initiate_ioa_reset(ioa_cfg, shutdown_type);
2473
2474         spin_unlock_irq(ioa_cfg->host->host_lock);
2475         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
2476         spin_lock_irq(ioa_cfg->host->host_lock);
2477
2478         /* If we got hit with a host reset while we were already resetting
2479          the adapter for some reason, and the reset failed. */
2480         if (ioa_cfg->ioa_is_dead) {
2481                 ipr_trace;
2482                 return FAILED;
2483         }
2484
2485         return SUCCESS;
2486 }
2487
2488 /**
2489  * ipr_find_ses_entry - Find matching SES in SES table
2490  * @res:        resource entry struct of SES
2491  *
2492  * Return value:
2493  *      pointer to SES table entry / NULL on failure
2494  **/
2495 static const struct ipr_ses_table_entry *
2496 ipr_find_ses_entry(struct ipr_resource_entry *res)
2497 {
2498         int i, j, matches;
2499         struct ipr_std_inq_vpids *vpids;
2500         const struct ipr_ses_table_entry *ste = ipr_ses_table;
2501
2502         for (i = 0; i < ARRAY_SIZE(ipr_ses_table); i++, ste++) {
2503                 for (j = 0, matches = 0; j < IPR_PROD_ID_LEN; j++) {
2504                         if (ste->compare_product_id_byte[j] == 'X') {
2505                                 vpids = &res->std_inq_data.vpids;
2506                                 if (vpids->product_id[j] == ste->product_id[j])
2507                                         matches++;
2508                                 else
2509                                         break;
2510                         } else
2511                                 matches++;
2512                 }
2513
2514                 if (matches == IPR_PROD_ID_LEN)
2515                         return ste;
2516         }
2517
2518         return NULL;
2519 }
2520
2521 /**
2522  * ipr_get_max_scsi_speed - Determine max SCSI speed for a given bus
2523  * @ioa_cfg:    ioa config struct
2524  * @bus:                SCSI bus
2525  * @bus_width:  bus width
2526  *
2527  * Return value:
2528  *      SCSI bus speed in units of 100KHz, 1600 is 160 MHz
2529  *      For a 2-byte wide SCSI bus, the maximum transfer speed is
2530  *      twice the maximum transfer rate (e.g. for a wide enabled bus,
2531  *      max 160MHz = max 320MB/sec).
2532  **/
2533 static u32 ipr_get_max_scsi_speed(struct ipr_ioa_cfg *ioa_cfg, u8 bus, u8 bus_width)
2534 {
2535         struct ipr_resource_entry *res;
2536         const struct ipr_ses_table_entry *ste;
2537         u32 max_xfer_rate = IPR_MAX_SCSI_RATE(bus_width);
2538
2539         /* Loop through each config table entry in the config table buffer */
2540         list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
2541                 if (!(IPR_IS_SES_DEVICE(res->std_inq_data)))
2542                         continue;
2543
2544                 if (bus != res->bus)
2545                         continue;
2546
2547                 if (!(ste = ipr_find_ses_entry(res)))
2548                         continue;
2549
2550                 max_xfer_rate = (ste->max_bus_speed_limit * 10) / (bus_width / 8);
2551         }
2552
2553         return max_xfer_rate;
2554 }
2555
2556 /**
2557  * ipr_wait_iodbg_ack - Wait for an IODEBUG ACK from the IOA
2558  * @ioa_cfg:            ioa config struct
2559  * @max_delay:          max delay in micro-seconds to wait
2560  *
2561  * Waits for an IODEBUG ACK from the IOA, doing busy looping.
2562  *
2563  * Return value:
2564  *      0 on success / other on failure
2565  **/
2566 static int ipr_wait_iodbg_ack(struct ipr_ioa_cfg *ioa_cfg, int max_delay)
2567 {
2568         volatile u32 pcii_reg;
2569         int delay = 1;
2570
2571         /* Read interrupt reg until IOA signals IO Debug Acknowledge */
2572         while (delay < max_delay) {
2573                 pcii_reg = readl(ioa_cfg->regs.sense_interrupt_reg);
2574
2575                 if (pcii_reg & IPR_PCII_IO_DEBUG_ACKNOWLEDGE)
2576                         return 0;
2577
2578                 /* udelay cannot be used if delay is more than a few milliseconds */
2579                 if ((delay / 1000) > MAX_UDELAY_MS)
2580                         mdelay(delay / 1000);
2581                 else
2582                         udelay(delay);
2583
2584                 delay += delay;
2585         }
2586         return -EIO;
2587 }
2588
2589 /**
2590  * ipr_get_sis64_dump_data_section - Dump IOA memory
2591  * @ioa_cfg:                    ioa config struct
2592  * @start_addr:                 adapter address to dump
2593  * @dest:                       destination kernel buffer
2594  * @length_in_words:            length to dump in 4 byte words
2595  *
2596  * Return value:
2597  *      0 on success
2598  **/
2599 static int ipr_get_sis64_dump_data_section(struct ipr_ioa_cfg *ioa_cfg,
2600                                            u32 start_addr,
2601                                            __be32 *dest, u32 length_in_words)
2602 {
2603         int i;
2604
2605         for (i = 0; i < length_in_words; i++) {
2606                 writel(start_addr+(i*4), ioa_cfg->regs.dump_addr_reg);
2607                 *dest = cpu_to_be32(readl(ioa_cfg->regs.dump_data_reg));
2608                 dest++;
2609         }
2610
2611         return 0;
2612 }
2613
2614 /**
2615  * ipr_get_ldump_data_section - Dump IOA memory
2616  * @ioa_cfg:                    ioa config struct
2617  * @start_addr:                 adapter address to dump
2618  * @dest:                               destination kernel buffer
2619  * @length_in_words:    length to dump in 4 byte words
2620  *
2621  * Return value:
2622  *      0 on success / -EIO on failure
2623  **/
2624 static int ipr_get_ldump_data_section(struct ipr_ioa_cfg *ioa_cfg,
2625                                       u32 start_addr,
2626                                       __be32 *dest, u32 length_in_words)
2627 {
2628         volatile u32 temp_pcii_reg;
2629         int i, delay = 0;
2630
2631         if (ioa_cfg->sis64)
2632                 return ipr_get_sis64_dump_data_section(ioa_cfg, start_addr,
2633                                                        dest, length_in_words);
2634
2635         /* Write IOA interrupt reg starting LDUMP state  */
2636         writel((IPR_UPROCI_RESET_ALERT | IPR_UPROCI_IO_DEBUG_ALERT),
2637                ioa_cfg->regs.set_uproc_interrupt_reg32);
2638
2639         /* Wait for IO debug acknowledge */
2640         if (ipr_wait_iodbg_ack(ioa_cfg,
2641                                IPR_LDUMP_MAX_LONG_ACK_DELAY_IN_USEC)) {
2642                 dev_err(&ioa_cfg->pdev->dev,
2643                         "IOA dump long data transfer timeout\n");
2644                 return -EIO;
2645         }
2646
2647         /* Signal LDUMP interlocked - clear IO debug ack */
2648         writel(IPR_PCII_IO_DEBUG_ACKNOWLEDGE,
2649                ioa_cfg->regs.clr_interrupt_reg);
2650
2651         /* Write Mailbox with starting address */
2652         writel(start_addr, ioa_cfg->ioa_mailbox);
2653
2654         /* Signal address valid - clear IOA Reset alert */
2655         writel(IPR_UPROCI_RESET_ALERT,
2656                ioa_cfg->regs.clr_uproc_interrupt_reg32);
2657
2658         for (i = 0; i < length_in_words; i++) {
2659                 /* Wait for IO debug acknowledge */
2660                 if (ipr_wait_iodbg_ack(ioa_cfg,
2661                                        IPR_LDUMP_MAX_SHORT_ACK_DELAY_IN_USEC)) {
2662                         dev_err(&ioa_cfg->pdev->dev,
2663                                 "IOA dump short data transfer timeout\n");
2664                         return -EIO;
2665                 }
2666
2667                 /* Read data from mailbox and increment destination pointer */
2668                 *dest = cpu_to_be32(readl(ioa_cfg->ioa_mailbox));
2669                 dest++;
2670
2671                 /* For all but the last word of data, signal data received */
2672                 if (i < (length_in_words - 1)) {
2673                         /* Signal dump data received - Clear IO debug Ack */
2674                         writel(IPR_PCII_IO_DEBUG_ACKNOWLEDGE,
2675                                ioa_cfg->regs.clr_interrupt_reg);
2676                 }
2677         }
2678
2679         /* Signal end of block transfer. Set reset alert then clear IO debug ack */
2680         writel(IPR_UPROCI_RESET_ALERT,
2681                ioa_cfg->regs.set_uproc_interrupt_reg32);
2682
2683         writel(IPR_UPROCI_IO_DEBUG_ALERT,
2684                ioa_cfg->regs.clr_uproc_interrupt_reg32);
2685
2686         /* Signal dump data received - Clear IO debug Ack */
2687         writel(IPR_PCII_IO_DEBUG_ACKNOWLEDGE,
2688                ioa_cfg->regs.clr_interrupt_reg);
2689
2690         /* Wait for IOA to signal LDUMP exit - IOA reset alert will be cleared */
2691         while (delay < IPR_LDUMP_MAX_SHORT_ACK_DELAY_IN_USEC) {
2692                 temp_pcii_reg =
2693                     readl(ioa_cfg->regs.sense_uproc_interrupt_reg32);
2694
2695                 if (!(temp_pcii_reg & IPR_UPROCI_RESET_ALERT))
2696                         return 0;
2697
2698                 udelay(10);
2699                 delay += 10;
2700         }
2701
2702         return 0;
2703 }
2704
2705 #ifdef CONFIG_SCSI_IPR_DUMP
2706 /**
2707  * ipr_sdt_copy - Copy Smart Dump Table to kernel buffer
2708  * @ioa_cfg:            ioa config struct
2709  * @pci_address:        adapter address
2710  * @length:                     length of data to copy
2711  *
2712  * Copy data from PCI adapter to kernel buffer.
2713  * Note: length MUST be a 4 byte multiple
2714  * Return value:
2715  *      0 on success / other on failure
2716  **/
2717 static int ipr_sdt_copy(struct ipr_ioa_cfg *ioa_cfg,
2718                         unsigned long pci_address, u32 length)
2719 {
2720         int bytes_copied = 0;
2721         int cur_len, rc, rem_len, rem_page_len, max_dump_size;
2722         __be32 *page;
2723         unsigned long lock_flags = 0;
2724         struct ipr_ioa_dump *ioa_dump = &ioa_cfg->dump->ioa_dump;
2725
2726         if (ioa_cfg->sis64)
2727                 max_dump_size = IPR_FMT3_MAX_IOA_DUMP_SIZE;
2728         else
2729                 max_dump_size = IPR_FMT2_MAX_IOA_DUMP_SIZE;
2730
2731         while (bytes_copied < length &&
2732                (ioa_dump->hdr.len + bytes_copied) < max_dump_size) {
2733                 if (ioa_dump->page_offset >= PAGE_SIZE ||
2734                     ioa_dump->page_offset == 0) {
2735                         page = (__be32 *)__get_free_page(GFP_ATOMIC);
2736
2737                         if (!page) {
2738                                 ipr_trace;
2739                                 return bytes_copied;
2740                         }
2741
2742                         ioa_dump->page_offset = 0;
2743                         ioa_dump->ioa_data[ioa_dump->next_page_index] = page;
2744                         ioa_dump->next_page_index++;
2745                 } else
2746                         page = ioa_dump->ioa_data[ioa_dump->next_page_index - 1];
2747
2748                 rem_len = length - bytes_copied;
2749                 rem_page_len = PAGE_SIZE - ioa_dump->page_offset;
2750                 cur_len = min(rem_len, rem_page_len);
2751
2752                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
2753                 if (ioa_cfg->sdt_state == ABORT_DUMP) {
2754                         rc = -EIO;
2755                 } else {
2756                         rc = ipr_get_ldump_data_section(ioa_cfg,
2757                                                         pci_address + bytes_copied,
2758                                                         &page[ioa_dump->page_offset / 4],
2759                                                         (cur_len / sizeof(u32)));
2760                 }
2761                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2762
2763                 if (!rc) {
2764                         ioa_dump->page_offset += cur_len;
2765                         bytes_copied += cur_len;
2766                 } else {
2767                         ipr_trace;
2768                         break;
2769                 }
2770                 schedule();
2771         }
2772
2773         return bytes_copied;
2774 }
2775
2776 /**
2777  * ipr_init_dump_entry_hdr - Initialize a dump entry header.
2778  * @hdr:        dump entry header struct
2779  *
2780  * Return value:
2781  *      nothing
2782  **/
2783 static void ipr_init_dump_entry_hdr(struct ipr_dump_entry_header *hdr)
2784 {
2785         hdr->eye_catcher = IPR_DUMP_EYE_CATCHER;
2786         hdr->num_elems = 1;
2787         hdr->offset = sizeof(*hdr);
2788         hdr->status = IPR_DUMP_STATUS_SUCCESS;
2789 }
2790
2791 /**
2792  * ipr_dump_ioa_type_data - Fill in the adapter type in the dump.
2793  * @ioa_cfg:    ioa config struct
2794  * @driver_dump:        driver dump struct
2795  *
2796  * Return value:
2797  *      nothing
2798  **/
2799 static void ipr_dump_ioa_type_data(struct ipr_ioa_cfg *ioa_cfg,
2800                                    struct ipr_driver_dump *driver_dump)
2801 {
2802         struct ipr_inquiry_page3 *ucode_vpd = &ioa_cfg->vpd_cbs->page3_data;
2803
2804         ipr_init_dump_entry_hdr(&driver_dump->ioa_type_entry.hdr);
2805         driver_dump->ioa_type_entry.hdr.len =
2806                 sizeof(struct ipr_dump_ioa_type_entry) -
2807                 sizeof(struct ipr_dump_entry_header);
2808         driver_dump->ioa_type_entry.hdr.data_type = IPR_DUMP_DATA_TYPE_BINARY;
2809         driver_dump->ioa_type_entry.hdr.id = IPR_DUMP_DRIVER_TYPE_ID;
2810         driver_dump->ioa_type_entry.type = ioa_cfg->type;
2811         driver_dump->ioa_type_entry.fw_version = (ucode_vpd->major_release << 24) |
2812                 (ucode_vpd->card_type << 16) | (ucode_vpd->minor_release[0] << 8) |
2813                 ucode_vpd->minor_release[1];
2814         driver_dump->hdr.num_entries++;
2815 }
2816
2817 /**
2818  * ipr_dump_version_data - Fill in the driver version in the dump.
2819  * @ioa_cfg:    ioa config struct
2820  * @driver_dump:        driver dump struct
2821  *
2822  * Return value:
2823  *      nothing
2824  **/
2825 static void ipr_dump_version_data(struct ipr_ioa_cfg *ioa_cfg,
2826                                   struct ipr_driver_dump *driver_dump)
2827 {
2828         ipr_init_dump_entry_hdr(&driver_dump->version_entry.hdr);
2829         driver_dump->version_entry.hdr.len =
2830                 sizeof(struct ipr_dump_version_entry) -
2831                 sizeof(struct ipr_dump_entry_header);
2832         driver_dump->version_entry.hdr.data_type = IPR_DUMP_DATA_TYPE_ASCII;
2833         driver_dump->version_entry.hdr.id = IPR_DUMP_DRIVER_VERSION_ID;
2834         strcpy(driver_dump->version_entry.version, IPR_DRIVER_VERSION);
2835         driver_dump->hdr.num_entries++;
2836 }
2837
2838 /**
2839  * ipr_dump_trace_data - Fill in the IOA trace in the dump.
2840  * @ioa_cfg:    ioa config struct
2841  * @driver_dump:        driver dump struct
2842  *
2843  * Return value:
2844  *      nothing
2845  **/
2846 static void ipr_dump_trace_data(struct ipr_ioa_cfg *ioa_cfg,
2847                                    struct ipr_driver_dump *driver_dump)
2848 {
2849         ipr_init_dump_entry_hdr(&driver_dump->trace_entry.hdr);
2850         driver_dump->trace_entry.hdr.len =
2851                 sizeof(struct ipr_dump_trace_entry) -
2852                 sizeof(struct ipr_dump_entry_header);
2853         driver_dump->trace_entry.hdr.data_type = IPR_DUMP_DATA_TYPE_BINARY;
2854         driver_dump->trace_entry.hdr.id = IPR_DUMP_TRACE_ID;
2855         memcpy(driver_dump->trace_entry.trace, ioa_cfg->trace, IPR_TRACE_SIZE);
2856         driver_dump->hdr.num_entries++;
2857 }
2858
2859 /**
2860  * ipr_dump_location_data - Fill in the IOA location in the dump.
2861  * @ioa_cfg:    ioa config struct
2862  * @driver_dump:        driver dump struct
2863  *
2864  * Return value:
2865  *      nothing
2866  **/
2867 static void ipr_dump_location_data(struct ipr_ioa_cfg *ioa_cfg,
2868                                    struct ipr_driver_dump *driver_dump)
2869 {
2870         ipr_init_dump_entry_hdr(&driver_dump->location_entry.hdr);
2871         driver_dump->location_entry.hdr.len =
2872                 sizeof(struct ipr_dump_location_entry) -
2873                 sizeof(struct ipr_dump_entry_header);
2874         driver_dump->location_entry.hdr.data_type = IPR_DUMP_DATA_TYPE_ASCII;
2875         driver_dump->location_entry.hdr.id = IPR_DUMP_LOCATION_ID;
2876         strcpy(driver_dump->location_entry.location, dev_name(&ioa_cfg->pdev->dev));
2877         driver_dump->hdr.num_entries++;
2878 }
2879
2880 /**
2881  * ipr_get_ioa_dump - Perform a dump of the driver and adapter.
2882  * @ioa_cfg:    ioa config struct
2883  * @dump:               dump struct
2884  *
2885  * Return value:
2886  *      nothing
2887  **/
2888 static void ipr_get_ioa_dump(struct ipr_ioa_cfg *ioa_cfg, struct ipr_dump *dump)
2889 {
2890         unsigned long start_addr, sdt_word;
2891         unsigned long lock_flags = 0;
2892         struct ipr_driver_dump *driver_dump = &dump->driver_dump;
2893         struct ipr_ioa_dump *ioa_dump = &dump->ioa_dump;
2894         u32 num_entries, max_num_entries, start_off, end_off;
2895         u32 max_dump_size, bytes_to_copy, bytes_copied, rc;
2896         struct ipr_sdt *sdt;
2897         int valid = 1;
2898         int i;
2899
2900         ENTER;
2901
2902         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
2903
2904         if (ioa_cfg->sdt_state != READ_DUMP) {
2905                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2906                 return;
2907         }
2908
2909         if (ioa_cfg->sis64) {
2910                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2911                 ssleep(IPR_DUMP_DELAY_SECONDS);
2912                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
2913         }
2914
2915         start_addr = readl(ioa_cfg->ioa_mailbox);
2916
2917         if (!ioa_cfg->sis64 && !ipr_sdt_is_fmt2(start_addr)) {
2918                 dev_err(&ioa_cfg->pdev->dev,
2919                         "Invalid dump table format: %lx\n", start_addr);
2920                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2921                 return;
2922         }
2923
2924         dev_err(&ioa_cfg->pdev->dev, "Dump of IOA initiated\n");
2925
2926         driver_dump->hdr.eye_catcher = IPR_DUMP_EYE_CATCHER;
2927
2928         /* Initialize the overall dump header */
2929         driver_dump->hdr.len = sizeof(struct ipr_driver_dump);
2930         driver_dump->hdr.num_entries = 1;
2931         driver_dump->hdr.first_entry_offset = sizeof(struct ipr_dump_header);
2932         driver_dump->hdr.status = IPR_DUMP_STATUS_SUCCESS;
2933         driver_dump->hdr.os = IPR_DUMP_OS_LINUX;
2934         driver_dump->hdr.driver_name = IPR_DUMP_DRIVER_NAME;
2935
2936         ipr_dump_version_data(ioa_cfg, driver_dump);
2937         ipr_dump_location_data(ioa_cfg, driver_dump);
2938         ipr_dump_ioa_type_data(ioa_cfg, driver_dump);
2939         ipr_dump_trace_data(ioa_cfg, driver_dump);
2940
2941         /* Update dump_header */
2942         driver_dump->hdr.len += sizeof(struct ipr_dump_entry_header);
2943
2944         /* IOA Dump entry */
2945         ipr_init_dump_entry_hdr(&ioa_dump->hdr);
2946         ioa_dump->hdr.len = 0;
2947         ioa_dump->hdr.data_type = IPR_DUMP_DATA_TYPE_BINARY;
2948         ioa_dump->hdr.id = IPR_DUMP_IOA_DUMP_ID;
2949
2950         /* First entries in sdt are actually a list of dump addresses and
2951          lengths to gather the real dump data.  sdt represents the pointer
2952          to the ioa generated dump table.  Dump data will be extracted based
2953          on entries in this table */
2954         sdt = &ioa_dump->sdt;
2955
2956         if (ioa_cfg->sis64) {
2957                 max_num_entries = IPR_FMT3_NUM_SDT_ENTRIES;
2958                 max_dump_size = IPR_FMT3_MAX_IOA_DUMP_SIZE;
2959         } else {
2960                 max_num_entries = IPR_FMT2_NUM_SDT_ENTRIES;
2961                 max_dump_size = IPR_FMT2_MAX_IOA_DUMP_SIZE;
2962         }
2963
2964         bytes_to_copy = offsetof(struct ipr_sdt, entry) +
2965                         (max_num_entries * sizeof(struct ipr_sdt_entry));
2966         rc = ipr_get_ldump_data_section(ioa_cfg, start_addr, (__be32 *)sdt,
2967                                         bytes_to_copy / sizeof(__be32));
2968
2969         /* Smart Dump table is ready to use and the first entry is valid */
2970         if (rc || ((be32_to_cpu(sdt->hdr.state) != IPR_FMT3_SDT_READY_TO_USE) &&
2971             (be32_to_cpu(sdt->hdr.state) != IPR_FMT2_SDT_READY_TO_USE))) {
2972                 dev_err(&ioa_cfg->pdev->dev,
2973                         "Dump of IOA failed. Dump table not valid: %d, %X.\n",
2974                         rc, be32_to_cpu(sdt->hdr.state));
2975                 driver_dump->hdr.status = IPR_DUMP_STATUS_FAILED;
2976                 ioa_cfg->sdt_state = DUMP_OBTAINED;
2977                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2978                 return;
2979         }
2980
2981         num_entries = be32_to_cpu(sdt->hdr.num_entries_used);
2982
2983         if (num_entries > max_num_entries)
2984                 num_entries = max_num_entries;
2985
2986         /* Update dump length to the actual data to be copied */
2987         dump->driver_dump.hdr.len += sizeof(struct ipr_sdt_header);
2988         if (ioa_cfg->sis64)
2989                 dump->driver_dump.hdr.len += num_entries * sizeof(struct ipr_sdt_entry);
2990         else
2991                 dump->driver_dump.hdr.len += max_num_entries * sizeof(struct ipr_sdt_entry);
2992
2993         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
2994
2995         for (i = 0; i < num_entries; i++) {
2996                 if (ioa_dump->hdr.len > max_dump_size) {
2997                         driver_dump->hdr.status = IPR_DUMP_STATUS_QUAL_SUCCESS;
2998                         break;
2999                 }
3000
3001                 if (sdt->entry[i].flags & IPR_SDT_VALID_ENTRY) {
3002                         sdt_word = be32_to_cpu(sdt->entry[i].start_token);
3003                         if (ioa_cfg->sis64)
3004                                 bytes_to_copy = be32_to_cpu(sdt->entry[i].end_token);
3005                         else {
3006                                 start_off = sdt_word & IPR_FMT2_MBX_ADDR_MASK;
3007                                 end_off = be32_to_cpu(sdt->entry[i].end_token);
3008
3009                                 if (ipr_sdt_is_fmt2(sdt_word) && sdt_word)
3010                                         bytes_to_copy = end_off - start_off;
3011                                 else
3012                                         valid = 0;
3013                         }
3014                         if (valid) {
3015                                 if (bytes_to_copy > max_dump_size) {
3016                                         sdt->entry[i].flags &= ~IPR_SDT_VALID_ENTRY;
3017                                         continue;
3018                                 }
3019
3020                                 /* Copy data from adapter to driver buffers */
3021                                 bytes_copied = ipr_sdt_copy(ioa_cfg, sdt_word,
3022                                                             bytes_to_copy);
3023
3024                                 ioa_dump->hdr.len += bytes_copied;
3025
3026                                 if (bytes_copied != bytes_to_copy) {
3027                                         driver_dump->hdr.status = IPR_DUMP_STATUS_QUAL_SUCCESS;
3028                                         break;
3029                                 }
3030                         }
3031                 }
3032         }
3033
3034         dev_err(&ioa_cfg->pdev->dev, "Dump of IOA completed.\n");
3035
3036         /* Update dump_header */
3037         driver_dump->hdr.len += ioa_dump->hdr.len;
3038         wmb();
3039         ioa_cfg->sdt_state = DUMP_OBTAINED;
3040         LEAVE;
3041 }
3042
3043 #else
3044 #define ipr_get_ioa_dump(ioa_cfg, dump) do { } while(0)
3045 #endif
3046
3047 /**
3048  * ipr_release_dump - Free adapter dump memory
3049  * @kref:       kref struct
3050  *
3051  * Return value:
3052  *      nothing
3053  **/
3054 static void ipr_release_dump(struct kref *kref)
3055 {
3056         struct ipr_dump *dump = container_of(kref,struct ipr_dump,kref);
3057         struct ipr_ioa_cfg *ioa_cfg = dump->ioa_cfg;
3058         unsigned long lock_flags = 0;
3059         int i;
3060
3061         ENTER;
3062         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3063         ioa_cfg->dump = NULL;
3064         ioa_cfg->sdt_state = INACTIVE;
3065         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3066
3067         for (i = 0; i < dump->ioa_dump.next_page_index; i++)
3068                 free_page((unsigned long) dump->ioa_dump.ioa_data[i]);
3069
3070         vfree(dump->ioa_dump.ioa_data);
3071         kfree(dump);
3072         LEAVE;
3073 }
3074
3075 /**
3076  * ipr_worker_thread - Worker thread
3077  * @work:               ioa config struct
3078  *
3079  * Called at task level from a work thread. This function takes care
3080  * of adding and removing device from the mid-layer as configuration
3081  * changes are detected by the adapter.
3082  *
3083  * Return value:
3084  *      nothing
3085  **/
3086 static void ipr_worker_thread(struct work_struct *work)
3087 {
3088         unsigned long lock_flags;
3089         struct ipr_resource_entry *res;
3090         struct scsi_device *sdev;
3091         struct ipr_dump *dump;
3092         struct ipr_ioa_cfg *ioa_cfg =
3093                 container_of(work, struct ipr_ioa_cfg, work_q);
3094         u8 bus, target, lun;
3095         int did_work;
3096
3097         ENTER;
3098         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3099
3100         if (ioa_cfg->sdt_state == READ_DUMP) {
3101                 dump = ioa_cfg->dump;
3102                 if (!dump) {
3103                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3104                         return;
3105                 }
3106                 kref_get(&dump->kref);
3107                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3108                 ipr_get_ioa_dump(ioa_cfg, dump);
3109                 kref_put(&dump->kref, ipr_release_dump);
3110
3111                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3112                 if (ioa_cfg->sdt_state == DUMP_OBTAINED && !ioa_cfg->dump_timeout)
3113                         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
3114                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3115                 return;
3116         }
3117
3118 restart:
3119         do {
3120                 did_work = 0;
3121                 if (!ioa_cfg->allow_cmds || !ioa_cfg->allow_ml_add_del) {
3122                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3123                         return;
3124                 }
3125
3126                 list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
3127                         if (res->del_from_ml && res->sdev) {
3128                                 did_work = 1;
3129                                 sdev = res->sdev;
3130                                 if (!scsi_device_get(sdev)) {
3131                                         if (!res->add_to_ml)
3132                                                 list_move_tail(&res->queue, &ioa_cfg->free_res_q);
3133                                         else
3134                                                 res->del_from_ml = 0;
3135                                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3136                                         scsi_remove_device(sdev);
3137                                         scsi_device_put(sdev);
3138                                         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3139                                 }
3140                                 break;
3141                         }
3142                 }
3143         } while(did_work);
3144
3145         list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
3146                 if (res->add_to_ml) {
3147                         bus = res->bus;
3148                         target = res->target;
3149                         lun = res->lun;
3150                         res->add_to_ml = 0;
3151                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3152                         scsi_add_device(ioa_cfg->host, bus, target, lun);
3153                         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3154                         goto restart;
3155                 }
3156         }
3157
3158         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3159         kobject_uevent(&ioa_cfg->host->shost_dev.kobj, KOBJ_CHANGE);
3160         LEAVE;
3161 }
3162
3163 #ifdef CONFIG_SCSI_IPR_TRACE
3164 /**
3165  * ipr_read_trace - Dump the adapter trace
3166  * @filp:               open sysfs file
3167  * @kobj:               kobject struct
3168  * @bin_attr:           bin_attribute struct
3169  * @buf:                buffer
3170  * @off:                offset
3171  * @count:              buffer size
3172  *
3173  * Return value:
3174  *      number of bytes printed to buffer
3175  **/
3176 static ssize_t ipr_read_trace(struct file *filp, struct kobject *kobj,
3177                               struct bin_attribute *bin_attr,
3178                               char *buf, loff_t off, size_t count)
3179 {
3180         struct device *dev = container_of(kobj, struct device, kobj);
3181         struct Scsi_Host *shost = class_to_shost(dev);
3182         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3183         unsigned long lock_flags = 0;
3184         ssize_t ret;
3185
3186         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3187         ret = memory_read_from_buffer(buf, count, &off, ioa_cfg->trace,
3188                                 IPR_TRACE_SIZE);
3189         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3190
3191         return ret;
3192 }
3193
3194 static struct bin_attribute ipr_trace_attr = {
3195         .attr = {
3196                 .name = "trace",
3197                 .mode = S_IRUGO,
3198         },
3199         .size = 0,
3200         .read = ipr_read_trace,
3201 };
3202 #endif
3203
3204 /**
3205  * ipr_show_fw_version - Show the firmware version
3206  * @dev:        class device struct
3207  * @buf:        buffer
3208  *
3209  * Return value:
3210  *      number of bytes printed to buffer
3211  **/
3212 static ssize_t ipr_show_fw_version(struct device *dev,
3213                                    struct device_attribute *attr, char *buf)
3214 {
3215         struct Scsi_Host *shost = class_to_shost(dev);
3216         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3217         struct ipr_inquiry_page3 *ucode_vpd = &ioa_cfg->vpd_cbs->page3_data;
3218         unsigned long lock_flags = 0;
3219         int len;
3220
3221         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3222         len = snprintf(buf, PAGE_SIZE, "%02X%02X%02X%02X\n",
3223                        ucode_vpd->major_release, ucode_vpd->card_type,
3224                        ucode_vpd->minor_release[0],
3225                        ucode_vpd->minor_release[1]);
3226         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3227         return len;
3228 }
3229
3230 static struct device_attribute ipr_fw_version_attr = {
3231         .attr = {
3232                 .name =         "fw_version",
3233                 .mode =         S_IRUGO,
3234         },
3235         .show = ipr_show_fw_version,
3236 };
3237
3238 /**
3239  * ipr_show_log_level - Show the adapter's error logging level
3240  * @dev:        class device struct
3241  * @buf:        buffer
3242  *
3243  * Return value:
3244  *      number of bytes printed to buffer
3245  **/
3246 static ssize_t ipr_show_log_level(struct device *dev,
3247                                    struct device_attribute *attr, char *buf)
3248 {
3249         struct Scsi_Host *shost = class_to_shost(dev);
3250         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3251         unsigned long lock_flags = 0;
3252         int len;
3253
3254         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3255         len = snprintf(buf, PAGE_SIZE, "%d\n", ioa_cfg->log_level);
3256         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3257         return len;
3258 }
3259
3260 /**
3261  * ipr_store_log_level - Change the adapter's error logging level
3262  * @dev:        class device struct
3263  * @buf:        buffer
3264  *
3265  * Return value:
3266  *      number of bytes printed to buffer
3267  **/
3268 static ssize_t ipr_store_log_level(struct device *dev,
3269                                    struct device_attribute *attr,
3270                                    const char *buf, size_t count)
3271 {
3272         struct Scsi_Host *shost = class_to_shost(dev);
3273         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3274         unsigned long lock_flags = 0;
3275
3276         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3277         ioa_cfg->log_level = simple_strtoul(buf, NULL, 10);
3278         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3279         return strlen(buf);
3280 }
3281
3282 static struct device_attribute ipr_log_level_attr = {
3283         .attr = {
3284                 .name =         "log_level",
3285                 .mode =         S_IRUGO | S_IWUSR,
3286         },
3287         .show = ipr_show_log_level,
3288         .store = ipr_store_log_level
3289 };
3290
3291 /**
3292  * ipr_store_diagnostics - IOA Diagnostics interface
3293  * @dev:        device struct
3294  * @buf:        buffer
3295  * @count:      buffer size
3296  *
3297  * This function will reset the adapter and wait a reasonable
3298  * amount of time for any errors that the adapter might log.
3299  *
3300  * Return value:
3301  *      count on success / other on failure
3302  **/
3303 static ssize_t ipr_store_diagnostics(struct device *dev,
3304                                      struct device_attribute *attr,
3305                                      const char *buf, size_t count)
3306 {
3307         struct Scsi_Host *shost = class_to_shost(dev);
3308         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3309         unsigned long lock_flags = 0;
3310         int rc = count;
3311
3312         if (!capable(CAP_SYS_ADMIN))
3313                 return -EACCES;
3314
3315         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3316         while(ioa_cfg->in_reset_reload) {
3317                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3318                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
3319                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3320         }
3321
3322         ioa_cfg->errors_logged = 0;
3323         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NORMAL);
3324
3325         if (ioa_cfg->in_reset_reload) {
3326                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3327                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
3328
3329                 /* Wait for a second for any errors to be logged */
3330                 msleep(1000);
3331         } else {
3332                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3333                 return -EIO;
3334         }
3335
3336         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3337         if (ioa_cfg->in_reset_reload || ioa_cfg->errors_logged)
3338                 rc = -EIO;
3339         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3340
3341         return rc;
3342 }
3343
3344 static struct device_attribute ipr_diagnostics_attr = {
3345         .attr = {
3346                 .name =         "run_diagnostics",
3347                 .mode =         S_IWUSR,
3348         },
3349         .store = ipr_store_diagnostics
3350 };
3351
3352 /**
3353  * ipr_show_adapter_state - Show the adapter's state
3354  * @class_dev:  device struct
3355  * @buf:        buffer
3356  *
3357  * Return value:
3358  *      number of bytes printed to buffer
3359  **/
3360 static ssize_t ipr_show_adapter_state(struct device *dev,
3361                                       struct device_attribute *attr, char *buf)
3362 {
3363         struct Scsi_Host *shost = class_to_shost(dev);
3364         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3365         unsigned long lock_flags = 0;
3366         int len;
3367
3368         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3369         if (ioa_cfg->ioa_is_dead)
3370                 len = snprintf(buf, PAGE_SIZE, "offline\n");
3371         else
3372                 len = snprintf(buf, PAGE_SIZE, "online\n");
3373         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3374         return len;
3375 }
3376
3377 /**
3378  * ipr_store_adapter_state - Change adapter state
3379  * @dev:        device struct
3380  * @buf:        buffer
3381  * @count:      buffer size
3382  *
3383  * This function will change the adapter's state.
3384  *
3385  * Return value:
3386  *      count on success / other on failure
3387  **/
3388 static ssize_t ipr_store_adapter_state(struct device *dev,
3389                                        struct device_attribute *attr,
3390                                        const char *buf, size_t count)
3391 {
3392         struct Scsi_Host *shost = class_to_shost(dev);
3393         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3394         unsigned long lock_flags;
3395         int result = count;
3396
3397         if (!capable(CAP_SYS_ADMIN))
3398                 return -EACCES;
3399
3400         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3401         if (ioa_cfg->ioa_is_dead && !strncmp(buf, "online", 6)) {
3402                 ioa_cfg->ioa_is_dead = 0;
3403                 ioa_cfg->reset_retries = 0;
3404                 ioa_cfg->in_ioa_bringdown = 0;
3405                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
3406         }
3407         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3408         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
3409
3410         return result;
3411 }
3412
3413 static struct device_attribute ipr_ioa_state_attr = {
3414         .attr = {
3415                 .name =         "online_state",
3416                 .mode =         S_IRUGO | S_IWUSR,
3417         },
3418         .show = ipr_show_adapter_state,
3419         .store = ipr_store_adapter_state
3420 };
3421
3422 /**
3423  * ipr_store_reset_adapter - Reset the adapter
3424  * @dev:        device struct
3425  * @buf:        buffer
3426  * @count:      buffer size
3427  *
3428  * This function will reset the adapter.
3429  *
3430  * Return value:
3431  *      count on success / other on failure
3432  **/
3433 static ssize_t ipr_store_reset_adapter(struct device *dev,
3434                                        struct device_attribute *attr,
3435                                        const char *buf, size_t count)
3436 {
3437         struct Scsi_Host *shost = class_to_shost(dev);
3438         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3439         unsigned long lock_flags;
3440         int result = count;
3441
3442         if (!capable(CAP_SYS_ADMIN))
3443                 return -EACCES;
3444
3445         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3446         if (!ioa_cfg->in_reset_reload)
3447                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NORMAL);
3448         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3449         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
3450
3451         return result;
3452 }
3453
3454 static struct device_attribute ipr_ioa_reset_attr = {
3455         .attr = {
3456                 .name =         "reset_host",
3457                 .mode =         S_IWUSR,
3458         },
3459         .store = ipr_store_reset_adapter
3460 };
3461
3462 /**
3463  * ipr_alloc_ucode_buffer - Allocates a microcode download buffer
3464  * @buf_len:            buffer length
3465  *
3466  * Allocates a DMA'able buffer in chunks and assembles a scatter/gather
3467  * list to use for microcode download
3468  *
3469  * Return value:
3470  *      pointer to sglist / NULL on failure
3471  **/
3472 static struct ipr_sglist *ipr_alloc_ucode_buffer(int buf_len)
3473 {
3474         int sg_size, order, bsize_elem, num_elem, i, j;
3475         struct ipr_sglist *sglist;
3476         struct scatterlist *scatterlist;
3477         struct page *page;
3478
3479         /* Get the minimum size per scatter/gather element */
3480         sg_size = buf_len / (IPR_MAX_SGLIST - 1);
3481
3482         /* Get the actual size per element */
3483         order = get_order(sg_size);
3484
3485         /* Determine the actual number of bytes per element */
3486         bsize_elem = PAGE_SIZE * (1 << order);
3487
3488         /* Determine the actual number of sg entries needed */
3489         if (buf_len % bsize_elem)
3490                 num_elem = (buf_len / bsize_elem) + 1;
3491         else
3492                 num_elem = buf_len / bsize_elem;
3493
3494         /* Allocate a scatter/gather list for the DMA */
3495         sglist = kzalloc(sizeof(struct ipr_sglist) +
3496                          (sizeof(struct scatterlist) * (num_elem - 1)),
3497                          GFP_KERNEL);
3498
3499         if (sglist == NULL) {
3500                 ipr_trace;
3501                 return NULL;
3502         }
3503
3504         scatterlist = sglist->scatterlist;
3505         sg_init_table(scatterlist, num_elem);
3506
3507         sglist->order = order;
3508         sglist->num_sg = num_elem;
3509
3510         /* Allocate a bunch of sg elements */
3511         for (i = 0; i < num_elem; i++) {
3512                 page = alloc_pages(GFP_KERNEL, order);
3513                 if (!page) {
3514                         ipr_trace;
3515
3516                         /* Free up what we already allocated */
3517                         for (j = i - 1; j >= 0; j--)
3518                                 __free_pages(sg_page(&scatterlist[j]), order);
3519                         kfree(sglist);
3520                         return NULL;
3521                 }
3522
3523                 sg_set_page(&scatterlist[i], page, 0, 0);
3524         }
3525
3526         return sglist;
3527 }
3528
3529 /**
3530  * ipr_free_ucode_buffer - Frees a microcode download buffer
3531  * @p_dnld:             scatter/gather list pointer
3532  *
3533  * Free a DMA'able ucode download buffer previously allocated with
3534  * ipr_alloc_ucode_buffer
3535  *
3536  * Return value:
3537  *      nothing
3538  **/
3539 static void ipr_free_ucode_buffer(struct ipr_sglist *sglist)
3540 {
3541         int i;
3542
3543         for (i = 0; i < sglist->num_sg; i++)
3544                 __free_pages(sg_page(&sglist->scatterlist[i]), sglist->order);
3545
3546         kfree(sglist);
3547 }
3548
3549 /**
3550  * ipr_copy_ucode_buffer - Copy user buffer to kernel buffer
3551  * @sglist:             scatter/gather list pointer
3552  * @buffer:             buffer pointer
3553  * @len:                buffer length
3554  *
3555  * Copy a microcode image from a user buffer into a buffer allocated by
3556  * ipr_alloc_ucode_buffer
3557  *
3558  * Return value:
3559  *      0 on success / other on failure
3560  **/
3561 static int ipr_copy_ucode_buffer(struct ipr_sglist *sglist,
3562                                  u8 *buffer, u32 len)
3563 {
3564         int bsize_elem, i, result = 0;
3565         struct scatterlist *scatterlist;
3566         void *kaddr;
3567
3568         /* Determine the actual number of bytes per element */
3569         bsize_elem = PAGE_SIZE * (1 << sglist->order);
3570
3571         scatterlist = sglist->scatterlist;
3572
3573         for (i = 0; i < (len / bsize_elem); i++, buffer += bsize_elem) {
3574                 struct page *page = sg_page(&scatterlist[i]);
3575
3576                 kaddr = kmap(page);
3577                 memcpy(kaddr, buffer, bsize_elem);
3578                 kunmap(page);
3579
3580                 scatterlist[i].length = bsize_elem;
3581
3582                 if (result != 0) {
3583                         ipr_trace;
3584                         return result;
3585                 }
3586         }
3587
3588         if (len % bsize_elem) {
3589                 struct page *page = sg_page(&scatterlist[i]);
3590
3591                 kaddr = kmap(page);
3592                 memcpy(kaddr, buffer, len % bsize_elem);
3593                 kunmap(page);
3594
3595                 scatterlist[i].length = len % bsize_elem;
3596         }
3597
3598         sglist->buffer_len = len;
3599         return result;
3600 }
3601
3602 /**
3603  * ipr_build_ucode_ioadl64 - Build a microcode download IOADL
3604  * @ipr_cmd:            ipr command struct
3605  * @sglist:             scatter/gather list
3606  *
3607  * Builds a microcode download IOA data list (IOADL).
3608  *
3609  **/
3610 static void ipr_build_ucode_ioadl64(struct ipr_cmnd *ipr_cmd,
3611                                     struct ipr_sglist *sglist)
3612 {
3613         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
3614         struct ipr_ioadl64_desc *ioadl64 = ipr_cmd->i.ioadl64;
3615         struct scatterlist *scatterlist = sglist->scatterlist;
3616         int i;
3617
3618         ipr_cmd->dma_use_sg = sglist->num_dma_sg;
3619         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
3620         ioarcb->data_transfer_length = cpu_to_be32(sglist->buffer_len);
3621
3622         ioarcb->ioadl_len =
3623                 cpu_to_be32(sizeof(struct ipr_ioadl64_desc) * ipr_cmd->dma_use_sg);
3624         for (i = 0; i < ipr_cmd->dma_use_sg; i++) {
3625                 ioadl64[i].flags = cpu_to_be32(IPR_IOADL_FLAGS_WRITE);
3626                 ioadl64[i].data_len = cpu_to_be32(sg_dma_len(&scatterlist[i]));
3627                 ioadl64[i].address = cpu_to_be64(sg_dma_address(&scatterlist[i]));
3628         }
3629
3630         ioadl64[i-1].flags |= cpu_to_be32(IPR_IOADL_FLAGS_LAST);
3631 }
3632
3633 /**
3634  * ipr_build_ucode_ioadl - Build a microcode download IOADL
3635  * @ipr_cmd:    ipr command struct
3636  * @sglist:             scatter/gather list
3637  *
3638  * Builds a microcode download IOA data list (IOADL).
3639  *
3640  **/
3641 static void ipr_build_ucode_ioadl(struct ipr_cmnd *ipr_cmd,
3642                                   struct ipr_sglist *sglist)
3643 {
3644         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
3645         struct ipr_ioadl_desc *ioadl = ipr_cmd->i.ioadl;
3646         struct scatterlist *scatterlist = sglist->scatterlist;
3647         int i;
3648
3649         ipr_cmd->dma_use_sg = sglist->num_dma_sg;
3650         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
3651         ioarcb->data_transfer_length = cpu_to_be32(sglist->buffer_len);
3652
3653         ioarcb->ioadl_len =
3654                 cpu_to_be32(sizeof(struct ipr_ioadl_desc) * ipr_cmd->dma_use_sg);
3655
3656         for (i = 0; i < ipr_cmd->dma_use_sg; i++) {
3657                 ioadl[i].flags_and_data_len =
3658                         cpu_to_be32(IPR_IOADL_FLAGS_WRITE | sg_dma_len(&scatterlist[i]));
3659                 ioadl[i].address =
3660                         cpu_to_be32(sg_dma_address(&scatterlist[i]));
3661         }
3662
3663         ioadl[i-1].flags_and_data_len |=
3664                 cpu_to_be32(IPR_IOADL_FLAGS_LAST);
3665 }
3666
3667 /**
3668  * ipr_update_ioa_ucode - Update IOA's microcode
3669  * @ioa_cfg:    ioa config struct
3670  * @sglist:             scatter/gather list
3671  *
3672  * Initiate an adapter reset to update the IOA's microcode
3673  *
3674  * Return value:
3675  *      0 on success / -EIO on failure
3676  **/
3677 static int ipr_update_ioa_ucode(struct ipr_ioa_cfg *ioa_cfg,
3678                                 struct ipr_sglist *sglist)
3679 {
3680         unsigned long lock_flags;
3681
3682         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3683         while(ioa_cfg->in_reset_reload) {
3684                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3685                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
3686                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3687         }
3688
3689         if (ioa_cfg->ucode_sglist) {
3690                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3691                 dev_err(&ioa_cfg->pdev->dev,
3692                         "Microcode download already in progress\n");
3693                 return -EIO;
3694         }
3695
3696         sglist->num_dma_sg = pci_map_sg(ioa_cfg->pdev, sglist->scatterlist,
3697                                         sglist->num_sg, DMA_TO_DEVICE);
3698
3699         if (!sglist->num_dma_sg) {
3700                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3701                 dev_err(&ioa_cfg->pdev->dev,
3702                         "Failed to map microcode download buffer!\n");
3703                 return -EIO;
3704         }
3705
3706         ioa_cfg->ucode_sglist = sglist;
3707         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NORMAL);
3708         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3709         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
3710
3711         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3712         ioa_cfg->ucode_sglist = NULL;
3713         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3714         return 0;
3715 }
3716
3717 /**
3718  * ipr_store_update_fw - Update the firmware on the adapter
3719  * @class_dev:  device struct
3720  * @buf:        buffer
3721  * @count:      buffer size
3722  *
3723  * This function will update the firmware on the adapter.
3724  *
3725  * Return value:
3726  *      count on success / other on failure
3727  **/
3728 static ssize_t ipr_store_update_fw(struct device *dev,
3729                                    struct device_attribute *attr,
3730                                    const char *buf, size_t count)
3731 {
3732         struct Scsi_Host *shost = class_to_shost(dev);
3733         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3734         struct ipr_ucode_image_header *image_hdr;
3735         const struct firmware *fw_entry;
3736         struct ipr_sglist *sglist;
3737         char fname[100];
3738         char *src;
3739         char *endline;
3740         int result, dnld_size;
3741
3742         if (!capable(CAP_SYS_ADMIN))
3743                 return -EACCES;
3744
3745         snprintf(fname, sizeof(fname), "%s", buf);
3746
3747         endline = strchr(fname, '\n');
3748         if (endline)
3749                 *endline = '\0';
3750
3751         if(request_firmware(&fw_entry, fname, &ioa_cfg->pdev->dev)) {
3752                 dev_err(&ioa_cfg->pdev->dev, "Firmware file %s not found\n", fname);
3753                 return -EIO;
3754         }
3755
3756         image_hdr = (struct ipr_ucode_image_header *)fw_entry->data;
3757
3758         src = (u8 *)image_hdr + be32_to_cpu(image_hdr->header_length);
3759         dnld_size = fw_entry->size - be32_to_cpu(image_hdr->header_length);
3760         sglist = ipr_alloc_ucode_buffer(dnld_size);
3761
3762         if (!sglist) {
3763                 dev_err(&ioa_cfg->pdev->dev, "Microcode buffer allocation failed\n");
3764                 release_firmware(fw_entry);
3765                 return -ENOMEM;
3766         }
3767
3768         result = ipr_copy_ucode_buffer(sglist, src, dnld_size);
3769
3770         if (result) {
3771                 dev_err(&ioa_cfg->pdev->dev,
3772                         "Microcode buffer copy to DMA buffer failed\n");
3773                 goto out;
3774         }
3775
3776         ipr_info("Updating microcode, please be patient.  This may take up to 30 minutes.\n");
3777
3778         result = ipr_update_ioa_ucode(ioa_cfg, sglist);
3779
3780         if (!result)
3781                 result = count;
3782 out:
3783         ipr_free_ucode_buffer(sglist);
3784         release_firmware(fw_entry);
3785         return result;
3786 }
3787
3788 static struct device_attribute ipr_update_fw_attr = {
3789         .attr = {
3790                 .name =         "update_fw",
3791                 .mode =         S_IWUSR,
3792         },
3793         .store = ipr_store_update_fw
3794 };
3795
3796 /**
3797  * ipr_show_fw_type - Show the adapter's firmware type.
3798  * @dev:        class device struct
3799  * @buf:        buffer
3800  *
3801  * Return value:
3802  *      number of bytes printed to buffer
3803  **/
3804 static ssize_t ipr_show_fw_type(struct device *dev,
3805                                 struct device_attribute *attr, char *buf)
3806 {
3807         struct Scsi_Host *shost = class_to_shost(dev);
3808         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3809         unsigned long lock_flags = 0;
3810         int len;
3811
3812         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3813         len = snprintf(buf, PAGE_SIZE, "%d\n", ioa_cfg->sis64);
3814         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3815         return len;
3816 }
3817
3818 static struct device_attribute ipr_ioa_fw_type_attr = {
3819         .attr = {
3820                 .name =         "fw_type",
3821                 .mode =         S_IRUGO,
3822         },
3823         .show = ipr_show_fw_type
3824 };
3825
3826 static struct device_attribute *ipr_ioa_attrs[] = {
3827         &ipr_fw_version_attr,
3828         &ipr_log_level_attr,
3829         &ipr_diagnostics_attr,
3830         &ipr_ioa_state_attr,
3831         &ipr_ioa_reset_attr,
3832         &ipr_update_fw_attr,
3833         &ipr_ioa_fw_type_attr,
3834         NULL,
3835 };
3836
3837 #ifdef CONFIG_SCSI_IPR_DUMP
3838 /**
3839  * ipr_read_dump - Dump the adapter
3840  * @filp:               open sysfs file
3841  * @kobj:               kobject struct
3842  * @bin_attr:           bin_attribute struct
3843  * @buf:                buffer
3844  * @off:                offset
3845  * @count:              buffer size
3846  *
3847  * Return value:
3848  *      number of bytes printed to buffer
3849  **/
3850 static ssize_t ipr_read_dump(struct file *filp, struct kobject *kobj,
3851                              struct bin_attribute *bin_attr,
3852                              char *buf, loff_t off, size_t count)
3853 {
3854         struct device *cdev = container_of(kobj, struct device, kobj);
3855         struct Scsi_Host *shost = class_to_shost(cdev);
3856         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
3857         struct ipr_dump *dump;
3858         unsigned long lock_flags = 0;
3859         char *src;
3860         int len, sdt_end;
3861         size_t rc = count;
3862
3863         if (!capable(CAP_SYS_ADMIN))
3864                 return -EACCES;
3865
3866         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3867         dump = ioa_cfg->dump;
3868
3869         if (ioa_cfg->sdt_state != DUMP_OBTAINED || !dump) {
3870                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3871                 return 0;
3872         }
3873         kref_get(&dump->kref);
3874         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3875
3876         if (off > dump->driver_dump.hdr.len) {
3877                 kref_put(&dump->kref, ipr_release_dump);
3878                 return 0;
3879         }
3880
3881         if (off + count > dump->driver_dump.hdr.len) {
3882                 count = dump->driver_dump.hdr.len - off;
3883                 rc = count;
3884         }
3885
3886         if (count && off < sizeof(dump->driver_dump)) {
3887                 if (off + count > sizeof(dump->driver_dump))
3888                         len = sizeof(dump->driver_dump) - off;
3889                 else
3890                         len = count;
3891                 src = (u8 *)&dump->driver_dump + off;
3892                 memcpy(buf, src, len);
3893                 buf += len;
3894                 off += len;
3895                 count -= len;
3896         }
3897
3898         off -= sizeof(dump->driver_dump);
3899
3900         if (ioa_cfg->sis64)
3901                 sdt_end = offsetof(struct ipr_ioa_dump, sdt.entry) +
3902                           (be32_to_cpu(dump->ioa_dump.sdt.hdr.num_entries_used) *
3903                            sizeof(struct ipr_sdt_entry));
3904         else
3905                 sdt_end = offsetof(struct ipr_ioa_dump, sdt.entry) +
3906                           (IPR_FMT2_NUM_SDT_ENTRIES * sizeof(struct ipr_sdt_entry));
3907
3908         if (count && off < sdt_end) {
3909                 if (off + count > sdt_end)
3910                         len = sdt_end - off;
3911                 else
3912                         len = count;
3913                 src = (u8 *)&dump->ioa_dump + off;
3914                 memcpy(buf, src, len);
3915                 buf += len;
3916                 off += len;
3917                 count -= len;
3918         }
3919
3920         off -= sdt_end;
3921
3922         while (count) {
3923                 if ((off & PAGE_MASK) != ((off + count) & PAGE_MASK))
3924                         len = PAGE_ALIGN(off) - off;
3925                 else
3926                         len = count;
3927                 src = (u8 *)dump->ioa_dump.ioa_data[(off & PAGE_MASK) >> PAGE_SHIFT];
3928                 src += off & ~PAGE_MASK;
3929                 memcpy(buf, src, len);
3930                 buf += len;
3931                 off += len;
3932                 count -= len;
3933         }
3934
3935         kref_put(&dump->kref, ipr_release_dump);
3936         return rc;
3937 }
3938
3939 /**
3940  * ipr_alloc_dump - Prepare for adapter dump
3941  * @ioa_cfg:    ioa config struct
3942  *
3943  * Return value:
3944  *      0 on success / other on failure
3945  **/
3946 static int ipr_alloc_dump(struct ipr_ioa_cfg *ioa_cfg)
3947 {
3948         struct ipr_dump *dump;
3949         __be32 **ioa_data;
3950         unsigned long lock_flags = 0;
3951
3952         dump = kzalloc(sizeof(struct ipr_dump), GFP_KERNEL);
3953
3954         if (!dump) {
3955                 ipr_err("Dump memory allocation failed\n");
3956                 return -ENOMEM;
3957         }
3958
3959         if (ioa_cfg->sis64)
3960                 ioa_data = vmalloc(IPR_FMT3_MAX_NUM_DUMP_PAGES * sizeof(__be32 *));
3961         else
3962                 ioa_data = vmalloc(IPR_FMT2_MAX_NUM_DUMP_PAGES * sizeof(__be32 *));
3963
3964         if (!ioa_data) {
3965                 ipr_err("Dump memory allocation failed\n");
3966                 kfree(dump);
3967                 return -ENOMEM;
3968         }
3969
3970         dump->ioa_dump.ioa_data = ioa_data;
3971
3972         kref_init(&dump->kref);
3973         dump->ioa_cfg = ioa_cfg;
3974
3975         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
3976
3977         if (INACTIVE != ioa_cfg->sdt_state) {
3978                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3979                 vfree(dump->ioa_dump.ioa_data);
3980                 kfree(dump);
3981                 return 0;
3982         }
3983
3984         ioa_cfg->dump = dump;
3985         ioa_cfg->sdt_state = WAIT_FOR_DUMP;
3986         if (ioa_cfg->ioa_is_dead && !ioa_cfg->dump_taken) {
3987                 ioa_cfg->dump_taken = 1;
3988                 schedule_work(&ioa_cfg->work_q);
3989         }
3990         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
3991
3992         return 0;
3993 }
3994
3995 /**
3996  * ipr_free_dump - Free adapter dump memory
3997  * @ioa_cfg:    ioa config struct
3998  *
3999  * Return value:
4000  *      0 on success / other on failure
4001  **/
4002 static int ipr_free_dump(struct ipr_ioa_cfg *ioa_cfg)
4003 {
4004         struct ipr_dump *dump;
4005         unsigned long lock_flags = 0;
4006
4007         ENTER;
4008
4009         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4010         dump = ioa_cfg->dump;
4011         if (!dump) {
4012                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4013                 return 0;
4014         }
4015
4016         ioa_cfg->dump = NULL;
4017         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4018
4019         kref_put(&dump->kref, ipr_release_dump);
4020
4021         LEAVE;
4022         return 0;
4023 }
4024
4025 /**
4026  * ipr_write_dump - Setup dump state of adapter
4027  * @filp:               open sysfs file
4028  * @kobj:               kobject struct
4029  * @bin_attr:           bin_attribute struct
4030  * @buf:                buffer
4031  * @off:                offset
4032  * @count:              buffer size
4033  *
4034  * Return value:
4035  *      number of bytes printed to buffer
4036  **/
4037 static ssize_t ipr_write_dump(struct file *filp, struct kobject *kobj,
4038                               struct bin_attribute *bin_attr,
4039                               char *buf, loff_t off, size_t count)
4040 {
4041         struct device *cdev = container_of(kobj, struct device, kobj);
4042         struct Scsi_Host *shost = class_to_shost(cdev);
4043         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)shost->hostdata;
4044         int rc;
4045
4046         if (!capable(CAP_SYS_ADMIN))
4047                 return -EACCES;
4048
4049         if (buf[0] == '1')
4050                 rc = ipr_alloc_dump(ioa_cfg);
4051         else if (buf[0] == '0')
4052                 rc = ipr_free_dump(ioa_cfg);
4053         else
4054                 return -EINVAL;
4055
4056         if (rc)
4057                 return rc;
4058         else
4059                 return count;
4060 }
4061
4062 static struct bin_attribute ipr_dump_attr = {
4063         .attr = {
4064                 .name = "dump",
4065                 .mode = S_IRUSR | S_IWUSR,
4066         },
4067         .size = 0,
4068         .read = ipr_read_dump,
4069         .write = ipr_write_dump
4070 };
4071 #else
4072 static int ipr_free_dump(struct ipr_ioa_cfg *ioa_cfg) { return 0; };
4073 #endif
4074
4075 /**
4076  * ipr_change_queue_depth - Change the device's queue depth
4077  * @sdev:       scsi device struct
4078  * @qdepth:     depth to set
4079  * @reason:     calling context
4080  *
4081  * Return value:
4082  *      actual depth set
4083  **/
4084 static int ipr_change_queue_depth(struct scsi_device *sdev, int qdepth,
4085                                   int reason)
4086 {
4087         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)sdev->host->hostdata;
4088         struct ipr_resource_entry *res;
4089         unsigned long lock_flags = 0;
4090
4091         if (reason != SCSI_QDEPTH_DEFAULT)
4092                 return -EOPNOTSUPP;
4093
4094         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4095         res = (struct ipr_resource_entry *)sdev->hostdata;
4096
4097         if (res && ipr_is_gata(res) && qdepth > IPR_MAX_CMD_PER_ATA_LUN)
4098                 qdepth = IPR_MAX_CMD_PER_ATA_LUN;
4099         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4100
4101         scsi_adjust_queue_depth(sdev, scsi_get_tag_type(sdev), qdepth);
4102         return sdev->queue_depth;
4103 }
4104
4105 /**
4106  * ipr_change_queue_type - Change the device's queue type
4107  * @dsev:               scsi device struct
4108  * @tag_type:   type of tags to use
4109  *
4110  * Return value:
4111  *      actual queue type set
4112  **/
4113 static int ipr_change_queue_type(struct scsi_device *sdev, int tag_type)
4114 {
4115         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)sdev->host->hostdata;
4116         struct ipr_resource_entry *res;
4117         unsigned long lock_flags = 0;
4118
4119         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4120         res = (struct ipr_resource_entry *)sdev->hostdata;
4121
4122         if (res) {
4123                 if (ipr_is_gscsi(res) && sdev->tagged_supported) {
4124                         /*
4125                          * We don't bother quiescing the device here since the
4126                          * adapter firmware does it for us.
4127                          */
4128                         scsi_set_tag_type(sdev, tag_type);
4129
4130                         if (tag_type)
4131                                 scsi_activate_tcq(sdev, sdev->queue_depth);
4132                         else
4133                                 scsi_deactivate_tcq(sdev, sdev->queue_depth);
4134                 } else
4135                         tag_type = 0;
4136         } else
4137                 tag_type = 0;
4138
4139         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4140         return tag_type;
4141 }
4142
4143 /**
4144  * ipr_show_adapter_handle - Show the adapter's resource handle for this device
4145  * @dev:        device struct
4146  * @attr:       device attribute structure
4147  * @buf:        buffer
4148  *
4149  * Return value:
4150  *      number of bytes printed to buffer
4151  **/
4152 static ssize_t ipr_show_adapter_handle(struct device *dev, struct device_attribute *attr, char *buf)
4153 {
4154         struct scsi_device *sdev = to_scsi_device(dev);
4155         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)sdev->host->hostdata;
4156         struct ipr_resource_entry *res;
4157         unsigned long lock_flags = 0;
4158         ssize_t len = -ENXIO;
4159
4160         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4161         res = (struct ipr_resource_entry *)sdev->hostdata;
4162         if (res)
4163                 len = snprintf(buf, PAGE_SIZE, "%08X\n", res->res_handle);
4164         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4165         return len;
4166 }
4167
4168 static struct device_attribute ipr_adapter_handle_attr = {
4169         .attr = {
4170                 .name =         "adapter_handle",
4171                 .mode =         S_IRUSR,
4172         },
4173         .show = ipr_show_adapter_handle
4174 };
4175
4176 /**
4177  * ipr_show_resource_path - Show the resource path or the resource address for
4178  *                          this device.
4179  * @dev:        device struct
4180  * @attr:       device attribute structure
4181  * @buf:        buffer
4182  *
4183  * Return value:
4184  *      number of bytes printed to buffer
4185  **/
4186 static ssize_t ipr_show_resource_path(struct device *dev, struct device_attribute *attr, char *buf)
4187 {
4188         struct scsi_device *sdev = to_scsi_device(dev);
4189         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)sdev->host->hostdata;
4190         struct ipr_resource_entry *res;
4191         unsigned long lock_flags = 0;
4192         ssize_t len = -ENXIO;
4193         char buffer[IPR_MAX_RES_PATH_LENGTH];
4194
4195         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4196         res = (struct ipr_resource_entry *)sdev->hostdata;
4197         if (res && ioa_cfg->sis64)
4198                 len = snprintf(buf, PAGE_SIZE, "%s\n",
4199                                ipr_format_res_path(res->res_path, buffer,
4200                                                    sizeof(buffer)));
4201         else if (res)
4202                 len = snprintf(buf, PAGE_SIZE, "%d:%d:%d:%d\n", ioa_cfg->host->host_no,
4203                                res->bus, res->target, res->lun);
4204
4205         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4206         return len;
4207 }
4208
4209 static struct device_attribute ipr_resource_path_attr = {
4210         .attr = {
4211                 .name =         "resource_path",
4212                 .mode =         S_IRUGO,
4213         },
4214         .show = ipr_show_resource_path
4215 };
4216
4217 /**
4218  * ipr_show_device_id - Show the device_id for this device.
4219  * @dev:        device struct
4220  * @attr:       device attribute structure
4221  * @buf:        buffer
4222  *
4223  * Return value:
4224  *      number of bytes printed to buffer
4225  **/
4226 static ssize_t ipr_show_device_id(struct device *dev, struct device_attribute *attr, char *buf)
4227 {
4228         struct scsi_device *sdev = to_scsi_device(dev);
4229         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)sdev->host->hostdata;
4230         struct ipr_resource_entry *res;
4231         unsigned long lock_flags = 0;
4232         ssize_t len = -ENXIO;
4233
4234         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4235         res = (struct ipr_resource_entry *)sdev->hostdata;
4236         if (res && ioa_cfg->sis64)
4237                 len = snprintf(buf, PAGE_SIZE, "0x%llx\n", res->dev_id);
4238         else if (res)
4239                 len = snprintf(buf, PAGE_SIZE, "0x%llx\n", res->lun_wwn);
4240
4241         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4242         return len;
4243 }
4244
4245 static struct device_attribute ipr_device_id_attr = {
4246         .attr = {
4247                 .name =         "device_id",
4248                 .mode =         S_IRUGO,
4249         },
4250         .show = ipr_show_device_id
4251 };
4252
4253 /**
4254  * ipr_show_resource_type - Show the resource type for this device.
4255  * @dev:        device struct
4256  * @attr:       device attribute structure
4257  * @buf:        buffer
4258  *
4259  * Return value:
4260  *      number of bytes printed to buffer
4261  **/
4262 static ssize_t ipr_show_resource_type(struct device *dev, struct device_attribute *attr, char *buf)
4263 {
4264         struct scsi_device *sdev = to_scsi_device(dev);
4265         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)sdev->host->hostdata;
4266         struct ipr_resource_entry *res;
4267         unsigned long lock_flags = 0;
4268         ssize_t len = -ENXIO;
4269
4270         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4271         res = (struct ipr_resource_entry *)sdev->hostdata;
4272
4273         if (res)
4274                 len = snprintf(buf, PAGE_SIZE, "%x\n", res->type);
4275
4276         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4277         return len;
4278 }
4279
4280 static struct device_attribute ipr_resource_type_attr = {
4281         .attr = {
4282                 .name =         "resource_type",
4283                 .mode =         S_IRUGO,
4284         },
4285         .show = ipr_show_resource_type
4286 };
4287
4288 static struct device_attribute *ipr_dev_attrs[] = {
4289         &ipr_adapter_handle_attr,
4290         &ipr_resource_path_attr,
4291         &ipr_device_id_attr,
4292         &ipr_resource_type_attr,
4293         NULL,
4294 };
4295
4296 /**
4297  * ipr_biosparam - Return the HSC mapping
4298  * @sdev:                       scsi device struct
4299  * @block_device:       block device pointer
4300  * @capacity:           capacity of the device
4301  * @parm:                       Array containing returned HSC values.
4302  *
4303  * This function generates the HSC parms that fdisk uses.
4304  * We want to make sure we return something that places partitions
4305  * on 4k boundaries for best performance with the IOA.
4306  *
4307  * Return value:
4308  *      0 on success
4309  **/
4310 static int ipr_biosparam(struct scsi_device *sdev,
4311                          struct block_device *block_device,
4312                          sector_t capacity, int *parm)
4313 {
4314         int heads, sectors;
4315         sector_t cylinders;
4316
4317         heads = 128;
4318         sectors = 32;
4319
4320         cylinders = capacity;
4321         sector_div(cylinders, (128 * 32));
4322
4323         /* return result */
4324         parm[0] = heads;
4325         parm[1] = sectors;
4326         parm[2] = cylinders;
4327
4328         return 0;
4329 }
4330
4331 /**
4332  * ipr_find_starget - Find target based on bus/target.
4333  * @starget:    scsi target struct
4334  *
4335  * Return value:
4336  *      resource entry pointer if found / NULL if not found
4337  **/
4338 static struct ipr_resource_entry *ipr_find_starget(struct scsi_target *starget)
4339 {
4340         struct Scsi_Host *shost = dev_to_shost(&starget->dev);
4341         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *) shost->hostdata;
4342         struct ipr_resource_entry *res;
4343
4344         list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
4345                 if ((res->bus == starget->channel) &&
4346                     (res->target == starget->id) &&
4347                     (res->lun == 0)) {
4348                         return res;
4349                 }
4350         }
4351
4352         return NULL;
4353 }
4354
4355 static struct ata_port_info sata_port_info;
4356
4357 /**
4358  * ipr_target_alloc - Prepare for commands to a SCSI target
4359  * @starget:    scsi target struct
4360  *
4361  * If the device is a SATA device, this function allocates an
4362  * ATA port with libata, else it does nothing.
4363  *
4364  * Return value:
4365  *      0 on success / non-0 on failure
4366  **/
4367 static int ipr_target_alloc(struct scsi_target *starget)
4368 {
4369         struct Scsi_Host *shost = dev_to_shost(&starget->dev);
4370         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *) shost->hostdata;
4371         struct ipr_sata_port *sata_port;
4372         struct ata_port *ap;
4373         struct ipr_resource_entry *res;
4374         unsigned long lock_flags;
4375
4376         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4377         res = ipr_find_starget(starget);
4378         starget->hostdata = NULL;
4379
4380         if (res && ipr_is_gata(res)) {
4381                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4382                 sata_port = kzalloc(sizeof(*sata_port), GFP_KERNEL);
4383                 if (!sata_port)
4384                         return -ENOMEM;
4385
4386                 ap = ata_sas_port_alloc(&ioa_cfg->ata_host, &sata_port_info, shost);
4387                 if (ap) {
4388                         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4389                         sata_port->ioa_cfg = ioa_cfg;
4390                         sata_port->ap = ap;
4391                         sata_port->res = res;
4392
4393                         res->sata_port = sata_port;
4394                         ap->private_data = sata_port;
4395                         starget->hostdata = sata_port;
4396                 } else {
4397                         kfree(sata_port);
4398                         return -ENOMEM;
4399                 }
4400         }
4401         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4402
4403         return 0;
4404 }
4405
4406 /**
4407  * ipr_target_destroy - Destroy a SCSI target
4408  * @starget:    scsi target struct
4409  *
4410  * If the device was a SATA device, this function frees the libata
4411  * ATA port, else it does nothing.
4412  *
4413  **/
4414 static void ipr_target_destroy(struct scsi_target *starget)
4415 {
4416         struct ipr_sata_port *sata_port = starget->hostdata;
4417         struct Scsi_Host *shost = dev_to_shost(&starget->dev);
4418         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *) shost->hostdata;
4419
4420         if (ioa_cfg->sis64) {
4421                 if (starget->channel == IPR_ARRAY_VIRTUAL_BUS)
4422                         clear_bit(starget->id, ioa_cfg->array_ids);
4423                 else if (starget->channel == IPR_VSET_VIRTUAL_BUS)
4424                         clear_bit(starget->id, ioa_cfg->vset_ids);
4425                 else if (starget->channel == 0)
4426                         clear_bit(starget->id, ioa_cfg->target_ids);
4427         }
4428
4429         if (sata_port) {
4430                 starget->hostdata = NULL;
4431                 ata_sas_port_destroy(sata_port->ap);
4432                 kfree(sata_port);
4433         }
4434 }
4435
4436 /**
4437  * ipr_find_sdev - Find device based on bus/target/lun.
4438  * @sdev:       scsi device struct
4439  *
4440  * Return value:
4441  *      resource entry pointer if found / NULL if not found
4442  **/
4443 static struct ipr_resource_entry *ipr_find_sdev(struct scsi_device *sdev)
4444 {
4445         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *) sdev->host->hostdata;
4446         struct ipr_resource_entry *res;
4447
4448         list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
4449                 if ((res->bus == sdev->channel) &&
4450                     (res->target == sdev->id) &&
4451                     (res->lun == sdev->lun))
4452                         return res;
4453         }
4454
4455         return NULL;
4456 }
4457
4458 /**
4459  * ipr_slave_destroy - Unconfigure a SCSI device
4460  * @sdev:       scsi device struct
4461  *
4462  * Return value:
4463  *      nothing
4464  **/
4465 static void ipr_slave_destroy(struct scsi_device *sdev)
4466 {
4467         struct ipr_resource_entry *res;
4468         struct ipr_ioa_cfg *ioa_cfg;
4469         unsigned long lock_flags = 0;
4470
4471         ioa_cfg = (struct ipr_ioa_cfg *) sdev->host->hostdata;
4472
4473         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4474         res = (struct ipr_resource_entry *) sdev->hostdata;
4475         if (res) {
4476                 if (res->sata_port)
4477                         res->sata_port->ap->link.device[0].class = ATA_DEV_NONE;
4478                 sdev->hostdata = NULL;
4479                 res->sdev = NULL;
4480                 res->sata_port = NULL;
4481         }
4482         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4483 }
4484
4485 /**
4486  * ipr_slave_configure - Configure a SCSI device
4487  * @sdev:       scsi device struct
4488  *
4489  * This function configures the specified scsi device.
4490  *
4491  * Return value:
4492  *      0 on success
4493  **/
4494 static int ipr_slave_configure(struct scsi_device *sdev)
4495 {
4496         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *) sdev->host->hostdata;
4497         struct ipr_resource_entry *res;
4498         struct ata_port *ap = NULL;
4499         unsigned long lock_flags = 0;
4500         char buffer[IPR_MAX_RES_PATH_LENGTH];
4501
4502         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4503         res = sdev->hostdata;
4504         if (res) {
4505                 if (ipr_is_af_dasd_device(res))
4506                         sdev->type = TYPE_RAID;
4507                 if (ipr_is_af_dasd_device(res) || ipr_is_ioa_resource(res)) {
4508                         sdev->scsi_level = 4;
4509                         sdev->no_uld_attach = 1;
4510                 }
4511                 if (ipr_is_vset_device(res)) {
4512                         blk_queue_rq_timeout(sdev->request_queue,
4513                                              IPR_VSET_RW_TIMEOUT);
4514                         blk_queue_max_hw_sectors(sdev->request_queue, IPR_VSET_MAX_SECTORS);
4515                 }
4516                 if (ipr_is_gata(res) && res->sata_port)
4517                         ap = res->sata_port->ap;
4518                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4519
4520                 if (ap) {
4521                         scsi_adjust_queue_depth(sdev, 0, IPR_MAX_CMD_PER_ATA_LUN);
4522                         ata_sas_slave_configure(sdev, ap);
4523                 } else
4524                         scsi_adjust_queue_depth(sdev, 0, sdev->host->cmd_per_lun);
4525                 if (ioa_cfg->sis64)
4526                         sdev_printk(KERN_INFO, sdev, "Resource path: %s\n",
4527                                     ipr_format_res_path(res->res_path, buffer,
4528                                                         sizeof(buffer)));
4529                 return 0;
4530         }
4531         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4532         return 0;
4533 }
4534
4535 /**
4536  * ipr_ata_slave_alloc - Prepare for commands to a SATA device
4537  * @sdev:       scsi device struct
4538  *
4539  * This function initializes an ATA port so that future commands
4540  * sent through queuecommand will work.
4541  *
4542  * Return value:
4543  *      0 on success
4544  **/
4545 static int ipr_ata_slave_alloc(struct scsi_device *sdev)
4546 {
4547         struct ipr_sata_port *sata_port = NULL;
4548         int rc = -ENXIO;
4549
4550         ENTER;
4551         if (sdev->sdev_target)
4552                 sata_port = sdev->sdev_target->hostdata;
4553         if (sata_port)
4554                 rc = ata_sas_port_init(sata_port->ap);
4555         if (rc)
4556                 ipr_slave_destroy(sdev);
4557
4558         LEAVE;
4559         return rc;
4560 }
4561
4562 /**
4563  * ipr_slave_alloc - Prepare for commands to a device.
4564  * @sdev:       scsi device struct
4565  *
4566  * This function saves a pointer to the resource entry
4567  * in the scsi device struct if the device exists. We
4568  * can then use this pointer in ipr_queuecommand when
4569  * handling new commands.
4570  *
4571  * Return value:
4572  *      0 on success / -ENXIO if device does not exist
4573  **/
4574 static int ipr_slave_alloc(struct scsi_device *sdev)
4575 {
4576         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *) sdev->host->hostdata;
4577         struct ipr_resource_entry *res;
4578         unsigned long lock_flags;
4579         int rc = -ENXIO;
4580
4581         sdev->hostdata = NULL;
4582
4583         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4584
4585         res = ipr_find_sdev(sdev);
4586         if (res) {
4587                 res->sdev = sdev;
4588                 res->add_to_ml = 0;
4589                 res->in_erp = 0;
4590                 sdev->hostdata = res;
4591                 if (!ipr_is_naca_model(res))
4592                         res->needs_sync_complete = 1;
4593                 rc = 0;
4594                 if (ipr_is_gata(res)) {
4595                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4596                         return ipr_ata_slave_alloc(sdev);
4597                 }
4598         }
4599
4600         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4601
4602         return rc;
4603 }
4604
4605 /**
4606  * ipr_eh_host_reset - Reset the host adapter
4607  * @scsi_cmd:   scsi command struct
4608  *
4609  * Return value:
4610  *      SUCCESS / FAILED
4611  **/
4612 static int __ipr_eh_host_reset(struct scsi_cmnd * scsi_cmd)
4613 {
4614         struct ipr_ioa_cfg *ioa_cfg;
4615         int rc;
4616
4617         ENTER;
4618         ioa_cfg = (struct ipr_ioa_cfg *) scsi_cmd->device->host->hostdata;
4619
4620         dev_err(&ioa_cfg->pdev->dev,
4621                 "Adapter being reset as a result of error recovery.\n");
4622
4623         if (WAIT_FOR_DUMP == ioa_cfg->sdt_state)
4624                 ioa_cfg->sdt_state = GET_DUMP;
4625
4626         rc = ipr_reset_reload(ioa_cfg, IPR_SHUTDOWN_ABBREV);
4627
4628         LEAVE;
4629         return rc;
4630 }
4631
4632 static int ipr_eh_host_reset(struct scsi_cmnd * cmd)
4633 {
4634         int rc;
4635
4636         spin_lock_irq(cmd->device->host->host_lock);
4637         rc = __ipr_eh_host_reset(cmd);
4638         spin_unlock_irq(cmd->device->host->host_lock);
4639
4640         return rc;
4641 }
4642
4643 /**
4644  * ipr_device_reset - Reset the device
4645  * @ioa_cfg:    ioa config struct
4646  * @res:                resource entry struct
4647  *
4648  * This function issues a device reset to the affected device.
4649  * If the device is a SCSI device, a LUN reset will be sent
4650  * to the device first. If that does not work, a target reset
4651  * will be sent. If the device is a SATA device, a PHY reset will
4652  * be sent.
4653  *
4654  * Return value:
4655  *      0 on success / non-zero on failure
4656  **/
4657 static int ipr_device_reset(struct ipr_ioa_cfg *ioa_cfg,
4658                             struct ipr_resource_entry *res)
4659 {
4660         struct ipr_cmnd *ipr_cmd;
4661         struct ipr_ioarcb *ioarcb;
4662         struct ipr_cmd_pkt *cmd_pkt;
4663         struct ipr_ioarcb_ata_regs *regs;
4664         u32 ioasc;
4665
4666         ENTER;
4667         ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
4668         ioarcb = &ipr_cmd->ioarcb;
4669         cmd_pkt = &ioarcb->cmd_pkt;
4670
4671         if (ipr_cmd->ioa_cfg->sis64) {
4672                 regs = &ipr_cmd->i.ata_ioadl.regs;
4673                 ioarcb->add_cmd_parms_offset = cpu_to_be16(sizeof(*ioarcb));
4674         } else
4675                 regs = &ioarcb->u.add_data.u.regs;
4676
4677         ioarcb->res_handle = res->res_handle;
4678         cmd_pkt->request_type = IPR_RQTYPE_IOACMD;
4679         cmd_pkt->cdb[0] = IPR_RESET_DEVICE;
4680         if (ipr_is_gata(res)) {
4681                 cmd_pkt->cdb[2] = IPR_ATA_PHY_RESET;
4682                 ioarcb->add_cmd_parms_len = cpu_to_be16(sizeof(regs->flags));
4683                 regs->flags |= IPR_ATA_FLAG_STATUS_ON_GOOD_COMPLETION;
4684         }
4685
4686         ipr_send_blocking_cmd(ipr_cmd, ipr_timeout, IPR_DEVICE_RESET_TIMEOUT);
4687         ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
4688         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
4689         if (ipr_is_gata(res) && res->sata_port && ioasc != IPR_IOASC_IOA_WAS_RESET) {
4690                 if (ipr_cmd->ioa_cfg->sis64)
4691                         memcpy(&res->sata_port->ioasa, &ipr_cmd->s.ioasa64.u.gata,
4692                                sizeof(struct ipr_ioasa_gata));
4693                 else
4694                         memcpy(&res->sata_port->ioasa, &ipr_cmd->s.ioasa.u.gata,
4695                                sizeof(struct ipr_ioasa_gata));
4696         }
4697
4698         LEAVE;
4699         return (IPR_IOASC_SENSE_KEY(ioasc) ? -EIO : 0);
4700 }
4701
4702 /**
4703  * ipr_sata_reset - Reset the SATA port
4704  * @link:       SATA link to reset
4705  * @classes:    class of the attached device
4706  *
4707  * This function issues a SATA phy reset to the affected ATA link.
4708  *
4709  * Return value:
4710  *      0 on success / non-zero on failure
4711  **/
4712 static int ipr_sata_reset(struct ata_link *link, unsigned int *classes,
4713                                 unsigned long deadline)
4714 {
4715         struct ipr_sata_port *sata_port = link->ap->private_data;
4716         struct ipr_ioa_cfg *ioa_cfg = sata_port->ioa_cfg;
4717         struct ipr_resource_entry *res;
4718         unsigned long lock_flags = 0;
4719         int rc = -ENXIO;
4720
4721         ENTER;
4722         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4723         while(ioa_cfg->in_reset_reload) {
4724                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4725                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
4726                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4727         }
4728
4729         res = sata_port->res;
4730         if (res) {
4731                 rc = ipr_device_reset(ioa_cfg, res);
4732                 *classes = res->ata_class;
4733         }
4734
4735         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4736         LEAVE;
4737         return rc;
4738 }
4739
4740 /**
4741  * ipr_eh_dev_reset - Reset the device
4742  * @scsi_cmd:   scsi command struct
4743  *
4744  * This function issues a device reset to the affected device.
4745  * A LUN reset will be sent to the device first. If that does
4746  * not work, a target reset will be sent.
4747  *
4748  * Return value:
4749  *      SUCCESS / FAILED
4750  **/
4751 static int __ipr_eh_dev_reset(struct scsi_cmnd * scsi_cmd)
4752 {
4753         struct ipr_cmnd *ipr_cmd;
4754         struct ipr_ioa_cfg *ioa_cfg;
4755         struct ipr_resource_entry *res;
4756         struct ata_port *ap;
4757         int rc = 0;
4758
4759         ENTER;
4760         ioa_cfg = (struct ipr_ioa_cfg *) scsi_cmd->device->host->hostdata;
4761         res = scsi_cmd->device->hostdata;
4762
4763         if (!res)
4764                 return FAILED;
4765
4766         /*
4767          * If we are currently going through reset/reload, return failed. This will force the
4768          * mid-layer to call ipr_eh_host_reset, which will then go to sleep and wait for the
4769          * reset to complete
4770          */
4771         if (ioa_cfg->in_reset_reload)
4772                 return FAILED;
4773         if (ioa_cfg->ioa_is_dead)
4774                 return FAILED;
4775
4776         list_for_each_entry(ipr_cmd, &ioa_cfg->pending_q, queue) {
4777                 if (ipr_cmd->ioarcb.res_handle == res->res_handle) {
4778                         if (ipr_cmd->scsi_cmd)
4779                                 ipr_cmd->done = ipr_scsi_eh_done;
4780                         if (ipr_cmd->qc)
4781                                 ipr_cmd->done = ipr_sata_eh_done;
4782                         if (ipr_cmd->qc && !(ipr_cmd->qc->flags & ATA_QCFLAG_FAILED)) {
4783                                 ipr_cmd->qc->err_mask |= AC_ERR_TIMEOUT;
4784                                 ipr_cmd->qc->flags |= ATA_QCFLAG_FAILED;
4785                         }
4786                 }
4787         }
4788
4789         res->resetting_device = 1;
4790         scmd_printk(KERN_ERR, scsi_cmd, "Resetting device\n");
4791
4792         if (ipr_is_gata(res) && res->sata_port) {
4793                 ap = res->sata_port->ap;
4794                 spin_unlock_irq(scsi_cmd->device->host->host_lock);
4795                 ata_std_error_handler(ap);
4796                 spin_lock_irq(scsi_cmd->device->host->host_lock);
4797
4798                 list_for_each_entry(ipr_cmd, &ioa_cfg->pending_q, queue) {
4799                         if (ipr_cmd->ioarcb.res_handle == res->res_handle) {
4800                                 rc = -EIO;
4801                                 break;
4802                         }
4803                 }
4804         } else
4805                 rc = ipr_device_reset(ioa_cfg, res);
4806         res->resetting_device = 0;
4807
4808         LEAVE;
4809         return (rc ? FAILED : SUCCESS);
4810 }
4811
4812 static int ipr_eh_dev_reset(struct scsi_cmnd * cmd)
4813 {
4814         int rc;
4815
4816         spin_lock_irq(cmd->device->host->host_lock);
4817         rc = __ipr_eh_dev_reset(cmd);
4818         spin_unlock_irq(cmd->device->host->host_lock);
4819
4820         return rc;
4821 }
4822
4823 /**
4824  * ipr_bus_reset_done - Op done function for bus reset.
4825  * @ipr_cmd:    ipr command struct
4826  *
4827  * This function is the op done function for a bus reset
4828  *
4829  * Return value:
4830  *      none
4831  **/
4832 static void ipr_bus_reset_done(struct ipr_cmnd *ipr_cmd)
4833 {
4834         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
4835         struct ipr_resource_entry *res;
4836
4837         ENTER;
4838         if (!ioa_cfg->sis64)
4839                 list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
4840                         if (res->res_handle == ipr_cmd->ioarcb.res_handle) {
4841                                 scsi_report_bus_reset(ioa_cfg->host, res->bus);
4842                                 break;
4843                         }
4844                 }
4845
4846         /*
4847          * If abort has not completed, indicate the reset has, else call the
4848          * abort's done function to wake the sleeping eh thread
4849          */
4850         if (ipr_cmd->sibling->sibling)
4851                 ipr_cmd->sibling->sibling = NULL;
4852         else
4853                 ipr_cmd->sibling->done(ipr_cmd->sibling);
4854
4855         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
4856         LEAVE;
4857 }
4858
4859 /**
4860  * ipr_abort_timeout - An abort task has timed out
4861  * @ipr_cmd:    ipr command struct
4862  *
4863  * This function handles when an abort task times out. If this
4864  * happens we issue a bus reset since we have resources tied
4865  * up that must be freed before returning to the midlayer.
4866  *
4867  * Return value:
4868  *      none
4869  **/
4870 static void ipr_abort_timeout(struct ipr_cmnd *ipr_cmd)
4871 {
4872         struct ipr_cmnd *reset_cmd;
4873         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
4874         struct ipr_cmd_pkt *cmd_pkt;
4875         unsigned long lock_flags = 0;
4876
4877         ENTER;
4878         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
4879         if (ipr_cmd->completion.done || ioa_cfg->in_reset_reload) {
4880                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4881                 return;
4882         }
4883
4884         sdev_printk(KERN_ERR, ipr_cmd->u.sdev, "Abort timed out. Resetting bus.\n");
4885         reset_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
4886         ipr_cmd->sibling = reset_cmd;
4887         reset_cmd->sibling = ipr_cmd;
4888         reset_cmd->ioarcb.res_handle = ipr_cmd->ioarcb.res_handle;
4889         cmd_pkt = &reset_cmd->ioarcb.cmd_pkt;
4890         cmd_pkt->request_type = IPR_RQTYPE_IOACMD;
4891         cmd_pkt->cdb[0] = IPR_RESET_DEVICE;
4892         cmd_pkt->cdb[2] = IPR_RESET_TYPE_SELECT | IPR_BUS_RESET;
4893
4894         ipr_do_req(reset_cmd, ipr_bus_reset_done, ipr_timeout, IPR_DEVICE_RESET_TIMEOUT);
4895         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
4896         LEAVE;
4897 }
4898
4899 /**
4900  * ipr_cancel_op - Cancel specified op
4901  * @scsi_cmd:   scsi command struct
4902  *
4903  * This function cancels specified op.
4904  *
4905  * Return value:
4906  *      SUCCESS / FAILED
4907  **/
4908 static int ipr_cancel_op(struct scsi_cmnd * scsi_cmd)
4909 {
4910         struct ipr_cmnd *ipr_cmd;
4911         struct ipr_ioa_cfg *ioa_cfg;
4912         struct ipr_resource_entry *res;
4913         struct ipr_cmd_pkt *cmd_pkt;
4914         u32 ioasc;
4915         int op_found = 0;
4916
4917         ENTER;
4918         ioa_cfg = (struct ipr_ioa_cfg *)scsi_cmd->device->host->hostdata;
4919         res = scsi_cmd->device->hostdata;
4920
4921         /* If we are currently going through reset/reload, return failed.
4922          * This will force the mid-layer to call ipr_eh_host_reset,
4923          * which will then go to sleep and wait for the reset to complete
4924          */
4925         if (ioa_cfg->in_reset_reload || ioa_cfg->ioa_is_dead)
4926                 return FAILED;
4927         if (!res || !ipr_is_gscsi(res))
4928                 return FAILED;
4929
4930         list_for_each_entry(ipr_cmd, &ioa_cfg->pending_q, queue) {
4931                 if (ipr_cmd->scsi_cmd == scsi_cmd) {
4932                         ipr_cmd->done = ipr_scsi_eh_done;
4933                         op_found = 1;
4934                         break;
4935                 }
4936         }
4937
4938         if (!op_found)
4939                 return SUCCESS;
4940
4941         ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
4942         ipr_cmd->ioarcb.res_handle = res->res_handle;
4943         cmd_pkt = &ipr_cmd->ioarcb.cmd_pkt;
4944         cmd_pkt->request_type = IPR_RQTYPE_IOACMD;
4945         cmd_pkt->cdb[0] = IPR_CANCEL_ALL_REQUESTS;
4946         ipr_cmd->u.sdev = scsi_cmd->device;
4947
4948         scmd_printk(KERN_ERR, scsi_cmd, "Aborting command: %02X\n",
4949                     scsi_cmd->cmnd[0]);
4950         ipr_send_blocking_cmd(ipr_cmd, ipr_abort_timeout, IPR_CANCEL_ALL_TIMEOUT);
4951         ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
4952
4953         /*
4954          * If the abort task timed out and we sent a bus reset, we will get
4955          * one the following responses to the abort
4956          */
4957         if (ioasc == IPR_IOASC_BUS_WAS_RESET || ioasc == IPR_IOASC_SYNC_REQUIRED) {
4958                 ioasc = 0;
4959                 ipr_trace;
4960         }
4961
4962         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
4963         if (!ipr_is_naca_model(res))
4964                 res->needs_sync_complete = 1;
4965
4966         LEAVE;
4967         return (IPR_IOASC_SENSE_KEY(ioasc) ? FAILED : SUCCESS);
4968 }
4969
4970 /**
4971  * ipr_eh_abort - Abort a single op
4972  * @scsi_cmd:   scsi command struct
4973  *
4974  * Return value:
4975  *      SUCCESS / FAILED
4976  **/
4977 static int ipr_eh_abort(struct scsi_cmnd * scsi_cmd)
4978 {
4979         unsigned long flags;
4980         int rc;
4981
4982         ENTER;
4983
4984         spin_lock_irqsave(scsi_cmd->device->host->host_lock, flags);
4985         rc = ipr_cancel_op(scsi_cmd);
4986         spin_unlock_irqrestore(scsi_cmd->device->host->host_lock, flags);
4987
4988         LEAVE;
4989         return rc;
4990 }
4991
4992 /**
4993  * ipr_handle_other_interrupt - Handle "other" interrupts
4994  * @ioa_cfg:    ioa config struct
4995  * @int_reg:    interrupt register
4996  *
4997  * Return value:
4998  *      IRQ_NONE / IRQ_HANDLED
4999  **/
5000 static irqreturn_t ipr_handle_other_interrupt(struct ipr_ioa_cfg *ioa_cfg,
5001                                               u32 int_reg)
5002 {
5003         irqreturn_t rc = IRQ_HANDLED;
5004         u32 int_mask_reg;
5005
5006         int_mask_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg32);
5007         int_reg &= ~int_mask_reg;
5008
5009         /* If an interrupt on the adapter did not occur, ignore it.
5010          * Or in the case of SIS 64, check for a stage change interrupt.
5011          */
5012         if ((int_reg & IPR_PCII_OPER_INTERRUPTS) == 0) {
5013                 if (ioa_cfg->sis64) {
5014                         int_mask_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg);
5015                         int_reg = readl(ioa_cfg->regs.sense_interrupt_reg) & ~int_mask_reg;
5016                         if (int_reg & IPR_PCII_IPL_STAGE_CHANGE) {
5017
5018                                 /* clear stage change */
5019                                 writel(IPR_PCII_IPL_STAGE_CHANGE, ioa_cfg->regs.clr_interrupt_reg);
5020                                 int_reg = readl(ioa_cfg->regs.sense_interrupt_reg) & ~int_mask_reg;
5021                                 list_del(&ioa_cfg->reset_cmd->queue);
5022                                 del_timer(&ioa_cfg->reset_cmd->timer);
5023                                 ipr_reset_ioa_job(ioa_cfg->reset_cmd);
5024                                 return IRQ_HANDLED;
5025                         }
5026                 }
5027
5028                 return IRQ_NONE;
5029         }
5030
5031         if (int_reg & IPR_PCII_IOA_TRANS_TO_OPER) {
5032                 /* Mask the interrupt */
5033                 writel(IPR_PCII_IOA_TRANS_TO_OPER, ioa_cfg->regs.set_interrupt_mask_reg);
5034
5035                 /* Clear the interrupt */
5036                 writel(IPR_PCII_IOA_TRANS_TO_OPER, ioa_cfg->regs.clr_interrupt_reg);
5037                 int_reg = readl(ioa_cfg->regs.sense_interrupt_reg);
5038
5039                 list_del(&ioa_cfg->reset_cmd->queue);
5040                 del_timer(&ioa_cfg->reset_cmd->timer);
5041                 ipr_reset_ioa_job(ioa_cfg->reset_cmd);
5042         } else if ((int_reg & IPR_PCII_HRRQ_UPDATED) == int_reg) {
5043                 if (ipr_debug && printk_ratelimit())
5044                         dev_err(&ioa_cfg->pdev->dev,
5045                                 "Spurious interrupt detected. 0x%08X\n", int_reg);
5046                 writel(IPR_PCII_HRRQ_UPDATED, ioa_cfg->regs.clr_interrupt_reg32);
5047                 int_reg = readl(ioa_cfg->regs.sense_interrupt_reg32);
5048                 return IRQ_NONE;
5049         } else {
5050                 if (int_reg & IPR_PCII_IOA_UNIT_CHECKED)
5051                         ioa_cfg->ioa_unit_checked = 1;
5052                 else
5053                         dev_err(&ioa_cfg->pdev->dev,
5054                                 "Permanent IOA failure. 0x%08X\n", int_reg);
5055
5056                 if (WAIT_FOR_DUMP == ioa_cfg->sdt_state)
5057                         ioa_cfg->sdt_state = GET_DUMP;
5058
5059                 ipr_mask_and_clear_interrupts(ioa_cfg, ~0);
5060                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
5061         }
5062
5063         return rc;
5064 }
5065
5066 /**
5067  * ipr_isr_eh - Interrupt service routine error handler
5068  * @ioa_cfg:    ioa config struct
5069  * @msg:        message to log
5070  *
5071  * Return value:
5072  *      none
5073  **/
5074 static void ipr_isr_eh(struct ipr_ioa_cfg *ioa_cfg, char *msg)
5075 {
5076         ioa_cfg->errors_logged++;
5077         dev_err(&ioa_cfg->pdev->dev, "%s\n", msg);
5078
5079         if (WAIT_FOR_DUMP == ioa_cfg->sdt_state)
5080                 ioa_cfg->sdt_state = GET_DUMP;
5081
5082         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
5083 }
5084
5085 /**
5086  * ipr_isr - Interrupt service routine
5087  * @irq:        irq number
5088  * @devp:       pointer to ioa config struct
5089  *
5090  * Return value:
5091  *      IRQ_NONE / IRQ_HANDLED
5092  **/
5093 static irqreturn_t ipr_isr(int irq, void *devp)
5094 {
5095         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)devp;
5096         unsigned long lock_flags = 0;
5097         u32 int_reg = 0;
5098         u32 ioasc;
5099         u16 cmd_index;
5100         int num_hrrq = 0;
5101         int irq_none = 0;
5102         struct ipr_cmnd *ipr_cmd;
5103         irqreturn_t rc = IRQ_NONE;
5104
5105         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
5106
5107         /* If interrupts are disabled, ignore the interrupt */
5108         if (!ioa_cfg->allow_interrupts) {
5109                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
5110                 return IRQ_NONE;
5111         }
5112
5113         while (1) {
5114                 ipr_cmd = NULL;
5115
5116                 while ((be32_to_cpu(*ioa_cfg->hrrq_curr) & IPR_HRRQ_TOGGLE_BIT) ==
5117                        ioa_cfg->toggle_bit) {
5118
5119                         cmd_index = (be32_to_cpu(*ioa_cfg->hrrq_curr) &
5120                                      IPR_HRRQ_REQ_RESP_HANDLE_MASK) >> IPR_HRRQ_REQ_RESP_HANDLE_SHIFT;
5121
5122                         if (unlikely(cmd_index >= IPR_NUM_CMD_BLKS)) {
5123                                 ipr_isr_eh(ioa_cfg, "Invalid response handle from IOA");
5124                                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
5125                                 return IRQ_HANDLED;
5126                         }
5127
5128                         ipr_cmd = ioa_cfg->ipr_cmnd_list[cmd_index];
5129
5130                         ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
5131
5132                         ipr_trc_hook(ipr_cmd, IPR_TRACE_FINISH, ioasc);
5133
5134                         list_del(&ipr_cmd->queue);
5135                         del_timer(&ipr_cmd->timer);
5136                         ipr_cmd->done(ipr_cmd);
5137
5138                         rc = IRQ_HANDLED;
5139
5140                         if (ioa_cfg->hrrq_curr < ioa_cfg->hrrq_end) {
5141                                 ioa_cfg->hrrq_curr++;
5142                         } else {
5143                                 ioa_cfg->hrrq_curr = ioa_cfg->hrrq_start;
5144                                 ioa_cfg->toggle_bit ^= 1u;
5145                         }
5146                 }
5147
5148                 if (ipr_cmd != NULL) {
5149                         /* Clear the PCI interrupt */
5150                         num_hrrq = 0;
5151                         do {
5152                                 writel(IPR_PCII_HRRQ_UPDATED, ioa_cfg->regs.clr_interrupt_reg32);
5153                                 int_reg = readl(ioa_cfg->regs.sense_interrupt_reg32);
5154                         } while (int_reg & IPR_PCII_HRRQ_UPDATED &&
5155                                         num_hrrq++ < IPR_MAX_HRRQ_RETRIES);
5156
5157                 } else if (rc == IRQ_NONE && irq_none == 0) {
5158                         int_reg = readl(ioa_cfg->regs.sense_interrupt_reg32);
5159                         irq_none++;
5160                 } else if (num_hrrq == IPR_MAX_HRRQ_RETRIES &&
5161                            int_reg & IPR_PCII_HRRQ_UPDATED) {
5162                         ipr_isr_eh(ioa_cfg, "Error clearing HRRQ");
5163                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
5164                         return IRQ_HANDLED;
5165                 } else
5166                         break;
5167         }
5168
5169         if (unlikely(rc == IRQ_NONE))
5170                 rc = ipr_handle_other_interrupt(ioa_cfg, int_reg);
5171
5172         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
5173         return rc;
5174 }
5175
5176 /**
5177  * ipr_build_ioadl64 - Build a scatter/gather list and map the buffer
5178  * @ioa_cfg:    ioa config struct
5179  * @ipr_cmd:    ipr command struct
5180  *
5181  * Return value:
5182  *      0 on success / -1 on failure
5183  **/
5184 static int ipr_build_ioadl64(struct ipr_ioa_cfg *ioa_cfg,
5185                              struct ipr_cmnd *ipr_cmd)
5186 {
5187         int i, nseg;
5188         struct scatterlist *sg;
5189         u32 length;
5190         u32 ioadl_flags = 0;
5191         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
5192         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
5193         struct ipr_ioadl64_desc *ioadl64 = ipr_cmd->i.ioadl64;
5194
5195         length = scsi_bufflen(scsi_cmd);
5196         if (!length)
5197                 return 0;
5198
5199         nseg = scsi_dma_map(scsi_cmd);
5200         if (nseg < 0) {
5201                 if (printk_ratelimit())
5202                         dev_err(&ioa_cfg->pdev->dev, "pci_map_sg failed!\n");
5203                 return -1;
5204         }
5205
5206         ipr_cmd->dma_use_sg = nseg;
5207
5208         ioarcb->data_transfer_length = cpu_to_be32(length);
5209         ioarcb->ioadl_len =
5210                 cpu_to_be32(sizeof(struct ipr_ioadl64_desc) * ipr_cmd->dma_use_sg);
5211
5212         if (scsi_cmd->sc_data_direction == DMA_TO_DEVICE) {
5213                 ioadl_flags = IPR_IOADL_FLAGS_WRITE;
5214                 ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
5215         } else if (scsi_cmd->sc_data_direction == DMA_FROM_DEVICE)
5216                 ioadl_flags = IPR_IOADL_FLAGS_READ;
5217
5218         scsi_for_each_sg(scsi_cmd, sg, ipr_cmd->dma_use_sg, i) {
5219                 ioadl64[i].flags = cpu_to_be32(ioadl_flags);
5220                 ioadl64[i].data_len = cpu_to_be32(sg_dma_len(sg));
5221                 ioadl64[i].address = cpu_to_be64(sg_dma_address(sg));
5222         }
5223
5224         ioadl64[i-1].flags |= cpu_to_be32(IPR_IOADL_FLAGS_LAST);
5225         return 0;
5226 }
5227
5228 /**
5229  * ipr_build_ioadl - Build a scatter/gather list and map the buffer
5230  * @ioa_cfg:    ioa config struct
5231  * @ipr_cmd:    ipr command struct
5232  *
5233  * Return value:
5234  *      0 on success / -1 on failure
5235  **/
5236 static int ipr_build_ioadl(struct ipr_ioa_cfg *ioa_cfg,
5237                            struct ipr_cmnd *ipr_cmd)
5238 {
5239         int i, nseg;
5240         struct scatterlist *sg;
5241         u32 length;
5242         u32 ioadl_flags = 0;
5243         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
5244         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
5245         struct ipr_ioadl_desc *ioadl = ipr_cmd->i.ioadl;
5246
5247         length = scsi_bufflen(scsi_cmd);
5248         if (!length)
5249                 return 0;
5250
5251         nseg = scsi_dma_map(scsi_cmd);
5252         if (nseg < 0) {
5253                 dev_err(&ioa_cfg->pdev->dev, "pci_map_sg failed!\n");
5254                 return -1;
5255         }
5256
5257         ipr_cmd->dma_use_sg = nseg;
5258
5259         if (scsi_cmd->sc_data_direction == DMA_TO_DEVICE) {
5260                 ioadl_flags = IPR_IOADL_FLAGS_WRITE;
5261                 ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
5262                 ioarcb->data_transfer_length = cpu_to_be32(length);
5263                 ioarcb->ioadl_len =
5264                         cpu_to_be32(sizeof(struct ipr_ioadl_desc) * ipr_cmd->dma_use_sg);
5265         } else if (scsi_cmd->sc_data_direction == DMA_FROM_DEVICE) {
5266                 ioadl_flags = IPR_IOADL_FLAGS_READ;
5267                 ioarcb->read_data_transfer_length = cpu_to_be32(length);
5268                 ioarcb->read_ioadl_len =
5269                         cpu_to_be32(sizeof(struct ipr_ioadl_desc) * ipr_cmd->dma_use_sg);
5270         }
5271
5272         if (ipr_cmd->dma_use_sg <= ARRAY_SIZE(ioarcb->u.add_data.u.ioadl)) {
5273                 ioadl = ioarcb->u.add_data.u.ioadl;
5274                 ioarcb->write_ioadl_addr = cpu_to_be32((ipr_cmd->dma_addr) +
5275                                     offsetof(struct ipr_ioarcb, u.add_data));
5276                 ioarcb->read_ioadl_addr = ioarcb->write_ioadl_addr;
5277         }
5278
5279         scsi_for_each_sg(scsi_cmd, sg, ipr_cmd->dma_use_sg, i) {
5280                 ioadl[i].flags_and_data_len =
5281                         cpu_to_be32(ioadl_flags | sg_dma_len(sg));
5282                 ioadl[i].address = cpu_to_be32(sg_dma_address(sg));
5283         }
5284
5285         ioadl[i-1].flags_and_data_len |= cpu_to_be32(IPR_IOADL_FLAGS_LAST);
5286         return 0;
5287 }
5288
5289 /**
5290  * ipr_get_task_attributes - Translate SPI Q-Tag to task attributes
5291  * @scsi_cmd:   scsi command struct
5292  *
5293  * Return value:
5294  *      task attributes
5295  **/
5296 static u8 ipr_get_task_attributes(struct scsi_cmnd *scsi_cmd)
5297 {
5298         u8 tag[2];
5299         u8 rc = IPR_FLAGS_LO_UNTAGGED_TASK;
5300
5301         if (scsi_populate_tag_msg(scsi_cmd, tag)) {
5302                 switch (tag[0]) {
5303                 case MSG_SIMPLE_TAG:
5304                         rc = IPR_FLAGS_LO_SIMPLE_TASK;
5305                         break;
5306                 case MSG_HEAD_TAG:
5307                         rc = IPR_FLAGS_LO_HEAD_OF_Q_TASK;
5308                         break;
5309                 case MSG_ORDERED_TAG:
5310                         rc = IPR_FLAGS_LO_ORDERED_TASK;
5311                         break;
5312                 };
5313         }
5314
5315         return rc;
5316 }
5317
5318 /**
5319  * ipr_erp_done - Process completion of ERP for a device
5320  * @ipr_cmd:            ipr command struct
5321  *
5322  * This function copies the sense buffer into the scsi_cmd
5323  * struct and pushes the scsi_done function.
5324  *
5325  * Return value:
5326  *      nothing
5327  **/
5328 static void ipr_erp_done(struct ipr_cmnd *ipr_cmd)
5329 {
5330         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
5331         struct ipr_resource_entry *res = scsi_cmd->device->hostdata;
5332         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
5333         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
5334
5335         if (IPR_IOASC_SENSE_KEY(ioasc) > 0) {
5336                 scsi_cmd->result |= (DID_ERROR << 16);
5337                 scmd_printk(KERN_ERR, scsi_cmd,
5338                             "Request Sense failed with IOASC: 0x%08X\n", ioasc);
5339         } else {
5340                 memcpy(scsi_cmd->sense_buffer, ipr_cmd->sense_buffer,
5341                        SCSI_SENSE_BUFFERSIZE);
5342         }
5343
5344         if (res) {
5345                 if (!ipr_is_naca_model(res))
5346                         res->needs_sync_complete = 1;
5347                 res->in_erp = 0;
5348         }
5349         scsi_dma_unmap(ipr_cmd->scsi_cmd);
5350         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
5351         scsi_cmd->scsi_done(scsi_cmd);
5352 }
5353
5354 /**
5355  * ipr_reinit_ipr_cmnd_for_erp - Re-initialize a cmnd block to be used for ERP
5356  * @ipr_cmd:    ipr command struct
5357  *
5358  * Return value:
5359  *      none
5360  **/
5361 static void ipr_reinit_ipr_cmnd_for_erp(struct ipr_cmnd *ipr_cmd)
5362 {
5363         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
5364         struct ipr_ioasa *ioasa = &ipr_cmd->s.ioasa;
5365         dma_addr_t dma_addr = ipr_cmd->dma_addr;
5366
5367         memset(&ioarcb->cmd_pkt, 0, sizeof(struct ipr_cmd_pkt));
5368         ioarcb->data_transfer_length = 0;
5369         ioarcb->read_data_transfer_length = 0;
5370         ioarcb->ioadl_len = 0;
5371         ioarcb->read_ioadl_len = 0;
5372         ioasa->hdr.ioasc = 0;
5373         ioasa->hdr.residual_data_len = 0;
5374
5375         if (ipr_cmd->ioa_cfg->sis64)
5376                 ioarcb->u.sis64_addr_data.data_ioadl_addr =
5377                         cpu_to_be64(dma_addr + offsetof(struct ipr_cmnd, i.ioadl64));
5378         else {
5379                 ioarcb->write_ioadl_addr =
5380                         cpu_to_be32(dma_addr + offsetof(struct ipr_cmnd, i.ioadl));
5381                 ioarcb->read_ioadl_addr = ioarcb->write_ioadl_addr;
5382         }
5383 }
5384
5385 /**
5386  * ipr_erp_request_sense - Send request sense to a device
5387  * @ipr_cmd:    ipr command struct
5388  *
5389  * This function sends a request sense to a device as a result
5390  * of a check condition.
5391  *
5392  * Return value:
5393  *      nothing
5394  **/
5395 static void ipr_erp_request_sense(struct ipr_cmnd *ipr_cmd)
5396 {
5397         struct ipr_cmd_pkt *cmd_pkt = &ipr_cmd->ioarcb.cmd_pkt;
5398         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
5399
5400         if (IPR_IOASC_SENSE_KEY(ioasc) > 0) {
5401                 ipr_erp_done(ipr_cmd);
5402                 return;
5403         }
5404
5405         ipr_reinit_ipr_cmnd_for_erp(ipr_cmd);
5406
5407         cmd_pkt->request_type = IPR_RQTYPE_SCSICDB;
5408         cmd_pkt->cdb[0] = REQUEST_SENSE;
5409         cmd_pkt->cdb[4] = SCSI_SENSE_BUFFERSIZE;
5410         cmd_pkt->flags_hi |= IPR_FLAGS_HI_SYNC_OVERRIDE;
5411         cmd_pkt->flags_hi |= IPR_FLAGS_HI_NO_ULEN_CHK;
5412         cmd_pkt->timeout = cpu_to_be16(IPR_REQUEST_SENSE_TIMEOUT / HZ);
5413
5414         ipr_init_ioadl(ipr_cmd, ipr_cmd->sense_buffer_dma,
5415                        SCSI_SENSE_BUFFERSIZE, IPR_IOADL_FLAGS_READ_LAST);
5416
5417         ipr_do_req(ipr_cmd, ipr_erp_done, ipr_timeout,
5418                    IPR_REQUEST_SENSE_TIMEOUT * 2);
5419 }
5420
5421 /**
5422  * ipr_erp_cancel_all - Send cancel all to a device
5423  * @ipr_cmd:    ipr command struct
5424  *
5425  * This function sends a cancel all to a device to clear the
5426  * queue. If we are running TCQ on the device, QERR is set to 1,
5427  * which means all outstanding ops have been dropped on the floor.
5428  * Cancel all will return them to us.
5429  *
5430  * Return value:
5431  *      nothing
5432  **/
5433 static void ipr_erp_cancel_all(struct ipr_cmnd *ipr_cmd)
5434 {
5435         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
5436         struct ipr_resource_entry *res = scsi_cmd->device->hostdata;
5437         struct ipr_cmd_pkt *cmd_pkt;
5438
5439         res->in_erp = 1;
5440
5441         ipr_reinit_ipr_cmnd_for_erp(ipr_cmd);
5442
5443         if (!scsi_get_tag_type(scsi_cmd->device)) {
5444                 ipr_erp_request_sense(ipr_cmd);
5445                 return;
5446         }
5447
5448         cmd_pkt = &ipr_cmd->ioarcb.cmd_pkt;
5449         cmd_pkt->request_type = IPR_RQTYPE_IOACMD;
5450         cmd_pkt->cdb[0] = IPR_CANCEL_ALL_REQUESTS;
5451
5452         ipr_do_req(ipr_cmd, ipr_erp_request_sense, ipr_timeout,
5453                    IPR_CANCEL_ALL_TIMEOUT);
5454 }
5455
5456 /**
5457  * ipr_dump_ioasa - Dump contents of IOASA
5458  * @ioa_cfg:    ioa config struct
5459  * @ipr_cmd:    ipr command struct
5460  * @res:                resource entry struct
5461  *
5462  * This function is invoked by the interrupt handler when ops
5463  * fail. It will log the IOASA if appropriate. Only called
5464  * for GPDD ops.
5465  *
5466  * Return value:
5467  *      none
5468  **/
5469 static void ipr_dump_ioasa(struct ipr_ioa_cfg *ioa_cfg,
5470                            struct ipr_cmnd *ipr_cmd, struct ipr_resource_entry *res)
5471 {
5472         int i;
5473         u16 data_len;
5474         u32 ioasc, fd_ioasc;
5475         struct ipr_ioasa *ioasa = &ipr_cmd->s.ioasa;
5476         __be32 *ioasa_data = (__be32 *)ioasa;
5477         int error_index;
5478
5479         ioasc = be32_to_cpu(ioasa->hdr.ioasc) & IPR_IOASC_IOASC_MASK;
5480         fd_ioasc = be32_to_cpu(ioasa->hdr.fd_ioasc) & IPR_IOASC_IOASC_MASK;
5481
5482         if (0 == ioasc)
5483                 return;
5484
5485         if (ioa_cfg->log_level < IPR_DEFAULT_LOG_LEVEL)
5486                 return;
5487
5488         if (ioasc == IPR_IOASC_BUS_WAS_RESET && fd_ioasc)
5489                 error_index = ipr_get_error(fd_ioasc);
5490         else
5491                 error_index = ipr_get_error(ioasc);
5492
5493         if (ioa_cfg->log_level < IPR_MAX_LOG_LEVEL) {
5494                 /* Don't log an error if the IOA already logged one */
5495                 if (ioasa->hdr.ilid != 0)
5496                         return;
5497
5498                 if (!ipr_is_gscsi(res))
5499                         return;
5500
5501                 if (ipr_error_table[error_index].log_ioasa == 0)
5502                         return;
5503         }
5504
5505         ipr_res_err(ioa_cfg, res, "%s\n", ipr_error_table[error_index].error);
5506
5507         data_len = be16_to_cpu(ioasa->hdr.ret_stat_len);
5508         if (ioa_cfg->sis64 && sizeof(struct ipr_ioasa64) < data_len)
5509                 data_len = sizeof(struct ipr_ioasa64);
5510         else if (!ioa_cfg->sis64 && sizeof(struct ipr_ioasa) < data_len)
5511                 data_len = sizeof(struct ipr_ioasa);
5512
5513         ipr_err("IOASA Dump:\n");
5514
5515         for (i = 0; i < data_len / 4; i += 4) {
5516                 ipr_err("%08X: %08X %08X %08X %08X\n", i*4,
5517                         be32_to_cpu(ioasa_data[i]),
5518                         be32_to_cpu(ioasa_data[i+1]),
5519                         be32_to_cpu(ioasa_data[i+2]),
5520                         be32_to_cpu(ioasa_data[i+3]));
5521         }
5522 }
5523
5524 /**
5525  * ipr_gen_sense - Generate SCSI sense data from an IOASA
5526  * @ioasa:              IOASA
5527  * @sense_buf:  sense data buffer
5528  *
5529  * Return value:
5530  *      none
5531  **/
5532 static void ipr_gen_sense(struct ipr_cmnd *ipr_cmd)
5533 {
5534         u32 failing_lba;
5535         u8 *sense_buf = ipr_cmd->scsi_cmd->sense_buffer;
5536         struct ipr_resource_entry *res = ipr_cmd->scsi_cmd->device->hostdata;
5537         struct ipr_ioasa *ioasa = &ipr_cmd->s.ioasa;
5538         u32 ioasc = be32_to_cpu(ioasa->hdr.ioasc);
5539
5540         memset(sense_buf, 0, SCSI_SENSE_BUFFERSIZE);
5541
5542         if (ioasc >= IPR_FIRST_DRIVER_IOASC)
5543                 return;
5544
5545         ipr_cmd->scsi_cmd->result = SAM_STAT_CHECK_CONDITION;
5546
5547         if (ipr_is_vset_device(res) &&
5548             ioasc == IPR_IOASC_MED_DO_NOT_REALLOC &&
5549             ioasa->u.vset.failing_lba_hi != 0) {
5550                 sense_buf[0] = 0x72;
5551                 sense_buf[1] = IPR_IOASC_SENSE_KEY(ioasc);
5552                 sense_buf[2] = IPR_IOASC_SENSE_CODE(ioasc);
5553                 sense_buf[3] = IPR_IOASC_SENSE_QUAL(ioasc);
5554
5555                 sense_buf[7] = 12;
5556                 sense_buf[8] = 0;
5557                 sense_buf[9] = 0x0A;
5558                 sense_buf[10] = 0x80;
5559
5560                 failing_lba = be32_to_cpu(ioasa->u.vset.failing_lba_hi);
5561
5562                 sense_buf[12] = (failing_lba & 0xff000000) >> 24;
5563                 sense_buf[13] = (failing_lba & 0x00ff0000) >> 16;
5564                 sense_buf[14] = (failing_lba & 0x0000ff00) >> 8;
5565                 sense_buf[15] = failing_lba & 0x000000ff;
5566
5567                 failing_lba = be32_to_cpu(ioasa->u.vset.failing_lba_lo);
5568
5569                 sense_buf[16] = (failing_lba & 0xff000000) >> 24;
5570                 sense_buf[17] = (failing_lba & 0x00ff0000) >> 16;
5571                 sense_buf[18] = (failing_lba & 0x0000ff00) >> 8;
5572                 sense_buf[19] = failing_lba & 0x000000ff;
5573         } else {
5574                 sense_buf[0] = 0x70;
5575                 sense_buf[2] = IPR_IOASC_SENSE_KEY(ioasc);
5576                 sense_buf[12] = IPR_IOASC_SENSE_CODE(ioasc);
5577                 sense_buf[13] = IPR_IOASC_SENSE_QUAL(ioasc);
5578
5579                 /* Illegal request */
5580                 if ((IPR_IOASC_SENSE_KEY(ioasc) == 0x05) &&
5581                     (be32_to_cpu(ioasa->hdr.ioasc_specific) & IPR_FIELD_POINTER_VALID)) {
5582                         sense_buf[7] = 10;      /* additional length */
5583
5584                         /* IOARCB was in error */
5585                         if (IPR_IOASC_SENSE_CODE(ioasc) == 0x24)
5586                                 sense_buf[15] = 0xC0;
5587                         else    /* Parameter data was invalid */
5588                                 sense_buf[15] = 0x80;
5589
5590                         sense_buf[16] =
5591                             ((IPR_FIELD_POINTER_MASK &
5592                               be32_to_cpu(ioasa->hdr.ioasc_specific)) >> 8) & 0xff;
5593                         sense_buf[17] =
5594                             (IPR_FIELD_POINTER_MASK &
5595                              be32_to_cpu(ioasa->hdr.ioasc_specific)) & 0xff;
5596                 } else {
5597                         if (ioasc == IPR_IOASC_MED_DO_NOT_REALLOC) {
5598                                 if (ipr_is_vset_device(res))
5599                                         failing_lba = be32_to_cpu(ioasa->u.vset.failing_lba_lo);
5600                                 else
5601                                         failing_lba = be32_to_cpu(ioasa->u.dasd.failing_lba);
5602
5603                                 sense_buf[0] |= 0x80;   /* Or in the Valid bit */
5604                                 sense_buf[3] = (failing_lba & 0xff000000) >> 24;
5605                                 sense_buf[4] = (failing_lba & 0x00ff0000) >> 16;
5606                                 sense_buf[5] = (failing_lba & 0x0000ff00) >> 8;
5607                                 sense_buf[6] = failing_lba & 0x000000ff;
5608                         }
5609
5610                         sense_buf[7] = 6;       /* additional length */
5611                 }
5612         }
5613 }
5614
5615 /**
5616  * ipr_get_autosense - Copy autosense data to sense buffer
5617  * @ipr_cmd:    ipr command struct
5618  *
5619  * This function copies the autosense buffer to the buffer
5620  * in the scsi_cmd, if there is autosense available.
5621  *
5622  * Return value:
5623  *      1 if autosense was available / 0 if not
5624  **/
5625 static int ipr_get_autosense(struct ipr_cmnd *ipr_cmd)
5626 {
5627         struct ipr_ioasa *ioasa = &ipr_cmd->s.ioasa;
5628         struct ipr_ioasa64 *ioasa64 = &ipr_cmd->s.ioasa64;
5629
5630         if ((be32_to_cpu(ioasa->hdr.ioasc_specific) & IPR_AUTOSENSE_VALID) == 0)
5631                 return 0;
5632
5633         if (ipr_cmd->ioa_cfg->sis64)
5634                 memcpy(ipr_cmd->scsi_cmd->sense_buffer, ioasa64->auto_sense.data,
5635                        min_t(u16, be16_to_cpu(ioasa64->auto_sense.auto_sense_len),
5636                            SCSI_SENSE_BUFFERSIZE));
5637         else
5638                 memcpy(ipr_cmd->scsi_cmd->sense_buffer, ioasa->auto_sense.data,
5639                        min_t(u16, be16_to_cpu(ioasa->auto_sense.auto_sense_len),
5640                            SCSI_SENSE_BUFFERSIZE));
5641         return 1;
5642 }
5643
5644 /**
5645  * ipr_erp_start - Process an error response for a SCSI op
5646  * @ioa_cfg:    ioa config struct
5647  * @ipr_cmd:    ipr command struct
5648  *
5649  * This function determines whether or not to initiate ERP
5650  * on the affected device.
5651  *
5652  * Return value:
5653  *      nothing
5654  **/
5655 static void ipr_erp_start(struct ipr_ioa_cfg *ioa_cfg,
5656                               struct ipr_cmnd *ipr_cmd)
5657 {
5658         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
5659         struct ipr_resource_entry *res = scsi_cmd->device->hostdata;
5660         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
5661         u32 masked_ioasc = ioasc & IPR_IOASC_IOASC_MASK;
5662
5663         if (!res) {
5664                 ipr_scsi_eh_done(ipr_cmd);
5665                 return;
5666         }
5667
5668         if (!ipr_is_gscsi(res) && masked_ioasc != IPR_IOASC_HW_DEV_BUS_STATUS)
5669                 ipr_gen_sense(ipr_cmd);
5670
5671         ipr_dump_ioasa(ioa_cfg, ipr_cmd, res);
5672
5673         switch (masked_ioasc) {
5674         case IPR_IOASC_ABORTED_CMD_TERM_BY_HOST:
5675                 if (ipr_is_naca_model(res))
5676                         scsi_cmd->result |= (DID_ABORT << 16);
5677                 else
5678                         scsi_cmd->result |= (DID_IMM_RETRY << 16);
5679                 break;
5680         case IPR_IOASC_IR_RESOURCE_HANDLE:
5681         case IPR_IOASC_IR_NO_CMDS_TO_2ND_IOA:
5682                 scsi_cmd->result |= (DID_NO_CONNECT << 16);
5683                 break;
5684         case IPR_IOASC_HW_SEL_TIMEOUT:
5685                 scsi_cmd->result |= (DID_NO_CONNECT << 16);
5686                 if (!ipr_is_naca_model(res))
5687                         res->needs_sync_complete = 1;
5688                 break;
5689         case IPR_IOASC_SYNC_REQUIRED:
5690                 if (!res->in_erp)
5691                         res->needs_sync_complete = 1;
5692                 scsi_cmd->result |= (DID_IMM_RETRY << 16);
5693                 break;
5694         case IPR_IOASC_MED_DO_NOT_REALLOC: /* prevent retries */
5695         case IPR_IOASA_IR_DUAL_IOA_DISABLED:
5696                 scsi_cmd->result |= (DID_PASSTHROUGH << 16);
5697                 break;
5698         case IPR_IOASC_BUS_WAS_RESET:
5699         case IPR_IOASC_BUS_WAS_RESET_BY_OTHER:
5700                 /*
5701                  * Report the bus reset and ask for a retry. The device
5702                  * will give CC/UA the next command.
5703                  */
5704                 if (!res->resetting_device)
5705                         scsi_report_bus_reset(ioa_cfg->host, scsi_cmd->device->channel);
5706                 scsi_cmd->result |= (DID_ERROR << 16);
5707                 if (!ipr_is_naca_model(res))
5708                         res->needs_sync_complete = 1;
5709                 break;
5710         case IPR_IOASC_HW_DEV_BUS_STATUS:
5711                 scsi_cmd->result |= IPR_IOASC_SENSE_STATUS(ioasc);
5712                 if (IPR_IOASC_SENSE_STATUS(ioasc) == SAM_STAT_CHECK_CONDITION) {
5713                         if (!ipr_get_autosense(ipr_cmd)) {
5714                                 if (!ipr_is_naca_model(res)) {
5715                                         ipr_erp_cancel_all(ipr_cmd);
5716                                         return;
5717                                 }
5718                         }
5719                 }
5720                 if (!ipr_is_naca_model(res))
5721                         res->needs_sync_complete = 1;
5722                 break;
5723         case IPR_IOASC_NR_INIT_CMD_REQUIRED:
5724                 break;
5725         default:
5726                 if (IPR_IOASC_SENSE_KEY(ioasc) > RECOVERED_ERROR)
5727                         scsi_cmd->result |= (DID_ERROR << 16);
5728                 if (!ipr_is_vset_device(res) && !ipr_is_naca_model(res))
5729                         res->needs_sync_complete = 1;
5730                 break;
5731         }
5732
5733         scsi_dma_unmap(ipr_cmd->scsi_cmd);
5734         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
5735         scsi_cmd->scsi_done(scsi_cmd);
5736 }
5737
5738 /**
5739  * ipr_scsi_done - mid-layer done function
5740  * @ipr_cmd:    ipr command struct
5741  *
5742  * This function is invoked by the interrupt handler for
5743  * ops generated by the SCSI mid-layer
5744  *
5745  * Return value:
5746  *      none
5747  **/
5748 static void ipr_scsi_done(struct ipr_cmnd *ipr_cmd)
5749 {
5750         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
5751         struct scsi_cmnd *scsi_cmd = ipr_cmd->scsi_cmd;
5752         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
5753
5754         scsi_set_resid(scsi_cmd, be32_to_cpu(ipr_cmd->s.ioasa.hdr.residual_data_len));
5755
5756         if (likely(IPR_IOASC_SENSE_KEY(ioasc) == 0)) {
5757                 scsi_dma_unmap(ipr_cmd->scsi_cmd);
5758                 list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
5759                 scsi_cmd->scsi_done(scsi_cmd);
5760         } else
5761                 ipr_erp_start(ioa_cfg, ipr_cmd);
5762 }
5763
5764 /**
5765  * ipr_queuecommand - Queue a mid-layer request
5766  * @scsi_cmd:   scsi command struct
5767  * @done:               done function
5768  *
5769  * This function queues a request generated by the mid-layer.
5770  *
5771  * Return value:
5772  *      0 on success
5773  *      SCSI_MLQUEUE_DEVICE_BUSY if device is busy
5774  *      SCSI_MLQUEUE_HOST_BUSY if host is busy
5775  **/
5776 static int ipr_queuecommand_lck(struct scsi_cmnd *scsi_cmd,
5777                             void (*done) (struct scsi_cmnd *))
5778 {
5779         struct ipr_ioa_cfg *ioa_cfg;
5780         struct ipr_resource_entry *res;
5781         struct ipr_ioarcb *ioarcb;
5782         struct ipr_cmnd *ipr_cmd;
5783         int rc = 0;
5784
5785         scsi_cmd->scsi_done = done;
5786         ioa_cfg = (struct ipr_ioa_cfg *)scsi_cmd->device->host->hostdata;
5787         res = scsi_cmd->device->hostdata;
5788         scsi_cmd->result = (DID_OK << 16);
5789
5790         /*
5791          * We are currently blocking all devices due to a host reset
5792          * We have told the host to stop giving us new requests, but
5793          * ERP ops don't count. FIXME
5794          */
5795         if (unlikely(!ioa_cfg->allow_cmds && !ioa_cfg->ioa_is_dead))
5796                 return SCSI_MLQUEUE_HOST_BUSY;
5797
5798         /*
5799          * FIXME - Create scsi_set_host_offline interface
5800          *  and the ioa_is_dead check can be removed
5801          */
5802         if (unlikely(ioa_cfg->ioa_is_dead || !res)) {
5803                 memset(scsi_cmd->sense_buffer, 0, SCSI_SENSE_BUFFERSIZE);
5804                 scsi_cmd->result = (DID_NO_CONNECT << 16);
5805                 scsi_cmd->scsi_done(scsi_cmd);
5806                 return 0;
5807         }
5808
5809         if (ipr_is_gata(res) && res->sata_port)
5810                 return ata_sas_queuecmd(scsi_cmd, res->sata_port->ap);
5811
5812         ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
5813         ioarcb = &ipr_cmd->ioarcb;
5814         list_add_tail(&ipr_cmd->queue, &ioa_cfg->pending_q);
5815
5816         memcpy(ioarcb->cmd_pkt.cdb, scsi_cmd->cmnd, scsi_cmd->cmd_len);
5817         ipr_cmd->scsi_cmd = scsi_cmd;
5818         ioarcb->res_handle = res->res_handle;
5819         ipr_cmd->done = ipr_scsi_done;
5820         ipr_trc_hook(ipr_cmd, IPR_TRACE_START, IPR_GET_RES_PHYS_LOC(res));
5821
5822         if (ipr_is_gscsi(res) || ipr_is_vset_device(res)) {
5823                 if (scsi_cmd->underflow == 0)
5824                         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_NO_ULEN_CHK;
5825
5826                 if (res->needs_sync_complete) {
5827                         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_SYNC_COMPLETE;
5828                         res->needs_sync_complete = 0;
5829                 }
5830
5831                 ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_NO_LINK_DESC;
5832                 if (ipr_is_gscsi(res))
5833                         ioarcb->cmd_pkt.flags_lo |= IPR_FLAGS_LO_DELAY_AFTER_RST;
5834                 ioarcb->cmd_pkt.flags_lo |= IPR_FLAGS_LO_ALIGNED_BFR;
5835                 ioarcb->cmd_pkt.flags_lo |= ipr_get_task_attributes(scsi_cmd);
5836         }
5837
5838         if (scsi_cmd->cmnd[0] >= 0xC0 &&
5839             (!ipr_is_gscsi(res) || scsi_cmd->cmnd[0] == IPR_QUERY_RSRC_STATE))
5840                 ioarcb->cmd_pkt.request_type = IPR_RQTYPE_IOACMD;
5841
5842         if (likely(rc == 0)) {
5843                 if (ioa_cfg->sis64)
5844                         rc = ipr_build_ioadl64(ioa_cfg, ipr_cmd);
5845                 else
5846                         rc = ipr_build_ioadl(ioa_cfg, ipr_cmd);
5847         }
5848
5849         if (likely(rc == 0)) {
5850                 mb();
5851                 ipr_send_command(ipr_cmd);
5852         } else {
5853                  list_move_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
5854                  return SCSI_MLQUEUE_HOST_BUSY;
5855         }
5856
5857         return 0;
5858 }
5859
5860 static DEF_SCSI_QCMD(ipr_queuecommand)
5861
5862 /**
5863  * ipr_ioctl - IOCTL handler
5864  * @sdev:       scsi device struct
5865  * @cmd:        IOCTL cmd
5866  * @arg:        IOCTL arg
5867  *
5868  * Return value:
5869  *      0 on success / other on failure
5870  **/
5871 static int ipr_ioctl(struct scsi_device *sdev, int cmd, void __user *arg)
5872 {
5873         struct ipr_resource_entry *res;
5874
5875         res = (struct ipr_resource_entry *)sdev->hostdata;
5876         if (res && ipr_is_gata(res)) {
5877                 if (cmd == HDIO_GET_IDENTITY)
5878                         return -ENOTTY;
5879                 return ata_sas_scsi_ioctl(res->sata_port->ap, sdev, cmd, arg);
5880         }
5881
5882         return -EINVAL;
5883 }
5884
5885 /**
5886  * ipr_info - Get information about the card/driver
5887  * @scsi_host:  scsi host struct
5888  *
5889  * Return value:
5890  *      pointer to buffer with description string
5891  **/
5892 static const char * ipr_ioa_info(struct Scsi_Host *host)
5893 {
5894         static char buffer[512];
5895         struct ipr_ioa_cfg *ioa_cfg;
5896         unsigned long lock_flags = 0;
5897
5898         ioa_cfg = (struct ipr_ioa_cfg *) host->hostdata;
5899
5900         spin_lock_irqsave(host->host_lock, lock_flags);
5901         sprintf(buffer, "IBM %X Storage Adapter", ioa_cfg->type);
5902         spin_unlock_irqrestore(host->host_lock, lock_flags);
5903
5904         return buffer;
5905 }
5906
5907 static struct scsi_host_template driver_template = {
5908         .module = THIS_MODULE,
5909         .name = "IPR",
5910         .info = ipr_ioa_info,
5911         .ioctl = ipr_ioctl,
5912         .queuecommand = ipr_queuecommand,
5913         .eh_abort_handler = ipr_eh_abort,
5914         .eh_device_reset_handler = ipr_eh_dev_reset,
5915         .eh_host_reset_handler = ipr_eh_host_reset,
5916         .slave_alloc = ipr_slave_alloc,
5917         .slave_configure = ipr_slave_configure,
5918         .slave_destroy = ipr_slave_destroy,
5919         .target_alloc = ipr_target_alloc,
5920         .target_destroy = ipr_target_destroy,
5921         .change_queue_depth = ipr_change_queue_depth,
5922         .change_queue_type = ipr_change_queue_type,
5923         .bios_param = ipr_biosparam,
5924         .can_queue = IPR_MAX_COMMANDS,
5925         .this_id = -1,
5926         .sg_tablesize = IPR_MAX_SGLIST,
5927         .max_sectors = IPR_IOA_MAX_SECTORS,
5928         .cmd_per_lun = IPR_MAX_CMD_PER_LUN,
5929         .use_clustering = ENABLE_CLUSTERING,
5930         .shost_attrs = ipr_ioa_attrs,
5931         .sdev_attrs = ipr_dev_attrs,
5932         .proc_name = IPR_NAME
5933 };
5934
5935 /**
5936  * ipr_ata_phy_reset - libata phy_reset handler
5937  * @ap:         ata port to reset
5938  *
5939  **/
5940 static void ipr_ata_phy_reset(struct ata_port *ap)
5941 {
5942         unsigned long flags;
5943         struct ipr_sata_port *sata_port = ap->private_data;
5944         struct ipr_resource_entry *res = sata_port->res;
5945         struct ipr_ioa_cfg *ioa_cfg = sata_port->ioa_cfg;
5946         int rc;
5947
5948         ENTER;
5949         spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
5950         while(ioa_cfg->in_reset_reload) {
5951                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
5952                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
5953                 spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
5954         }
5955
5956         if (!ioa_cfg->allow_cmds)
5957                 goto out_unlock;
5958
5959         rc = ipr_device_reset(ioa_cfg, res);
5960
5961         if (rc) {
5962                 ap->link.device[0].class = ATA_DEV_NONE;
5963                 goto out_unlock;
5964         }
5965
5966         ap->link.device[0].class = res->ata_class;
5967         if (ap->link.device[0].class == ATA_DEV_UNKNOWN)
5968                 ap->link.device[0].class = ATA_DEV_NONE;
5969
5970 out_unlock:
5971         spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
5972         LEAVE;
5973 }
5974
5975 /**
5976  * ipr_ata_post_internal - Cleanup after an internal command
5977  * @qc: ATA queued command
5978  *
5979  * Return value:
5980  *      none
5981  **/
5982 static void ipr_ata_post_internal(struct ata_queued_cmd *qc)
5983 {
5984         struct ipr_sata_port *sata_port = qc->ap->private_data;
5985         struct ipr_ioa_cfg *ioa_cfg = sata_port->ioa_cfg;
5986         struct ipr_cmnd *ipr_cmd;
5987         unsigned long flags;
5988
5989         spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
5990         while(ioa_cfg->in_reset_reload) {
5991                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
5992                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
5993                 spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
5994         }
5995
5996         list_for_each_entry(ipr_cmd, &ioa_cfg->pending_q, queue) {
5997                 if (ipr_cmd->qc == qc) {
5998                         ipr_device_reset(ioa_cfg, sata_port->res);
5999                         break;
6000                 }
6001         }
6002         spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
6003 }
6004
6005 /**
6006  * ipr_copy_sata_tf - Copy a SATA taskfile to an IOA data structure
6007  * @regs:       destination
6008  * @tf: source ATA taskfile
6009  *
6010  * Return value:
6011  *      none
6012  **/
6013 static void ipr_copy_sata_tf(struct ipr_ioarcb_ata_regs *regs,
6014                              struct ata_taskfile *tf)
6015 {
6016         regs->feature = tf->feature;
6017         regs->nsect = tf->nsect;
6018         regs->lbal = tf->lbal;
6019         regs->lbam = tf->lbam;
6020         regs->lbah = tf->lbah;
6021         regs->device = tf->device;
6022         regs->command = tf->command;
6023         regs->hob_feature = tf->hob_feature;
6024         regs->hob_nsect = tf->hob_nsect;
6025         regs->hob_lbal = tf->hob_lbal;
6026         regs->hob_lbam = tf->hob_lbam;
6027         regs->hob_lbah = tf->hob_lbah;
6028         regs->ctl = tf->ctl;
6029 }
6030
6031 /**
6032  * ipr_sata_done - done function for SATA commands
6033  * @ipr_cmd:    ipr command struct
6034  *
6035  * This function is invoked by the interrupt handler for
6036  * ops generated by the SCSI mid-layer to SATA devices
6037  *
6038  * Return value:
6039  *      none
6040  **/
6041 static void ipr_sata_done(struct ipr_cmnd *ipr_cmd)
6042 {
6043         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6044         struct ata_queued_cmd *qc = ipr_cmd->qc;
6045         struct ipr_sata_port *sata_port = qc->ap->private_data;
6046         struct ipr_resource_entry *res = sata_port->res;
6047         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
6048
6049         if (ipr_cmd->ioa_cfg->sis64)
6050                 memcpy(&sata_port->ioasa, &ipr_cmd->s.ioasa64.u.gata,
6051                        sizeof(struct ipr_ioasa_gata));
6052         else
6053                 memcpy(&sata_port->ioasa, &ipr_cmd->s.ioasa.u.gata,
6054                        sizeof(struct ipr_ioasa_gata));
6055         ipr_dump_ioasa(ioa_cfg, ipr_cmd, res);
6056
6057         if (be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc_specific) & IPR_ATA_DEVICE_WAS_RESET)
6058                 scsi_report_device_reset(ioa_cfg->host, res->bus, res->target);
6059
6060         if (IPR_IOASC_SENSE_KEY(ioasc) > RECOVERED_ERROR)
6061                 qc->err_mask |= __ac_err_mask(sata_port->ioasa.status);
6062         else
6063                 qc->err_mask |= ac_err_mask(sata_port->ioasa.status);
6064         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
6065         ata_qc_complete(qc);
6066 }
6067
6068 /**
6069  * ipr_build_ata_ioadl64 - Build an ATA scatter/gather list
6070  * @ipr_cmd:    ipr command struct
6071  * @qc:         ATA queued command
6072  *
6073  **/
6074 static void ipr_build_ata_ioadl64(struct ipr_cmnd *ipr_cmd,
6075                                   struct ata_queued_cmd *qc)
6076 {
6077         u32 ioadl_flags = 0;
6078         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
6079         struct ipr_ioadl64_desc *ioadl64 = ipr_cmd->i.ioadl64;
6080         struct ipr_ioadl64_desc *last_ioadl64 = NULL;
6081         int len = qc->nbytes;
6082         struct scatterlist *sg;
6083         unsigned int si;
6084         dma_addr_t dma_addr = ipr_cmd->dma_addr;
6085
6086         if (len == 0)
6087                 return;
6088
6089         if (qc->dma_dir == DMA_TO_DEVICE) {
6090                 ioadl_flags = IPR_IOADL_FLAGS_WRITE;
6091                 ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
6092         } else if (qc->dma_dir == DMA_FROM_DEVICE)
6093                 ioadl_flags = IPR_IOADL_FLAGS_READ;
6094
6095         ioarcb->data_transfer_length = cpu_to_be32(len);
6096         ioarcb->ioadl_len =
6097                 cpu_to_be32(sizeof(struct ipr_ioadl64_desc) * ipr_cmd->dma_use_sg);
6098         ioarcb->u.sis64_addr_data.data_ioadl_addr =
6099                 cpu_to_be64(dma_addr + offsetof(struct ipr_cmnd, i.ata_ioadl));
6100
6101         for_each_sg(qc->sg, sg, qc->n_elem, si) {
6102                 ioadl64->flags = cpu_to_be32(ioadl_flags);
6103                 ioadl64->data_len = cpu_to_be32(sg_dma_len(sg));
6104                 ioadl64->address = cpu_to_be64(sg_dma_address(sg));
6105
6106                 last_ioadl64 = ioadl64;
6107                 ioadl64++;
6108         }
6109
6110         if (likely(last_ioadl64))
6111                 last_ioadl64->flags |= cpu_to_be32(IPR_IOADL_FLAGS_LAST);
6112 }
6113
6114 /**
6115  * ipr_build_ata_ioadl - Build an ATA scatter/gather list
6116  * @ipr_cmd:    ipr command struct
6117  * @qc:         ATA queued command
6118  *
6119  **/
6120 static void ipr_build_ata_ioadl(struct ipr_cmnd *ipr_cmd,
6121                                 struct ata_queued_cmd *qc)
6122 {
6123         u32 ioadl_flags = 0;
6124         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
6125         struct ipr_ioadl_desc *ioadl = ipr_cmd->i.ioadl;
6126         struct ipr_ioadl_desc *last_ioadl = NULL;
6127         int len = qc->nbytes;
6128         struct scatterlist *sg;
6129         unsigned int si;
6130
6131         if (len == 0)
6132                 return;
6133
6134         if (qc->dma_dir == DMA_TO_DEVICE) {
6135                 ioadl_flags = IPR_IOADL_FLAGS_WRITE;
6136                 ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
6137                 ioarcb->data_transfer_length = cpu_to_be32(len);
6138                 ioarcb->ioadl_len =
6139                         cpu_to_be32(sizeof(struct ipr_ioadl_desc) * ipr_cmd->dma_use_sg);
6140         } else if (qc->dma_dir == DMA_FROM_DEVICE) {
6141                 ioadl_flags = IPR_IOADL_FLAGS_READ;
6142                 ioarcb->read_data_transfer_length = cpu_to_be32(len);
6143                 ioarcb->read_ioadl_len =
6144                         cpu_to_be32(sizeof(struct ipr_ioadl_desc) * ipr_cmd->dma_use_sg);
6145         }
6146
6147         for_each_sg(qc->sg, sg, qc->n_elem, si) {
6148                 ioadl->flags_and_data_len = cpu_to_be32(ioadl_flags | sg_dma_len(sg));
6149                 ioadl->address = cpu_to_be32(sg_dma_address(sg));
6150
6151                 last_ioadl = ioadl;
6152                 ioadl++;
6153         }
6154
6155         if (likely(last_ioadl))
6156                 last_ioadl->flags_and_data_len |= cpu_to_be32(IPR_IOADL_FLAGS_LAST);
6157 }
6158
6159 /**
6160  * ipr_qc_issue - Issue a SATA qc to a device
6161  * @qc: queued command
6162  *
6163  * Return value:
6164  *      0 if success
6165  **/
6166 static unsigned int ipr_qc_issue(struct ata_queued_cmd *qc)
6167 {
6168         struct ata_port *ap = qc->ap;
6169         struct ipr_sata_port *sata_port = ap->private_data;
6170         struct ipr_resource_entry *res = sata_port->res;
6171         struct ipr_ioa_cfg *ioa_cfg = sata_port->ioa_cfg;
6172         struct ipr_cmnd *ipr_cmd;
6173         struct ipr_ioarcb *ioarcb;
6174         struct ipr_ioarcb_ata_regs *regs;
6175
6176         if (unlikely(!ioa_cfg->allow_cmds || ioa_cfg->ioa_is_dead))
6177                 return AC_ERR_SYSTEM;
6178
6179         ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
6180         ioarcb = &ipr_cmd->ioarcb;
6181
6182         if (ioa_cfg->sis64) {
6183                 regs = &ipr_cmd->i.ata_ioadl.regs;
6184                 ioarcb->add_cmd_parms_offset = cpu_to_be16(sizeof(*ioarcb));
6185         } else
6186                 regs = &ioarcb->u.add_data.u.regs;
6187
6188         memset(regs, 0, sizeof(*regs));
6189         ioarcb->add_cmd_parms_len = cpu_to_be16(sizeof(*regs));
6190
6191         list_add_tail(&ipr_cmd->queue, &ioa_cfg->pending_q);
6192         ipr_cmd->qc = qc;
6193         ipr_cmd->done = ipr_sata_done;
6194         ipr_cmd->ioarcb.res_handle = res->res_handle;
6195         ioarcb->cmd_pkt.request_type = IPR_RQTYPE_ATA_PASSTHRU;
6196         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_NO_LINK_DESC;
6197         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_NO_ULEN_CHK;
6198         ipr_cmd->dma_use_sg = qc->n_elem;
6199
6200         if (ioa_cfg->sis64)
6201                 ipr_build_ata_ioadl64(ipr_cmd, qc);
6202         else
6203                 ipr_build_ata_ioadl(ipr_cmd, qc);
6204
6205         regs->flags |= IPR_ATA_FLAG_STATUS_ON_GOOD_COMPLETION;
6206         ipr_copy_sata_tf(regs, &qc->tf);
6207         memcpy(ioarcb->cmd_pkt.cdb, qc->cdb, IPR_MAX_CDB_LEN);
6208         ipr_trc_hook(ipr_cmd, IPR_TRACE_START, IPR_GET_RES_PHYS_LOC(res));
6209
6210         switch (qc->tf.protocol) {
6211         case ATA_PROT_NODATA:
6212         case ATA_PROT_PIO:
6213                 break;
6214
6215         case ATA_PROT_DMA:
6216                 regs->flags |= IPR_ATA_FLAG_XFER_TYPE_DMA;
6217                 break;
6218
6219         case ATAPI_PROT_PIO:
6220         case ATAPI_PROT_NODATA:
6221                 regs->flags |= IPR_ATA_FLAG_PACKET_CMD;
6222                 break;
6223
6224         case ATAPI_PROT_DMA:
6225                 regs->flags |= IPR_ATA_FLAG_PACKET_CMD;
6226                 regs->flags |= IPR_ATA_FLAG_XFER_TYPE_DMA;
6227                 break;
6228
6229         default:
6230                 WARN_ON(1);
6231                 return AC_ERR_INVALID;
6232         }
6233
6234         mb();
6235
6236         ipr_send_command(ipr_cmd);
6237
6238         return 0;
6239 }
6240
6241 /**
6242  * ipr_qc_fill_rtf - Read result TF
6243  * @qc: ATA queued command
6244  *
6245  * Return value:
6246  *      true
6247  **/
6248 static bool ipr_qc_fill_rtf(struct ata_queued_cmd *qc)
6249 {
6250         struct ipr_sata_port *sata_port = qc->ap->private_data;
6251         struct ipr_ioasa_gata *g = &sata_port->ioasa;
6252         struct ata_taskfile *tf = &qc->result_tf;
6253
6254         tf->feature = g->error;
6255         tf->nsect = g->nsect;
6256         tf->lbal = g->lbal;
6257         tf->lbam = g->lbam;
6258         tf->lbah = g->lbah;
6259         tf->device = g->device;
6260         tf->command = g->status;
6261         tf->hob_nsect = g->hob_nsect;
6262         tf->hob_lbal = g->hob_lbal;
6263         tf->hob_lbam = g->hob_lbam;
6264         tf->hob_lbah = g->hob_lbah;
6265         tf->ctl = g->alt_status;
6266
6267         return true;
6268 }
6269
6270 static struct ata_port_operations ipr_sata_ops = {
6271         .phy_reset = ipr_ata_phy_reset,
6272         .hardreset = ipr_sata_reset,
6273         .post_internal_cmd = ipr_ata_post_internal,
6274         .qc_prep = ata_noop_qc_prep,
6275         .qc_issue = ipr_qc_issue,
6276         .qc_fill_rtf = ipr_qc_fill_rtf,
6277         .port_start = ata_sas_port_start,
6278         .port_stop = ata_sas_port_stop
6279 };
6280
6281 static struct ata_port_info sata_port_info = {
6282         .flags          = ATA_FLAG_SATA | ATA_FLAG_PIO_DMA,
6283         .pio_mask       = ATA_PIO4_ONLY,
6284         .mwdma_mask     = ATA_MWDMA2,
6285         .udma_mask      = ATA_UDMA6,
6286         .port_ops       = &ipr_sata_ops
6287 };
6288
6289 #ifdef CONFIG_PPC_PSERIES
6290 static const u16 ipr_blocked_processors[] = {
6291         PV_NORTHSTAR,
6292         PV_PULSAR,
6293         PV_POWER4,
6294         PV_ICESTAR,
6295         PV_SSTAR,
6296         PV_POWER4p,
6297         PV_630,
6298         PV_630p
6299 };
6300
6301 /**
6302  * ipr_invalid_adapter - Determine if this adapter is supported on this hardware
6303  * @ioa_cfg:    ioa cfg struct
6304  *
6305  * Adapters that use Gemstone revision < 3.1 do not work reliably on
6306  * certain pSeries hardware. This function determines if the given
6307  * adapter is in one of these confgurations or not.
6308  *
6309  * Return value:
6310  *      1 if adapter is not supported / 0 if adapter is supported
6311  **/
6312 static int ipr_invalid_adapter(struct ipr_ioa_cfg *ioa_cfg)
6313 {
6314         int i;
6315
6316         if ((ioa_cfg->type == 0x5702) && (ioa_cfg->pdev->revision < 4)) {
6317                 for (i = 0; i < ARRAY_SIZE(ipr_blocked_processors); i++){
6318                         if (__is_processor(ipr_blocked_processors[i]))
6319                                 return 1;
6320                 }
6321         }
6322         return 0;
6323 }
6324 #else
6325 #define ipr_invalid_adapter(ioa_cfg) 0
6326 #endif
6327
6328 /**
6329  * ipr_ioa_bringdown_done - IOA bring down completion.
6330  * @ipr_cmd:    ipr command struct
6331  *
6332  * This function processes the completion of an adapter bring down.
6333  * It wakes any reset sleepers.
6334  *
6335  * Return value:
6336  *      IPR_RC_JOB_RETURN
6337  **/
6338 static int ipr_ioa_bringdown_done(struct ipr_cmnd *ipr_cmd)
6339 {
6340         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6341
6342         ENTER;
6343         ioa_cfg->in_reset_reload = 0;
6344         ioa_cfg->reset_retries = 0;
6345         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
6346         wake_up_all(&ioa_cfg->reset_wait_q);
6347
6348         spin_unlock_irq(ioa_cfg->host->host_lock);
6349         scsi_unblock_requests(ioa_cfg->host);
6350         spin_lock_irq(ioa_cfg->host->host_lock);
6351         LEAVE;
6352
6353         return IPR_RC_JOB_RETURN;
6354 }
6355
6356 /**
6357  * ipr_ioa_reset_done - IOA reset completion.
6358  * @ipr_cmd:    ipr command struct
6359  *
6360  * This function processes the completion of an adapter reset.
6361  * It schedules any necessary mid-layer add/removes and
6362  * wakes any reset sleepers.
6363  *
6364  * Return value:
6365  *      IPR_RC_JOB_RETURN
6366  **/
6367 static int ipr_ioa_reset_done(struct ipr_cmnd *ipr_cmd)
6368 {
6369         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6370         struct ipr_resource_entry *res;
6371         struct ipr_hostrcb *hostrcb, *temp;
6372         int i = 0;
6373
6374         ENTER;
6375         ioa_cfg->in_reset_reload = 0;
6376         ioa_cfg->allow_cmds = 1;
6377         ioa_cfg->reset_cmd = NULL;
6378         ioa_cfg->doorbell |= IPR_RUNTIME_RESET;
6379
6380         list_for_each_entry(res, &ioa_cfg->used_res_q, queue) {
6381                 if (ioa_cfg->allow_ml_add_del && (res->add_to_ml || res->del_from_ml)) {
6382                         ipr_trace;
6383                         break;
6384                 }
6385         }
6386         schedule_work(&ioa_cfg->work_q);
6387
6388         list_for_each_entry_safe(hostrcb, temp, &ioa_cfg->hostrcb_free_q, queue) {
6389                 list_del(&hostrcb->queue);
6390                 if (i++ < IPR_NUM_LOG_HCAMS)
6391                         ipr_send_hcam(ioa_cfg, IPR_HCAM_CDB_OP_CODE_LOG_DATA, hostrcb);
6392                 else
6393                         ipr_send_hcam(ioa_cfg, IPR_HCAM_CDB_OP_CODE_CONFIG_CHANGE, hostrcb);
6394         }
6395
6396         scsi_report_bus_reset(ioa_cfg->host, IPR_VSET_BUS);
6397         dev_info(&ioa_cfg->pdev->dev, "IOA initialized.\n");
6398
6399         ioa_cfg->reset_retries = 0;
6400         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
6401         wake_up_all(&ioa_cfg->reset_wait_q);
6402
6403         spin_unlock(ioa_cfg->host->host_lock);
6404         scsi_unblock_requests(ioa_cfg->host);
6405         spin_lock(ioa_cfg->host->host_lock);
6406
6407         if (!ioa_cfg->allow_cmds)
6408                 scsi_block_requests(ioa_cfg->host);
6409
6410         LEAVE;
6411         return IPR_RC_JOB_RETURN;
6412 }
6413
6414 /**
6415  * ipr_set_sup_dev_dflt - Initialize a Set Supported Device buffer
6416  * @supported_dev:      supported device struct
6417  * @vpids:                      vendor product id struct
6418  *
6419  * Return value:
6420  *      none
6421  **/
6422 static void ipr_set_sup_dev_dflt(struct ipr_supported_device *supported_dev,
6423                                  struct ipr_std_inq_vpids *vpids)
6424 {
6425         memset(supported_dev, 0, sizeof(struct ipr_supported_device));
6426         memcpy(&supported_dev->vpids, vpids, sizeof(struct ipr_std_inq_vpids));
6427         supported_dev->num_records = 1;
6428         supported_dev->data_length =
6429                 cpu_to_be16(sizeof(struct ipr_supported_device));
6430         supported_dev->reserved = 0;
6431 }
6432
6433 /**
6434  * ipr_set_supported_devs - Send Set Supported Devices for a device
6435  * @ipr_cmd:    ipr command struct
6436  *
6437  * This function sends a Set Supported Devices to the adapter
6438  *
6439  * Return value:
6440  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
6441  **/
6442 static int ipr_set_supported_devs(struct ipr_cmnd *ipr_cmd)
6443 {
6444         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6445         struct ipr_supported_device *supp_dev = &ioa_cfg->vpd_cbs->supp_dev;
6446         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
6447         struct ipr_resource_entry *res = ipr_cmd->u.res;
6448
6449         ipr_cmd->job_step = ipr_ioa_reset_done;
6450
6451         list_for_each_entry_continue(res, &ioa_cfg->used_res_q, queue) {
6452                 if (!ipr_is_scsi_disk(res))
6453                         continue;
6454
6455                 ipr_cmd->u.res = res;
6456                 ipr_set_sup_dev_dflt(supp_dev, &res->std_inq_data.vpids);
6457
6458                 ioarcb->res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
6459                 ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
6460                 ioarcb->cmd_pkt.request_type = IPR_RQTYPE_IOACMD;
6461
6462                 ioarcb->cmd_pkt.cdb[0] = IPR_SET_SUPPORTED_DEVICES;
6463                 ioarcb->cmd_pkt.cdb[1] = IPR_SET_ALL_SUPPORTED_DEVICES;
6464                 ioarcb->cmd_pkt.cdb[7] = (sizeof(struct ipr_supported_device) >> 8) & 0xff;
6465                 ioarcb->cmd_pkt.cdb[8] = sizeof(struct ipr_supported_device) & 0xff;
6466
6467                 ipr_init_ioadl(ipr_cmd,
6468                                ioa_cfg->vpd_cbs_dma +
6469                                  offsetof(struct ipr_misc_cbs, supp_dev),
6470                                sizeof(struct ipr_supported_device),
6471                                IPR_IOADL_FLAGS_WRITE_LAST);
6472
6473                 ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout,
6474                            IPR_SET_SUP_DEVICE_TIMEOUT);
6475
6476                 if (!ioa_cfg->sis64)
6477                         ipr_cmd->job_step = ipr_set_supported_devs;
6478                 return IPR_RC_JOB_RETURN;
6479         }
6480
6481         return IPR_RC_JOB_CONTINUE;
6482 }
6483
6484 /**
6485  * ipr_get_mode_page - Locate specified mode page
6486  * @mode_pages: mode page buffer
6487  * @page_code:  page code to find
6488  * @len:                minimum required length for mode page
6489  *
6490  * Return value:
6491  *      pointer to mode page / NULL on failure
6492  **/
6493 static void *ipr_get_mode_page(struct ipr_mode_pages *mode_pages,
6494                                u32 page_code, u32 len)
6495 {
6496         struct ipr_mode_page_hdr *mode_hdr;
6497         u32 page_length;
6498         u32 length;
6499
6500         if (!mode_pages || (mode_pages->hdr.length == 0))
6501                 return NULL;
6502
6503         length = (mode_pages->hdr.length + 1) - 4 - mode_pages->hdr.block_desc_len;
6504         mode_hdr = (struct ipr_mode_page_hdr *)
6505                 (mode_pages->data + mode_pages->hdr.block_desc_len);
6506
6507         while (length) {
6508                 if (IPR_GET_MODE_PAGE_CODE(mode_hdr) == page_code) {
6509                         if (mode_hdr->page_length >= (len - sizeof(struct ipr_mode_page_hdr)))
6510                                 return mode_hdr;
6511                         break;
6512                 } else {
6513                         page_length = (sizeof(struct ipr_mode_page_hdr) +
6514                                        mode_hdr->page_length);
6515                         length -= page_length;
6516                         mode_hdr = (struct ipr_mode_page_hdr *)
6517                                 ((unsigned long)mode_hdr + page_length);
6518                 }
6519         }
6520         return NULL;
6521 }
6522
6523 /**
6524  * ipr_check_term_power - Check for term power errors
6525  * @ioa_cfg:    ioa config struct
6526  * @mode_pages: IOAFP mode pages buffer
6527  *
6528  * Check the IOAFP's mode page 28 for term power errors
6529  *
6530  * Return value:
6531  *      nothing
6532  **/
6533 static void ipr_check_term_power(struct ipr_ioa_cfg *ioa_cfg,
6534                                  struct ipr_mode_pages *mode_pages)
6535 {
6536         int i;
6537         int entry_length;
6538         struct ipr_dev_bus_entry *bus;
6539         struct ipr_mode_page28 *mode_page;
6540
6541         mode_page = ipr_get_mode_page(mode_pages, 0x28,
6542                                       sizeof(struct ipr_mode_page28));
6543
6544         entry_length = mode_page->entry_length;
6545
6546         bus = mode_page->bus;
6547
6548         for (i = 0; i < mode_page->num_entries; i++) {
6549                 if (bus->flags & IPR_SCSI_ATTR_NO_TERM_PWR) {
6550                         dev_err(&ioa_cfg->pdev->dev,
6551                                 "Term power is absent on scsi bus %d\n",
6552                                 bus->res_addr.bus);
6553                 }
6554
6555                 bus = (struct ipr_dev_bus_entry *)((char *)bus + entry_length);
6556         }
6557 }
6558
6559 /**
6560  * ipr_scsi_bus_speed_limit - Limit the SCSI speed based on SES table
6561  * @ioa_cfg:    ioa config struct
6562  *
6563  * Looks through the config table checking for SES devices. If
6564  * the SES device is in the SES table indicating a maximum SCSI
6565  * bus speed, the speed is limited for the bus.
6566  *
6567  * Return value:
6568  *      none
6569  **/
6570 static void ipr_scsi_bus_speed_limit(struct ipr_ioa_cfg *ioa_cfg)
6571 {
6572         u32 max_xfer_rate;
6573         int i;
6574
6575         for (i = 0; i < IPR_MAX_NUM_BUSES; i++) {
6576                 max_xfer_rate = ipr_get_max_scsi_speed(ioa_cfg, i,
6577                                                        ioa_cfg->bus_attr[i].bus_width);
6578
6579                 if (max_xfer_rate < ioa_cfg->bus_attr[i].max_xfer_rate)
6580                         ioa_cfg->bus_attr[i].max_xfer_rate = max_xfer_rate;
6581         }
6582 }
6583
6584 /**
6585  * ipr_modify_ioafp_mode_page_28 - Modify IOAFP Mode Page 28
6586  * @ioa_cfg:    ioa config struct
6587  * @mode_pages: mode page 28 buffer
6588  *
6589  * Updates mode page 28 based on driver configuration
6590  *
6591  * Return value:
6592  *      none
6593  **/
6594 static void ipr_modify_ioafp_mode_page_28(struct ipr_ioa_cfg *ioa_cfg,
6595                                                 struct ipr_mode_pages *mode_pages)
6596 {
6597         int i, entry_length;
6598         struct ipr_dev_bus_entry *bus;
6599         struct ipr_bus_attributes *bus_attr;
6600         struct ipr_mode_page28 *mode_page;
6601
6602         mode_page = ipr_get_mode_page(mode_pages, 0x28,
6603                                       sizeof(struct ipr_mode_page28));
6604
6605         entry_length = mode_page->entry_length;
6606
6607         /* Loop for each device bus entry */
6608         for (i = 0, bus = mode_page->bus;
6609              i < mode_page->num_entries;
6610              i++, bus = (struct ipr_dev_bus_entry *)((u8 *)bus + entry_length)) {
6611                 if (bus->res_addr.bus > IPR_MAX_NUM_BUSES) {
6612                         dev_err(&ioa_cfg->pdev->dev,
6613                                 "Invalid resource address reported: 0x%08X\n",
6614                                 IPR_GET_PHYS_LOC(bus->res_addr));
6615                         continue;
6616                 }
6617
6618                 bus_attr = &ioa_cfg->bus_attr[i];
6619                 bus->extended_reset_delay = IPR_EXTENDED_RESET_DELAY;
6620                 bus->bus_width = bus_attr->bus_width;
6621                 bus->max_xfer_rate = cpu_to_be32(bus_attr->max_xfer_rate);
6622                 bus->flags &= ~IPR_SCSI_ATTR_QAS_MASK;
6623                 if (bus_attr->qas_enabled)
6624                         bus->flags |= IPR_SCSI_ATTR_ENABLE_QAS;
6625                 else
6626                         bus->flags |= IPR_SCSI_ATTR_DISABLE_QAS;
6627         }
6628 }
6629
6630 /**
6631  * ipr_build_mode_select - Build a mode select command
6632  * @ipr_cmd:    ipr command struct
6633  * @res_handle: resource handle to send command to
6634  * @parm:               Byte 2 of Mode Sense command
6635  * @dma_addr:   DMA buffer address
6636  * @xfer_len:   data transfer length
6637  *
6638  * Return value:
6639  *      none
6640  **/
6641 static void ipr_build_mode_select(struct ipr_cmnd *ipr_cmd,
6642                                   __be32 res_handle, u8 parm,
6643                                   dma_addr_t dma_addr, u8 xfer_len)
6644 {
6645         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
6646
6647         ioarcb->res_handle = res_handle;
6648         ioarcb->cmd_pkt.request_type = IPR_RQTYPE_SCSICDB;
6649         ioarcb->cmd_pkt.flags_hi |= IPR_FLAGS_HI_WRITE_NOT_READ;
6650         ioarcb->cmd_pkt.cdb[0] = MODE_SELECT;
6651         ioarcb->cmd_pkt.cdb[1] = parm;
6652         ioarcb->cmd_pkt.cdb[4] = xfer_len;
6653
6654         ipr_init_ioadl(ipr_cmd, dma_addr, xfer_len, IPR_IOADL_FLAGS_WRITE_LAST);
6655 }
6656
6657 /**
6658  * ipr_ioafp_mode_select_page28 - Issue Mode Select Page 28 to IOA
6659  * @ipr_cmd:    ipr command struct
6660  *
6661  * This function sets up the SCSI bus attributes and sends
6662  * a Mode Select for Page 28 to activate them.
6663  *
6664  * Return value:
6665  *      IPR_RC_JOB_RETURN
6666  **/
6667 static int ipr_ioafp_mode_select_page28(struct ipr_cmnd *ipr_cmd)
6668 {
6669         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6670         struct ipr_mode_pages *mode_pages = &ioa_cfg->vpd_cbs->mode_pages;
6671         int length;
6672
6673         ENTER;
6674         ipr_scsi_bus_speed_limit(ioa_cfg);
6675         ipr_check_term_power(ioa_cfg, mode_pages);
6676         ipr_modify_ioafp_mode_page_28(ioa_cfg, mode_pages);
6677         length = mode_pages->hdr.length + 1;
6678         mode_pages->hdr.length = 0;
6679
6680         ipr_build_mode_select(ipr_cmd, cpu_to_be32(IPR_IOA_RES_HANDLE), 0x11,
6681                               ioa_cfg->vpd_cbs_dma + offsetof(struct ipr_misc_cbs, mode_pages),
6682                               length);
6683
6684         ipr_cmd->job_step = ipr_set_supported_devs;
6685         ipr_cmd->u.res = list_entry(ioa_cfg->used_res_q.next,
6686                                     struct ipr_resource_entry, queue);
6687         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
6688
6689         LEAVE;
6690         return IPR_RC_JOB_RETURN;
6691 }
6692
6693 /**
6694  * ipr_build_mode_sense - Builds a mode sense command
6695  * @ipr_cmd:    ipr command struct
6696  * @res:                resource entry struct
6697  * @parm:               Byte 2 of mode sense command
6698  * @dma_addr:   DMA address of mode sense buffer
6699  * @xfer_len:   Size of DMA buffer
6700  *
6701  * Return value:
6702  *      none
6703  **/
6704 static void ipr_build_mode_sense(struct ipr_cmnd *ipr_cmd,
6705                                  __be32 res_handle,
6706                                  u8 parm, dma_addr_t dma_addr, u8 xfer_len)
6707 {
6708         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
6709
6710         ioarcb->res_handle = res_handle;
6711         ioarcb->cmd_pkt.cdb[0] = MODE_SENSE;
6712         ioarcb->cmd_pkt.cdb[2] = parm;
6713         ioarcb->cmd_pkt.cdb[4] = xfer_len;
6714         ioarcb->cmd_pkt.request_type = IPR_RQTYPE_SCSICDB;
6715
6716         ipr_init_ioadl(ipr_cmd, dma_addr, xfer_len, IPR_IOADL_FLAGS_READ_LAST);
6717 }
6718
6719 /**
6720  * ipr_reset_cmd_failed - Handle failure of IOA reset command
6721  * @ipr_cmd:    ipr command struct
6722  *
6723  * This function handles the failure of an IOA bringup command.
6724  *
6725  * Return value:
6726  *      IPR_RC_JOB_RETURN
6727  **/
6728 static int ipr_reset_cmd_failed(struct ipr_cmnd *ipr_cmd)
6729 {
6730         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6731         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
6732
6733         dev_err(&ioa_cfg->pdev->dev,
6734                 "0x%02X failed with IOASC: 0x%08X\n",
6735                 ipr_cmd->ioarcb.cmd_pkt.cdb[0], ioasc);
6736
6737         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
6738         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
6739         return IPR_RC_JOB_RETURN;
6740 }
6741
6742 /**
6743  * ipr_reset_mode_sense_failed - Handle failure of IOAFP mode sense
6744  * @ipr_cmd:    ipr command struct
6745  *
6746  * This function handles the failure of a Mode Sense to the IOAFP.
6747  * Some adapters do not handle all mode pages.
6748  *
6749  * Return value:
6750  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
6751  **/
6752 static int ipr_reset_mode_sense_failed(struct ipr_cmnd *ipr_cmd)
6753 {
6754         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6755         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
6756
6757         if (ioasc == IPR_IOASC_IR_INVALID_REQ_TYPE_OR_PKT) {
6758                 ipr_cmd->job_step = ipr_set_supported_devs;
6759                 ipr_cmd->u.res = list_entry(ioa_cfg->used_res_q.next,
6760                                             struct ipr_resource_entry, queue);
6761                 return IPR_RC_JOB_CONTINUE;
6762         }
6763
6764         return ipr_reset_cmd_failed(ipr_cmd);
6765 }
6766
6767 /**
6768  * ipr_ioafp_mode_sense_page28 - Issue Mode Sense Page 28 to IOA
6769  * @ipr_cmd:    ipr command struct
6770  *
6771  * This function send a Page 28 mode sense to the IOA to
6772  * retrieve SCSI bus attributes.
6773  *
6774  * Return value:
6775  *      IPR_RC_JOB_RETURN
6776  **/
6777 static int ipr_ioafp_mode_sense_page28(struct ipr_cmnd *ipr_cmd)
6778 {
6779         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6780
6781         ENTER;
6782         ipr_build_mode_sense(ipr_cmd, cpu_to_be32(IPR_IOA_RES_HANDLE),
6783                              0x28, ioa_cfg->vpd_cbs_dma +
6784                              offsetof(struct ipr_misc_cbs, mode_pages),
6785                              sizeof(struct ipr_mode_pages));
6786
6787         ipr_cmd->job_step = ipr_ioafp_mode_select_page28;
6788         ipr_cmd->job_step_failed = ipr_reset_mode_sense_failed;
6789
6790         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
6791
6792         LEAVE;
6793         return IPR_RC_JOB_RETURN;
6794 }
6795
6796 /**
6797  * ipr_ioafp_mode_select_page24 - Issue Mode Select to IOA
6798  * @ipr_cmd:    ipr command struct
6799  *
6800  * This function enables dual IOA RAID support if possible.
6801  *
6802  * Return value:
6803  *      IPR_RC_JOB_RETURN
6804  **/
6805 static int ipr_ioafp_mode_select_page24(struct ipr_cmnd *ipr_cmd)
6806 {
6807         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6808         struct ipr_mode_pages *mode_pages = &ioa_cfg->vpd_cbs->mode_pages;
6809         struct ipr_mode_page24 *mode_page;
6810         int length;
6811
6812         ENTER;
6813         mode_page = ipr_get_mode_page(mode_pages, 0x24,
6814                                       sizeof(struct ipr_mode_page24));
6815
6816         if (mode_page)
6817                 mode_page->flags |= IPR_ENABLE_DUAL_IOA_AF;
6818
6819         length = mode_pages->hdr.length + 1;
6820         mode_pages->hdr.length = 0;
6821
6822         ipr_build_mode_select(ipr_cmd, cpu_to_be32(IPR_IOA_RES_HANDLE), 0x11,
6823                               ioa_cfg->vpd_cbs_dma + offsetof(struct ipr_misc_cbs, mode_pages),
6824                               length);
6825
6826         ipr_cmd->job_step = ipr_ioafp_mode_sense_page28;
6827         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
6828
6829         LEAVE;
6830         return IPR_RC_JOB_RETURN;
6831 }
6832
6833 /**
6834  * ipr_reset_mode_sense_page24_failed - Handle failure of IOAFP mode sense
6835  * @ipr_cmd:    ipr command struct
6836  *
6837  * This function handles the failure of a Mode Sense to the IOAFP.
6838  * Some adapters do not handle all mode pages.
6839  *
6840  * Return value:
6841  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
6842  **/
6843 static int ipr_reset_mode_sense_page24_failed(struct ipr_cmnd *ipr_cmd)
6844 {
6845         u32 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
6846
6847         if (ioasc == IPR_IOASC_IR_INVALID_REQ_TYPE_OR_PKT) {
6848                 ipr_cmd->job_step = ipr_ioafp_mode_sense_page28;
6849                 return IPR_RC_JOB_CONTINUE;
6850         }
6851
6852         return ipr_reset_cmd_failed(ipr_cmd);
6853 }
6854
6855 /**
6856  * ipr_ioafp_mode_sense_page24 - Issue Page 24 Mode Sense to IOA
6857  * @ipr_cmd:    ipr command struct
6858  *
6859  * This function send a mode sense to the IOA to retrieve
6860  * the IOA Advanced Function Control mode page.
6861  *
6862  * Return value:
6863  *      IPR_RC_JOB_RETURN
6864  **/
6865 static int ipr_ioafp_mode_sense_page24(struct ipr_cmnd *ipr_cmd)
6866 {
6867         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6868
6869         ENTER;
6870         ipr_build_mode_sense(ipr_cmd, cpu_to_be32(IPR_IOA_RES_HANDLE),
6871                              0x24, ioa_cfg->vpd_cbs_dma +
6872                              offsetof(struct ipr_misc_cbs, mode_pages),
6873                              sizeof(struct ipr_mode_pages));
6874
6875         ipr_cmd->job_step = ipr_ioafp_mode_select_page24;
6876         ipr_cmd->job_step_failed = ipr_reset_mode_sense_page24_failed;
6877
6878         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
6879
6880         LEAVE;
6881         return IPR_RC_JOB_RETURN;
6882 }
6883
6884 /**
6885  * ipr_init_res_table - Initialize the resource table
6886  * @ipr_cmd:    ipr command struct
6887  *
6888  * This function looks through the existing resource table, comparing
6889  * it with the config table. This function will take care of old/new
6890  * devices and schedule adding/removing them from the mid-layer
6891  * as appropriate.
6892  *
6893  * Return value:
6894  *      IPR_RC_JOB_CONTINUE
6895  **/
6896 static int ipr_init_res_table(struct ipr_cmnd *ipr_cmd)
6897 {
6898         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6899         struct ipr_resource_entry *res, *temp;
6900         struct ipr_config_table_entry_wrapper cfgtew;
6901         int entries, found, flag, i;
6902         LIST_HEAD(old_res);
6903
6904         ENTER;
6905         if (ioa_cfg->sis64)
6906                 flag = ioa_cfg->u.cfg_table64->hdr64.flags;
6907         else
6908                 flag = ioa_cfg->u.cfg_table->hdr.flags;
6909
6910         if (flag & IPR_UCODE_DOWNLOAD_REQ)
6911                 dev_err(&ioa_cfg->pdev->dev, "Microcode download required\n");
6912
6913         list_for_each_entry_safe(res, temp, &ioa_cfg->used_res_q, queue)
6914                 list_move_tail(&res->queue, &old_res);
6915
6916         if (ioa_cfg->sis64)
6917                 entries = be16_to_cpu(ioa_cfg->u.cfg_table64->hdr64.num_entries);
6918         else
6919                 entries = ioa_cfg->u.cfg_table->hdr.num_entries;
6920
6921         for (i = 0; i < entries; i++) {
6922                 if (ioa_cfg->sis64)
6923                         cfgtew.u.cfgte64 = &ioa_cfg->u.cfg_table64->dev[i];
6924                 else
6925                         cfgtew.u.cfgte = &ioa_cfg->u.cfg_table->dev[i];
6926                 found = 0;
6927
6928                 list_for_each_entry_safe(res, temp, &old_res, queue) {
6929                         if (ipr_is_same_device(res, &cfgtew)) {
6930                                 list_move_tail(&res->queue, &ioa_cfg->used_res_q);
6931                                 found = 1;
6932                                 break;
6933                         }
6934                 }
6935
6936                 if (!found) {
6937                         if (list_empty(&ioa_cfg->free_res_q)) {
6938                                 dev_err(&ioa_cfg->pdev->dev, "Too many devices attached\n");
6939                                 break;
6940                         }
6941
6942                         found = 1;
6943                         res = list_entry(ioa_cfg->free_res_q.next,
6944                                          struct ipr_resource_entry, queue);
6945                         list_move_tail(&res->queue, &ioa_cfg->used_res_q);
6946                         ipr_init_res_entry(res, &cfgtew);
6947                         res->add_to_ml = 1;
6948                 } else if (res->sdev && (ipr_is_vset_device(res) || ipr_is_scsi_disk(res)))
6949                         res->sdev->allow_restart = 1;
6950
6951                 if (found)
6952                         ipr_update_res_entry(res, &cfgtew);
6953         }
6954
6955         list_for_each_entry_safe(res, temp, &old_res, queue) {
6956                 if (res->sdev) {
6957                         res->del_from_ml = 1;
6958                         res->res_handle = IPR_INVALID_RES_HANDLE;
6959                         list_move_tail(&res->queue, &ioa_cfg->used_res_q);
6960                 }
6961         }
6962
6963         list_for_each_entry_safe(res, temp, &old_res, queue) {
6964                 ipr_clear_res_target(res);
6965                 list_move_tail(&res->queue, &ioa_cfg->free_res_q);
6966         }
6967
6968         if (ioa_cfg->dual_raid && ipr_dual_ioa_raid)
6969                 ipr_cmd->job_step = ipr_ioafp_mode_sense_page24;
6970         else
6971                 ipr_cmd->job_step = ipr_ioafp_mode_sense_page28;
6972
6973         LEAVE;
6974         return IPR_RC_JOB_CONTINUE;
6975 }
6976
6977 /**
6978  * ipr_ioafp_query_ioa_cfg - Send a Query IOA Config to the adapter.
6979  * @ipr_cmd:    ipr command struct
6980  *
6981  * This function sends a Query IOA Configuration command
6982  * to the adapter to retrieve the IOA configuration table.
6983  *
6984  * Return value:
6985  *      IPR_RC_JOB_RETURN
6986  **/
6987 static int ipr_ioafp_query_ioa_cfg(struct ipr_cmnd *ipr_cmd)
6988 {
6989         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
6990         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
6991         struct ipr_inquiry_page3 *ucode_vpd = &ioa_cfg->vpd_cbs->page3_data;
6992         struct ipr_inquiry_cap *cap = &ioa_cfg->vpd_cbs->cap;
6993
6994         ENTER;
6995         if (cap->cap & IPR_CAP_DUAL_IOA_RAID)
6996                 ioa_cfg->dual_raid = 1;
6997         dev_info(&ioa_cfg->pdev->dev, "Adapter firmware version: %02X%02X%02X%02X\n",
6998                  ucode_vpd->major_release, ucode_vpd->card_type,
6999                  ucode_vpd->minor_release[0], ucode_vpd->minor_release[1]);
7000         ioarcb->cmd_pkt.request_type = IPR_RQTYPE_IOACMD;
7001         ioarcb->res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
7002
7003         ioarcb->cmd_pkt.cdb[0] = IPR_QUERY_IOA_CONFIG;
7004         ioarcb->cmd_pkt.cdb[6] = (ioa_cfg->cfg_table_size >> 16) & 0xff;
7005         ioarcb->cmd_pkt.cdb[7] = (ioa_cfg->cfg_table_size >> 8) & 0xff;
7006         ioarcb->cmd_pkt.cdb[8] = ioa_cfg->cfg_table_size & 0xff;
7007
7008         ipr_init_ioadl(ipr_cmd, ioa_cfg->cfg_table_dma, ioa_cfg->cfg_table_size,
7009                        IPR_IOADL_FLAGS_READ_LAST);
7010
7011         ipr_cmd->job_step = ipr_init_res_table;
7012
7013         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
7014
7015         LEAVE;
7016         return IPR_RC_JOB_RETURN;
7017 }
7018
7019 /**
7020  * ipr_ioafp_inquiry - Send an Inquiry to the adapter.
7021  * @ipr_cmd:    ipr command struct
7022  *
7023  * This utility function sends an inquiry to the adapter.
7024  *
7025  * Return value:
7026  *      none
7027  **/
7028 static void ipr_ioafp_inquiry(struct ipr_cmnd *ipr_cmd, u8 flags, u8 page,
7029                               dma_addr_t dma_addr, u8 xfer_len)
7030 {
7031         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
7032
7033         ENTER;
7034         ioarcb->cmd_pkt.request_type = IPR_RQTYPE_SCSICDB;
7035         ioarcb->res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
7036
7037         ioarcb->cmd_pkt.cdb[0] = INQUIRY;
7038         ioarcb->cmd_pkt.cdb[1] = flags;
7039         ioarcb->cmd_pkt.cdb[2] = page;
7040         ioarcb->cmd_pkt.cdb[4] = xfer_len;
7041
7042         ipr_init_ioadl(ipr_cmd, dma_addr, xfer_len, IPR_IOADL_FLAGS_READ_LAST);
7043
7044         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
7045         LEAVE;
7046 }
7047
7048 /**
7049  * ipr_inquiry_page_supported - Is the given inquiry page supported
7050  * @page0:              inquiry page 0 buffer
7051  * @page:               page code.
7052  *
7053  * This function determines if the specified inquiry page is supported.
7054  *
7055  * Return value:
7056  *      1 if page is supported / 0 if not
7057  **/
7058 static int ipr_inquiry_page_supported(struct ipr_inquiry_page0 *page0, u8 page)
7059 {
7060         int i;
7061
7062         for (i = 0; i < min_t(u8, page0->len, IPR_INQUIRY_PAGE0_ENTRIES); i++)
7063                 if (page0->page[i] == page)
7064                         return 1;
7065
7066         return 0;
7067 }
7068
7069 /**
7070  * ipr_ioafp_cap_inquiry - Send a Page 0xD0 Inquiry to the adapter.
7071  * @ipr_cmd:    ipr command struct
7072  *
7073  * This function sends a Page 0xD0 inquiry to the adapter
7074  * to retrieve adapter capabilities.
7075  *
7076  * Return value:
7077  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7078  **/
7079 static int ipr_ioafp_cap_inquiry(struct ipr_cmnd *ipr_cmd)
7080 {
7081         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7082         struct ipr_inquiry_page0 *page0 = &ioa_cfg->vpd_cbs->page0_data;
7083         struct ipr_inquiry_cap *cap = &ioa_cfg->vpd_cbs->cap;
7084
7085         ENTER;
7086         ipr_cmd->job_step = ipr_ioafp_query_ioa_cfg;
7087         memset(cap, 0, sizeof(*cap));
7088
7089         if (ipr_inquiry_page_supported(page0, 0xD0)) {
7090                 ipr_ioafp_inquiry(ipr_cmd, 1, 0xD0,
7091                                   ioa_cfg->vpd_cbs_dma + offsetof(struct ipr_misc_cbs, cap),
7092                                   sizeof(struct ipr_inquiry_cap));
7093                 return IPR_RC_JOB_RETURN;
7094         }
7095
7096         LEAVE;
7097         return IPR_RC_JOB_CONTINUE;
7098 }
7099
7100 /**
7101  * ipr_ioafp_page3_inquiry - Send a Page 3 Inquiry to the adapter.
7102  * @ipr_cmd:    ipr command struct
7103  *
7104  * This function sends a Page 3 inquiry to the adapter
7105  * to retrieve software VPD information.
7106  *
7107  * Return value:
7108  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7109  **/
7110 static int ipr_ioafp_page3_inquiry(struct ipr_cmnd *ipr_cmd)
7111 {
7112         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7113
7114         ENTER;
7115
7116         ipr_cmd->job_step = ipr_ioafp_cap_inquiry;
7117
7118         ipr_ioafp_inquiry(ipr_cmd, 1, 3,
7119                           ioa_cfg->vpd_cbs_dma + offsetof(struct ipr_misc_cbs, page3_data),
7120                           sizeof(struct ipr_inquiry_page3));
7121
7122         LEAVE;
7123         return IPR_RC_JOB_RETURN;
7124 }
7125
7126 /**
7127  * ipr_ioafp_page0_inquiry - Send a Page 0 Inquiry to the adapter.
7128  * @ipr_cmd:    ipr command struct
7129  *
7130  * This function sends a Page 0 inquiry to the adapter
7131  * to retrieve supported inquiry pages.
7132  *
7133  * Return value:
7134  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7135  **/
7136 static int ipr_ioafp_page0_inquiry(struct ipr_cmnd *ipr_cmd)
7137 {
7138         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7139         char type[5];
7140
7141         ENTER;
7142
7143         /* Grab the type out of the VPD and store it away */
7144         memcpy(type, ioa_cfg->vpd_cbs->ioa_vpd.std_inq_data.vpids.product_id, 4);
7145         type[4] = '\0';
7146         ioa_cfg->type = simple_strtoul((char *)type, NULL, 16);
7147
7148         ipr_cmd->job_step = ipr_ioafp_page3_inquiry;
7149
7150         ipr_ioafp_inquiry(ipr_cmd, 1, 0,
7151                           ioa_cfg->vpd_cbs_dma + offsetof(struct ipr_misc_cbs, page0_data),
7152                           sizeof(struct ipr_inquiry_page0));
7153
7154         LEAVE;
7155         return IPR_RC_JOB_RETURN;
7156 }
7157
7158 /**
7159  * ipr_ioafp_std_inquiry - Send a Standard Inquiry to the adapter.
7160  * @ipr_cmd:    ipr command struct
7161  *
7162  * This function sends a standard inquiry to the adapter.
7163  *
7164  * Return value:
7165  *      IPR_RC_JOB_RETURN
7166  **/
7167 static int ipr_ioafp_std_inquiry(struct ipr_cmnd *ipr_cmd)
7168 {
7169         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7170
7171         ENTER;
7172         ipr_cmd->job_step = ipr_ioafp_page0_inquiry;
7173
7174         ipr_ioafp_inquiry(ipr_cmd, 0, 0,
7175                           ioa_cfg->vpd_cbs_dma + offsetof(struct ipr_misc_cbs, ioa_vpd),
7176                           sizeof(struct ipr_ioa_vpd));
7177
7178         LEAVE;
7179         return IPR_RC_JOB_RETURN;
7180 }
7181
7182 /**
7183  * ipr_ioafp_identify_hrrq - Send Identify Host RRQ.
7184  * @ipr_cmd:    ipr command struct
7185  *
7186  * This function send an Identify Host Request Response Queue
7187  * command to establish the HRRQ with the adapter.
7188  *
7189  * Return value:
7190  *      IPR_RC_JOB_RETURN
7191  **/
7192 static int ipr_ioafp_identify_hrrq(struct ipr_cmnd *ipr_cmd)
7193 {
7194         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7195         struct ipr_ioarcb *ioarcb = &ipr_cmd->ioarcb;
7196
7197         ENTER;
7198         dev_info(&ioa_cfg->pdev->dev, "Starting IOA initialization sequence.\n");
7199
7200         ioarcb->cmd_pkt.cdb[0] = IPR_ID_HOST_RR_Q;
7201         ioarcb->res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
7202
7203         ioarcb->cmd_pkt.request_type = IPR_RQTYPE_IOACMD;
7204         if (ioa_cfg->sis64)
7205                 ioarcb->cmd_pkt.cdb[1] = 0x1;
7206         ioarcb->cmd_pkt.cdb[2] =
7207                 ((u64) ioa_cfg->host_rrq_dma >> 24) & 0xff;
7208         ioarcb->cmd_pkt.cdb[3] =
7209                 ((u64) ioa_cfg->host_rrq_dma >> 16) & 0xff;
7210         ioarcb->cmd_pkt.cdb[4] =
7211                 ((u64) ioa_cfg->host_rrq_dma >> 8) & 0xff;
7212         ioarcb->cmd_pkt.cdb[5] =
7213                 ((u64) ioa_cfg->host_rrq_dma) & 0xff;
7214         ioarcb->cmd_pkt.cdb[7] =
7215                 ((sizeof(u32) * IPR_NUM_CMD_BLKS) >> 8) & 0xff;
7216         ioarcb->cmd_pkt.cdb[8] =
7217                 (sizeof(u32) * IPR_NUM_CMD_BLKS) & 0xff;
7218
7219         if (ioa_cfg->sis64) {
7220                 ioarcb->cmd_pkt.cdb[10] =
7221                         ((u64) ioa_cfg->host_rrq_dma >> 56) & 0xff;
7222                 ioarcb->cmd_pkt.cdb[11] =
7223                         ((u64) ioa_cfg->host_rrq_dma >> 48) & 0xff;
7224                 ioarcb->cmd_pkt.cdb[12] =
7225                         ((u64) ioa_cfg->host_rrq_dma >> 40) & 0xff;
7226                 ioarcb->cmd_pkt.cdb[13] =
7227                         ((u64) ioa_cfg->host_rrq_dma >> 32) & 0xff;
7228         }
7229
7230         ipr_cmd->job_step = ipr_ioafp_std_inquiry;
7231
7232         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, IPR_INTERNAL_TIMEOUT);
7233
7234         LEAVE;
7235         return IPR_RC_JOB_RETURN;
7236 }
7237
7238 /**
7239  * ipr_reset_timer_done - Adapter reset timer function
7240  * @ipr_cmd:    ipr command struct
7241  *
7242  * Description: This function is used in adapter reset processing
7243  * for timing events. If the reset_cmd pointer in the IOA
7244  * config struct is not this adapter's we are doing nested
7245  * resets and fail_all_ops will take care of freeing the
7246  * command block.
7247  *
7248  * Return value:
7249  *      none
7250  **/
7251 static void ipr_reset_timer_done(struct ipr_cmnd *ipr_cmd)
7252 {
7253         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7254         unsigned long lock_flags = 0;
7255
7256         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
7257
7258         if (ioa_cfg->reset_cmd == ipr_cmd) {
7259                 list_del(&ipr_cmd->queue);
7260                 ipr_cmd->done(ipr_cmd);
7261         }
7262
7263         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
7264 }
7265
7266 /**
7267  * ipr_reset_start_timer - Start a timer for adapter reset job
7268  * @ipr_cmd:    ipr command struct
7269  * @timeout:    timeout value
7270  *
7271  * Description: This function is used in adapter reset processing
7272  * for timing events. If the reset_cmd pointer in the IOA
7273  * config struct is not this adapter's we are doing nested
7274  * resets and fail_all_ops will take care of freeing the
7275  * command block.
7276  *
7277  * Return value:
7278  *      none
7279  **/
7280 static void ipr_reset_start_timer(struct ipr_cmnd *ipr_cmd,
7281                                   unsigned long timeout)
7282 {
7283         list_add_tail(&ipr_cmd->queue, &ipr_cmd->ioa_cfg->pending_q);
7284         ipr_cmd->done = ipr_reset_ioa_job;
7285
7286         ipr_cmd->timer.data = (unsigned long) ipr_cmd;
7287         ipr_cmd->timer.expires = jiffies + timeout;
7288         ipr_cmd->timer.function = (void (*)(unsigned long))ipr_reset_timer_done;
7289         add_timer(&ipr_cmd->timer);
7290 }
7291
7292 /**
7293  * ipr_init_ioa_mem - Initialize ioa_cfg control block
7294  * @ioa_cfg:    ioa cfg struct
7295  *
7296  * Return value:
7297  *      nothing
7298  **/
7299 static void ipr_init_ioa_mem(struct ipr_ioa_cfg *ioa_cfg)
7300 {
7301         memset(ioa_cfg->host_rrq, 0, sizeof(u32) * IPR_NUM_CMD_BLKS);
7302
7303         /* Initialize Host RRQ pointers */
7304         ioa_cfg->hrrq_start = ioa_cfg->host_rrq;
7305         ioa_cfg->hrrq_end = &ioa_cfg->host_rrq[IPR_NUM_CMD_BLKS - 1];
7306         ioa_cfg->hrrq_curr = ioa_cfg->hrrq_start;
7307         ioa_cfg->toggle_bit = 1;
7308
7309         /* Zero out config table */
7310         memset(ioa_cfg->u.cfg_table, 0, ioa_cfg->cfg_table_size);
7311 }
7312
7313 /**
7314  * ipr_reset_next_stage - Process IPL stage change based on feedback register.
7315  * @ipr_cmd:    ipr command struct
7316  *
7317  * Return value:
7318  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7319  **/
7320 static int ipr_reset_next_stage(struct ipr_cmnd *ipr_cmd)
7321 {
7322         unsigned long stage, stage_time;
7323         u32 feedback;
7324         volatile u32 int_reg;
7325         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7326         u64 maskval = 0;
7327
7328         feedback = readl(ioa_cfg->regs.init_feedback_reg);
7329         stage = feedback & IPR_IPL_INIT_STAGE_MASK;
7330         stage_time = feedback & IPR_IPL_INIT_STAGE_TIME_MASK;
7331
7332         ipr_dbg("IPL stage = 0x%lx, IPL stage time = %ld\n", stage, stage_time);
7333
7334         /* sanity check the stage_time value */
7335         if (stage_time == 0)
7336                 stage_time = IPR_IPL_INIT_DEFAULT_STAGE_TIME;
7337         else if (stage_time < IPR_IPL_INIT_MIN_STAGE_TIME)
7338                 stage_time = IPR_IPL_INIT_MIN_STAGE_TIME;
7339         else if (stage_time > IPR_LONG_OPERATIONAL_TIMEOUT)
7340                 stage_time = IPR_LONG_OPERATIONAL_TIMEOUT;
7341
7342         if (stage == IPR_IPL_INIT_STAGE_UNKNOWN) {
7343                 writel(IPR_PCII_IPL_STAGE_CHANGE, ioa_cfg->regs.set_interrupt_mask_reg);
7344                 int_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg);
7345                 stage_time = ioa_cfg->transop_timeout;
7346                 ipr_cmd->job_step = ipr_ioafp_identify_hrrq;
7347         } else if (stage == IPR_IPL_INIT_STAGE_TRANSOP) {
7348                 int_reg = readl(ioa_cfg->regs.sense_interrupt_reg32);
7349                 if (int_reg & IPR_PCII_IOA_TRANS_TO_OPER) {
7350                         ipr_cmd->job_step = ipr_ioafp_identify_hrrq;
7351                         maskval = IPR_PCII_IPL_STAGE_CHANGE;
7352                         maskval = (maskval << 32) | IPR_PCII_IOA_TRANS_TO_OPER;
7353                         writeq(maskval, ioa_cfg->regs.set_interrupt_mask_reg);
7354                         int_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg);
7355                         return IPR_RC_JOB_CONTINUE;
7356                 }
7357         }
7358
7359         ipr_cmd->timer.data = (unsigned long) ipr_cmd;
7360         ipr_cmd->timer.expires = jiffies + stage_time * HZ;
7361         ipr_cmd->timer.function = (void (*)(unsigned long))ipr_oper_timeout;
7362         ipr_cmd->done = ipr_reset_ioa_job;
7363         add_timer(&ipr_cmd->timer);
7364         list_add_tail(&ipr_cmd->queue, &ioa_cfg->pending_q);
7365
7366         return IPR_RC_JOB_RETURN;
7367 }
7368
7369 /**
7370  * ipr_reset_enable_ioa - Enable the IOA following a reset.
7371  * @ipr_cmd:    ipr command struct
7372  *
7373  * This function reinitializes some control blocks and
7374  * enables destructive diagnostics on the adapter.
7375  *
7376  * Return value:
7377  *      IPR_RC_JOB_RETURN
7378  **/
7379 static int ipr_reset_enable_ioa(struct ipr_cmnd *ipr_cmd)
7380 {
7381         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7382         volatile u32 int_reg;
7383         volatile u64 maskval;
7384
7385         ENTER;
7386         ipr_cmd->job_step = ipr_ioafp_identify_hrrq;
7387         ipr_init_ioa_mem(ioa_cfg);
7388
7389         ioa_cfg->allow_interrupts = 1;
7390         if (ioa_cfg->sis64) {
7391                 /* Set the adapter to the correct endian mode. */
7392                 writel(IPR_ENDIAN_SWAP_KEY, ioa_cfg->regs.endian_swap_reg);
7393                 int_reg = readl(ioa_cfg->regs.endian_swap_reg);
7394         }
7395
7396         int_reg = readl(ioa_cfg->regs.sense_interrupt_reg32);
7397
7398         if (int_reg & IPR_PCII_IOA_TRANS_TO_OPER) {
7399                 writel((IPR_PCII_ERROR_INTERRUPTS | IPR_PCII_HRRQ_UPDATED),
7400                        ioa_cfg->regs.clr_interrupt_mask_reg32);
7401                 int_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg);
7402                 return IPR_RC_JOB_CONTINUE;
7403         }
7404
7405         /* Enable destructive diagnostics on IOA */
7406         writel(ioa_cfg->doorbell, ioa_cfg->regs.set_uproc_interrupt_reg32);
7407
7408         if (ioa_cfg->sis64) {
7409                 maskval = IPR_PCII_IPL_STAGE_CHANGE;
7410                 maskval = (maskval << 32) | IPR_PCII_OPER_INTERRUPTS;
7411                 writeq(maskval, ioa_cfg->regs.clr_interrupt_mask_reg);
7412         } else
7413                 writel(IPR_PCII_OPER_INTERRUPTS, ioa_cfg->regs.clr_interrupt_mask_reg32);
7414
7415         int_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg);
7416
7417         dev_info(&ioa_cfg->pdev->dev, "Initializing IOA.\n");
7418
7419         if (ioa_cfg->sis64) {
7420                 ipr_cmd->job_step = ipr_reset_next_stage;
7421                 return IPR_RC_JOB_CONTINUE;
7422         }
7423
7424         ipr_cmd->timer.data = (unsigned long) ipr_cmd;
7425         ipr_cmd->timer.expires = jiffies + (ioa_cfg->transop_timeout * HZ);
7426         ipr_cmd->timer.function = (void (*)(unsigned long))ipr_oper_timeout;
7427         ipr_cmd->done = ipr_reset_ioa_job;
7428         add_timer(&ipr_cmd->timer);
7429         list_add_tail(&ipr_cmd->queue, &ioa_cfg->pending_q);
7430
7431         LEAVE;
7432         return IPR_RC_JOB_RETURN;
7433 }
7434
7435 /**
7436  * ipr_reset_wait_for_dump - Wait for a dump to timeout.
7437  * @ipr_cmd:    ipr command struct
7438  *
7439  * This function is invoked when an adapter dump has run out
7440  * of processing time.
7441  *
7442  * Return value:
7443  *      IPR_RC_JOB_CONTINUE
7444  **/
7445 static int ipr_reset_wait_for_dump(struct ipr_cmnd *ipr_cmd)
7446 {
7447         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7448
7449         if (ioa_cfg->sdt_state == GET_DUMP)
7450                 ioa_cfg->sdt_state = WAIT_FOR_DUMP;
7451         else if (ioa_cfg->sdt_state == READ_DUMP)
7452                 ioa_cfg->sdt_state = ABORT_DUMP;
7453
7454         ioa_cfg->dump_timeout = 1;
7455         ipr_cmd->job_step = ipr_reset_alert;
7456
7457         return IPR_RC_JOB_CONTINUE;
7458 }
7459
7460 /**
7461  * ipr_unit_check_no_data - Log a unit check/no data error log
7462  * @ioa_cfg:            ioa config struct
7463  *
7464  * Logs an error indicating the adapter unit checked, but for some
7465  * reason, we were unable to fetch the unit check buffer.
7466  *
7467  * Return value:
7468  *      nothing
7469  **/
7470 static void ipr_unit_check_no_data(struct ipr_ioa_cfg *ioa_cfg)
7471 {
7472         ioa_cfg->errors_logged++;
7473         dev_err(&ioa_cfg->pdev->dev, "IOA unit check with no data\n");
7474 }
7475
7476 /**
7477  * ipr_get_unit_check_buffer - Get the unit check buffer from the IOA
7478  * @ioa_cfg:            ioa config struct
7479  *
7480  * Fetches the unit check buffer from the adapter by clocking the data
7481  * through the mailbox register.
7482  *
7483  * Return value:
7484  *      nothing
7485  **/
7486 static void ipr_get_unit_check_buffer(struct ipr_ioa_cfg *ioa_cfg)
7487 {
7488         unsigned long mailbox;
7489         struct ipr_hostrcb *hostrcb;
7490         struct ipr_uc_sdt sdt;
7491         int rc, length;
7492         u32 ioasc;
7493
7494         mailbox = readl(ioa_cfg->ioa_mailbox);
7495
7496         if (!ioa_cfg->sis64 && !ipr_sdt_is_fmt2(mailbox)) {
7497                 ipr_unit_check_no_data(ioa_cfg);
7498                 return;
7499         }
7500
7501         memset(&sdt, 0, sizeof(struct ipr_uc_sdt));
7502         rc = ipr_get_ldump_data_section(ioa_cfg, mailbox, (__be32 *) &sdt,
7503                                         (sizeof(struct ipr_uc_sdt)) / sizeof(__be32));
7504
7505         if (rc || !(sdt.entry[0].flags & IPR_SDT_VALID_ENTRY) ||
7506             ((be32_to_cpu(sdt.hdr.state) != IPR_FMT3_SDT_READY_TO_USE) &&
7507             (be32_to_cpu(sdt.hdr.state) != IPR_FMT2_SDT_READY_TO_USE))) {
7508                 ipr_unit_check_no_data(ioa_cfg);
7509                 return;
7510         }
7511
7512         /* Find length of the first sdt entry (UC buffer) */
7513         if (be32_to_cpu(sdt.hdr.state) == IPR_FMT3_SDT_READY_TO_USE)
7514                 length = be32_to_cpu(sdt.entry[0].end_token);
7515         else
7516                 length = (be32_to_cpu(sdt.entry[0].end_token) -
7517                           be32_to_cpu(sdt.entry[0].start_token)) &
7518                           IPR_FMT2_MBX_ADDR_MASK;
7519
7520         hostrcb = list_entry(ioa_cfg->hostrcb_free_q.next,
7521                              struct ipr_hostrcb, queue);
7522         list_del(&hostrcb->queue);
7523         memset(&hostrcb->hcam, 0, sizeof(hostrcb->hcam));
7524
7525         rc = ipr_get_ldump_data_section(ioa_cfg,
7526                                         be32_to_cpu(sdt.entry[0].start_token),
7527                                         (__be32 *)&hostrcb->hcam,
7528                                         min(length, (int)sizeof(hostrcb->hcam)) / sizeof(__be32));
7529
7530         if (!rc) {
7531                 ipr_handle_log_data(ioa_cfg, hostrcb);
7532                 ioasc = be32_to_cpu(hostrcb->hcam.u.error.fd_ioasc);
7533                 if (ioasc == IPR_IOASC_NR_IOA_RESET_REQUIRED &&
7534                     ioa_cfg->sdt_state == GET_DUMP)
7535                         ioa_cfg->sdt_state = WAIT_FOR_DUMP;
7536         } else
7537                 ipr_unit_check_no_data(ioa_cfg);
7538
7539         list_add_tail(&hostrcb->queue, &ioa_cfg->hostrcb_free_q);
7540 }
7541
7542 /**
7543  * ipr_reset_get_unit_check_job - Call to get the unit check buffer.
7544  * @ipr_cmd:    ipr command struct
7545  *
7546  * Description: This function will call to get the unit check buffer.
7547  *
7548  * Return value:
7549  *      IPR_RC_JOB_RETURN
7550  **/
7551 static int ipr_reset_get_unit_check_job(struct ipr_cmnd *ipr_cmd)
7552 {
7553         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7554
7555         ENTER;
7556         ioa_cfg->ioa_unit_checked = 0;
7557         ipr_get_unit_check_buffer(ioa_cfg);
7558         ipr_cmd->job_step = ipr_reset_alert;
7559         ipr_reset_start_timer(ipr_cmd, 0);
7560
7561         LEAVE;
7562         return IPR_RC_JOB_RETURN;
7563 }
7564
7565 /**
7566  * ipr_reset_restore_cfg_space - Restore PCI config space.
7567  * @ipr_cmd:    ipr command struct
7568  *
7569  * Description: This function restores the saved PCI config space of
7570  * the adapter, fails all outstanding ops back to the callers, and
7571  * fetches the dump/unit check if applicable to this reset.
7572  *
7573  * Return value:
7574  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7575  **/
7576 static int ipr_reset_restore_cfg_space(struct ipr_cmnd *ipr_cmd)
7577 {
7578         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7579         u32 int_reg;
7580
7581         ENTER;
7582         ioa_cfg->pdev->state_saved = true;
7583         pci_restore_state(ioa_cfg->pdev);
7584
7585         if (ipr_set_pcix_cmd_reg(ioa_cfg)) {
7586                 ipr_cmd->s.ioasa.hdr.ioasc = cpu_to_be32(IPR_IOASC_PCI_ACCESS_ERROR);
7587                 return IPR_RC_JOB_CONTINUE;
7588         }
7589
7590         ipr_fail_all_ops(ioa_cfg);
7591
7592         if (ioa_cfg->sis64) {
7593                 /* Set the adapter to the correct endian mode. */
7594                 writel(IPR_ENDIAN_SWAP_KEY, ioa_cfg->regs.endian_swap_reg);
7595                 int_reg = readl(ioa_cfg->regs.endian_swap_reg);
7596         }
7597
7598         if (ioa_cfg->ioa_unit_checked) {
7599                 if (ioa_cfg->sis64) {
7600                         ipr_cmd->job_step = ipr_reset_get_unit_check_job;
7601                         ipr_reset_start_timer(ipr_cmd, IPR_DUMP_DELAY_TIMEOUT);
7602                         return IPR_RC_JOB_RETURN;
7603                 } else {
7604                         ioa_cfg->ioa_unit_checked = 0;
7605                         ipr_get_unit_check_buffer(ioa_cfg);
7606                         ipr_cmd->job_step = ipr_reset_alert;
7607                         ipr_reset_start_timer(ipr_cmd, 0);
7608                         return IPR_RC_JOB_RETURN;
7609                 }
7610         }
7611
7612         if (ioa_cfg->in_ioa_bringdown) {
7613                 ipr_cmd->job_step = ipr_ioa_bringdown_done;
7614         } else {
7615                 ipr_cmd->job_step = ipr_reset_enable_ioa;
7616
7617                 if (GET_DUMP == ioa_cfg->sdt_state) {
7618                         ioa_cfg->sdt_state = READ_DUMP;
7619                         ioa_cfg->dump_timeout = 0;
7620                         if (ioa_cfg->sis64)
7621                                 ipr_reset_start_timer(ipr_cmd, IPR_SIS64_DUMP_TIMEOUT);
7622                         else
7623                                 ipr_reset_start_timer(ipr_cmd, IPR_SIS32_DUMP_TIMEOUT);
7624                         ipr_cmd->job_step = ipr_reset_wait_for_dump;
7625                         schedule_work(&ioa_cfg->work_q);
7626                         return IPR_RC_JOB_RETURN;
7627                 }
7628         }
7629
7630         LEAVE;
7631         return IPR_RC_JOB_CONTINUE;
7632 }
7633
7634 /**
7635  * ipr_reset_bist_done - BIST has completed on the adapter.
7636  * @ipr_cmd:    ipr command struct
7637  *
7638  * Description: Unblock config space and resume the reset process.
7639  *
7640  * Return value:
7641  *      IPR_RC_JOB_CONTINUE
7642  **/
7643 static int ipr_reset_bist_done(struct ipr_cmnd *ipr_cmd)
7644 {
7645         ENTER;
7646         pci_unblock_user_cfg_access(ipr_cmd->ioa_cfg->pdev);
7647         ipr_cmd->job_step = ipr_reset_restore_cfg_space;
7648         LEAVE;
7649         return IPR_RC_JOB_CONTINUE;
7650 }
7651
7652 /**
7653  * ipr_reset_start_bist - Run BIST on the adapter.
7654  * @ipr_cmd:    ipr command struct
7655  *
7656  * Description: This function runs BIST on the adapter, then delays 2 seconds.
7657  *
7658  * Return value:
7659  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7660  **/
7661 static int ipr_reset_start_bist(struct ipr_cmnd *ipr_cmd)
7662 {
7663         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7664         int rc = PCIBIOS_SUCCESSFUL;
7665
7666         ENTER;
7667         pci_block_user_cfg_access(ioa_cfg->pdev);
7668
7669         if (ioa_cfg->ipr_chip->bist_method == IPR_MMIO)
7670                 writel(IPR_UPROCI_SIS64_START_BIST,
7671                        ioa_cfg->regs.set_uproc_interrupt_reg32);
7672         else
7673                 rc = pci_write_config_byte(ioa_cfg->pdev, PCI_BIST, PCI_BIST_START);
7674
7675         if (rc == PCIBIOS_SUCCESSFUL) {
7676                 ipr_cmd->job_step = ipr_reset_bist_done;
7677                 ipr_reset_start_timer(ipr_cmd, IPR_WAIT_FOR_BIST_TIMEOUT);
7678                 rc = IPR_RC_JOB_RETURN;
7679         } else {
7680                 pci_unblock_user_cfg_access(ipr_cmd->ioa_cfg->pdev);
7681                 ipr_cmd->s.ioasa.hdr.ioasc = cpu_to_be32(IPR_IOASC_PCI_ACCESS_ERROR);
7682                 rc = IPR_RC_JOB_CONTINUE;
7683         }
7684
7685         LEAVE;
7686         return rc;
7687 }
7688
7689 /**
7690  * ipr_reset_slot_reset_done - Clear PCI reset to the adapter
7691  * @ipr_cmd:    ipr command struct
7692  *
7693  * Description: This clears PCI reset to the adapter and delays two seconds.
7694  *
7695  * Return value:
7696  *      IPR_RC_JOB_RETURN
7697  **/
7698 static int ipr_reset_slot_reset_done(struct ipr_cmnd *ipr_cmd)
7699 {
7700         ENTER;
7701         pci_set_pcie_reset_state(ipr_cmd->ioa_cfg->pdev, pcie_deassert_reset);
7702         ipr_cmd->job_step = ipr_reset_bist_done;
7703         ipr_reset_start_timer(ipr_cmd, IPR_WAIT_FOR_BIST_TIMEOUT);
7704         LEAVE;
7705         return IPR_RC_JOB_RETURN;
7706 }
7707
7708 /**
7709  * ipr_reset_slot_reset - Reset the PCI slot of the adapter.
7710  * @ipr_cmd:    ipr command struct
7711  *
7712  * Description: This asserts PCI reset to the adapter.
7713  *
7714  * Return value:
7715  *      IPR_RC_JOB_RETURN
7716  **/
7717 static int ipr_reset_slot_reset(struct ipr_cmnd *ipr_cmd)
7718 {
7719         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7720         struct pci_dev *pdev = ioa_cfg->pdev;
7721
7722         ENTER;
7723         pci_block_user_cfg_access(pdev);
7724         pci_set_pcie_reset_state(pdev, pcie_warm_reset);
7725         ipr_cmd->job_step = ipr_reset_slot_reset_done;
7726         ipr_reset_start_timer(ipr_cmd, IPR_PCI_RESET_TIMEOUT);
7727         LEAVE;
7728         return IPR_RC_JOB_RETURN;
7729 }
7730
7731 /**
7732  * ipr_reset_allowed - Query whether or not IOA can be reset
7733  * @ioa_cfg:    ioa config struct
7734  *
7735  * Return value:
7736  *      0 if reset not allowed / non-zero if reset is allowed
7737  **/
7738 static int ipr_reset_allowed(struct ipr_ioa_cfg *ioa_cfg)
7739 {
7740         volatile u32 temp_reg;
7741
7742         temp_reg = readl(ioa_cfg->regs.sense_interrupt_reg);
7743         return ((temp_reg & IPR_PCII_CRITICAL_OPERATION) == 0);
7744 }
7745
7746 /**
7747  * ipr_reset_wait_to_start_bist - Wait for permission to reset IOA.
7748  * @ipr_cmd:    ipr command struct
7749  *
7750  * Description: This function waits for adapter permission to run BIST,
7751  * then runs BIST. If the adapter does not give permission after a
7752  * reasonable time, we will reset the adapter anyway. The impact of
7753  * resetting the adapter without warning the adapter is the risk of
7754  * losing the persistent error log on the adapter. If the adapter is
7755  * reset while it is writing to the flash on the adapter, the flash
7756  * segment will have bad ECC and be zeroed.
7757  *
7758  * Return value:
7759  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7760  **/
7761 static int ipr_reset_wait_to_start_bist(struct ipr_cmnd *ipr_cmd)
7762 {
7763         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7764         int rc = IPR_RC_JOB_RETURN;
7765
7766         if (!ipr_reset_allowed(ioa_cfg) && ipr_cmd->u.time_left) {
7767                 ipr_cmd->u.time_left -= IPR_CHECK_FOR_RESET_TIMEOUT;
7768                 ipr_reset_start_timer(ipr_cmd, IPR_CHECK_FOR_RESET_TIMEOUT);
7769         } else {
7770                 ipr_cmd->job_step = ioa_cfg->reset;
7771                 rc = IPR_RC_JOB_CONTINUE;
7772         }
7773
7774         return rc;
7775 }
7776
7777 /**
7778  * ipr_reset_alert - Alert the adapter of a pending reset
7779  * @ipr_cmd:    ipr command struct
7780  *
7781  * Description: This function alerts the adapter that it will be reset.
7782  * If memory space is not currently enabled, proceed directly
7783  * to running BIST on the adapter. The timer must always be started
7784  * so we guarantee we do not run BIST from ipr_isr.
7785  *
7786  * Return value:
7787  *      IPR_RC_JOB_RETURN
7788  **/
7789 static int ipr_reset_alert(struct ipr_cmnd *ipr_cmd)
7790 {
7791         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7792         u16 cmd_reg;
7793         int rc;
7794
7795         ENTER;
7796         rc = pci_read_config_word(ioa_cfg->pdev, PCI_COMMAND, &cmd_reg);
7797
7798         if ((rc == PCIBIOS_SUCCESSFUL) && (cmd_reg & PCI_COMMAND_MEMORY)) {
7799                 ipr_mask_and_clear_interrupts(ioa_cfg, ~0);
7800                 writel(IPR_UPROCI_RESET_ALERT, ioa_cfg->regs.set_uproc_interrupt_reg32);
7801                 ipr_cmd->job_step = ipr_reset_wait_to_start_bist;
7802         } else {
7803                 ipr_cmd->job_step = ioa_cfg->reset;
7804         }
7805
7806         ipr_cmd->u.time_left = IPR_WAIT_FOR_RESET_TIMEOUT;
7807         ipr_reset_start_timer(ipr_cmd, IPR_CHECK_FOR_RESET_TIMEOUT);
7808
7809         LEAVE;
7810         return IPR_RC_JOB_RETURN;
7811 }
7812
7813 /**
7814  * ipr_reset_ucode_download_done - Microcode download completion
7815  * @ipr_cmd:    ipr command struct
7816  *
7817  * Description: This function unmaps the microcode download buffer.
7818  *
7819  * Return value:
7820  *      IPR_RC_JOB_CONTINUE
7821  **/
7822 static int ipr_reset_ucode_download_done(struct ipr_cmnd *ipr_cmd)
7823 {
7824         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7825         struct ipr_sglist *sglist = ioa_cfg->ucode_sglist;
7826
7827         pci_unmap_sg(ioa_cfg->pdev, sglist->scatterlist,
7828                      sglist->num_sg, DMA_TO_DEVICE);
7829
7830         ipr_cmd->job_step = ipr_reset_alert;
7831         return IPR_RC_JOB_CONTINUE;
7832 }
7833
7834 /**
7835  * ipr_reset_ucode_download - Download microcode to the adapter
7836  * @ipr_cmd:    ipr command struct
7837  *
7838  * Description: This function checks to see if it there is microcode
7839  * to download to the adapter. If there is, a download is performed.
7840  *
7841  * Return value:
7842  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7843  **/
7844 static int ipr_reset_ucode_download(struct ipr_cmnd *ipr_cmd)
7845 {
7846         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7847         struct ipr_sglist *sglist = ioa_cfg->ucode_sglist;
7848
7849         ENTER;
7850         ipr_cmd->job_step = ipr_reset_alert;
7851
7852         if (!sglist)
7853                 return IPR_RC_JOB_CONTINUE;
7854
7855         ipr_cmd->ioarcb.res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
7856         ipr_cmd->ioarcb.cmd_pkt.request_type = IPR_RQTYPE_SCSICDB;
7857         ipr_cmd->ioarcb.cmd_pkt.cdb[0] = WRITE_BUFFER;
7858         ipr_cmd->ioarcb.cmd_pkt.cdb[1] = IPR_WR_BUF_DOWNLOAD_AND_SAVE;
7859         ipr_cmd->ioarcb.cmd_pkt.cdb[6] = (sglist->buffer_len & 0xff0000) >> 16;
7860         ipr_cmd->ioarcb.cmd_pkt.cdb[7] = (sglist->buffer_len & 0x00ff00) >> 8;
7861         ipr_cmd->ioarcb.cmd_pkt.cdb[8] = sglist->buffer_len & 0x0000ff;
7862
7863         if (ioa_cfg->sis64)
7864                 ipr_build_ucode_ioadl64(ipr_cmd, sglist);
7865         else
7866                 ipr_build_ucode_ioadl(ipr_cmd, sglist);
7867         ipr_cmd->job_step = ipr_reset_ucode_download_done;
7868
7869         ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout,
7870                    IPR_WRITE_BUFFER_TIMEOUT);
7871
7872         LEAVE;
7873         return IPR_RC_JOB_RETURN;
7874 }
7875
7876 /**
7877  * ipr_reset_shutdown_ioa - Shutdown the adapter
7878  * @ipr_cmd:    ipr command struct
7879  *
7880  * Description: This function issues an adapter shutdown of the
7881  * specified type to the specified adapter as part of the
7882  * adapter reset job.
7883  *
7884  * Return value:
7885  *      IPR_RC_JOB_CONTINUE / IPR_RC_JOB_RETURN
7886  **/
7887 static int ipr_reset_shutdown_ioa(struct ipr_cmnd *ipr_cmd)
7888 {
7889         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7890         enum ipr_shutdown_type shutdown_type = ipr_cmd->u.shutdown_type;
7891         unsigned long timeout;
7892         int rc = IPR_RC_JOB_CONTINUE;
7893
7894         ENTER;
7895         if (shutdown_type != IPR_SHUTDOWN_NONE && !ioa_cfg->ioa_is_dead) {
7896                 ipr_cmd->ioarcb.res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
7897                 ipr_cmd->ioarcb.cmd_pkt.request_type = IPR_RQTYPE_IOACMD;
7898                 ipr_cmd->ioarcb.cmd_pkt.cdb[0] = IPR_IOA_SHUTDOWN;
7899                 ipr_cmd->ioarcb.cmd_pkt.cdb[1] = shutdown_type;
7900
7901                 if (shutdown_type == IPR_SHUTDOWN_NORMAL)
7902                         timeout = IPR_SHUTDOWN_TIMEOUT;
7903                 else if (shutdown_type == IPR_SHUTDOWN_PREPARE_FOR_NORMAL)
7904                         timeout = IPR_INTERNAL_TIMEOUT;
7905                 else if (ioa_cfg->dual_raid && ipr_dual_ioa_raid)
7906                         timeout = IPR_DUAL_IOA_ABBR_SHUTDOWN_TO;
7907                 else
7908                         timeout = IPR_ABBREV_SHUTDOWN_TIMEOUT;
7909
7910                 ipr_do_req(ipr_cmd, ipr_reset_ioa_job, ipr_timeout, timeout);
7911
7912                 rc = IPR_RC_JOB_RETURN;
7913                 ipr_cmd->job_step = ipr_reset_ucode_download;
7914         } else
7915                 ipr_cmd->job_step = ipr_reset_alert;
7916
7917         LEAVE;
7918         return rc;
7919 }
7920
7921 /**
7922  * ipr_reset_ioa_job - Adapter reset job
7923  * @ipr_cmd:    ipr command struct
7924  *
7925  * Description: This function is the job router for the adapter reset job.
7926  *
7927  * Return value:
7928  *      none
7929  **/
7930 static void ipr_reset_ioa_job(struct ipr_cmnd *ipr_cmd)
7931 {
7932         u32 rc, ioasc;
7933         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
7934
7935         do {
7936                 ioasc = be32_to_cpu(ipr_cmd->s.ioasa.hdr.ioasc);
7937
7938                 if (ioa_cfg->reset_cmd != ipr_cmd) {
7939                         /*
7940                          * We are doing nested adapter resets and this is
7941                          * not the current reset job.
7942                          */
7943                         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
7944                         return;
7945                 }
7946
7947                 if (IPR_IOASC_SENSE_KEY(ioasc)) {
7948                         rc = ipr_cmd->job_step_failed(ipr_cmd);
7949                         if (rc == IPR_RC_JOB_RETURN)
7950                                 return;
7951                 }
7952
7953                 ipr_reinit_ipr_cmnd(ipr_cmd);
7954                 ipr_cmd->job_step_failed = ipr_reset_cmd_failed;
7955                 rc = ipr_cmd->job_step(ipr_cmd);
7956         } while(rc == IPR_RC_JOB_CONTINUE);
7957 }
7958
7959 /**
7960  * _ipr_initiate_ioa_reset - Initiate an adapter reset
7961  * @ioa_cfg:            ioa config struct
7962  * @job_step:           first job step of reset job
7963  * @shutdown_type:      shutdown type
7964  *
7965  * Description: This function will initiate the reset of the given adapter
7966  * starting at the selected job step.
7967  * If the caller needs to wait on the completion of the reset,
7968  * the caller must sleep on the reset_wait_q.
7969  *
7970  * Return value:
7971  *      none
7972  **/
7973 static void _ipr_initiate_ioa_reset(struct ipr_ioa_cfg *ioa_cfg,
7974                                     int (*job_step) (struct ipr_cmnd *),
7975                                     enum ipr_shutdown_type shutdown_type)
7976 {
7977         struct ipr_cmnd *ipr_cmd;
7978
7979         ioa_cfg->in_reset_reload = 1;
7980         ioa_cfg->allow_cmds = 0;
7981         scsi_block_requests(ioa_cfg->host);
7982
7983         ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
7984         ioa_cfg->reset_cmd = ipr_cmd;
7985         ipr_cmd->job_step = job_step;
7986         ipr_cmd->u.shutdown_type = shutdown_type;
7987
7988         ipr_reset_ioa_job(ipr_cmd);
7989 }
7990
7991 /**
7992  * ipr_initiate_ioa_reset - Initiate an adapter reset
7993  * @ioa_cfg:            ioa config struct
7994  * @shutdown_type:      shutdown type
7995  *
7996  * Description: This function will initiate the reset of the given adapter.
7997  * If the caller needs to wait on the completion of the reset,
7998  * the caller must sleep on the reset_wait_q.
7999  *
8000  * Return value:
8001  *      none
8002  **/
8003 static void ipr_initiate_ioa_reset(struct ipr_ioa_cfg *ioa_cfg,
8004                                    enum ipr_shutdown_type shutdown_type)
8005 {
8006         if (ioa_cfg->ioa_is_dead)
8007                 return;
8008
8009         if (ioa_cfg->in_reset_reload) {
8010                 if (ioa_cfg->sdt_state == GET_DUMP)
8011                         ioa_cfg->sdt_state = WAIT_FOR_DUMP;
8012                 else if (ioa_cfg->sdt_state == READ_DUMP)
8013                         ioa_cfg->sdt_state = ABORT_DUMP;
8014         }
8015
8016         if (ioa_cfg->reset_retries++ >= IPR_NUM_RESET_RELOAD_RETRIES) {
8017                 dev_err(&ioa_cfg->pdev->dev,
8018                         "IOA taken offline - error recovery failed\n");
8019
8020                 ioa_cfg->reset_retries = 0;
8021                 ioa_cfg->ioa_is_dead = 1;
8022
8023                 if (ioa_cfg->in_ioa_bringdown) {
8024                         ioa_cfg->reset_cmd = NULL;
8025                         ioa_cfg->in_reset_reload = 0;
8026                         ipr_fail_all_ops(ioa_cfg);
8027                         wake_up_all(&ioa_cfg->reset_wait_q);
8028
8029                         spin_unlock_irq(ioa_cfg->host->host_lock);
8030                         scsi_unblock_requests(ioa_cfg->host);
8031                         spin_lock_irq(ioa_cfg->host->host_lock);
8032                         return;
8033                 } else {
8034                         ioa_cfg->in_ioa_bringdown = 1;
8035                         shutdown_type = IPR_SHUTDOWN_NONE;
8036                 }
8037         }
8038
8039         _ipr_initiate_ioa_reset(ioa_cfg, ipr_reset_shutdown_ioa,
8040                                 shutdown_type);
8041 }
8042
8043 /**
8044  * ipr_reset_freeze - Hold off all I/O activity
8045  * @ipr_cmd:    ipr command struct
8046  *
8047  * Description: If the PCI slot is frozen, hold off all I/O
8048  * activity; then, as soon as the slot is available again,
8049  * initiate an adapter reset.
8050  */
8051 static int ipr_reset_freeze(struct ipr_cmnd *ipr_cmd)
8052 {
8053         /* Disallow new interrupts, avoid loop */
8054         ipr_cmd->ioa_cfg->allow_interrupts = 0;
8055         list_add_tail(&ipr_cmd->queue, &ipr_cmd->ioa_cfg->pending_q);
8056         ipr_cmd->done = ipr_reset_ioa_job;
8057         return IPR_RC_JOB_RETURN;
8058 }
8059
8060 /**
8061  * ipr_pci_frozen - Called when slot has experienced a PCI bus error.
8062  * @pdev:       PCI device struct
8063  *
8064  * Description: This routine is called to tell us that the PCI bus
8065  * is down. Can't do anything here, except put the device driver
8066  * into a holding pattern, waiting for the PCI bus to come back.
8067  */
8068 static void ipr_pci_frozen(struct pci_dev *pdev)
8069 {
8070         unsigned long flags = 0;
8071         struct ipr_ioa_cfg *ioa_cfg = pci_get_drvdata(pdev);
8072
8073         spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
8074         _ipr_initiate_ioa_reset(ioa_cfg, ipr_reset_freeze, IPR_SHUTDOWN_NONE);
8075         spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
8076 }
8077
8078 /**
8079  * ipr_pci_slot_reset - Called when PCI slot has been reset.
8080  * @pdev:       PCI device struct
8081  *
8082  * Description: This routine is called by the pci error recovery
8083  * code after the PCI slot has been reset, just before we
8084  * should resume normal operations.
8085  */
8086 static pci_ers_result_t ipr_pci_slot_reset(struct pci_dev *pdev)
8087 {
8088         unsigned long flags = 0;
8089         struct ipr_ioa_cfg *ioa_cfg = pci_get_drvdata(pdev);
8090
8091         spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
8092         if (ioa_cfg->needs_warm_reset)
8093                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
8094         else
8095                 _ipr_initiate_ioa_reset(ioa_cfg, ipr_reset_restore_cfg_space,
8096                                         IPR_SHUTDOWN_NONE);
8097         spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
8098         return PCI_ERS_RESULT_RECOVERED;
8099 }
8100
8101 /**
8102  * ipr_pci_perm_failure - Called when PCI slot is dead for good.
8103  * @pdev:       PCI device struct
8104  *
8105  * Description: This routine is called when the PCI bus has
8106  * permanently failed.
8107  */
8108 static void ipr_pci_perm_failure(struct pci_dev *pdev)
8109 {
8110         unsigned long flags = 0;
8111         struct ipr_ioa_cfg *ioa_cfg = pci_get_drvdata(pdev);
8112
8113         spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
8114         if (ioa_cfg->sdt_state == WAIT_FOR_DUMP)
8115                 ioa_cfg->sdt_state = ABORT_DUMP;
8116         ioa_cfg->reset_retries = IPR_NUM_RESET_RELOAD_RETRIES;
8117         ioa_cfg->in_ioa_bringdown = 1;
8118         ioa_cfg->allow_cmds = 0;
8119         ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
8120         spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
8121 }
8122
8123 /**
8124  * ipr_pci_error_detected - Called when a PCI error is detected.
8125  * @pdev:       PCI device struct
8126  * @state:      PCI channel state
8127  *
8128  * Description: Called when a PCI error is detected.
8129  *
8130  * Return value:
8131  *      PCI_ERS_RESULT_NEED_RESET or PCI_ERS_RESULT_DISCONNECT
8132  */
8133 static pci_ers_result_t ipr_pci_error_detected(struct pci_dev *pdev,
8134                                                pci_channel_state_t state)
8135 {
8136         switch (state) {
8137         case pci_channel_io_frozen:
8138                 ipr_pci_frozen(pdev);
8139                 return PCI_ERS_RESULT_NEED_RESET;
8140         case pci_channel_io_perm_failure:
8141                 ipr_pci_perm_failure(pdev);
8142                 return PCI_ERS_RESULT_DISCONNECT;
8143                 break;
8144         default:
8145                 break;
8146         }
8147         return PCI_ERS_RESULT_NEED_RESET;
8148 }
8149
8150 /**
8151  * ipr_probe_ioa_part2 - Initializes IOAs found in ipr_probe_ioa(..)
8152  * @ioa_cfg:    ioa cfg struct
8153  *
8154  * Description: This is the second phase of adapter intialization
8155  * This function takes care of initilizing the adapter to the point
8156  * where it can accept new commands.
8157
8158  * Return value:
8159  *      0 on success / -EIO on failure
8160  **/
8161 static int __devinit ipr_probe_ioa_part2(struct ipr_ioa_cfg *ioa_cfg)
8162 {
8163         int rc = 0;
8164         unsigned long host_lock_flags = 0;
8165
8166         ENTER;
8167         spin_lock_irqsave(ioa_cfg->host->host_lock, host_lock_flags);
8168         dev_dbg(&ioa_cfg->pdev->dev, "ioa_cfg adx: 0x%p\n", ioa_cfg);
8169         if (ioa_cfg->needs_hard_reset) {
8170                 ioa_cfg->needs_hard_reset = 0;
8171                 ipr_initiate_ioa_reset(ioa_cfg, IPR_SHUTDOWN_NONE);
8172         } else
8173                 _ipr_initiate_ioa_reset(ioa_cfg, ipr_reset_enable_ioa,
8174                                         IPR_SHUTDOWN_NONE);
8175
8176         spin_unlock_irqrestore(ioa_cfg->host->host_lock, host_lock_flags);
8177         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
8178         spin_lock_irqsave(ioa_cfg->host->host_lock, host_lock_flags);
8179
8180         if (ioa_cfg->ioa_is_dead) {
8181                 rc = -EIO;
8182         } else if (ipr_invalid_adapter(ioa_cfg)) {
8183                 if (!ipr_testmode)
8184                         rc = -EIO;
8185
8186                 dev_err(&ioa_cfg->pdev->dev,
8187                         "Adapter not supported in this hardware configuration.\n");
8188         }
8189
8190         spin_unlock_irqrestore(ioa_cfg->host->host_lock, host_lock_flags);
8191
8192         LEAVE;
8193         return rc;
8194 }
8195
8196 /**
8197  * ipr_free_cmd_blks - Frees command blocks allocated for an adapter
8198  * @ioa_cfg:    ioa config struct
8199  *
8200  * Return value:
8201  *      none
8202  **/
8203 static void ipr_free_cmd_blks(struct ipr_ioa_cfg *ioa_cfg)
8204 {
8205         int i;
8206
8207         for (i = 0; i < IPR_NUM_CMD_BLKS; i++) {
8208                 if (ioa_cfg->ipr_cmnd_list[i])
8209                         pci_pool_free(ioa_cfg->ipr_cmd_pool,
8210                                       ioa_cfg->ipr_cmnd_list[i],
8211                                       ioa_cfg->ipr_cmnd_list_dma[i]);
8212
8213                 ioa_cfg->ipr_cmnd_list[i] = NULL;
8214         }
8215
8216         if (ioa_cfg->ipr_cmd_pool)
8217                 pci_pool_destroy (ioa_cfg->ipr_cmd_pool);
8218
8219         ioa_cfg->ipr_cmd_pool = NULL;
8220 }
8221
8222 /**
8223  * ipr_free_mem - Frees memory allocated for an adapter
8224  * @ioa_cfg:    ioa cfg struct
8225  *
8226  * Return value:
8227  *      nothing
8228  **/
8229 static void ipr_free_mem(struct ipr_ioa_cfg *ioa_cfg)
8230 {
8231         int i;
8232
8233         kfree(ioa_cfg->res_entries);
8234         pci_free_consistent(ioa_cfg->pdev, sizeof(struct ipr_misc_cbs),
8235                             ioa_cfg->vpd_cbs, ioa_cfg->vpd_cbs_dma);
8236         ipr_free_cmd_blks(ioa_cfg);
8237         pci_free_consistent(ioa_cfg->pdev, sizeof(u32) * IPR_NUM_CMD_BLKS,
8238                             ioa_cfg->host_rrq, ioa_cfg->host_rrq_dma);
8239         pci_free_consistent(ioa_cfg->pdev, ioa_cfg->cfg_table_size,
8240                             ioa_cfg->u.cfg_table,
8241                             ioa_cfg->cfg_table_dma);
8242
8243         for (i = 0; i < IPR_NUM_HCAMS; i++) {
8244                 pci_free_consistent(ioa_cfg->pdev,
8245                                     sizeof(struct ipr_hostrcb),
8246                                     ioa_cfg->hostrcb[i],
8247                                     ioa_cfg->hostrcb_dma[i]);
8248         }
8249
8250         ipr_free_dump(ioa_cfg);
8251         kfree(ioa_cfg->trace);
8252 }
8253
8254 /**
8255  * ipr_free_all_resources - Free all allocated resources for an adapter.
8256  * @ipr_cmd:    ipr command struct
8257  *
8258  * This function frees all allocated resources for the
8259  * specified adapter.
8260  *
8261  * Return value:
8262  *      none
8263  **/
8264 static void ipr_free_all_resources(struct ipr_ioa_cfg *ioa_cfg)
8265 {
8266         struct pci_dev *pdev = ioa_cfg->pdev;
8267
8268         ENTER;
8269         free_irq(pdev->irq, ioa_cfg);
8270         pci_disable_msi(pdev);
8271         iounmap(ioa_cfg->hdw_dma_regs);
8272         pci_release_regions(pdev);
8273         ipr_free_mem(ioa_cfg);
8274         scsi_host_put(ioa_cfg->host);
8275         pci_disable_device(pdev);
8276         LEAVE;
8277 }
8278
8279 /**
8280  * ipr_alloc_cmd_blks - Allocate command blocks for an adapter
8281  * @ioa_cfg:    ioa config struct
8282  *
8283  * Return value:
8284  *      0 on success / -ENOMEM on allocation failure
8285  **/
8286 static int __devinit ipr_alloc_cmd_blks(struct ipr_ioa_cfg *ioa_cfg)
8287 {
8288         struct ipr_cmnd *ipr_cmd;
8289         struct ipr_ioarcb *ioarcb;
8290         dma_addr_t dma_addr;
8291         int i;
8292
8293         ioa_cfg->ipr_cmd_pool = pci_pool_create (IPR_NAME, ioa_cfg->pdev,
8294                                                  sizeof(struct ipr_cmnd), 16, 0);
8295
8296         if (!ioa_cfg->ipr_cmd_pool)
8297                 return -ENOMEM;
8298
8299         for (i = 0; i < IPR_NUM_CMD_BLKS; i++) {
8300                 ipr_cmd = pci_pool_alloc (ioa_cfg->ipr_cmd_pool, GFP_KERNEL, &dma_addr);
8301
8302                 if (!ipr_cmd) {
8303                         ipr_free_cmd_blks(ioa_cfg);
8304                         return -ENOMEM;
8305                 }
8306
8307                 memset(ipr_cmd, 0, sizeof(*ipr_cmd));
8308                 ioa_cfg->ipr_cmnd_list[i] = ipr_cmd;
8309                 ioa_cfg->ipr_cmnd_list_dma[i] = dma_addr;
8310
8311                 ioarcb = &ipr_cmd->ioarcb;
8312                 ipr_cmd->dma_addr = dma_addr;
8313                 if (ioa_cfg->sis64)
8314                         ioarcb->a.ioarcb_host_pci_addr64 = cpu_to_be64(dma_addr);
8315                 else
8316                         ioarcb->a.ioarcb_host_pci_addr = cpu_to_be32(dma_addr);
8317
8318                 ioarcb->host_response_handle = cpu_to_be32(i << 2);
8319                 if (ioa_cfg->sis64) {
8320                         ioarcb->u.sis64_addr_data.data_ioadl_addr =
8321                                 cpu_to_be64(dma_addr + offsetof(struct ipr_cmnd, i.ioadl64));
8322                         ioarcb->u.sis64_addr_data.ioasa_host_pci_addr =
8323                                 cpu_to_be64(dma_addr + offsetof(struct ipr_cmnd, s.ioasa64));
8324                 } else {
8325                         ioarcb->write_ioadl_addr =
8326                                 cpu_to_be32(dma_addr + offsetof(struct ipr_cmnd, i.ioadl));
8327                         ioarcb->read_ioadl_addr = ioarcb->write_ioadl_addr;
8328                         ioarcb->ioasa_host_pci_addr =
8329                                 cpu_to_be32(dma_addr + offsetof(struct ipr_cmnd, s.ioasa));
8330                 }
8331                 ioarcb->ioasa_len = cpu_to_be16(sizeof(struct ipr_ioasa));
8332                 ipr_cmd->cmd_index = i;
8333                 ipr_cmd->ioa_cfg = ioa_cfg;
8334                 ipr_cmd->sense_buffer_dma = dma_addr +
8335                         offsetof(struct ipr_cmnd, sense_buffer);
8336
8337                 list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
8338         }
8339
8340         return 0;
8341 }
8342
8343 /**
8344  * ipr_alloc_mem - Allocate memory for an adapter
8345  * @ioa_cfg:    ioa config struct
8346  *
8347  * Return value:
8348  *      0 on success / non-zero for error
8349  **/
8350 static int __devinit ipr_alloc_mem(struct ipr_ioa_cfg *ioa_cfg)
8351 {
8352         struct pci_dev *pdev = ioa_cfg->pdev;
8353         int i, rc = -ENOMEM;
8354
8355         ENTER;
8356         ioa_cfg->res_entries = kzalloc(sizeof(struct ipr_resource_entry) *
8357                                        ioa_cfg->max_devs_supported, GFP_KERNEL);
8358
8359         if (!ioa_cfg->res_entries)
8360                 goto out;
8361
8362         if (ioa_cfg->sis64) {
8363                 ioa_cfg->target_ids = kzalloc(sizeof(unsigned long) *
8364                                               BITS_TO_LONGS(ioa_cfg->max_devs_supported), GFP_KERNEL);
8365                 ioa_cfg->array_ids = kzalloc(sizeof(unsigned long) *
8366                                              BITS_TO_LONGS(ioa_cfg->max_devs_supported), GFP_KERNEL);
8367                 ioa_cfg->vset_ids = kzalloc(sizeof(unsigned long) *
8368                                             BITS_TO_LONGS(ioa_cfg->max_devs_supported), GFP_KERNEL);
8369         }
8370
8371         for (i = 0; i < ioa_cfg->max_devs_supported; i++) {
8372                 list_add_tail(&ioa_cfg->res_entries[i].queue, &ioa_cfg->free_res_q);
8373                 ioa_cfg->res_entries[i].ioa_cfg = ioa_cfg;
8374         }
8375
8376         ioa_cfg->vpd_cbs = pci_alloc_consistent(ioa_cfg->pdev,
8377                                                 sizeof(struct ipr_misc_cbs),
8378                                                 &ioa_cfg->vpd_cbs_dma);
8379
8380         if (!ioa_cfg->vpd_cbs)
8381                 goto out_free_res_entries;
8382
8383         if (ipr_alloc_cmd_blks(ioa_cfg))
8384                 goto out_free_vpd_cbs;
8385
8386         ioa_cfg->host_rrq = pci_alloc_consistent(ioa_cfg->pdev,
8387                                                  sizeof(u32) * IPR_NUM_CMD_BLKS,
8388                                                  &ioa_cfg->host_rrq_dma);
8389
8390         if (!ioa_cfg->host_rrq)
8391                 goto out_ipr_free_cmd_blocks;
8392
8393         ioa_cfg->u.cfg_table = pci_alloc_consistent(ioa_cfg->pdev,
8394                                                     ioa_cfg->cfg_table_size,
8395                                                     &ioa_cfg->cfg_table_dma);
8396
8397         if (!ioa_cfg->u.cfg_table)
8398                 goto out_free_host_rrq;
8399
8400         for (i = 0; i < IPR_NUM_HCAMS; i++) {
8401                 ioa_cfg->hostrcb[i] = pci_alloc_consistent(ioa_cfg->pdev,
8402                                                            sizeof(struct ipr_hostrcb),
8403                                                            &ioa_cfg->hostrcb_dma[i]);
8404
8405                 if (!ioa_cfg->hostrcb[i])
8406                         goto out_free_hostrcb_dma;
8407
8408                 ioa_cfg->hostrcb[i]->hostrcb_dma =
8409                         ioa_cfg->hostrcb_dma[i] + offsetof(struct ipr_hostrcb, hcam);
8410                 ioa_cfg->hostrcb[i]->ioa_cfg = ioa_cfg;
8411                 list_add_tail(&ioa_cfg->hostrcb[i]->queue, &ioa_cfg->hostrcb_free_q);
8412         }
8413
8414         ioa_cfg->trace = kzalloc(sizeof(struct ipr_trace_entry) *
8415                                  IPR_NUM_TRACE_ENTRIES, GFP_KERNEL);
8416
8417         if (!ioa_cfg->trace)
8418                 goto out_free_hostrcb_dma;
8419
8420         rc = 0;
8421 out:
8422         LEAVE;
8423         return rc;
8424
8425 out_free_hostrcb_dma:
8426         while (i-- > 0) {
8427                 pci_free_consistent(pdev, sizeof(struct ipr_hostrcb),
8428                                     ioa_cfg->hostrcb[i],
8429                                     ioa_cfg->hostrcb_dma[i]);
8430         }
8431         pci_free_consistent(pdev, ioa_cfg->cfg_table_size,
8432                             ioa_cfg->u.cfg_table,
8433                             ioa_cfg->cfg_table_dma);
8434 out_free_host_rrq:
8435         pci_free_consistent(pdev, sizeof(u32) * IPR_NUM_CMD_BLKS,
8436                             ioa_cfg->host_rrq, ioa_cfg->host_rrq_dma);
8437 out_ipr_free_cmd_blocks:
8438         ipr_free_cmd_blks(ioa_cfg);
8439 out_free_vpd_cbs:
8440         pci_free_consistent(pdev, sizeof(struct ipr_misc_cbs),
8441                             ioa_cfg->vpd_cbs, ioa_cfg->vpd_cbs_dma);
8442 out_free_res_entries:
8443         kfree(ioa_cfg->res_entries);
8444         goto out;
8445 }
8446
8447 /**
8448  * ipr_initialize_bus_attr - Initialize SCSI bus attributes to default values
8449  * @ioa_cfg:    ioa config struct
8450  *
8451  * Return value:
8452  *      none
8453  **/
8454 static void __devinit ipr_initialize_bus_attr(struct ipr_ioa_cfg *ioa_cfg)
8455 {
8456         int i;
8457
8458         for (i = 0; i < IPR_MAX_NUM_BUSES; i++) {
8459                 ioa_cfg->bus_attr[i].bus = i;
8460                 ioa_cfg->bus_attr[i].qas_enabled = 0;
8461                 ioa_cfg->bus_attr[i].bus_width = IPR_DEFAULT_BUS_WIDTH;
8462                 if (ipr_max_speed < ARRAY_SIZE(ipr_max_bus_speeds))
8463                         ioa_cfg->bus_attr[i].max_xfer_rate = ipr_max_bus_speeds[ipr_max_speed];
8464                 else
8465                         ioa_cfg->bus_attr[i].max_xfer_rate = IPR_U160_SCSI_RATE;
8466         }
8467 }
8468
8469 /**
8470  * ipr_init_ioa_cfg - Initialize IOA config struct
8471  * @ioa_cfg:    ioa config struct
8472  * @host:               scsi host struct
8473  * @pdev:               PCI dev struct
8474  *
8475  * Return value:
8476  *      none
8477  **/
8478 static void __devinit ipr_init_ioa_cfg(struct ipr_ioa_cfg *ioa_cfg,
8479                                        struct Scsi_Host *host, struct pci_dev *pdev)
8480 {
8481         const struct ipr_interrupt_offsets *p;
8482         struct ipr_interrupts *t;
8483         void __iomem *base;
8484
8485         ioa_cfg->host = host;
8486         ioa_cfg->pdev = pdev;
8487         ioa_cfg->log_level = ipr_log_level;
8488         ioa_cfg->doorbell = IPR_DOORBELL;
8489         sprintf(ioa_cfg->eye_catcher, IPR_EYECATCHER);
8490         sprintf(ioa_cfg->trace_start, IPR_TRACE_START_LABEL);
8491         sprintf(ioa_cfg->ipr_free_label, IPR_FREEQ_LABEL);
8492         sprintf(ioa_cfg->ipr_pending_label, IPR_PENDQ_LABEL);
8493         sprintf(ioa_cfg->cfg_table_start, IPR_CFG_TBL_START);
8494         sprintf(ioa_cfg->resource_table_label, IPR_RES_TABLE_LABEL);
8495         sprintf(ioa_cfg->ipr_hcam_label, IPR_HCAM_LABEL);
8496         sprintf(ioa_cfg->ipr_cmd_label, IPR_CMD_LABEL);
8497
8498         INIT_LIST_HEAD(&ioa_cfg->free_q);
8499         INIT_LIST_HEAD(&ioa_cfg->pending_q);
8500         INIT_LIST_HEAD(&ioa_cfg->hostrcb_free_q);
8501         INIT_LIST_HEAD(&ioa_cfg->hostrcb_pending_q);
8502         INIT_LIST_HEAD(&ioa_cfg->free_res_q);
8503         INIT_LIST_HEAD(&ioa_cfg->used_res_q);
8504         INIT_WORK(&ioa_cfg->work_q, ipr_worker_thread);
8505         init_waitqueue_head(&ioa_cfg->reset_wait_q);
8506         init_waitqueue_head(&ioa_cfg->msi_wait_q);
8507         ioa_cfg->sdt_state = INACTIVE;
8508
8509         ipr_initialize_bus_attr(ioa_cfg);
8510         ioa_cfg->max_devs_supported = ipr_max_devs;
8511
8512         if (ioa_cfg->sis64) {
8513                 host->max_id = IPR_MAX_SIS64_TARGETS_PER_BUS;
8514                 host->max_lun = IPR_MAX_SIS64_LUNS_PER_TARGET;
8515                 if (ipr_max_devs > IPR_MAX_SIS64_DEVS)
8516                         ioa_cfg->max_devs_supported = IPR_MAX_SIS64_DEVS;
8517         } else {
8518                 host->max_id = IPR_MAX_NUM_TARGETS_PER_BUS;
8519                 host->max_lun = IPR_MAX_NUM_LUNS_PER_TARGET;
8520                 if (ipr_max_devs > IPR_MAX_PHYSICAL_DEVS)
8521                         ioa_cfg->max_devs_supported = IPR_MAX_PHYSICAL_DEVS;
8522         }
8523         host->max_channel = IPR_MAX_BUS_TO_SCAN;
8524         host->unique_id = host->host_no;
8525         host->max_cmd_len = IPR_MAX_CDB_LEN;
8526         pci_set_drvdata(pdev, ioa_cfg);
8527
8528         p = &ioa_cfg->chip_cfg->regs;
8529         t = &ioa_cfg->regs;
8530         base = ioa_cfg->hdw_dma_regs;
8531
8532         t->set_interrupt_mask_reg = base + p->set_interrupt_mask_reg;
8533         t->clr_interrupt_mask_reg = base + p->clr_interrupt_mask_reg;
8534         t->clr_interrupt_mask_reg32 = base + p->clr_interrupt_mask_reg32;
8535         t->sense_interrupt_mask_reg = base + p->sense_interrupt_mask_reg;
8536         t->sense_interrupt_mask_reg32 = base + p->sense_interrupt_mask_reg32;
8537         t->clr_interrupt_reg = base + p->clr_interrupt_reg;
8538         t->clr_interrupt_reg32 = base + p->clr_interrupt_reg32;
8539         t->sense_interrupt_reg = base + p->sense_interrupt_reg;
8540         t->sense_interrupt_reg32 = base + p->sense_interrupt_reg32;
8541         t->ioarrin_reg = base + p->ioarrin_reg;
8542         t->sense_uproc_interrupt_reg = base + p->sense_uproc_interrupt_reg;
8543         t->sense_uproc_interrupt_reg32 = base + p->sense_uproc_interrupt_reg32;
8544         t->set_uproc_interrupt_reg = base + p->set_uproc_interrupt_reg;
8545         t->set_uproc_interrupt_reg32 = base + p->set_uproc_interrupt_reg32;
8546         t->clr_uproc_interrupt_reg = base + p->clr_uproc_interrupt_reg;
8547         t->clr_uproc_interrupt_reg32 = base + p->clr_uproc_interrupt_reg32;
8548
8549         if (ioa_cfg->sis64) {
8550                 t->init_feedback_reg = base + p->init_feedback_reg;
8551                 t->dump_addr_reg = base + p->dump_addr_reg;
8552                 t->dump_data_reg = base + p->dump_data_reg;
8553                 t->endian_swap_reg = base + p->endian_swap_reg;
8554         }
8555 }
8556
8557 /**
8558  * ipr_get_chip_info - Find adapter chip information
8559  * @dev_id:             PCI device id struct
8560  *
8561  * Return value:
8562  *      ptr to chip information on success / NULL on failure
8563  **/
8564 static const struct ipr_chip_t * __devinit
8565 ipr_get_chip_info(const struct pci_device_id *dev_id)
8566 {
8567         int i;
8568
8569         for (i = 0; i < ARRAY_SIZE(ipr_chip); i++)
8570                 if (ipr_chip[i].vendor == dev_id->vendor &&
8571                     ipr_chip[i].device == dev_id->device)
8572                         return &ipr_chip[i];
8573         return NULL;
8574 }
8575
8576 /**
8577  * ipr_test_intr - Handle the interrupt generated in ipr_test_msi().
8578  * @pdev:               PCI device struct
8579  *
8580  * Description: Simply set the msi_received flag to 1 indicating that
8581  * Message Signaled Interrupts are supported.
8582  *
8583  * Return value:
8584  *      0 on success / non-zero on failure
8585  **/
8586 static irqreturn_t __devinit ipr_test_intr(int irq, void *devp)
8587 {
8588         struct ipr_ioa_cfg *ioa_cfg = (struct ipr_ioa_cfg *)devp;
8589         unsigned long lock_flags = 0;
8590         irqreturn_t rc = IRQ_HANDLED;
8591
8592         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
8593
8594         ioa_cfg->msi_received = 1;
8595         wake_up(&ioa_cfg->msi_wait_q);
8596
8597         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
8598         return rc;
8599 }
8600
8601 /**
8602  * ipr_test_msi - Test for Message Signaled Interrupt (MSI) support.
8603  * @pdev:               PCI device struct
8604  *
8605  * Description: The return value from pci_enable_msi() can not always be
8606  * trusted.  This routine sets up and initiates a test interrupt to determine
8607  * if the interrupt is received via the ipr_test_intr() service routine.
8608  * If the tests fails, the driver will fall back to LSI.
8609  *
8610  * Return value:
8611  *      0 on success / non-zero on failure
8612  **/
8613 static int __devinit ipr_test_msi(struct ipr_ioa_cfg *ioa_cfg,
8614                                   struct pci_dev *pdev)
8615 {
8616         int rc;
8617         volatile u32 int_reg;
8618         unsigned long lock_flags = 0;
8619
8620         ENTER;
8621
8622         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
8623         init_waitqueue_head(&ioa_cfg->msi_wait_q);
8624         ioa_cfg->msi_received = 0;
8625         ipr_mask_and_clear_interrupts(ioa_cfg, ~IPR_PCII_IOA_TRANS_TO_OPER);
8626         writel(IPR_PCII_IO_DEBUG_ACKNOWLEDGE, ioa_cfg->regs.clr_interrupt_mask_reg32);
8627         int_reg = readl(ioa_cfg->regs.sense_interrupt_mask_reg);
8628         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
8629
8630         rc = request_irq(pdev->irq, ipr_test_intr, 0, IPR_NAME, ioa_cfg);
8631         if (rc) {
8632                 dev_err(&pdev->dev, "Can not assign irq %d\n", pdev->irq);
8633                 return rc;
8634         } else if (ipr_debug)
8635                 dev_info(&pdev->dev, "IRQ assigned: %d\n", pdev->irq);
8636
8637         writel(IPR_PCII_IO_DEBUG_ACKNOWLEDGE, ioa_cfg->regs.sense_interrupt_reg32);
8638         int_reg = readl(ioa_cfg->regs.sense_interrupt_reg);
8639         wait_event_timeout(ioa_cfg->msi_wait_q, ioa_cfg->msi_received, HZ);
8640         ipr_mask_and_clear_interrupts(ioa_cfg, ~IPR_PCII_IOA_TRANS_TO_OPER);
8641
8642         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
8643         if (!ioa_cfg->msi_received) {
8644                 /* MSI test failed */
8645                 dev_info(&pdev->dev, "MSI test failed.  Falling back to LSI.\n");
8646                 rc = -EOPNOTSUPP;
8647         } else if (ipr_debug)
8648                 dev_info(&pdev->dev, "MSI test succeeded.\n");
8649
8650         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
8651
8652         free_irq(pdev->irq, ioa_cfg);
8653
8654         LEAVE;
8655
8656         return rc;
8657 }
8658
8659 /**
8660  * ipr_probe_ioa - Allocates memory and does first stage of initialization
8661  * @pdev:               PCI device struct
8662  * @dev_id:             PCI device id struct
8663  *
8664  * Return value:
8665  *      0 on success / non-zero on failure
8666  **/
8667 static int __devinit ipr_probe_ioa(struct pci_dev *pdev,
8668                                    const struct pci_device_id *dev_id)
8669 {
8670         struct ipr_ioa_cfg *ioa_cfg;
8671         struct Scsi_Host *host;
8672         unsigned long ipr_regs_pci;
8673         void __iomem *ipr_regs;
8674         int rc = PCIBIOS_SUCCESSFUL;
8675         volatile u32 mask, uproc, interrupts;
8676
8677         ENTER;
8678
8679         if ((rc = pci_enable_device(pdev))) {
8680                 dev_err(&pdev->dev, "Cannot enable adapter\n");
8681                 goto out;
8682         }
8683
8684         dev_info(&pdev->dev, "Found IOA with IRQ: %d\n", pdev->irq);
8685
8686         host = scsi_host_alloc(&driver_template, sizeof(*ioa_cfg));
8687
8688         if (!host) {
8689                 dev_err(&pdev->dev, "call to scsi_host_alloc failed!\n");
8690                 rc = -ENOMEM;
8691                 goto out_disable;
8692         }
8693
8694         ioa_cfg = (struct ipr_ioa_cfg *)host->hostdata;
8695         memset(ioa_cfg, 0, sizeof(struct ipr_ioa_cfg));
8696         ata_host_init(&ioa_cfg->ata_host, &pdev->dev,
8697                       sata_port_info.flags, &ipr_sata_ops);
8698
8699         ioa_cfg->ipr_chip = ipr_get_chip_info(dev_id);
8700
8701         if (!ioa_cfg->ipr_chip) {
8702                 dev_err(&pdev->dev, "Unknown adapter chipset 0x%04X 0x%04X\n",
8703                         dev_id->vendor, dev_id->device);
8704                 goto out_scsi_host_put;
8705         }
8706
8707         /* set SIS 32 or SIS 64 */
8708         ioa_cfg->sis64 = ioa_cfg->ipr_chip->sis_type == IPR_SIS64 ? 1 : 0;
8709         ioa_cfg->chip_cfg = ioa_cfg->ipr_chip->cfg;
8710
8711         if (ipr_transop_timeout)
8712                 ioa_cfg->transop_timeout = ipr_transop_timeout;
8713         else if (dev_id->driver_data & IPR_USE_LONG_TRANSOP_TIMEOUT)
8714                 ioa_cfg->transop_timeout = IPR_LONG_OPERATIONAL_TIMEOUT;
8715         else
8716                 ioa_cfg->transop_timeout = IPR_OPERATIONAL_TIMEOUT;
8717
8718         ioa_cfg->revid = pdev->revision;
8719
8720         ipr_regs_pci = pci_resource_start(pdev, 0);
8721
8722         rc = pci_request_regions(pdev, IPR_NAME);
8723         if (rc < 0) {
8724                 dev_err(&pdev->dev,
8725                         "Couldn't register memory range of registers\n");
8726                 goto out_scsi_host_put;
8727         }
8728
8729         ipr_regs = pci_ioremap_bar(pdev, 0);
8730
8731         if (!ipr_regs) {
8732                 dev_err(&pdev->dev,
8733                         "Couldn't map memory range of registers\n");
8734                 rc = -ENOMEM;
8735                 goto out_release_regions;
8736         }
8737
8738         ioa_cfg->hdw_dma_regs = ipr_regs;
8739         ioa_cfg->hdw_dma_regs_pci = ipr_regs_pci;
8740         ioa_cfg->ioa_mailbox = ioa_cfg->chip_cfg->mailbox + ipr_regs;
8741
8742         ipr_init_ioa_cfg(ioa_cfg, host, pdev);
8743
8744         pci_set_master(pdev);
8745
8746         if (ioa_cfg->sis64) {
8747                 rc = pci_set_dma_mask(pdev, DMA_BIT_MASK(64));
8748                 if (rc < 0) {
8749                         dev_dbg(&pdev->dev, "Failed to set 64 bit PCI DMA mask\n");
8750                         rc = pci_set_dma_mask(pdev, DMA_BIT_MASK(32));
8751                 }
8752
8753         } else
8754                 rc = pci_set_dma_mask(pdev, DMA_BIT_MASK(32));
8755
8756         if (rc < 0) {
8757                 dev_err(&pdev->dev, "Failed to set PCI DMA mask\n");
8758                 goto cleanup_nomem;
8759         }
8760
8761         rc = pci_write_config_byte(pdev, PCI_CACHE_LINE_SIZE,
8762                                    ioa_cfg->chip_cfg->cache_line_size);
8763
8764         if (rc != PCIBIOS_SUCCESSFUL) {
8765                 dev_err(&pdev->dev, "Write of cache line size failed\n");
8766                 rc = -EIO;
8767                 goto cleanup_nomem;
8768         }
8769
8770         /* Enable MSI style interrupts if they are supported. */
8771         if (ioa_cfg->ipr_chip->intr_type == IPR_USE_MSI && !pci_enable_msi(pdev)) {
8772                 rc = ipr_test_msi(ioa_cfg, pdev);
8773                 if (rc == -EOPNOTSUPP)
8774                         pci_disable_msi(pdev);
8775                 else if (rc)
8776                         goto out_msi_disable;
8777                 else
8778                         dev_info(&pdev->dev, "MSI enabled with IRQ: %d\n", pdev->irq);
8779         } else if (ipr_debug)
8780                 dev_info(&pdev->dev, "Cannot enable MSI.\n");
8781
8782         /* Save away PCI config space for use following IOA reset */
8783         rc = pci_save_state(pdev);
8784
8785         if (rc != PCIBIOS_SUCCESSFUL) {
8786                 dev_err(&pdev->dev, "Failed to save PCI config space\n");
8787                 rc = -EIO;
8788                 goto out_msi_disable;
8789         }
8790
8791         if ((rc = ipr_save_pcix_cmd_reg(ioa_cfg)))
8792                 goto out_msi_disable;
8793
8794         if ((rc = ipr_set_pcix_cmd_reg(ioa_cfg)))
8795                 goto out_msi_disable;
8796
8797         if (ioa_cfg->sis64)
8798                 ioa_cfg->cfg_table_size = (sizeof(struct ipr_config_table_hdr64)
8799                                 + ((sizeof(struct ipr_config_table_entry64)
8800                                 * ioa_cfg->max_devs_supported)));
8801         else
8802                 ioa_cfg->cfg_table_size = (sizeof(struct ipr_config_table_hdr)
8803                                 + ((sizeof(struct ipr_config_table_entry)
8804                                 * ioa_cfg->max_devs_supported)));
8805
8806         rc = ipr_alloc_mem(ioa_cfg);
8807         if (rc < 0) {
8808                 dev_err(&pdev->dev,
8809                         "Couldn't allocate enough memory for device driver!\n");
8810                 goto out_msi_disable;
8811         }
8812
8813         /*
8814          * If HRRQ updated interrupt is not masked, or reset alert is set,
8815          * the card is in an unknown state and needs a hard reset
8816          */
8817         mask = readl(ioa_cfg->regs.sense_interrupt_mask_reg32);
8818         interrupts = readl(ioa_cfg->regs.sense_interrupt_reg32);
8819         uproc = readl(ioa_cfg->regs.sense_uproc_interrupt_reg32);
8820         if ((mask & IPR_PCII_HRRQ_UPDATED) == 0 || (uproc & IPR_UPROCI_RESET_ALERT))
8821                 ioa_cfg->needs_hard_reset = 1;
8822         if ((interrupts & IPR_PCII_ERROR_INTERRUPTS) || reset_devices)
8823                 ioa_cfg->needs_hard_reset = 1;
8824         if (interrupts & IPR_PCII_IOA_UNIT_CHECKED)
8825                 ioa_cfg->ioa_unit_checked = 1;
8826
8827         ipr_mask_and_clear_interrupts(ioa_cfg, ~IPR_PCII_IOA_TRANS_TO_OPER);
8828         rc = request_irq(pdev->irq, ipr_isr,
8829                          ioa_cfg->msi_received ? 0 : IRQF_SHARED,
8830                          IPR_NAME, ioa_cfg);
8831
8832         if (rc) {
8833                 dev_err(&pdev->dev, "Couldn't register IRQ %d! rc=%d\n",
8834                         pdev->irq, rc);
8835                 goto cleanup_nolog;
8836         }
8837
8838         if ((dev_id->driver_data & IPR_USE_PCI_WARM_RESET) ||
8839             (dev_id->device == PCI_DEVICE_ID_IBM_OBSIDIAN_E && !ioa_cfg->revid)) {
8840                 ioa_cfg->needs_warm_reset = 1;
8841                 ioa_cfg->reset = ipr_reset_slot_reset;
8842         } else
8843                 ioa_cfg->reset = ipr_reset_start_bist;
8844
8845         spin_lock(&ipr_driver_lock);
8846         list_add_tail(&ioa_cfg->queue, &ipr_ioa_head);
8847         spin_unlock(&ipr_driver_lock);
8848
8849         LEAVE;
8850 out:
8851         return rc;
8852
8853 cleanup_nolog:
8854         ipr_free_mem(ioa_cfg);
8855 out_msi_disable:
8856         pci_disable_msi(pdev);
8857 cleanup_nomem:
8858         iounmap(ipr_regs);
8859 out_release_regions:
8860         pci_release_regions(pdev);
8861 out_scsi_host_put:
8862         scsi_host_put(host);
8863 out_disable:
8864         pci_disable_device(pdev);
8865         goto out;
8866 }
8867
8868 /**
8869  * ipr_scan_vsets - Scans for VSET devices
8870  * @ioa_cfg:    ioa config struct
8871  *
8872  * Description: Since the VSET resources do not follow SAM in that we can have
8873  * sparse LUNs with no LUN 0, we have to scan for these ourselves.
8874  *
8875  * Return value:
8876  *      none
8877  **/
8878 static void ipr_scan_vsets(struct ipr_ioa_cfg *ioa_cfg)
8879 {
8880         int target, lun;
8881
8882         for (target = 0; target < IPR_MAX_NUM_TARGETS_PER_BUS; target++)
8883                 for (lun = 0; lun < IPR_MAX_NUM_VSET_LUNS_PER_TARGET; lun++ )
8884                         scsi_add_device(ioa_cfg->host, IPR_VSET_BUS, target, lun);
8885 }
8886
8887 /**
8888  * ipr_initiate_ioa_bringdown - Bring down an adapter
8889  * @ioa_cfg:            ioa config struct
8890  * @shutdown_type:      shutdown type
8891  *
8892  * Description: This function will initiate bringing down the adapter.
8893  * This consists of issuing an IOA shutdown to the adapter
8894  * to flush the cache, and running BIST.
8895  * If the caller needs to wait on the completion of the reset,
8896  * the caller must sleep on the reset_wait_q.
8897  *
8898  * Return value:
8899  *      none
8900  **/
8901 static void ipr_initiate_ioa_bringdown(struct ipr_ioa_cfg *ioa_cfg,
8902                                        enum ipr_shutdown_type shutdown_type)
8903 {
8904         ENTER;
8905         if (ioa_cfg->sdt_state == WAIT_FOR_DUMP)
8906                 ioa_cfg->sdt_state = ABORT_DUMP;
8907         ioa_cfg->reset_retries = 0;
8908         ioa_cfg->in_ioa_bringdown = 1;
8909         ipr_initiate_ioa_reset(ioa_cfg, shutdown_type);
8910         LEAVE;
8911 }
8912
8913 /**
8914  * __ipr_remove - Remove a single adapter
8915  * @pdev:       pci device struct
8916  *
8917  * Adapter hot plug remove entry point.
8918  *
8919  * Return value:
8920  *      none
8921  **/
8922 static void __ipr_remove(struct pci_dev *pdev)
8923 {
8924         unsigned long host_lock_flags = 0;
8925         struct ipr_ioa_cfg *ioa_cfg = pci_get_drvdata(pdev);
8926         ENTER;
8927
8928         spin_lock_irqsave(ioa_cfg->host->host_lock, host_lock_flags);
8929         while(ioa_cfg->in_reset_reload) {
8930                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, host_lock_flags);
8931                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
8932                 spin_lock_irqsave(ioa_cfg->host->host_lock, host_lock_flags);
8933         }
8934
8935         ipr_initiate_ioa_bringdown(ioa_cfg, IPR_SHUTDOWN_NORMAL);
8936
8937         spin_unlock_irqrestore(ioa_cfg->host->host_lock, host_lock_flags);
8938         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
8939         flush_work_sync(&ioa_cfg->work_q);
8940         spin_lock_irqsave(ioa_cfg->host->host_lock, host_lock_flags);
8941
8942         spin_lock(&ipr_driver_lock);
8943         list_del(&ioa_cfg->queue);
8944         spin_unlock(&ipr_driver_lock);
8945
8946         if (ioa_cfg->sdt_state == ABORT_DUMP)
8947                 ioa_cfg->sdt_state = WAIT_FOR_DUMP;
8948         spin_unlock_irqrestore(ioa_cfg->host->host_lock, host_lock_flags);
8949
8950         ipr_free_all_resources(ioa_cfg);
8951
8952         LEAVE;
8953 }
8954
8955 /**
8956  * ipr_remove - IOA hot plug remove entry point
8957  * @pdev:       pci device struct
8958  *
8959  * Adapter hot plug remove entry point.
8960  *
8961  * Return value:
8962  *      none
8963  **/
8964 static void __devexit ipr_remove(struct pci_dev *pdev)
8965 {
8966         struct ipr_ioa_cfg *ioa_cfg = pci_get_drvdata(pdev);
8967
8968         ENTER;
8969
8970         ipr_remove_trace_file(&ioa_cfg->host->shost_dev.kobj,
8971                               &ipr_trace_attr);
8972         ipr_remove_dump_file(&ioa_cfg->host->shost_dev.kobj,
8973                              &ipr_dump_attr);
8974         scsi_remove_host(ioa_cfg->host);
8975
8976         __ipr_remove(pdev);
8977
8978         LEAVE;
8979 }
8980
8981 /**
8982  * ipr_probe - Adapter hot plug add entry point
8983  *
8984  * Return value:
8985  *      0 on success / non-zero on failure
8986  **/
8987 static int __devinit ipr_probe(struct pci_dev *pdev,
8988                                const struct pci_device_id *dev_id)
8989 {
8990         struct ipr_ioa_cfg *ioa_cfg;
8991         int rc;
8992
8993         rc = ipr_probe_ioa(pdev, dev_id);
8994
8995         if (rc)
8996                 return rc;
8997
8998         ioa_cfg = pci_get_drvdata(pdev);
8999         rc = ipr_probe_ioa_part2(ioa_cfg);
9000
9001         if (rc) {
9002                 __ipr_remove(pdev);
9003                 return rc;
9004         }
9005
9006         rc = scsi_add_host(ioa_cfg->host, &pdev->dev);
9007
9008         if (rc) {
9009                 __ipr_remove(pdev);
9010                 return rc;
9011         }
9012
9013         rc = ipr_create_trace_file(&ioa_cfg->host->shost_dev.kobj,
9014                                    &ipr_trace_attr);
9015
9016         if (rc) {
9017                 scsi_remove_host(ioa_cfg->host);
9018                 __ipr_remove(pdev);
9019                 return rc;
9020         }
9021
9022         rc = ipr_create_dump_file(&ioa_cfg->host->shost_dev.kobj,
9023                                    &ipr_dump_attr);
9024
9025         if (rc) {
9026                 ipr_remove_trace_file(&ioa_cfg->host->shost_dev.kobj,
9027                                       &ipr_trace_attr);
9028                 scsi_remove_host(ioa_cfg->host);
9029                 __ipr_remove(pdev);
9030                 return rc;
9031         }
9032
9033         scsi_scan_host(ioa_cfg->host);
9034         ipr_scan_vsets(ioa_cfg);
9035         scsi_add_device(ioa_cfg->host, IPR_IOA_BUS, IPR_IOA_TARGET, IPR_IOA_LUN);
9036         ioa_cfg->allow_ml_add_del = 1;
9037         ioa_cfg->host->max_channel = IPR_VSET_BUS;
9038         schedule_work(&ioa_cfg->work_q);
9039         return 0;
9040 }
9041
9042 /**
9043  * ipr_shutdown - Shutdown handler.
9044  * @pdev:       pci device struct
9045  *
9046  * This function is invoked upon system shutdown/reboot. It will issue
9047  * an adapter shutdown to the adapter to flush the write cache.
9048  *
9049  * Return value:
9050  *      none
9051  **/
9052 static void ipr_shutdown(struct pci_dev *pdev)
9053 {
9054         struct ipr_ioa_cfg *ioa_cfg = pci_get_drvdata(pdev);
9055         unsigned long lock_flags = 0;
9056
9057         spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
9058         while(ioa_cfg->in_reset_reload) {
9059                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
9060                 wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
9061                 spin_lock_irqsave(ioa_cfg->host->host_lock, lock_flags);
9062         }
9063
9064         ipr_initiate_ioa_bringdown(ioa_cfg, IPR_SHUTDOWN_NORMAL);
9065         spin_unlock_irqrestore(ioa_cfg->host->host_lock, lock_flags);
9066         wait_event(ioa_cfg->reset_wait_q, !ioa_cfg->in_reset_reload);
9067 }
9068
9069 static struct pci_device_id ipr_pci_table[] __devinitdata = {
9070         { PCI_VENDOR_ID_MYLEX, PCI_DEVICE_ID_IBM_GEMSTONE,
9071                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_5702, 0, 0, 0 },
9072         { PCI_VENDOR_ID_MYLEX, PCI_DEVICE_ID_IBM_GEMSTONE,
9073                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_5703, 0, 0, 0 },
9074         { PCI_VENDOR_ID_MYLEX, PCI_DEVICE_ID_IBM_GEMSTONE,
9075                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_573D, 0, 0, 0 },
9076         { PCI_VENDOR_ID_MYLEX, PCI_DEVICE_ID_IBM_GEMSTONE,
9077                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_573E, 0, 0, 0 },
9078         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CITRINE,
9079                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_571B, 0, 0, 0 },
9080         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CITRINE,
9081                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_572E, 0, 0, 0 },
9082         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CITRINE,
9083                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_571A, 0, 0, 0 },
9084         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CITRINE,
9085                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_575B, 0, 0,
9086                 IPR_USE_LONG_TRANSOP_TIMEOUT },
9087         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_OBSIDIAN,
9088               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_572A, 0, 0, 0 },
9089         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_OBSIDIAN,
9090               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_572B, 0, 0,
9091               IPR_USE_LONG_TRANSOP_TIMEOUT },
9092         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_OBSIDIAN,
9093               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_575C, 0, 0,
9094               IPR_USE_LONG_TRANSOP_TIMEOUT },
9095         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN,
9096               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_572A, 0, 0, 0 },
9097         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN,
9098               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_572B, 0, 0,
9099               IPR_USE_LONG_TRANSOP_TIMEOUT},
9100         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN,
9101               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_575C, 0, 0,
9102               IPR_USE_LONG_TRANSOP_TIMEOUT },
9103         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN_E,
9104               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_574E, 0, 0,
9105               IPR_USE_LONG_TRANSOP_TIMEOUT },
9106         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN_E,
9107               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57B3, 0, 0, 0 },
9108         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN_E,
9109               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57CC, 0, 0, 0 },
9110         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_OBSIDIAN_E,
9111               PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57B7, 0, 0,
9112               IPR_USE_LONG_TRANSOP_TIMEOUT | IPR_USE_PCI_WARM_RESET },
9113         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_SNIPE,
9114                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_2780, 0, 0, 0 },
9115         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_SCAMP,
9116                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_571E, 0, 0, 0 },
9117         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_SCAMP,
9118                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_571F, 0, 0,
9119                 IPR_USE_LONG_TRANSOP_TIMEOUT },
9120         { PCI_VENDOR_ID_ADAPTEC2, PCI_DEVICE_ID_ADAPTEC2_SCAMP,
9121                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_572F, 0, 0,
9122                 IPR_USE_LONG_TRANSOP_TIMEOUT },
9123         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_FPGA_E2,
9124                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57B5, 0, 0, 0 },
9125         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_FPGA_E2,
9126                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_574D, 0, 0, 0 },
9127         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_FPGA_E2,
9128                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57B2, 0, 0, 0 },
9129         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_FPGA_E2,
9130                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57C3, 0, 0, 0 },
9131         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_FPGA_E2,
9132                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57C4, 0, 0, 0 },
9133         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_ASIC_E2,
9134                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57B4, 0, 0, 0 },
9135         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_ASIC_E2,
9136                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57B1, 0, 0, 0 },
9137         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_ASIC_E2,
9138                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57C6, 0, 0, 0 },
9139         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_ASIC_E2,
9140                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_575D, 0, 0, 0 },
9141         { PCI_VENDOR_ID_IBM, PCI_DEVICE_ID_IBM_CROC_ASIC_E2,
9142                 PCI_VENDOR_ID_IBM, IPR_SUBS_DEV_ID_57CE, 0, 0, 0 },
9143         { }
9144 };
9145 MODULE_DEVICE_TABLE(pci, ipr_pci_table);
9146
9147 static struct pci_error_handlers ipr_err_handler = {
9148         .error_detected = ipr_pci_error_detected,
9149         .slot_reset = ipr_pci_slot_reset,
9150 };
9151
9152 static struct pci_driver ipr_driver = {
9153         .name = IPR_NAME,
9154         .id_table = ipr_pci_table,
9155         .probe = ipr_probe,
9156         .remove = __devexit_p(ipr_remove),
9157         .shutdown = ipr_shutdown,
9158         .err_handler = &ipr_err_handler,
9159 };
9160
9161 /**
9162  * ipr_halt_done - Shutdown prepare completion
9163  *
9164  * Return value:
9165  *      none
9166  **/
9167 static void ipr_halt_done(struct ipr_cmnd *ipr_cmd)
9168 {
9169         struct ipr_ioa_cfg *ioa_cfg = ipr_cmd->ioa_cfg;
9170
9171         list_add_tail(&ipr_cmd->queue, &ioa_cfg->free_q);
9172 }
9173
9174 /**
9175  * ipr_halt - Issue shutdown prepare to all adapters
9176  *
9177  * Return value:
9178  *      NOTIFY_OK on success / NOTIFY_DONE on failure
9179  **/
9180 static int ipr_halt(struct notifier_block *nb, ulong event, void *buf)
9181 {
9182         struct ipr_cmnd *ipr_cmd;
9183         struct ipr_ioa_cfg *ioa_cfg;
9184         unsigned long flags = 0;
9185
9186         if (event != SYS_RESTART && event != SYS_HALT && event != SYS_POWER_OFF)
9187                 return NOTIFY_DONE;
9188
9189         spin_lock(&ipr_driver_lock);
9190
9191         list_for_each_entry(ioa_cfg, &ipr_ioa_head, queue) {
9192                 spin_lock_irqsave(ioa_cfg->host->host_lock, flags);
9193                 if (!ioa_cfg->allow_cmds) {
9194                         spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
9195                         continue;
9196                 }
9197
9198                 ipr_cmd = ipr_get_free_ipr_cmnd(ioa_cfg);
9199                 ipr_cmd->ioarcb.res_handle = cpu_to_be32(IPR_IOA_RES_HANDLE);
9200                 ipr_cmd->ioarcb.cmd_pkt.request_type = IPR_RQTYPE_IOACMD;
9201                 ipr_cmd->ioarcb.cmd_pkt.cdb[0] = IPR_IOA_SHUTDOWN;
9202                 ipr_cmd->ioarcb.cmd_pkt.cdb[1] = IPR_SHUTDOWN_PREPARE_FOR_NORMAL;
9203
9204                 ipr_do_req(ipr_cmd, ipr_halt_done, ipr_timeout, IPR_DEVICE_RESET_TIMEOUT);
9205                 spin_unlock_irqrestore(ioa_cfg->host->host_lock, flags);
9206         }
9207         spin_unlock(&ipr_driver_lock);
9208
9209         return NOTIFY_OK;
9210 }
9211
9212 static struct notifier_block ipr_notifier = {
9213         ipr_halt, NULL, 0
9214 };
9215
9216 /**
9217  * ipr_init - Module entry point
9218  *
9219  * Return value:
9220  *      0 on success / negative value on failure
9221  **/
9222 static int __init ipr_init(void)
9223 {
9224         ipr_info("IBM Power RAID SCSI Device Driver version: %s %s\n",
9225                  IPR_DRIVER_VERSION, IPR_DRIVER_DATE);
9226
9227         register_reboot_notifier(&ipr_notifier);
9228         return pci_register_driver(&ipr_driver);
9229 }
9230
9231 /**
9232  * ipr_exit - Module unload
9233  *
9234  * Module unload entry point.
9235  *
9236  * Return value:
9237  *      none
9238  **/
9239 static void __exit ipr_exit(void)
9240 {
9241         unregister_reboot_notifier(&ipr_notifier);
9242         pci_unregister_driver(&ipr_driver);
9243 }
9244
9245 module_init(ipr_init);
9246 module_exit(ipr_exit);