drivers/net/arm/ep93xx_eth.c

   1 /*
   2  * EP93xx ethernet network device driver
   3  * Copyright (C) 2006 Lennert Buytenhek <buytenh@wantstofly.org>
   4  * Dedicated to Marija Kulikova.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  */
  11
  12 #define pr_fmt(fmt) KBUILD_MODNAME ":%s: " fmt, __func__
  13
  14 #include <linux/dma-mapping.h>
  15 #include <linux/module.h>
  16 #include <linux/kernel.h>
  17 #include <linux/netdevice.h>
  18 #include <linux/mii.h>
  19 #include <linux/etherdevice.h>
  20 #include <linux/ethtool.h>
  21 #include <linux/init.h>
  22 #include <linux/moduleparam.h>
  23 #include <linux/platform_device.h>
  24 #include <linux/delay.h>
  25 #include <linux/io.h>
  26 #include <linux/slab.h>
  27
  28 #include <mach/hardware.h>
  29
  30 #define DRV_MODULE_NAME         "ep93xx-eth"
  31 #define DRV_MODULE_VERSION      "0.1"
  32
  33 #define RX_QUEUE_ENTRIES        64
  34 #define TX_QUEUE_ENTRIES        8
  35
  36 #define MAX_PKT_SIZE            2044
  37 #define PKT_BUF_SIZE            2048
  38
  39 #define REG_RXCTL               0x0000
  40 #define  REG_RXCTL_DEFAULT      0x00073800
  41 #define REG_TXCTL               0x0004
  42 #define  REG_TXCTL_ENABLE       0x00000001
  43 #define REG_MIICMD              0x0010
  44 #define  REG_MIICMD_READ        0x00008000
  45 #define  REG_MIICMD_WRITE       0x00004000
  46 #define REG_MIIDATA             0x0014
  47 #define REG_MIISTS              0x0018
  48 #define  REG_MIISTS_BUSY        0x00000001
  49 #define REG_SELFCTL             0x0020
  50 #define  REG_SELFCTL_RESET      0x00000001
  51 #define REG_INTEN               0x0024
  52 #define  REG_INTEN_TX           0x00000008
  53 #define  REG_INTEN_RX           0x00000007
  54 #define REG_INTSTSP             0x0028
  55 #define  REG_INTSTS_TX          0x00000008
  56 #define  REG_INTSTS_RX          0x00000004
  57 #define REG_INTSTSC             0x002c
  58 #define REG_AFP                 0x004c
  59 #define REG_INDAD0              0x0050
  60 #define REG_INDAD1              0x0051
  61 #define REG_INDAD2              0x0052
  62 #define REG_INDAD3              0x0053
  63 #define REG_INDAD4              0x0054
  64 #define REG_INDAD5              0x0055
  65 #define REG_GIINTMSK            0x0064
  66 #define  REG_GIINTMSK_ENABLE    0x00008000
  67 #define REG_BMCTL               0x0080
  68 #define  REG_BMCTL_ENABLE_TX    0x00000100
  69 #define  REG_BMCTL_ENABLE_RX    0x00000001
  70 #define REG_BMSTS               0x0084
  71 #define  REG_BMSTS_RX_ACTIVE    0x00000008
  72 #define REG_RXDQBADD            0x0090
  73 #define REG_RXDQBLEN            0x0094
  74 #define REG_RXDCURADD           0x0098
  75 #define REG_RXDENQ              0x009c
  76 #define REG_RXSTSQBADD          0x00a0
  77 #define REG_RXSTSQBLEN          0x00a4
  78 #define REG_RXSTSQCURADD        0x00a8
  79 #define REG_RXSTSENQ            0x00ac
  80 #define REG_TXDQBADD            0x00b0
  81 #define REG_TXDQBLEN            0x00b4
  82 #define REG_TXDQCURADD          0x00b8
  83 #define REG_TXDENQ              0x00bc
  84 #define REG_TXSTSQBADD          0x00c0
  85 #define REG_TXSTSQBLEN          0x00c4
  86 #define REG_TXSTSQCURADD        0x00c8
  87 #define REG_MAXFRMLEN           0x00e8
  88
  89 struct ep93xx_rdesc
  90 {
  91         u32     buf_addr;
  92         u32     rdesc1;
  93 };
  94
  95 #define RDESC1_NSOF             0x80000000
  96 #define RDESC1_BUFFER_INDEX     0x7fff0000
  97 #define RDESC1_BUFFER_LENGTH    0x0000ffff
  98
  99 struct ep93xx_rstat
 100 {
 101         u32     rstat0;
 102         u32     rstat1;
 103 };
 104
 105 #define RSTAT0_RFP              0x80000000
 106 #define RSTAT0_RWE              0x40000000
 107 #define RSTAT0_EOF              0x20000000
 108 #define RSTAT0_EOB              0x10000000
 109 #define RSTAT0_AM               0x00c00000
 110 #define RSTAT0_RX_ERR           0x00200000
 111 #define RSTAT0_OE               0x00100000
 112 #define RSTAT0_FE               0x00080000
 113 #define RSTAT0_RUNT             0x00040000
 114 #define RSTAT0_EDATA            0x00020000
 115 #define RSTAT0_CRCE             0x00010000
 116 #define RSTAT0_CRCI             0x00008000
 117 #define RSTAT0_HTI              0x00003f00
 118 #define RSTAT1_RFP              0x80000000
 119 #define RSTAT1_BUFFER_INDEX     0x7fff0000
 120 #define RSTAT1_FRAME_LENGTH     0x0000ffff
 121
 122 struct ep93xx_tdesc
 123 {
 124         u32     buf_addr;
 125         u32     tdesc1;
 126 };
 127
 128 #define TDESC1_EOF              0x80000000
 129 #define TDESC1_BUFFER_INDEX     0x7fff0000
 130 #define TDESC1_BUFFER_ABORT     0x00008000
 131 #define TDESC1_BUFFER_LENGTH    0x00000fff
 132
 133 struct ep93xx_tstat
 134 {
 135         u32     tstat0;
 136 };
 137
 138 #define TSTAT0_TXFP             0x80000000
 139 #define TSTAT0_TXWE             0x40000000
 140 #define TSTAT0_FA               0x20000000
 141 #define TSTAT0_LCRS             0x10000000
 142 #define TSTAT0_OW               0x04000000
 143 #define TSTAT0_TXU              0x02000000
 144 #define TSTAT0_ECOLL            0x01000000
 145 #define TSTAT0_NCOLL            0x001f0000
 146 #define TSTAT0_BUFFER_INDEX     0x00007fff
 147
 148 struct ep93xx_descs
 149 {
 150         struct ep93xx_rdesc     rdesc[RX_QUEUE_ENTRIES];
 151         struct ep93xx_tdesc     tdesc[TX_QUEUE_ENTRIES];
 152         struct ep93xx_rstat     rstat[RX_QUEUE_ENTRIES];
 153         struct ep93xx_tstat     tstat[TX_QUEUE_ENTRIES];
 154 };
 155
 156 struct ep93xx_priv
 157 {
 158         struct resource         *res;
 159         void __iomem            *base_addr;
 160         int                     irq;
 161
 162         struct ep93xx_descs     *descs;
 163         dma_addr_t              descs_dma_addr;
 164
 165         void                    *rx_buf[RX_QUEUE_ENTRIES];
 166         void                    *tx_buf[TX_QUEUE_ENTRIES];
 167
 168         spinlock_t              rx_lock;
 169         unsigned int            rx_pointer;
 170         unsigned int            tx_clean_pointer;
 171         unsigned int            tx_pointer;
 172         spinlock_t              tx_pending_lock;
 173         unsigned int            tx_pending;
 174
 175         struct net_device       *dev;
 176         struct napi_struct      napi;
 177
 178         struct mii_if_info      mii;
 179         u8                      mdc_divisor;
 180 };
 181
 182 #define rdb(ep, off)            __raw_readb((ep)->base_addr + (off))
 183 #define rdw(ep, off)            __raw_readw((ep)->base_addr + (off))
 184 #define rdl(ep, off)            __raw_readl((ep)->base_addr + (off))
 185 #define wrb(ep, off, val)       __raw_writeb((val), (ep)->base_addr + (off))
 186 #define wrw(ep, off, val)       __raw_writew((val), (ep)->base_addr + (off))
 187 #define wrl(ep, off, val)       __raw_writel((val), (ep)->base_addr + (off))
 188
 189 static int ep93xx_mdio_read(struct net_device *dev, int phy_id, int reg)
 190 {
 191         struct ep93xx_priv *ep = netdev_priv(dev);
 192         int data;
 193         int i;
 194
 195         wrl(ep, REG_MIICMD, REG_MIICMD_READ | (phy_id << 5) | reg);
 196
 197         for (i = 0; i < 10; i++) {
 198                 if ((rdl(ep, REG_MIISTS) & REG_MIISTS_BUSY) == 0)
 199                         break;
 200                 msleep(1);
 201         }
 202
 203         if (i == 10) {
 204                 pr_info("mdio read timed out\n");
 205                 data = 0xffff;
 206         } else {
 207                 data = rdl(ep, REG_MIIDATA);
 208         }
 209
 210         return data;
 211 }
 212
 213 static void ep93xx_mdio_write(struct net_device *dev, int phy_id, int reg, int data)
 214 {
 215         struct ep93xx_priv *ep = netdev_priv(dev);
 216         int i;
 217
 218         wrl(ep, REG_MIIDATA, data);
 219         wrl(ep, REG_MIICMD, REG_MIICMD_WRITE | (phy_id << 5) | reg);
 220
 221         for (i = 0; i < 10; i++) {
 222                 if ((rdl(ep, REG_MIISTS) & REG_MIISTS_BUSY) == 0)
 223                         break;
 224                 msleep(1);
 225         }
 226
 227         if (i == 10)
 228                 pr_info("mdio write timed out\n");
 229 }
 230
 231 static int ep93xx_rx(struct net_device *dev, int processed, int budget)
 232 {
 233         struct ep93xx_priv *ep = netdev_priv(dev);
 234
 235         while (processed < budget) {
 236                 int entry;
 237                 struct ep93xx_rstat *rstat;
 238                 u32 rstat0;
 239                 u32 rstat1;
 240                 int length;
 241                 struct sk_buff *skb;
 242
 243                 entry = ep->rx_pointer;
 244                 rstat = ep->descs->rstat + entry;
 245
 246                 rstat0 = rstat->rstat0;
 247                 rstat1 = rstat->rstat1;
 248                 if (!(rstat0 & RSTAT0_RFP) || !(rstat1 & RSTAT1_RFP))
 249                         break;
 250
 251                 rstat->rstat0 = 0;
 252                 rstat->rstat1 = 0;
 253
 254                 if (!(rstat0 & RSTAT0_EOF))
 255                         pr_crit("not end-of-frame %.8x %.8x\n", rstat0, rstat1);
 256                 if (!(rstat0 & RSTAT0_EOB))
 257                         pr_crit("not end-of-buffer %.8x %.8x\n", rstat0, rstat1);
 258                 if ((rstat1 & RSTAT1_BUFFER_INDEX) >> 16 != entry)
 259                         pr_crit("entry mismatch %.8x %.8x\n", rstat0, rstat1);
 260
 261                 if (!(rstat0 & RSTAT0_RWE)) {
 262                         dev->stats.rx_errors++;
 263                         if (rstat0 & RSTAT0_OE)
 264                                 dev->stats.rx_fifo_errors++;
 265                         if (rstat0 & RSTAT0_FE)
 266                                 dev->stats.rx_frame_errors++;
 267                         if (rstat0 & (RSTAT0_RUNT | RSTAT0_EDATA))
 268                                 dev->stats.rx_length_errors++;
 269                         if (rstat0 & RSTAT0_CRCE)
 270                                 dev->stats.rx_crc_errors++;
 271                         goto err;
 272                 }
 273
 274                 length = rstat1 & RSTAT1_FRAME_LENGTH;
 275                 if (length > MAX_PKT_SIZE) {
 276                         pr_notice("invalid length %.8x %.8x\n", rstat0, rstat1);
 277                         goto err;
 278                 }
 279
 280                 /* Strip FCS.  */
 281                 if (rstat0 & RSTAT0_CRCI)
 282                         length -= 4;
 283
 284                 skb = dev_alloc_skb(length + 2);
 285                 if (likely(skb != NULL)) {
 286                         skb_reserve(skb, 2);
 287                         dma_sync_single_for_cpu(dev->dev.parent, ep->descs->rdesc[entry].buf_addr,
 288                                                 length, DMA_FROM_DEVICE);
 289                         skb_copy_to_linear_data(skb, ep->rx_buf[entry], length);
 290                         skb_put(skb, length);
 291                         skb->protocol = eth_type_trans(skb, dev);
 292
 293                         netif_receive_skb(skb);
 294
 295                         dev->stats.rx_packets++;
 296                         dev->stats.rx_bytes += length;
 297                 } else {
 298                         dev->stats.rx_dropped++;
 299                 }
 300
 301 err:
 302                 ep->rx_pointer = (entry + 1) & (RX_QUEUE_ENTRIES - 1);
 303                 processed++;
 304         }
 305
 306         return processed;
 307 }
 308
 309 static int ep93xx_have_more_rx(struct ep93xx_priv *ep)
 310 {
 311         struct ep93xx_rstat *rstat = ep->descs->rstat + ep->rx_pointer;
 312         return !!((rstat->rstat0 & RSTAT0_RFP) && (rstat->rstat1 & RSTAT1_RFP));
 313 }
 314
 315 static int ep93xx_poll(struct napi_struct *napi, int budget)
 316 {
 317         struct ep93xx_priv *ep = container_of(napi, struct ep93xx_priv, napi);
 318         struct net_device *dev = ep->dev;
 319         int rx = 0;
 320
 321 poll_some_more:
 322         rx = ep93xx_rx(dev, rx, budget);
 323         if (rx < budget) {
 324                 int more = 0;
 325
 326                 spin_lock_irq(&ep->rx_lock);
 327                 __napi_complete(napi);
 328                 wrl(ep, REG_INTEN, REG_INTEN_TX | REG_INTEN_RX);
 329                 if (ep93xx_have_more_rx(ep)) {
 330                         wrl(ep, REG_INTEN, REG_INTEN_TX);
 331                         wrl(ep, REG_INTSTSP, REG_INTSTS_RX);
 332                         more = 1;
 333                 }
 334                 spin_unlock_irq(&ep->rx_lock);
 335
 336                 if (more && napi_reschedule(napi))
 337                         goto poll_some_more;
 338         }
 339
 340         if (rx) {
 341                 wrw(ep, REG_RXDENQ, rx);
 342                 wrw(ep, REG_RXSTSENQ, rx);
 343         }
 344
 345         return rx;
 346 }
 347
 348 static int ep93xx_xmit(struct sk_buff *skb, struct net_device *dev)
 349 {
 350         struct ep93xx_priv *ep = netdev_priv(dev);
 351         int entry;
 352
 353         if (unlikely(skb->len > MAX_PKT_SIZE)) {
 354                 dev->stats.tx_dropped++;
 355                 dev_kfree_skb(skb);
 356                 return NETDEV_TX_OK;
 357         }
 358
 359         entry = ep->tx_pointer;
 360         ep->tx_pointer = (ep->tx_pointer + 1) & (TX_QUEUE_ENTRIES - 1);
 361
 362         ep->descs->tdesc[entry].tdesc1 =
 363                 TDESC1_EOF | (entry << 16) | (skb->len & 0xfff);
 364         skb_copy_and_csum_dev(skb, ep->tx_buf[entry]);
 365         dma_sync_single_for_cpu(dev->dev.parent, ep->descs->tdesc[entry].buf_addr,
 366                                 skb->len, DMA_TO_DEVICE);
 367         dev_kfree_skb(skb);
 368
 369         spin_lock_irq(&ep->tx_pending_lock);
 370         ep->tx_pending++;
 371         if (ep->tx_pending == TX_QUEUE_ENTRIES)
 372                 netif_stop_queue(dev);
 373         spin_unlock_irq(&ep->tx_pending_lock);
 374
 375         wrl(ep, REG_TXDENQ, 1);
 376
 377         return NETDEV_TX_OK;
 378 }
 379
 380 static void ep93xx_tx_complete(struct net_device *dev)
 381 {
 382         struct ep93xx_priv *ep = netdev_priv(dev);
 383         int wake;
 384
 385         wake = 0;
 386
 387         spin_lock(&ep->tx_pending_lock);
 388         while (1) {
 389                 int entry;
 390                 struct ep93xx_tstat *tstat;
 391                 u32 tstat0;
 392
 393                 entry = ep->tx_clean_pointer;
 394                 tstat = ep->descs->tstat + entry;
 395
 396                 tstat0 = tstat->tstat0;
 397                 if (!(tstat0 & TSTAT0_TXFP))
 398                         break;
 399
 400                 tstat->tstat0 = 0;
 401
 402                 if (tstat0 & TSTAT0_FA)
 403                         pr_crit("frame aborted %.8x\n", tstat0);
 404                 if ((tstat0 & TSTAT0_BUFFER_INDEX) != entry)
 405                         pr_crit("entry mismatch %.8x\n", tstat0);
 406
 407                 if (tstat0 & TSTAT0_TXWE) {
 408                         int length = ep->descs->tdesc[entry].tdesc1 & 0xfff;
 409
 410                         dev->stats.tx_packets++;
 411                         dev->stats.tx_bytes += length;
 412                 } else {
 413                         dev->stats.tx_errors++;
 414                 }
 415
 416                 if (tstat0 & TSTAT0_OW)
 417                         dev->stats.tx_window_errors++;
 418                 if (tstat0 & TSTAT0_TXU)
 419                         dev->stats.tx_fifo_errors++;
 420                 dev->stats.collisions += (tstat0 >> 16) & 0x1f;
 421
 422                 ep->tx_clean_pointer = (entry + 1) & (TX_QUEUE_ENTRIES - 1);
 423                 if (ep->tx_pending == TX_QUEUE_ENTRIES)
 424                         wake = 1;
 425                 ep->tx_pending--;
 426         }
 427         spin_unlock(&ep->tx_pending_lock);
 428
 429         if (wake)
 430                 netif_wake_queue(dev);
 431 }
 432
 433 static irqreturn_t ep93xx_irq(int irq, void *dev_id)
 434 {
 435         struct net_device *dev = dev_id;
 436         struct ep93xx_priv *ep = netdev_priv(dev);
 437         u32 status;
 438
 439         status = rdl(ep, REG_INTSTSC);
 440         if (status == 0)
 441                 return IRQ_NONE;
 442
 443         if (status & REG_INTSTS_RX) {
 444                 spin_lock(&ep->rx_lock);
 445                 if (likely(napi_schedule_prep(&ep->napi))) {
 446                         wrl(ep, REG_INTEN, REG_INTEN_TX);
 447                         __napi_schedule(&ep->napi);
 448                 }
 449                 spin_unlock(&ep->rx_lock);
 450         }
 451
 452         if (status & REG_INTSTS_TX)
 453                 ep93xx_tx_complete(dev);
 454
 455         return IRQ_HANDLED;
 456 }
 457
 458 static void ep93xx_free_buffers(struct ep93xx_priv *ep)
 459 {
 460         struct device *dev = ep->dev->dev.parent;
 461         int i;
 462
 463         for (i = 0; i < RX_QUEUE_ENTRIES; i += 2) {
 464                 dma_addr_t d;
 465
 466                 d = ep->descs->rdesc[i].buf_addr;
 467                 if (d)
 468                         dma_unmap_single(dev, d, PAGE_SIZE, DMA_FROM_DEVICE);
 469
 470                 if (ep->rx_buf[i] != NULL)
 471                         free_page((unsigned long)ep->rx_buf[i]);
 472         }
 473
 474         for (i = 0; i < TX_QUEUE_ENTRIES; i += 2) {
 475                 dma_addr_t d;
 476
 477                 d = ep->descs->tdesc[i].buf_addr;
 478                 if (d)
 479                         dma_unmap_single(dev, d, PAGE_SIZE, DMA_TO_DEVICE);
 480
 481                 if (ep->tx_buf[i] != NULL)
 482                         free_page((unsigned long)ep->tx_buf[i]);
 483         }
 484
 485         dma_free_coherent(dev, sizeof(struct ep93xx_descs), ep->descs,
 486                                                         ep->descs_dma_addr);
 487 }
 488
 489 /*
 490  * The hardware enforces a sub-2K maximum packet size, so we put
 491  * two buffers on every hardware page.
 492  */
 493 static int ep93xx_alloc_buffers(struct ep93xx_priv *ep)
 494 {
 495         struct device *dev = ep->dev->dev.parent;
 496         int i;
 497
 498         ep->descs = dma_alloc_coherent(dev, sizeof(struct ep93xx_descs),
 499                                 &ep->descs_dma_addr, GFP_KERNEL | GFP_DMA);
 500         if (ep->descs == NULL)
 501                 return 1;
 502
 503         for (i = 0; i < RX_QUEUE_ENTRIES; i += 2) {
 504                 void *page;
 505                 dma_addr_t d;
 506
 507                 page = (void *)__get_free_page(GFP_KERNEL | GFP_DMA);
 508                 if (page == NULL)
 509                         goto err;
 510
 511                 d = dma_map_single(dev, page, PAGE_SIZE, DMA_FROM_DEVICE);
 512                 if (dma_mapping_error(dev, d)) {
 513                         free_page((unsigned long)page);
 514                         goto err;
 515                 }
 516
 517                 ep->rx_buf[i] = page;
 518                 ep->descs->rdesc[i].buf_addr = d;
 519                 ep->descs->rdesc[i].rdesc1 = (i << 16) | PKT_BUF_SIZE;
 520
 521                 ep->rx_buf[i + 1] = page + PKT_BUF_SIZE;
 522                 ep->descs->rdesc[i + 1].buf_addr = d + PKT_BUF_SIZE;
 523                 ep->descs->rdesc[i + 1].rdesc1 = ((i + 1) << 16) | PKT_BUF_SIZE;
 524         }
 525
 526         for (i = 0; i < TX_QUEUE_ENTRIES; i += 2) {
 527                 void *page;
 528                 dma_addr_t d;
 529
 530                 page = (void *)__get_free_page(GFP_KERNEL | GFP_DMA);
 531                 if (page == NULL)
 532                         goto err;
 533
 534                 d = dma_map_single(dev, page, PAGE_SIZE, DMA_TO_DEVICE);
 535                 if (dma_mapping_error(dev, d)) {
 536                         free_page((unsigned long)page);
 537                         goto err;
 538                 }
 539
 540                 ep->tx_buf[i] = page;
 541                 ep->descs->tdesc[i].buf_addr = d;
 542
 543                 ep->tx_buf[i + 1] = page + PKT_BUF_SIZE;
 544                 ep->descs->tdesc[i + 1].buf_addr = d + PKT_BUF_SIZE;
 545         }
 546
 547         return 0;
 548
 549 err:
 550         ep93xx_free_buffers(ep);
 551         return 1;
 552 }
 553
 554 static int ep93xx_start_hw(struct net_device *dev)
 555 {
 556         struct ep93xx_priv *ep = netdev_priv(dev);
 557         unsigned long addr;
 558         int i;
 559
 560         wrl(ep, REG_SELFCTL, REG_SELFCTL_RESET);
 561         for (i = 0; i < 10; i++) {
 562                 if ((rdl(ep, REG_SELFCTL) & REG_SELFCTL_RESET) == 0)
 563                         break;
 564                 msleep(1);
 565         }
 566
 567         if (i == 10) {
 568                 pr_crit("hw failed to reset\n");
 569                 return 1;
 570         }
 571
 572         wrl(ep, REG_SELFCTL, ((ep->mdc_divisor - 1) << 9));
 573
 574         /* Does the PHY support preamble suppress?  */
 575         if ((ep93xx_mdio_read(dev, ep->mii.phy_id, MII_BMSR) & 0x0040) != 0)
 576                 wrl(ep, REG_SELFCTL, ((ep->mdc_divisor - 1) << 9) | (1 << 8));
 577
 578         /* Receive descriptor ring.  */
 579         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, rdesc);
 580         wrl(ep, REG_RXDQBADD, addr);
 581         wrl(ep, REG_RXDCURADD, addr);
 582         wrw(ep, REG_RXDQBLEN, RX_QUEUE_ENTRIES * sizeof(struct ep93xx_rdesc));
 583
 584         /* Receive status ring.  */
 585         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, rstat);
 586         wrl(ep, REG_RXSTSQBADD, addr);
 587         wrl(ep, REG_RXSTSQCURADD, addr);
 588         wrw(ep, REG_RXSTSQBLEN, RX_QUEUE_ENTRIES * sizeof(struct ep93xx_rstat));
 589
 590         /* Transmit descriptor ring.  */
 591         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, tdesc);
 592         wrl(ep, REG_TXDQBADD, addr);
 593         wrl(ep, REG_TXDQCURADD, addr);
 594         wrw(ep, REG_TXDQBLEN, TX_QUEUE_ENTRIES * sizeof(struct ep93xx_tdesc));
 595
 596         /* Transmit status ring.  */
 597         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, tstat);
 598         wrl(ep, REG_TXSTSQBADD, addr);
 599         wrl(ep, REG_TXSTSQCURADD, addr);
 600         wrw(ep, REG_TXSTSQBLEN, TX_QUEUE_ENTRIES * sizeof(struct ep93xx_tstat));
 601
 602         wrl(ep, REG_BMCTL, REG_BMCTL_ENABLE_TX | REG_BMCTL_ENABLE_RX);
 603         wrl(ep, REG_INTEN, REG_INTEN_TX | REG_INTEN_RX);
 604         wrl(ep, REG_GIINTMSK, 0);
 605
 606         for (i = 0; i < 10; i++) {
 607                 if ((rdl(ep, REG_BMSTS) & REG_BMSTS_RX_ACTIVE) != 0)
 608                         break;
 609                 msleep(1);
 610         }
 611
 612         if (i == 10) {
 613                 pr_crit("hw failed to start\n");
 614                 return 1;
 615         }
 616
 617         wrl(ep, REG_RXDENQ, RX_QUEUE_ENTRIES);
 618         wrl(ep, REG_RXSTSENQ, RX_QUEUE_ENTRIES);
 619
 620         wrb(ep, REG_INDAD0, dev->dev_addr[0]);
 621         wrb(ep, REG_INDAD1, dev->dev_addr[1]);
 622         wrb(ep, REG_INDAD2, dev->dev_addr[2]);
 623         wrb(ep, REG_INDAD3, dev->dev_addr[3]);
 624         wrb(ep, REG_INDAD4, dev->dev_addr[4]);
 625         wrb(ep, REG_INDAD5, dev->dev_addr[5]);
 626         wrl(ep, REG_AFP, 0);
 627
 628         wrl(ep, REG_MAXFRMLEN, (MAX_PKT_SIZE << 16) | MAX_PKT_SIZE);
 629
 630         wrl(ep, REG_RXCTL, REG_RXCTL_DEFAULT);
 631         wrl(ep, REG_TXCTL, REG_TXCTL_ENABLE);
 632
 633         return 0;
 634 }
 635
 636 static void ep93xx_stop_hw(struct net_device *dev)
 637 {
 638         struct ep93xx_priv *ep = netdev_priv(dev);
 639         int i;
 640
 641         wrl(ep, REG_SELFCTL, REG_SELFCTL_RESET);
 642         for (i = 0; i < 10; i++) {
 643                 if ((rdl(ep, REG_SELFCTL) & REG_SELFCTL_RESET) == 0)
 644                         break;
 645                 msleep(1);
 646         }
 647
 648         if (i == 10)
 649                 pr_crit("hw failed to reset\n");
 650 }
 651
 652 static int ep93xx_open(struct net_device *dev)
 653 {
 654         struct ep93xx_priv *ep = netdev_priv(dev);
 655         int err;
 656
 657         if (ep93xx_alloc_buffers(ep))
 658                 return -ENOMEM;
 659
 660         napi_enable(&ep->napi);
 661
 662         if (ep93xx_start_hw(dev)) {
 663                 napi_disable(&ep->napi);
 664                 ep93xx_free_buffers(ep);
 665                 return -EIO;
 666         }
 667
 668         spin_lock_init(&ep->rx_lock);
 669         ep->rx_pointer = 0;
 670         ep->tx_clean_pointer = 0;
 671         ep->tx_pointer = 0;
 672         spin_lock_init(&ep->tx_pending_lock);
 673         ep->tx_pending = 0;
 674
 675         err = request_irq(ep->irq, ep93xx_irq, IRQF_SHARED, dev->name, dev);
 676         if (err) {
 677                 napi_disable(&ep->napi);
 678                 ep93xx_stop_hw(dev);
 679                 ep93xx_free_buffers(ep);
 680                 return err;
 681         }
 682
 683         wrl(ep, REG_GIINTMSK, REG_GIINTMSK_ENABLE);
 684
 685         netif_start_queue(dev);
 686
 687         return 0;
 688 }
 689
 690 static int ep93xx_close(struct net_device *dev)
 691 {
 692         struct ep93xx_priv *ep = netdev_priv(dev);
 693
 694         napi_disable(&ep->napi);
 695         netif_stop_queue(dev);
 696
 697         wrl(ep, REG_GIINTMSK, 0);
 698         free_irq(ep->irq, dev);
 699         ep93xx_stop_hw(dev);
 700         ep93xx_free_buffers(ep);
 701
 702         return 0;
 703 }
 704
 705 static int ep93xx_ioctl(struct net_device *dev, struct ifreq *ifr, int cmd)
 706 {
 707         struct ep93xx_priv *ep = netdev_priv(dev);
 708         struct mii_ioctl_data *data = if_mii(ifr);
 709
 710         return generic_mii_ioctl(&ep->mii, data, cmd, NULL);
 711 }
 712
 713 static void ep93xx_get_drvinfo(struct net_device *dev, struct ethtool_drvinfo *info)
 714 {
 715         strcpy(info->driver, DRV_MODULE_NAME);
 716         strcpy(info->version, DRV_MODULE_VERSION);
 717 }
 718
 719 static int ep93xx_get_settings(struct net_device *dev, struct ethtool_cmd *cmd)
 720 {
 721         struct ep93xx_priv *ep = netdev_priv(dev);
 722         return mii_ethtool_gset(&ep->mii, cmd);
 723 }
 724
 725 static int ep93xx_set_settings(struct net_device *dev, struct ethtool_cmd *cmd)
 726 {
 727         struct ep93xx_priv *ep = netdev_priv(dev);
 728         return mii_ethtool_sset(&ep->mii, cmd);
 729 }
 730
 731 static int ep93xx_nway_reset(struct net_device *dev)
 732 {
 733         struct ep93xx_priv *ep = netdev_priv(dev);
 734         return mii_nway_restart(&ep->mii);
 735 }
 736
 737 static u32 ep93xx_get_link(struct net_device *dev)
 738 {
 739         struct ep93xx_priv *ep = netdev_priv(dev);
 740         return mii_link_ok(&ep->mii);
 741 }
 742
 743 static const struct ethtool_ops ep93xx_ethtool_ops = {
 744         .get_drvinfo            = ep93xx_get_drvinfo,
 745         .get_settings           = ep93xx_get_settings,
 746         .set_settings           = ep93xx_set_settings,
 747         .nway_reset             = ep93xx_nway_reset,
 748         .get_link               = ep93xx_get_link,
 749 };
 750
 751 static const struct net_device_ops ep93xx_netdev_ops = {
 752         .ndo_open               = ep93xx_open,
 753         .ndo_stop               = ep93xx_close,
 754         .ndo_start_xmit         = ep93xx_xmit,
 755         .ndo_do_ioctl           = ep93xx_ioctl,
 756         .ndo_validate_addr      = eth_validate_addr,
 757         .ndo_change_mtu         = eth_change_mtu,
 758         .ndo_set_mac_address    = eth_mac_addr,
 759 };
 760
 761 static struct net_device *ep93xx_dev_alloc(struct ep93xx_eth_data *data)
 762 {
 763         struct net_device *dev;
 764
 765         dev = alloc_etherdev(sizeof(struct ep93xx_priv));
 766         if (dev == NULL)
 767                 return NULL;
 768
 769         memcpy(dev->dev_addr, data->dev_addr, ETH_ALEN);
 770
 771         dev->ethtool_ops = &ep93xx_ethtool_ops;
 772         dev->netdev_ops = &ep93xx_netdev_ops;
 773
 774         dev->features |= NETIF_F_SG | NETIF_F_HW_CSUM;
 775
 776         return dev;
 777 }
 778
 779
 780 static int ep93xx_eth_remove(struct platform_device *pdev)
 781 {
 782         struct net_device *dev;
 783         struct ep93xx_priv *ep;
 784
 785         dev = platform_get_drvdata(pdev);
 786         if (dev == NULL)
 787                 return 0;
 788         platform_set_drvdata(pdev, NULL);
 789
 790         ep = netdev_priv(dev);
 791
 792         /* @@@ Force down.  */
 793         unregister_netdev(dev);
 794         ep93xx_free_buffers(ep);
 795
 796         if (ep->base_addr != NULL)
 797                 iounmap(ep->base_addr);
 798
 799         if (ep->res != NULL) {
 800                 release_resource(ep->res);
 801                 kfree(ep->res);
 802         }
 803
 804         free_netdev(dev);
 805
 806         return 0;
 807 }
 808
 809 static int ep93xx_eth_probe(struct platform_device *pdev)
 810 {
 811         struct ep93xx_eth_data *data;
 812         struct net_device *dev;
 813         struct ep93xx_priv *ep;
 814         struct resource *mem;
 815         int irq;
 816         int err;
 817
 818         if (pdev == NULL)
 819                 return -ENODEV;
 820         data = pdev->dev.platform_data;
 821
 822         mem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
 823         irq = platform_get_irq(pdev, 0);
 824         if (!mem || irq < 0)
 825                 return -ENXIO;
 826
 827         dev = ep93xx_dev_alloc(data);
 828         if (dev == NULL) {
 829                 err = -ENOMEM;
 830                 goto err_out;
 831         }
 832         ep = netdev_priv(dev);
 833         ep->dev = dev;
 834         SET_NETDEV_DEV(dev, &pdev->dev);
 835         netif_napi_add(dev, &ep->napi, ep93xx_poll, 64);
 836
 837         platform_set_drvdata(pdev, dev);
 838
 839         ep->res = request_mem_region(mem->start, resource_size(mem),
 840                                      dev_name(&pdev->dev));
 841         if (ep->res == NULL) {
 842                 dev_err(&pdev->dev, "Could not reserve memory region\n");
 843                 err = -ENOMEM;
 844                 goto err_out;
 845         }
 846
 847         ep->base_addr = ioremap(mem->start, resource_size(mem));
 848         if (ep->base_addr == NULL) {
 849                 dev_err(&pdev->dev, "Failed to ioremap ethernet registers\n");
 850                 err = -EIO;
 851                 goto err_out;
 852         }
 853         ep->irq = irq;
 854
 855         ep->mii.phy_id = data->phy_id;
 856         ep->mii.phy_id_mask = 0x1f;
 857         ep->mii.reg_num_mask = 0x1f;
 858         ep->mii.dev = dev;
 859         ep->mii.mdio_read = ep93xx_mdio_read;
 860         ep->mii.mdio_write = ep93xx_mdio_write;
 861         ep->mdc_divisor = 40;   /* Max HCLK 100 MHz, min MDIO clk 2.5 MHz.  */
 862
 863         if (is_zero_ether_addr(dev->dev_addr))
 864                 random_ether_addr(dev->dev_addr);
 865
 866         err = register_netdev(dev);
 867         if (err) {
 868                 dev_err(&pdev->dev, "Failed to register netdev\n");
 869                 goto err_out;
 870         }
 871
 872         printk(KERN_INFO "%s: ep93xx on-chip ethernet, IRQ %d, %pM\n",
 873                         dev->name, ep->irq, dev->dev_addr);
 874
 875         return 0;
 876
 877 err_out:
 878         ep93xx_eth_remove(pdev);
 879         return err;
 880 }
 881
 882
 883 static struct platform_driver ep93xx_eth_driver = {
 884         .probe          = ep93xx_eth_probe,
 885         .remove         = ep93xx_eth_remove,
 886         .driver         = {
 887                 .name   = "ep93xx-eth",
 888                 .owner  = THIS_MODULE,
 889         },
 890 };
 891
 892 static int __init ep93xx_eth_init_module(void)
 893 {
 894         printk(KERN_INFO DRV_MODULE_NAME " version " DRV_MODULE_VERSION " loading\n");
 895         return platform_driver_register(&ep93xx_eth_driver);
 896 }
 897
 898 static void __exit ep93xx_eth_cleanup_module(void)
 899 {
 900         platform_driver_unregister(&ep93xx_eth_driver);
 901 }
 902
 903 module_init(ep93xx_eth_init_module);
 904 module_exit(ep93xx_eth_cleanup_module);
 905 MODULE_LICENSE("GPL");
 906 MODULE_ALIAS("platform:ep93xx-eth");