drivers/net/wireless/iwlwifi/iwl-agn-tx.c

   1 /******************************************************************************
   2  *
   3  * GPL LICENSE SUMMARY
   4  *
   5  * Copyright(c) 2008 - 2011 Intel Corporation. All rights reserved.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of version 2 of the GNU General Public License as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful, but
  12  * WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110,
  19  * USA
  20  *
  21  * The full GNU General Public License is included in this distribution
  22  * in the file called LICENSE.GPL.
  23  *
  24  * Contact Information:
  25  *  Intel Linux Wireless <ilw@linux.intel.com>
  26  * Intel Corporation, 5200 N.E. Elam Young Parkway, Hillsboro, OR 97124-6497
  27  *
  28  *****************************************************************************/
  29
  30 #include <linux/kernel.h>
  31 #include <linux/module.h>
  32 #include <linux/init.h>
  33 #include <linux/sched.h>
  34
  35 #include "iwl-dev.h"
  36 #include "iwl-core.h"
  37 #include "iwl-sta.h"
  38 #include "iwl-io.h"
  39 #include "iwl-helpers.h"
  40 #include "iwl-agn-hw.h"
  41 #include "iwl-agn.h"
  42 #include "iwl-trans.h"
  43
  44 /*
  45  * mac80211 queues, ACs, hardware queues, FIFOs.
  46  *
  47  * Cf. http://wireless.kernel.org/en/developers/Documentation/mac80211/queues
  48  *
  49  * Mac80211 uses the following numbers, which we get as from it
  50  * by way of skb_get_queue_mapping(skb):
  51  *
  52  *      VO      0
  53  *      VI      1
  54  *      BE      2
  55  *      BK      3
  56  *
  57  *
  58  * Regular (not A-MPDU) frames are put into hardware queues corresponding
  59  * to the FIFOs, see comments in iwl-prph.h. Aggregated frames get their
  60  * own queue per aggregation session (RA/TID combination), such queues are
  61  * set up to map into FIFOs too, for which we need an AC->FIFO mapping. In
  62  * order to map frames to the right queue, we also need an AC->hw queue
  63  * mapping. This is implemented here.
  64  *
  65  * Due to the way hw queues are set up (by the hw specific modules like
  66  * iwl-4965.c, iwl-5000.c etc.), the AC->hw queue mapping is the identity
  67  * mapping.
  68  */
  69
  70 static const u8 tid_to_ac[] = {
  71         IEEE80211_AC_BE,
  72         IEEE80211_AC_BK,
  73         IEEE80211_AC_BK,
  74         IEEE80211_AC_BE,
  75         IEEE80211_AC_VI,
  76         IEEE80211_AC_VI,
  77         IEEE80211_AC_VO,
  78         IEEE80211_AC_VO
  79 };
  80
  81 static inline int get_ac_from_tid(u16 tid)
  82 {
  83         if (likely(tid < ARRAY_SIZE(tid_to_ac)))
  84                 return tid_to_ac[tid];
  85
  86         /* no support for TIDs 8-15 yet */
  87         return -EINVAL;
  88 }
  89
  90 static inline int get_fifo_from_tid(struct iwl_rxon_context *ctx, u16 tid)
  91 {
  92         if (likely(tid < ARRAY_SIZE(tid_to_ac)))
  93                 return ctx->ac_to_fifo[tid_to_ac[tid]];
  94
  95         /* no support for TIDs 8-15 yet */
  96         return -EINVAL;
  97 }
  98
  99 static int iwlagn_txq_agg_enable(struct iwl_priv *priv, int txq_id, int sta_id,
 100                                 int tid)
 101 {
 102         if ((IWLAGN_FIRST_AMPDU_QUEUE > txq_id) ||
 103             (IWLAGN_FIRST_AMPDU_QUEUE +
 104                 priv->cfg->base_params->num_of_ampdu_queues <= txq_id)) {
 105                 IWL_WARN(priv,
 106                         "queue number out of range: %d, must be %d to %d\n",
 107                         txq_id, IWLAGN_FIRST_AMPDU_QUEUE,
 108                         IWLAGN_FIRST_AMPDU_QUEUE +
 109                         priv->cfg->base_params->num_of_ampdu_queues - 1);
 110                 return -EINVAL;
 111         }
 112
 113         /* Modify device's station table to Tx this TID */
 114         return iwl_sta_tx_modify_enable_tid(priv, sta_id, tid);
 115 }
 116
 117 static void iwlagn_tx_cmd_protection(struct iwl_priv *priv,
 118                                      struct ieee80211_tx_info *info,
 119                                      __le16 fc, __le32 *tx_flags)
 120 {
 121         if (info->control.rates[0].flags & IEEE80211_TX_RC_USE_RTS_CTS ||
 122             info->control.rates[0].flags & IEEE80211_TX_RC_USE_CTS_PROTECT ||
 123             info->flags & IEEE80211_TX_CTL_AMPDU)
 124                 *tx_flags |= TX_CMD_FLG_PROT_REQUIRE_MSK;
 125 }
 126
 127 /*
 128  * handle build REPLY_TX command notification.
 129  */
 130 static void iwlagn_tx_cmd_build_basic(struct iwl_priv *priv,
 131                                       struct sk_buff *skb,
 132                                       struct iwl_tx_cmd *tx_cmd,
 133                                       struct ieee80211_tx_info *info,
 134                                       struct ieee80211_hdr *hdr, u8 sta_id)
 135 {
 136         __le16 fc = hdr->frame_control;
 137         __le32 tx_flags = tx_cmd->tx_flags;
 138
 139         tx_cmd->stop_time.life_time = TX_CMD_LIFE_TIME_INFINITE;
 140
 141         if (!(info->flags & IEEE80211_TX_CTL_NO_ACK))
 142                 tx_flags |= TX_CMD_FLG_ACK_MSK;
 143         else
 144                 tx_flags &= ~TX_CMD_FLG_ACK_MSK;
 145
 146         if (ieee80211_is_probe_resp(fc))
 147                 tx_flags |= TX_CMD_FLG_TSF_MSK;
 148         else if (ieee80211_is_back_req(fc))
 149                 tx_flags |= TX_CMD_FLG_ACK_MSK | TX_CMD_FLG_IMM_BA_RSP_MASK;
 150         else if (info->band == IEEE80211_BAND_2GHZ &&
 151                  priv->cfg->bt_params &&
 152                  priv->cfg->bt_params->advanced_bt_coexist &&
 153                  (ieee80211_is_auth(fc) || ieee80211_is_assoc_req(fc) ||
 154                  ieee80211_is_reassoc_req(fc) ||
 155                  skb->protocol == cpu_to_be16(ETH_P_PAE)))
 156                 tx_flags |= TX_CMD_FLG_IGNORE_BT;
 157
 158
 159         tx_cmd->sta_id = sta_id;
 160         if (ieee80211_has_morefrags(fc))
 161                 tx_flags |= TX_CMD_FLG_MORE_FRAG_MSK;
 162
 163         if (ieee80211_is_data_qos(fc)) {
 164                 u8 *qc = ieee80211_get_qos_ctl(hdr);
 165                 tx_cmd->tid_tspec = qc[0] & 0xf;
 166                 tx_flags &= ~TX_CMD_FLG_SEQ_CTL_MSK;
 167         } else {
 168                 tx_flags |= TX_CMD_FLG_SEQ_CTL_MSK;
 169         }
 170
 171         iwlagn_tx_cmd_protection(priv, info, fc, &tx_flags);
 172
 173         tx_flags &= ~(TX_CMD_FLG_ANT_SEL_MSK);
 174         if (ieee80211_is_mgmt(fc)) {
 175                 if (ieee80211_is_assoc_req(fc) || ieee80211_is_reassoc_req(fc))
 176                         tx_cmd->timeout.pm_frame_timeout = cpu_to_le16(3);
 177                 else
 178                         tx_cmd->timeout.pm_frame_timeout = cpu_to_le16(2);
 179         } else {
 180                 tx_cmd->timeout.pm_frame_timeout = 0;
 181         }
 182
 183         tx_cmd->driver_txop = 0;
 184         tx_cmd->tx_flags = tx_flags;
 185         tx_cmd->next_frame_len = 0;
 186 }
 187
 188 #define RTS_DFAULT_RETRY_LIMIT          60
 189
 190 static void iwlagn_tx_cmd_build_rate(struct iwl_priv *priv,
 191                                      struct iwl_tx_cmd *tx_cmd,
 192                                      struct ieee80211_tx_info *info,
 193                                      __le16 fc)
 194 {
 195         u32 rate_flags;
 196         int rate_idx;
 197         u8 rts_retry_limit;
 198         u8 data_retry_limit;
 199         u8 rate_plcp;
 200
 201         /* Set retry limit on DATA packets and Probe Responses*/
 202         if (ieee80211_is_probe_resp(fc))
 203                 data_retry_limit = 3;
 204         else
 205                 data_retry_limit = IWLAGN_DEFAULT_TX_RETRY;
 206         tx_cmd->data_retry_limit = data_retry_limit;
 207
 208         /* Set retry limit on RTS packets */
 209         rts_retry_limit = RTS_DFAULT_RETRY_LIMIT;
 210         if (data_retry_limit < rts_retry_limit)
 211                 rts_retry_limit = data_retry_limit;
 212         tx_cmd->rts_retry_limit = rts_retry_limit;
 213
 214         /* DATA packets will use the uCode station table for rate/antenna
 215          * selection */
 216         if (ieee80211_is_data(fc)) {
 217                 tx_cmd->initial_rate_index = 0;
 218                 tx_cmd->tx_flags |= TX_CMD_FLG_STA_RATE_MSK;
 219 #ifdef CONFIG_IWLWIFI_DEVICE_SVTOOL
 220                 if (priv->tm_fixed_rate) {
 221                         /*
 222                          * rate overwrite by testmode
 223                          * we not only send lq command to change rate
 224                          * we also re-enforce per data pkt base.
 225                          */
 226                         tx_cmd->tx_flags &= ~TX_CMD_FLG_STA_RATE_MSK;
 227                         memcpy(&tx_cmd->rate_n_flags, &priv->tm_fixed_rate,
 228                                sizeof(tx_cmd->rate_n_flags));
 229                 }
 230 #endif
 231                 return;
 232         }
 233
 234         /**
 235          * If the current TX rate stored in mac80211 has the MCS bit set, it's
 236          * not really a TX rate.  Thus, we use the lowest supported rate for
 237          * this band.  Also use the lowest supported rate if the stored rate
 238          * index is invalid.
 239          */
 240         rate_idx = info->control.rates[0].idx;
 241         if (info->control.rates[0].flags & IEEE80211_TX_RC_MCS ||
 242                         (rate_idx < 0) || (rate_idx > IWL_RATE_COUNT_LEGACY))
 243                 rate_idx = rate_lowest_index(&priv->bands[info->band],
 244                                 info->control.sta);
 245         /* For 5 GHZ band, remap mac80211 rate indices into driver indices */
 246         if (info->band == IEEE80211_BAND_5GHZ)
 247                 rate_idx += IWL_FIRST_OFDM_RATE;
 248         /* Get PLCP rate for tx_cmd->rate_n_flags */
 249         rate_plcp = iwl_rates[rate_idx].plcp;
 250         /* Zero out flags for this packet */
 251         rate_flags = 0;
 252
 253         /* Set CCK flag as needed */
 254         if ((rate_idx >= IWL_FIRST_CCK_RATE) && (rate_idx <= IWL_LAST_CCK_RATE))
 255                 rate_flags |= RATE_MCS_CCK_MSK;
 256
 257         /* Set up antennas */
 258          if (priv->cfg->bt_params &&
 259              priv->cfg->bt_params->advanced_bt_coexist &&
 260              priv->bt_full_concurrent) {
 261                 /* operated as 1x1 in full concurrency mode */
 262                 priv->mgmt_tx_ant = iwl_toggle_tx_ant(priv, priv->mgmt_tx_ant,
 263                                 first_antenna(hw_params(priv).valid_tx_ant));
 264         } else
 265                 priv->mgmt_tx_ant = iwl_toggle_tx_ant(priv, priv->mgmt_tx_ant,
 266                                                 hw_params(priv).valid_tx_ant);
 267         rate_flags |= iwl_ant_idx_to_flags(priv->mgmt_tx_ant);
 268
 269         /* Set the rate in the TX cmd */
 270         tx_cmd->rate_n_flags = iwl_hw_set_rate_n_flags(rate_plcp, rate_flags);
 271 }
 272
 273 static void iwlagn_tx_cmd_build_hwcrypto(struct iwl_priv *priv,
 274                                       struct ieee80211_tx_info *info,
 275                                       struct iwl_tx_cmd *tx_cmd,
 276                                       struct sk_buff *skb_frag,
 277                                       int sta_id)
 278 {
 279         struct ieee80211_key_conf *keyconf = info->control.hw_key;
 280
 281         switch (keyconf->cipher) {
 282         case WLAN_CIPHER_SUITE_CCMP:
 283                 tx_cmd->sec_ctl = TX_CMD_SEC_CCM;
 284                 memcpy(tx_cmd->key, keyconf->key, keyconf->keylen);
 285                 if (info->flags & IEEE80211_TX_CTL_AMPDU)
 286                         tx_cmd->tx_flags |= TX_CMD_FLG_AGG_CCMP_MSK;
 287                 IWL_DEBUG_TX(priv, "tx_cmd with AES hwcrypto\n");
 288                 break;
 289
 290         case WLAN_CIPHER_SUITE_TKIP:
 291                 tx_cmd->sec_ctl = TX_CMD_SEC_TKIP;
 292                 ieee80211_get_tkip_p2k(keyconf, skb_frag, tx_cmd->key);
 293                 IWL_DEBUG_TX(priv, "tx_cmd with tkip hwcrypto\n");
 294                 break;
 295
 296         case WLAN_CIPHER_SUITE_WEP104:
 297                 tx_cmd->sec_ctl |= TX_CMD_SEC_KEY128;
 298                 /* fall through */
 299         case WLAN_CIPHER_SUITE_WEP40:
 300                 tx_cmd->sec_ctl |= (TX_CMD_SEC_WEP |
 301                         (keyconf->keyidx & TX_CMD_SEC_MSK) << TX_CMD_SEC_SHIFT);
 302
 303                 memcpy(&tx_cmd->key[3], keyconf->key, keyconf->keylen);
 304
 305                 IWL_DEBUG_TX(priv, "Configuring packet for WEP encryption "
 306                              "with key %d\n", keyconf->keyidx);
 307                 break;
 308
 309         default:
 310                 IWL_ERR(priv, "Unknown encode cipher %x\n", keyconf->cipher);
 311                 break;
 312         }
 313 }
 314
 315 /*
 316  * start REPLY_TX command process
 317  */
 318 int iwlagn_tx_skb(struct iwl_priv *priv, struct sk_buff *skb)
 319 {
 320         struct ieee80211_hdr *hdr = (struct ieee80211_hdr *)skb->data;
 321         struct ieee80211_tx_info *info = IEEE80211_SKB_CB(skb);
 322         struct iwl_station_priv *sta_priv = NULL;
 323         struct iwl_rxon_context *ctx = &priv->contexts[IWL_RXON_CTX_BSS];
 324         struct iwl_tx_cmd *tx_cmd;
 325         int txq_id;
 326
 327         u16 seq_number = 0;
 328         __le16 fc;
 329         u8 hdr_len;
 330         u16 len;
 331         u8 sta_id;
 332         u8 tid = 0;
 333         unsigned long flags;
 334         bool is_agg = false;
 335
 336         if (info->control.vif)
 337                 ctx = iwl_rxon_ctx_from_vif(info->control.vif);
 338
 339         spin_lock_irqsave(&priv->lock, flags);
 340         if (iwl_is_rfkill(priv)) {
 341                 IWL_DEBUG_DROP(priv, "Dropping - RF KILL\n");
 342                 goto drop_unlock_priv;
 343         }
 344
 345         fc = hdr->frame_control;
 346
 347 #ifdef CONFIG_IWLWIFI_DEBUG
 348         if (ieee80211_is_auth(fc))
 349                 IWL_DEBUG_TX(priv, "Sending AUTH frame\n");
 350         else if (ieee80211_is_assoc_req(fc))
 351                 IWL_DEBUG_TX(priv, "Sending ASSOC frame\n");
 352         else if (ieee80211_is_reassoc_req(fc))
 353                 IWL_DEBUG_TX(priv, "Sending REASSOC frame\n");
 354 #endif
 355
 356         hdr_len = ieee80211_hdrlen(fc);
 357
 358         /* For management frames use broadcast id to do not break aggregation */
 359         if (!ieee80211_is_data(fc))
 360                 sta_id = ctx->bcast_sta_id;
 361         else {
 362                 /* Find index into station table for destination station */
 363                 sta_id = iwl_sta_id_or_broadcast(priv, ctx, info->control.sta);
 364                 if (sta_id == IWL_INVALID_STATION) {
 365                         IWL_DEBUG_DROP(priv, "Dropping - INVALID STATION: %pM\n",
 366                                        hdr->addr1);
 367                         goto drop_unlock_priv;
 368                 }
 369         }
 370
 371         IWL_DEBUG_TX(priv, "station Id %d\n", sta_id);
 372
 373         if (info->control.sta)
 374                 sta_priv = (void *)info->control.sta->drv_priv;
 375
 376         if (sta_priv && sta_priv->asleep &&
 377             (info->flags & IEEE80211_TX_CTL_PSPOLL_RESPONSE)) {
 378                 /*
 379                  * This sends an asynchronous command to the device,
 380                  * but we can rely on it being processed before the
 381                  * next frame is processed -- and the next frame to
 382                  * this station is the one that will consume this
 383                  * counter.
 384                  * For now set the counter to just 1 since we do not
 385                  * support uAPSD yet.
 386                  */
 387                 iwl_sta_modify_sleep_tx_count(priv, sta_id, 1);
 388         }
 389
 390         /*
 391          * Send this frame after DTIM -- there's a special queue
 392          * reserved for this for contexts that support AP mode.
 393          */
 394         if (info->flags & IEEE80211_TX_CTL_SEND_AFTER_DTIM) {
 395                 txq_id = ctx->mcast_queue;
 396                 /*
 397                  * The microcode will clear the more data
 398                  * bit in the last frame it transmits.
 399                  */
 400                 hdr->frame_control |=
 401                         cpu_to_le16(IEEE80211_FCTL_MOREDATA);
 402         } else if (info->flags & IEEE80211_TX_CTL_TX_OFFCHAN)
 403                 txq_id = IWL_AUX_QUEUE;
 404         else
 405                 txq_id = ctx->ac_to_queue[skb_get_queue_mapping(skb)];
 406
 407         /* irqs already disabled/saved above when locking priv->lock */
 408         spin_lock(&priv->sta_lock);
 409
 410         if (ieee80211_is_data_qos(fc)) {
 411                 u8 *qc = NULL;
 412                 qc = ieee80211_get_qos_ctl(hdr);
 413                 tid = qc[0] & IEEE80211_QOS_CTL_TID_MASK;
 414
 415                 if (WARN_ON_ONCE(tid >= MAX_TID_COUNT))
 416                         goto drop_unlock_sta;
 417
 418                 seq_number = priv->stations[sta_id].tid[tid].seq_number;
 419                 seq_number &= IEEE80211_SCTL_SEQ;
 420                 hdr->seq_ctrl = hdr->seq_ctrl &
 421                                 cpu_to_le16(IEEE80211_SCTL_FRAG);
 422                 hdr->seq_ctrl |= cpu_to_le16(seq_number);
 423                 seq_number += 0x10;
 424                 /* aggregation is on for this <sta,tid> */
 425                 if (info->flags & IEEE80211_TX_CTL_AMPDU &&
 426                     priv->stations[sta_id].tid[tid].agg.state == IWL_AGG_ON) {
 427                         txq_id = priv->stations[sta_id].tid[tid].agg.txq_id;
 428                         is_agg = true;
 429                 }
 430         }
 431
 432         tx_cmd = trans_get_tx_cmd(&priv->trans, txq_id);
 433         if (unlikely(!tx_cmd))
 434                 goto drop_unlock_sta;
 435
 436         /* Copy MAC header from skb into command buffer */
 437         memcpy(tx_cmd->hdr, hdr, hdr_len);
 438
 439         /* Total # bytes to be transmitted */
 440         len = (u16)skb->len;
 441         tx_cmd->len = cpu_to_le16(len);
 442
 443         if (info->control.hw_key)
 444                 iwlagn_tx_cmd_build_hwcrypto(priv, info, tx_cmd, skb, sta_id);
 445
 446         /* TODO need this for burst mode later on */
 447         iwlagn_tx_cmd_build_basic(priv, skb, tx_cmd, info, hdr, sta_id);
 448         iwl_dbg_log_tx_data_frame(priv, len, hdr);
 449
 450         iwlagn_tx_cmd_build_rate(priv, tx_cmd, info, fc);
 451
 452         iwl_update_stats(priv, true, fc, len);
 453
 454         if (trans_tx(&priv->trans, skb, tx_cmd, txq_id, fc, is_agg, ctx))
 455                 goto drop_unlock_sta;
 456
 457         if (ieee80211_is_data_qos(fc)) {
 458                 priv->stations[sta_id].tid[tid].tfds_in_queue++;
 459                 if (!ieee80211_has_morefrags(fc))
 460                         priv->stations[sta_id].tid[tid].seq_number = seq_number;
 461         }
 462
 463         spin_unlock(&priv->sta_lock);
 464         spin_unlock_irqrestore(&priv->lock, flags);
 465
 466         /*
 467          * Avoid atomic ops if it isn't an associated client.
 468          * Also, if this is a packet for aggregation, don't
 469          * increase the counter because the ucode will stop
 470          * aggregation queues when their respective station
 471          * goes to sleep.
 472          */
 473         if (sta_priv && sta_priv->client && !is_agg)
 474                 atomic_inc(&sta_priv->pending_frames);
 475
 476         return 0;
 477
 478 drop_unlock_sta:
 479         spin_unlock(&priv->sta_lock);
 480 drop_unlock_priv:
 481         spin_unlock_irqrestore(&priv->lock, flags);
 482         return -1;
 483 }
 484
 485 /*
 486  * Find first available (lowest unused) Tx Queue, mark it "active".
 487  * Called only when finding queue for aggregation.
 488  * Should never return anything < 7, because they should already
 489  * be in use as EDCA AC (0-3), Command (4), reserved (5, 6)
 490  */
 491 static int iwlagn_txq_ctx_activate_free(struct iwl_priv *priv)
 492 {
 493         int txq_id;
 494
 495         for (txq_id = 0; txq_id < hw_params(priv).max_txq_num; txq_id++)
 496                 if (!test_and_set_bit(txq_id, &priv->txq_ctx_active_msk))
 497                         return txq_id;
 498         return -1;
 499 }
 500
 501 int iwlagn_tx_agg_start(struct iwl_priv *priv, struct ieee80211_vif *vif,
 502                         struct ieee80211_sta *sta, u16 tid, u16 *ssn)
 503 {
 504         int sta_id;
 505         int tx_fifo;
 506         int txq_id;
 507         int ret;
 508         unsigned long flags;
 509         struct iwl_tid_data *tid_data;
 510
 511         tx_fifo = get_fifo_from_tid(iwl_rxon_ctx_from_vif(vif), tid);
 512         if (unlikely(tx_fifo < 0))
 513                 return tx_fifo;
 514
 515         IWL_DEBUG_HT(priv, "TX AGG request on ra = %pM tid = %d\n",
 516                      sta->addr, tid);
 517
 518         sta_id = iwl_sta_id(sta);
 519         if (sta_id == IWL_INVALID_STATION) {
 520                 IWL_ERR(priv, "Start AGG on invalid station\n");
 521                 return -ENXIO;
 522         }
 523         if (unlikely(tid >= MAX_TID_COUNT))
 524                 return -EINVAL;
 525
 526         if (priv->stations[sta_id].tid[tid].agg.state != IWL_AGG_OFF) {
 527                 IWL_ERR(priv, "Start AGG when state is not IWL_AGG_OFF !\n");
 528                 return -ENXIO;
 529         }
 530
 531         txq_id = iwlagn_txq_ctx_activate_free(priv);
 532         if (txq_id == -1) {
 533                 IWL_ERR(priv, "No free aggregation queue available\n");
 534                 return -ENXIO;
 535         }
 536
 537         spin_lock_irqsave(&priv->sta_lock, flags);
 538         tid_data = &priv->stations[sta_id].tid[tid];
 539         *ssn = SEQ_TO_SN(tid_data->seq_number);
 540         tid_data->agg.txq_id = txq_id;
 541         tid_data->agg.tx_fifo = tx_fifo;
 542         iwl_set_swq_id(&priv->txq[txq_id], get_ac_from_tid(tid), txq_id);
 543         spin_unlock_irqrestore(&priv->sta_lock, flags);
 544
 545         ret = iwlagn_txq_agg_enable(priv, txq_id, sta_id, tid);
 546         if (ret)
 547                 return ret;
 548
 549         spin_lock_irqsave(&priv->sta_lock, flags);
 550         tid_data = &priv->stations[sta_id].tid[tid];
 551         if (tid_data->tfds_in_queue == 0) {
 552                 IWL_DEBUG_HT(priv, "HW queue is empty\n");
 553                 tid_data->agg.state = IWL_AGG_ON;
 554                 ieee80211_start_tx_ba_cb_irqsafe(vif, sta->addr, tid);
 555         } else {
 556                 IWL_DEBUG_HT(priv, "HW queue is NOT empty: %d packets in HW queue\n",
 557                              tid_data->tfds_in_queue);
 558                 tid_data->agg.state = IWL_EMPTYING_HW_QUEUE_ADDBA;
 559         }
 560         spin_unlock_irqrestore(&priv->sta_lock, flags);
 561         return ret;
 562 }
 563
 564 int iwlagn_tx_agg_stop(struct iwl_priv *priv, struct ieee80211_vif *vif,
 565                        struct ieee80211_sta *sta, u16 tid)
 566 {
 567         int tx_fifo_id, txq_id, sta_id, ssn;
 568         struct iwl_tid_data *tid_data;
 569         int write_ptr, read_ptr;
 570         unsigned long flags;
 571
 572         tx_fifo_id = get_fifo_from_tid(iwl_rxon_ctx_from_vif(vif), tid);
 573         if (unlikely(tx_fifo_id < 0))
 574                 return tx_fifo_id;
 575
 576         sta_id = iwl_sta_id(sta);
 577
 578         if (sta_id == IWL_INVALID_STATION) {
 579                 IWL_ERR(priv, "Invalid station for AGG tid %d\n", tid);
 580                 return -ENXIO;
 581         }
 582
 583         spin_lock_irqsave(&priv->sta_lock, flags);
 584
 585         tid_data = &priv->stations[sta_id].tid[tid];
 586         ssn = (tid_data->seq_number & IEEE80211_SCTL_SEQ) >> 4;
 587         txq_id = tid_data->agg.txq_id;
 588
 589         switch (priv->stations[sta_id].tid[tid].agg.state) {
 590         case IWL_EMPTYING_HW_QUEUE_ADDBA:
 591                 /*
 592                  * This can happen if the peer stops aggregation
 593                  * again before we've had a chance to drain the
 594                  * queue we selected previously, i.e. before the
 595                  * session was really started completely.
 596                  */
 597                 IWL_DEBUG_HT(priv, "AGG stop before setup done\n");
 598                 goto turn_off;
 599         case IWL_AGG_ON:
 600                 break;
 601         default:
 602                 IWL_WARN(priv, "Stopping AGG while state not ON or starting\n");
 603         }
 604
 605         write_ptr = priv->txq[txq_id].q.write_ptr;
 606         read_ptr = priv->txq[txq_id].q.read_ptr;
 607
 608         /* The queue is not empty */
 609         if (write_ptr != read_ptr) {
 610                 IWL_DEBUG_HT(priv, "Stopping a non empty AGG HW QUEUE\n");
 611                 priv->stations[sta_id].tid[tid].agg.state =
 612                                 IWL_EMPTYING_HW_QUEUE_DELBA;
 613                 spin_unlock_irqrestore(&priv->sta_lock, flags);
 614                 return 0;
 615         }
 616
 617         IWL_DEBUG_HT(priv, "HW queue is empty\n");
 618  turn_off:
 619         priv->stations[sta_id].tid[tid].agg.state = IWL_AGG_OFF;
 620
 621         /* do not restore/save irqs */
 622         spin_unlock(&priv->sta_lock);
 623         spin_lock(&priv->lock);
 624
 625         /*
 626          * the only reason this call can fail is queue number out of range,
 627          * which can happen if uCode is reloaded and all the station
 628          * information are lost. if it is outside the range, there is no need
 629          * to deactivate the uCode queue, just return "success" to allow
 630          *  mac80211 to clean up it own data.
 631          */
 632         trans_txq_agg_disable(&priv->trans, txq_id, ssn, tx_fifo_id);
 633         spin_unlock_irqrestore(&priv->lock, flags);
 634
 635         ieee80211_stop_tx_ba_cb_irqsafe(vif, sta->addr, tid);
 636
 637         return 0;
 638 }
 639
 640 int iwlagn_txq_check_empty(struct iwl_priv *priv,
 641                            int sta_id, u8 tid, int txq_id)
 642 {
 643         struct iwl_queue *q = &priv->txq[txq_id].q;
 644         u8 *addr = priv->stations[sta_id].sta.sta.addr;
 645         struct iwl_tid_data *tid_data = &priv->stations[sta_id].tid[tid];
 646         struct iwl_rxon_context *ctx;
 647
 648         ctx = &priv->contexts[priv->stations[sta_id].ctxid];
 649
 650         lockdep_assert_held(&priv->sta_lock);
 651
 652         switch (priv->stations[sta_id].tid[tid].agg.state) {
 653         case IWL_EMPTYING_HW_QUEUE_DELBA:
 654                 /* We are reclaiming the last packet of the */
 655                 /* aggregated HW queue */
 656                 if ((txq_id  == tid_data->agg.txq_id) &&
 657                     (q->read_ptr == q->write_ptr)) {
 658                         u16 ssn = SEQ_TO_SN(tid_data->seq_number);
 659                         int tx_fifo = get_fifo_from_tid(ctx, tid);
 660                         IWL_DEBUG_HT(priv, "HW queue empty: continue DELBA flow\n");
 661                         trans_txq_agg_disable(&priv->trans, txq_id,
 662                                 ssn, tx_fifo);
 663                         tid_data->agg.state = IWL_AGG_OFF;
 664                         ieee80211_stop_tx_ba_cb_irqsafe(ctx->vif, addr, tid);
 665                 }
 666                 break;
 667         case IWL_EMPTYING_HW_QUEUE_ADDBA:
 668                 /* We are reclaiming the last packet of the queue */
 669                 if (tid_data->tfds_in_queue == 0) {
 670                         IWL_DEBUG_HT(priv, "HW queue empty: continue ADDBA flow\n");
 671                         tid_data->agg.state = IWL_AGG_ON;
 672                         ieee80211_start_tx_ba_cb_irqsafe(ctx->vif, addr, tid);
 673                 }
 674                 break;
 675         }
 676
 677         return 0;
 678 }
 679
 680 static void iwlagn_non_agg_tx_status(struct iwl_priv *priv,
 681                                      struct iwl_rxon_context *ctx,
 682                                      const u8 *addr1)
 683 {
 684         struct ieee80211_sta *sta;
 685         struct iwl_station_priv *sta_priv;
 686
 687         rcu_read_lock();
 688         sta = ieee80211_find_sta(ctx->vif, addr1);
 689         if (sta) {
 690                 sta_priv = (void *)sta->drv_priv;
 691                 /* avoid atomic ops if this isn't a client */
 692                 if (sta_priv->client &&
 693                     atomic_dec_return(&sta_priv->pending_frames) == 0)
 694                         ieee80211_sta_block_awake(priv->hw, sta, false);
 695         }
 696         rcu_read_unlock();
 697 }
 698
 699 static void iwlagn_tx_status(struct iwl_priv *priv, struct iwl_tx_info *tx_info,
 700                              bool is_agg)
 701 {
 702         struct ieee80211_hdr *hdr = (struct ieee80211_hdr *) tx_info->skb->data;
 703
 704         if (!is_agg)
 705                 iwlagn_non_agg_tx_status(priv, tx_info->ctx, hdr->addr1);
 706
 707         ieee80211_tx_status_irqsafe(priv->hw, tx_info->skb);
 708 }
 709
 710 int iwlagn_tx_queue_reclaim(struct iwl_priv *priv, int txq_id, int index)
 711 {
 712         struct iwl_tx_queue *txq = &priv->txq[txq_id];
 713         struct iwl_queue *q = &txq->q;
 714         struct iwl_tx_info *tx_info;
 715         int nfreed = 0;
 716         struct ieee80211_hdr *hdr;
 717
 718         if ((index >= q->n_bd) || (iwl_queue_used(q, index) == 0)) {
 719                 IWL_ERR(priv, "%s: Read index for DMA queue txq id (%d), "
 720                           "index %d is out of range [0-%d] %d %d.\n", __func__,
 721                           txq_id, index, q->n_bd, q->write_ptr, q->read_ptr);
 722                 return 0;
 723         }
 724
 725         for (index = iwl_queue_inc_wrap(index, q->n_bd);
 726              q->read_ptr != index;
 727              q->read_ptr = iwl_queue_inc_wrap(q->read_ptr, q->n_bd)) {
 728
 729                 tx_info = &txq->txb[txq->q.read_ptr];
 730
 731                 if (WARN_ON_ONCE(tx_info->skb == NULL))
 732                         continue;
 733
 734                 hdr = (struct ieee80211_hdr *)tx_info->skb->data;
 735                 if (ieee80211_is_data_qos(hdr->frame_control))
 736                         nfreed++;
 737
 738                 iwlagn_tx_status(priv, tx_info,
 739                                  txq_id >= IWLAGN_FIRST_AMPDU_QUEUE);
 740                 tx_info->skb = NULL;
 741
 742                 iwlagn_txq_inval_byte_cnt_tbl(priv, txq);
 743
 744                 iwlagn_txq_free_tfd(priv, txq, txq->q.read_ptr);
 745         }
 746         return nfreed;
 747 }
 748
 749 /**
 750  * iwlagn_tx_status_reply_compressed_ba - Update tx status from block-ack
 751  *
 752  * Go through block-ack's bitmap of ACK'd frames, update driver's record of
 753  * ACK vs. not.  This gets sent to mac80211, then to rate scaling algo.
 754  */
 755 static int iwlagn_tx_status_reply_compressed_ba(struct iwl_priv *priv,
 756                                  struct iwl_ht_agg *agg,
 757                                  struct iwl_compressed_ba_resp *ba_resp)
 758
 759 {
 760         int sh;
 761         u16 seq_ctl = le16_to_cpu(ba_resp->seq_ctl);
 762         u16 scd_flow = le16_to_cpu(ba_resp->scd_flow);
 763         struct ieee80211_tx_info *info;
 764         u64 bitmap, sent_bitmap;
 765
 766         if (unlikely(!agg->wait_for_ba))  {
 767                 if (unlikely(ba_resp->bitmap))
 768                         IWL_ERR(priv, "Received BA when not expected\n");
 769                 return -EINVAL;
 770         }
 771
 772         /* Mark that the expected block-ack response arrived */
 773         agg->wait_for_ba = 0;
 774         IWL_DEBUG_TX_REPLY(priv, "BA %d %d\n", agg->start_idx, ba_resp->seq_ctl);
 775
 776         /* Calculate shift to align block-ack bits with our Tx window bits */
 777         sh = agg->start_idx - SEQ_TO_INDEX(seq_ctl >> 4);
 778         if (sh < 0)
 779                 sh += 0x100;
 780
 781         /*
 782          * Check for success or failure according to the
 783          * transmitted bitmap and block-ack bitmap
 784          */
 785         bitmap = le64_to_cpu(ba_resp->bitmap) >> sh;
 786         sent_bitmap = bitmap & agg->bitmap;
 787
 788         /* Sanity check values reported by uCode */
 789         if (ba_resp->txed_2_done > ba_resp->txed) {
 790                 IWL_DEBUG_TX_REPLY(priv,
 791                         "bogus sent(%d) and ack(%d) count\n",
 792                         ba_resp->txed, ba_resp->txed_2_done);
 793                 /*
 794                  * set txed_2_done = txed,
 795                  * so it won't impact rate scale
 796                  */
 797                 ba_resp->txed = ba_resp->txed_2_done;
 798         }
 799         IWL_DEBUG_HT(priv, "agg frames sent:%d, acked:%d\n",
 800                         ba_resp->txed, ba_resp->txed_2_done);
 801
 802         /* Find the first ACKed frame to store the TX status */
 803         while (sent_bitmap && !(sent_bitmap & 1)) {
 804                 agg->start_idx = (agg->start_idx + 1) & 0xff;
 805                 sent_bitmap >>= 1;
 806         }
 807
 808         info = IEEE80211_SKB_CB(priv->txq[scd_flow].txb[agg->start_idx].skb);
 809         memset(&info->status, 0, sizeof(info->status));
 810         info->flags |= IEEE80211_TX_STAT_ACK;
 811         info->flags |= IEEE80211_TX_STAT_AMPDU;
 812         info->status.ampdu_ack_len = ba_resp->txed_2_done;
 813         info->status.ampdu_len = ba_resp->txed;
 814         iwlagn_hwrate_to_tx_control(priv, agg->rate_n_flags, info);
 815
 816         return 0;
 817 }
 818
 819 /**
 820  * translate ucode response to mac80211 tx status control values
 821  */
 822 void iwlagn_hwrate_to_tx_control(struct iwl_priv *priv, u32 rate_n_flags,
 823                                   struct ieee80211_tx_info *info)
 824 {
 825         struct ieee80211_tx_rate *r = &info->control.rates[0];
 826
 827         info->antenna_sel_tx =
 828                 ((rate_n_flags & RATE_MCS_ANT_ABC_MSK) >> RATE_MCS_ANT_POS);
 829         if (rate_n_flags & RATE_MCS_HT_MSK)
 830                 r->flags |= IEEE80211_TX_RC_MCS;
 831         if (rate_n_flags & RATE_MCS_GF_MSK)
 832                 r->flags |= IEEE80211_TX_RC_GREEN_FIELD;
 833         if (rate_n_flags & RATE_MCS_HT40_MSK)
 834                 r->flags |= IEEE80211_TX_RC_40_MHZ_WIDTH;
 835         if (rate_n_flags & RATE_MCS_DUP_MSK)
 836                 r->flags |= IEEE80211_TX_RC_DUP_DATA;
 837         if (rate_n_flags & RATE_MCS_SGI_MSK)
 838                 r->flags |= IEEE80211_TX_RC_SHORT_GI;
 839         r->idx = iwlagn_hwrate_to_mac80211_idx(rate_n_flags, info->band);
 840 }
 841
 842 /**
 843  * iwlagn_rx_reply_compressed_ba - Handler for REPLY_COMPRESSED_BA
 844  *
 845  * Handles block-acknowledge notification from device, which reports success
 846  * of frames sent via aggregation.
 847  */
 848 void iwlagn_rx_reply_compressed_ba(struct iwl_priv *priv,
 849                                            struct iwl_rx_mem_buffer *rxb)
 850 {
 851         struct iwl_rx_packet *pkt = rxb_addr(rxb);
 852         struct iwl_compressed_ba_resp *ba_resp = &pkt->u.compressed_ba;
 853         struct iwl_tx_queue *txq = NULL;
 854         struct iwl_ht_agg *agg;
 855         int index;
 856         int sta_id;
 857         int tid;
 858         unsigned long flags;
 859
 860         /* "flow" corresponds to Tx queue */
 861         u16 scd_flow = le16_to_cpu(ba_resp->scd_flow);
 862
 863         /* "ssn" is start of block-ack Tx window, corresponds to index
 864          * (in Tx queue's circular buffer) of first TFD/frame in window */
 865         u16 ba_resp_scd_ssn = le16_to_cpu(ba_resp->scd_ssn);
 866
 867         if (scd_flow >= hw_params(priv).max_txq_num) {
 868                 IWL_ERR(priv,
 869                         "BUG_ON scd_flow is bigger than number of queues\n");
 870                 return;
 871         }
 872
 873         txq = &priv->txq[scd_flow];
 874         sta_id = ba_resp->sta_id;
 875         tid = ba_resp->tid;
 876         agg = &priv->stations[sta_id].tid[tid].agg;
 877         if (unlikely(agg->txq_id != scd_flow)) {
 878                 /*
 879                  * FIXME: this is a uCode bug which need to be addressed,
 880                  * log the information and return for now!
 881                  * since it is possible happen very often and in order
 882                  * not to fill the syslog, don't enable the logging by default
 883                  */
 884                 IWL_DEBUG_TX_REPLY(priv,
 885                         "BA scd_flow %d does not match txq_id %d\n",
 886                         scd_flow, agg->txq_id);
 887                 return;
 888         }
 889
 890         /* Find index just before block-ack window */
 891         index = iwl_queue_dec_wrap(ba_resp_scd_ssn & 0xff, txq->q.n_bd);
 892
 893         spin_lock_irqsave(&priv->sta_lock, flags);
 894
 895         IWL_DEBUG_TX_REPLY(priv, "REPLY_COMPRESSED_BA [%d] Received from %pM, "
 896                            "sta_id = %d\n",
 897                            agg->wait_for_ba,
 898                            (u8 *) &ba_resp->sta_addr_lo32,
 899                            ba_resp->sta_id);
 900         IWL_DEBUG_TX_REPLY(priv, "TID = %d, SeqCtl = %d, bitmap = 0x%llx, scd_flow = "
 901                            "%d, scd_ssn = %d\n",
 902                            ba_resp->tid,
 903                            ba_resp->seq_ctl,
 904                            (unsigned long long)le64_to_cpu(ba_resp->bitmap),
 905                            ba_resp->scd_flow,
 906                            ba_resp->scd_ssn);
 907         IWL_DEBUG_TX_REPLY(priv, "DAT start_idx = %d, bitmap = 0x%llx\n",
 908                            agg->start_idx,
 909                            (unsigned long long)agg->bitmap);
 910
 911         /* Update driver's record of ACK vs. not for each frame in window */
 912         iwlagn_tx_status_reply_compressed_ba(priv, agg, ba_resp);
 913
 914         /* Release all TFDs before the SSN, i.e. all TFDs in front of
 915          * block-ack window (we assume that they've been successfully
 916          * transmitted ... if not, it's too late anyway). */
 917         if (txq->q.read_ptr != (ba_resp_scd_ssn & 0xff)) {
 918                 /* calculate mac80211 ampdu sw queue to wake */
 919                 int freed = iwlagn_tx_queue_reclaim(priv, scd_flow, index);
 920                 iwl_free_tfds_in_queue(priv, sta_id, tid, freed);
 921
 922                 if ((iwl_queue_space(&txq->q) > txq->q.low_mark) &&
 923                     priv->mac80211_registered &&
 924                     (agg->state != IWL_EMPTYING_HW_QUEUE_DELBA))
 925                         iwl_wake_queue(priv, txq);
 926
 927                 iwlagn_txq_check_empty(priv, sta_id, tid, scd_flow);
 928         }
 929
 930         spin_unlock_irqrestore(&priv->sta_lock, flags);
 931 }
 932
 933 #ifdef CONFIG_IWLWIFI_DEBUG
 934 const char *iwl_get_tx_fail_reason(u32 status)
 935 {
 936 #define TX_STATUS_FAIL(x) case TX_STATUS_FAIL_ ## x: return #x
 937 #define TX_STATUS_POSTPONE(x) case TX_STATUS_POSTPONE_ ## x: return #x
 938
 939         switch (status & TX_STATUS_MSK) {
 940         case TX_STATUS_SUCCESS:
 941                 return "SUCCESS";
 942         TX_STATUS_POSTPONE(DELAY);
 943         TX_STATUS_POSTPONE(FEW_BYTES);
 944         TX_STATUS_POSTPONE(BT_PRIO);
 945         TX_STATUS_POSTPONE(QUIET_PERIOD);
 946         TX_STATUS_POSTPONE(CALC_TTAK);
 947         TX_STATUS_FAIL(INTERNAL_CROSSED_RETRY);
 948         TX_STATUS_FAIL(SHORT_LIMIT);
 949         TX_STATUS_FAIL(LONG_LIMIT);
 950         TX_STATUS_FAIL(FIFO_UNDERRUN);
 951         TX_STATUS_FAIL(DRAIN_FLOW);
 952         TX_STATUS_FAIL(RFKILL_FLUSH);
 953         TX_STATUS_FAIL(LIFE_EXPIRE);
 954         TX_STATUS_FAIL(DEST_PS);
 955         TX_STATUS_FAIL(HOST_ABORTED);
 956         TX_STATUS_FAIL(BT_RETRY);
 957         TX_STATUS_FAIL(STA_INVALID);
 958         TX_STATUS_FAIL(FRAG_DROPPED);
 959         TX_STATUS_FAIL(TID_DISABLE);
 960         TX_STATUS_FAIL(FIFO_FLUSHED);
 961         TX_STATUS_FAIL(INSUFFICIENT_CF_POLL);
 962         TX_STATUS_FAIL(PASSIVE_NO_RX);
 963         TX_STATUS_FAIL(NO_BEACON_ON_RADAR);
 964         }
 965
 966         return "UNKNOWN";
 967
 968 #undef TX_STATUS_FAIL
 969 #undef TX_STATUS_POSTPONE
 970 }
 971 #endif /* CONFIG_IWLWIFI_DEBUG */