fs/xfs/xfs_filestream.c

   1 /*
   2  * Copyright (c) 2006-2007 Silicon Graphics, Inc.
   3  * All Rights Reserved.
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License as
   7  * published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it would be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write the Free Software Foundation,
  16  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17  */
  18 #include "xfs.h"
  19 #include "xfs_bmap_btree.h"
  20 #include "xfs_inum.h"
  21 #include "xfs_dir2.h"
  22 #include "xfs_dir2_sf.h"
  23 #include "xfs_attr_sf.h"
  24 #include "xfs_dinode.h"
  25 #include "xfs_inode.h"
  26 #include "xfs_ag.h"
  27 #include "xfs_dmapi.h"
  28 #include "xfs_log.h"
  29 #include "xfs_trans.h"
  30 #include "xfs_sb.h"
  31 #include "xfs_mount.h"
  32 #include "xfs_bmap.h"
  33 #include "xfs_alloc.h"
  34 #include "xfs_utils.h"
  35 #include "xfs_mru_cache.h"
  36 #include "xfs_filestream.h"
  37 #include "xfs_trace.h"
  38
  39 #ifdef XFS_FILESTREAMS_TRACE
  40
  41 ktrace_t *xfs_filestreams_trace_buf;
  42
  43 STATIC void
  44 xfs_filestreams_trace(
  45         xfs_mount_t     *mp,    /* mount point */
  46         int             type,   /* type of trace */
  47         const char      *func,  /* source function */
  48         int             line,   /* source line number */
  49         __psunsigned_t  arg0,
  50         __psunsigned_t  arg1,
  51         __psunsigned_t  arg2,
  52         __psunsigned_t  arg3,
  53         __psunsigned_t  arg4,
  54         __psunsigned_t  arg5)
  55 {
  56         ktrace_enter(xfs_filestreams_trace_buf,
  57                 (void *)(__psint_t)(type | (line << 16)),
  58                 (void *)func,
  59                 (void *)(__psunsigned_t)current_pid(),
  60                 (void *)mp,
  61                 (void *)(__psunsigned_t)arg0,
  62                 (void *)(__psunsigned_t)arg1,
  63                 (void *)(__psunsigned_t)arg2,
  64                 (void *)(__psunsigned_t)arg3,
  65                 (void *)(__psunsigned_t)arg4,
  66                 (void *)(__psunsigned_t)arg5,
  67                 NULL, NULL, NULL, NULL, NULL, NULL);
  68 }
  69
  70 #define TRACE0(mp,t)                    TRACE6(mp,t,0,0,0,0,0,0)
  71 #define TRACE1(mp,t,a0)                 TRACE6(mp,t,a0,0,0,0,0,0)
  72 #define TRACE2(mp,t,a0,a1)              TRACE6(mp,t,a0,a1,0,0,0,0)
  73 #define TRACE3(mp,t,a0,a1,a2)           TRACE6(mp,t,a0,a1,a2,0,0,0)
  74 #define TRACE4(mp,t,a0,a1,a2,a3)        TRACE6(mp,t,a0,a1,a2,a3,0,0)
  75 #define TRACE5(mp,t,a0,a1,a2,a3,a4)     TRACE6(mp,t,a0,a1,a2,a3,a4,0)
  76 #define TRACE6(mp,t,a0,a1,a2,a3,a4,a5) \
  77         xfs_filestreams_trace(mp, t, __func__, __LINE__, \
  78                                 (__psunsigned_t)a0, (__psunsigned_t)a1, \
  79                                 (__psunsigned_t)a2, (__psunsigned_t)a3, \
  80                                 (__psunsigned_t)a4, (__psunsigned_t)a5)
  81
  82 #define TRACE_AG_SCAN(mp, ag, ag2) \
  83                 TRACE2(mp, XFS_FSTRM_KTRACE_AGSCAN, ag, ag2);
  84 #define TRACE_AG_PICK1(mp, max_ag, maxfree) \
  85                 TRACE2(mp, XFS_FSTRM_KTRACE_AGPICK1, max_ag, maxfree);
  86 #define TRACE_AG_PICK2(mp, ag, ag2, cnt, free, scan, flag) \
  87                 TRACE6(mp, XFS_FSTRM_KTRACE_AGPICK2, ag, ag2, \
  88                          cnt, free, scan, flag)
  89 #define TRACE_UPDATE(mp, ip, ag, cnt, ag2, cnt2) \
  90                 TRACE5(mp, XFS_FSTRM_KTRACE_UPDATE, ip, ag, cnt, ag2, cnt2)
  91 #define TRACE_FREE(mp, ip, pip, ag, cnt) \
  92                 TRACE4(mp, XFS_FSTRM_KTRACE_FREE, ip, pip, ag, cnt)
  93 #define TRACE_LOOKUP(mp, ip, pip, ag, cnt) \
  94                 TRACE4(mp, XFS_FSTRM_KTRACE_ITEM_LOOKUP, ip, pip, ag, cnt)
  95 #define TRACE_ASSOCIATE(mp, ip, pip, ag, cnt) \
  96                 TRACE4(mp, XFS_FSTRM_KTRACE_ASSOCIATE, ip, pip, ag, cnt)
  97 #define TRACE_MOVEAG(mp, ip, pip, oag, ocnt, nag, ncnt) \
  98                 TRACE6(mp, XFS_FSTRM_KTRACE_MOVEAG, ip, pip, oag, ocnt, nag, ncnt)
  99 #define TRACE_ORPHAN(mp, ip, ag) \
 100                 TRACE2(mp, XFS_FSTRM_KTRACE_ORPHAN, ip, ag);
 101
 102
 103 #else
 104 #define TRACE_AG_SCAN(mp, ag, ag2)
 105 #define TRACE_AG_PICK1(mp, max_ag, maxfree)
 106 #define TRACE_AG_PICK2(mp, ag, ag2, cnt, free, scan, flag)
 107 #define TRACE_UPDATE(mp, ip, ag, cnt, ag2, cnt2)
 108 #define TRACE_FREE(mp, ip, pip, ag, cnt)
 109 #define TRACE_LOOKUP(mp, ip, pip, ag, cnt)
 110 #define TRACE_ASSOCIATE(mp, ip, pip, ag, cnt)
 111 #define TRACE_MOVEAG(mp, ip, pip, oag, ocnt, nag, ncnt)
 112 #define TRACE_ORPHAN(mp, ip, ag)
 113 #endif
 114
 115 static kmem_zone_t *item_zone;
 116
 117 /*
 118  * Structure for associating a file or a directory with an allocation group.
 119  * The parent directory pointer is only needed for files, but since there will
 120  * generally be vastly more files than directories in the cache, using the same
 121  * data structure simplifies the code with very little memory overhead.
 122  */
 123 typedef struct fstrm_item
 124 {
 125         xfs_agnumber_t  ag;     /* AG currently in use for the file/directory. */
 126         xfs_inode_t     *ip;    /* inode self-pointer. */
 127         xfs_inode_t     *pip;   /* Parent directory inode pointer. */
 128 } fstrm_item_t;
 129
 130
 131 /*
 132  * Scan the AGs starting at startag looking for an AG that isn't in use and has
 133  * at least minlen blocks free.
 134  */
 135 static int
 136 _xfs_filestream_pick_ag(
 137         xfs_mount_t     *mp,
 138         xfs_agnumber_t  startag,
 139         xfs_agnumber_t  *agp,
 140         int             flags,
 141         xfs_extlen_t    minlen)
 142 {
 143         int             streams, max_streams;
 144         int             err, trylock, nscan;
 145         xfs_extlen_t    longest, free, minfree, maxfree = 0;
 146         xfs_agnumber_t  ag, max_ag = NULLAGNUMBER;
 147         struct xfs_perag *pag;
 148
 149         /* 2% of an AG's blocks must be free for it to be chosen. */
 150         minfree = mp->m_sb.sb_agblocks / 50;
 151
 152         ag = startag;
 153         *agp = NULLAGNUMBER;
 154
 155         /* For the first pass, don't sleep trying to init the per-AG. */
 156         trylock = XFS_ALLOC_FLAG_TRYLOCK;
 157
 158         for (nscan = 0; 1; nscan++) {
 159                 pag = xfs_perag_get(mp, ag);
 160                 TRACE_AG_SCAN(mp, ag, atomic_read(&pag->pagf_fstrms));
 161
 162                 if (!pag->pagf_init) {
 163                         err = xfs_alloc_pagf_init(mp, NULL, ag, trylock);
 164                         if (err && !trylock) {
 165                                 xfs_perag_put(pag);
 166                                 return err;
 167                         }
 168                 }
 169
 170                 /* Might fail sometimes during the 1st pass with trylock set. */
 171                 if (!pag->pagf_init)
 172                         goto next_ag;
 173
 174                 /* Keep track of the AG with the most free blocks. */
 175                 if (pag->pagf_freeblks > maxfree) {
 176                         maxfree = pag->pagf_freeblks;
 177                         max_streams = atomic_read(&pag->pagf_fstrms);
 178                         max_ag = ag;
 179                 }
 180
 181                 /*
 182                  * The AG reference count does two things: it enforces mutual
 183                  * exclusion when examining the suitability of an AG in this
 184                  * loop, and it guards against two filestreams being established
 185                  * in the same AG as each other.
 186                  */
 187                 if (xfs_filestream_get_ag(mp, ag) > 1) {
 188                         xfs_filestream_put_ag(mp, ag);
 189                         goto next_ag;
 190                 }
 191
 192                 longest = xfs_alloc_longest_free_extent(mp, pag);
 193                 if (((minlen && longest >= minlen) ||
 194                      (!minlen && pag->pagf_freeblks >= minfree)) &&
 195                     (!pag->pagf_metadata || !(flags & XFS_PICK_USERDATA) ||
 196                      (flags & XFS_PICK_LOWSPACE))) {
 197
 198                         /* Break out, retaining the reference on the AG. */
 199                         free = pag->pagf_freeblks;
 200                         streams = atomic_read(&pag->pagf_fstrms);
 201                         xfs_perag_put(pag);
 202                         *agp = ag;
 203                         break;
 204                 }
 205
 206                 /* Drop the reference on this AG, it's not usable. */
 207                 xfs_filestream_put_ag(mp, ag);
 208 next_ag:
 209                 xfs_perag_put(pag);
 210                 /* Move to the next AG, wrapping to AG 0 if necessary. */
 211                 if (++ag >= mp->m_sb.sb_agcount)
 212                         ag = 0;
 213
 214                 /* If a full pass of the AGs hasn't been done yet, continue. */
 215                 if (ag != startag)
 216                         continue;
 217
 218                 /* Allow sleeping in xfs_alloc_pagf_init() on the 2nd pass. */
 219                 if (trylock != 0) {
 220                         trylock = 0;
 221                         continue;
 222                 }
 223
 224                 /* Finally, if lowspace wasn't set, set it for the 3rd pass. */
 225                 if (!(flags & XFS_PICK_LOWSPACE)) {
 226                         flags |= XFS_PICK_LOWSPACE;
 227                         continue;
 228                 }
 229
 230                 /*
 231                  * Take the AG with the most free space, regardless of whether
 232                  * it's already in use by another filestream.
 233                  */
 234                 if (max_ag != NULLAGNUMBER) {
 235                         xfs_filestream_get_ag(mp, max_ag);
 236                         TRACE_AG_PICK1(mp, max_ag, maxfree);
 237                         streams = max_streams;
 238                         free = maxfree;
 239                         *agp = max_ag;
 240                         break;
 241                 }
 242
 243                 /* take AG 0 if none matched */
 244                 TRACE_AG_PICK1(mp, max_ag, maxfree);
 245                 *agp = 0;
 246                 return 0;
 247         }
 248
 249         TRACE_AG_PICK2(mp, startag, *agp, streams, free, nscan, flags);
 250
 251         return 0;
 252 }
 253
 254 /*
 255  * Set the allocation group number for a file or a directory, updating inode
 256  * references and per-AG references as appropriate.  Must be called with the
 257  * m_peraglock held in read mode.
 258  */
 259 static int
 260 _xfs_filestream_update_ag(
 261         xfs_inode_t     *ip,
 262         xfs_inode_t     *pip,
 263         xfs_agnumber_t  ag)
 264 {
 265         int             err = 0;
 266         xfs_mount_t     *mp;
 267         xfs_mru_cache_t *cache;
 268         fstrm_item_t    *item;
 269         xfs_agnumber_t  old_ag;
 270         xfs_inode_t     *old_pip;
 271
 272         /*
 273          * Either ip is a regular file and pip is a directory, or ip is a
 274          * directory and pip is NULL.
 275          */
 276         ASSERT(ip && (((ip->i_d.di_mode & S_IFREG) && pip &&
 277                        (pip->i_d.di_mode & S_IFDIR)) ||
 278                       ((ip->i_d.di_mode & S_IFDIR) && !pip)));
 279
 280         mp = ip->i_mount;
 281         cache = mp->m_filestream;
 282
 283         item = xfs_mru_cache_lookup(cache, ip->i_ino);
 284         if (item) {
 285                 ASSERT(item->ip == ip);
 286                 old_ag = item->ag;
 287                 item->ag = ag;
 288                 old_pip = item->pip;
 289                 item->pip = pip;
 290                 xfs_mru_cache_done(cache);
 291
 292                 /*
 293                  * If the AG has changed, drop the old ref and take a new one,
 294                  * effectively transferring the reference from old to new AG.
 295                  */
 296                 if (ag != old_ag) {
 297                         xfs_filestream_put_ag(mp, old_ag);
 298                         xfs_filestream_get_ag(mp, ag);
 299                 }
 300
 301                 /*
 302                  * If ip is a file and its pip has changed, drop the old ref and
 303                  * take a new one.
 304                  */
 305                 if (pip && pip != old_pip) {
 306                         IRELE(old_pip);
 307                         IHOLD(pip);
 308                 }
 309
 310                 TRACE_UPDATE(mp, ip, old_ag, xfs_filestream_peek_ag(mp, old_ag),
 311                                 ag, xfs_filestream_peek_ag(mp, ag));
 312                 return 0;
 313         }
 314
 315         item = kmem_zone_zalloc(item_zone, KM_MAYFAIL);
 316         if (!item)
 317                 return ENOMEM;
 318
 319         item->ag = ag;
 320         item->ip = ip;
 321         item->pip = pip;
 322
 323         err = xfs_mru_cache_insert(cache, ip->i_ino, item);
 324         if (err) {
 325                 kmem_zone_free(item_zone, item);
 326                 return err;
 327         }
 328
 329         /* Take a reference on the AG. */
 330         xfs_filestream_get_ag(mp, ag);
 331
 332         /*
 333          * Take a reference on the inode itself regardless of whether it's a
 334          * regular file or a directory.
 335          */
 336         IHOLD(ip);
 337
 338         /*
 339          * In the case of a regular file, take a reference on the parent inode
 340          * as well to ensure it remains in-core.
 341          */
 342         if (pip)
 343                 IHOLD(pip);
 344
 345         TRACE_UPDATE(mp, ip, ag, xfs_filestream_peek_ag(mp, ag),
 346                         ag, xfs_filestream_peek_ag(mp, ag));
 347
 348         return 0;
 349 }
 350
 351 /* xfs_fstrm_free_func(): callback for freeing cached stream items. */
 352 STATIC void
 353 xfs_fstrm_free_func(
 354         unsigned long   ino,
 355         void            *data)
 356 {
 357         fstrm_item_t    *item  = (fstrm_item_t *)data;
 358         xfs_inode_t     *ip = item->ip;
 359         int ref;
 360
 361         ASSERT(ip->i_ino == ino);
 362
 363         xfs_iflags_clear(ip, XFS_IFILESTREAM);
 364
 365         /* Drop the reference taken on the AG when the item was added. */
 366         ref = xfs_filestream_put_ag(ip->i_mount, item->ag);
 367
 368         ASSERT(ref >= 0);
 369         TRACE_FREE(ip->i_mount, ip, item->pip, item->ag,
 370                 xfs_filestream_peek_ag(ip->i_mount, item->ag));
 371
 372         /*
 373          * _xfs_filestream_update_ag() always takes a reference on the inode
 374          * itself, whether it's a file or a directory.  Release it here.
 375          * This can result in the inode being freed and so we must
 376          * not hold any inode locks when freeing filesstreams objects
 377          * otherwise we can deadlock here.
 378          */
 379         IRELE(ip);
 380
 381         /*
 382          * In the case of a regular file, _xfs_filestream_update_ag() also
 383          * takes a ref on the parent inode to keep it in-core.  Release that
 384          * too.
 385          */
 386         if (item->pip)
 387                 IRELE(item->pip);
 388
 389         /* Finally, free the memory allocated for the item. */
 390         kmem_zone_free(item_zone, item);
 391 }
 392
 393 /*
 394  * xfs_filestream_init() is called at xfs initialisation time to set up the
 395  * memory zone that will be used for filestream data structure allocation.
 396  */
 397 int
 398 xfs_filestream_init(void)
 399 {
 400         item_zone = kmem_zone_init(sizeof(fstrm_item_t), "fstrm_item");
 401         if (!item_zone)
 402                 return -ENOMEM;
 403
 404         return 0;
 405 }
 406
 407 /*
 408  * xfs_filestream_uninit() is called at xfs termination time to destroy the
 409  * memory zone that was used for filestream data structure allocation.
 410  */
 411 void
 412 xfs_filestream_uninit(void)
 413 {
 414         kmem_zone_destroy(item_zone);
 415 }
 416
 417 /*
 418  * xfs_filestream_mount() is called when a file system is mounted with the
 419  * filestream option.  It is responsible for allocating the data structures
 420  * needed to track the new file system's file streams.
 421  */
 422 int
 423 xfs_filestream_mount(
 424         xfs_mount_t     *mp)
 425 {
 426         int             err;
 427         unsigned int    lifetime, grp_count;
 428
 429         /*
 430          * The filestream timer tunable is currently fixed within the range of
 431          * one second to four minutes, with five seconds being the default.  The
 432          * group count is somewhat arbitrary, but it'd be nice to adhere to the
 433          * timer tunable to within about 10 percent.  This requires at least 10
 434          * groups.
 435          */
 436         lifetime  = xfs_fstrm_centisecs * 10;
 437         grp_count = 10;
 438
 439         err = xfs_mru_cache_create(&mp->m_filestream, lifetime, grp_count,
 440                              xfs_fstrm_free_func);
 441
 442         return err;
 443 }
 444
 445 /*
 446  * xfs_filestream_unmount() is called when a file system that was mounted with
 447  * the filestream option is unmounted.  It drains the data structures created
 448  * to track the file system's file streams and frees all the memory that was
 449  * allocated.
 450  */
 451 void
 452 xfs_filestream_unmount(
 453         xfs_mount_t     *mp)
 454 {
 455         xfs_mru_cache_destroy(mp->m_filestream);
 456 }
 457
 458 /*
 459  * If the mount point's m_perag array is going to be reallocated, all
 460  * outstanding cache entries must be flushed to avoid accessing reference count
 461  * addresses that have been freed.  The call to xfs_filestream_flush() must be
 462  * made inside the block that holds the m_peraglock in write mode to do the
 463  * reallocation.
 464  */
 465 void
 466 xfs_filestream_flush(
 467         xfs_mount_t     *mp)
 468 {
 469         xfs_mru_cache_flush(mp->m_filestream);
 470 }
 471
 472 /*
 473  * Return the AG of the filestream the file or directory belongs to, or
 474  * NULLAGNUMBER otherwise.
 475  */
 476 xfs_agnumber_t
 477 xfs_filestream_lookup_ag(
 478         xfs_inode_t     *ip)
 479 {
 480         xfs_mru_cache_t *cache;
 481         fstrm_item_t    *item;
 482         xfs_agnumber_t  ag;
 483         int             ref;
 484
 485         if (!(ip->i_d.di_mode & (S_IFREG | S_IFDIR))) {
 486                 ASSERT(0);
 487                 return NULLAGNUMBER;
 488         }
 489
 490         cache = ip->i_mount->m_filestream;
 491         item = xfs_mru_cache_lookup(cache, ip->i_ino);
 492         if (!item) {
 493                 TRACE_LOOKUP(ip->i_mount, ip, NULL, NULLAGNUMBER, 0);
 494                 return NULLAGNUMBER;
 495         }
 496
 497         ASSERT(ip == item->ip);
 498         ag = item->ag;
 499         ref = xfs_filestream_peek_ag(ip->i_mount, ag);
 500         xfs_mru_cache_done(cache);
 501
 502         TRACE_LOOKUP(ip->i_mount, ip, item->pip, ag, ref);
 503         return ag;
 504 }
 505
 506 /*
 507  * xfs_filestream_associate() should only be called to associate a regular file
 508  * with its parent directory.  Calling it with a child directory isn't
 509  * appropriate because filestreams don't apply to entire directory hierarchies.
 510  * Creating a file in a child directory of an existing filestream directory
 511  * starts a new filestream with its own allocation group association.
 512  *
 513  * Returns < 0 on error, 0 if successful association occurred, > 0 if
 514  * we failed to get an association because of locking issues.
 515  */
 516 int
 517 xfs_filestream_associate(
 518         xfs_inode_t     *pip,
 519         xfs_inode_t     *ip)
 520 {
 521         xfs_mount_t     *mp;
 522         xfs_mru_cache_t *cache;
 523         fstrm_item_t    *item;
 524         xfs_agnumber_t  ag, rotorstep, startag;
 525         int             err = 0;
 526
 527         ASSERT(pip->i_d.di_mode & S_IFDIR);
 528         ASSERT(ip->i_d.di_mode & S_IFREG);
 529         if (!(pip->i_d.di_mode & S_IFDIR) || !(ip->i_d.di_mode & S_IFREG))
 530                 return -EINVAL;
 531
 532         mp = pip->i_mount;
 533         cache = mp->m_filestream;
 534         down_read(&mp->m_peraglock);
 535
 536         /*
 537          * We have a problem, Houston.
 538          *
 539          * Taking the iolock here violates inode locking order - we already
 540          * hold the ilock. Hence if we block getting this lock we may never
 541          * wake. Unfortunately, that means if we can't get the lock, we're
 542          * screwed in terms of getting a stream association - we can't spin
 543          * waiting for the lock because someone else is waiting on the lock we
 544          * hold and we cannot drop that as we are in a transaction here.
 545          *
 546          * Lucky for us, this inversion is not a problem because it's a
 547          * directory inode that we are trying to lock here.
 548          *
 549          * So, if we can't get the iolock without sleeping then just give up
 550          */
 551         if (!xfs_ilock_nowait(pip, XFS_IOLOCK_EXCL)) {
 552                 up_read(&mp->m_peraglock);
 553                 return 1;
 554         }
 555
 556         /* If the parent directory is already in the cache, use its AG. */
 557         item = xfs_mru_cache_lookup(cache, pip->i_ino);
 558         if (item) {
 559                 ASSERT(item->ip == pip);
 560                 ag = item->ag;
 561                 xfs_mru_cache_done(cache);
 562
 563                 TRACE_LOOKUP(mp, pip, pip, ag, xfs_filestream_peek_ag(mp, ag));
 564                 err = _xfs_filestream_update_ag(ip, pip, ag);
 565
 566                 goto exit;
 567         }
 568
 569         /*
 570          * Set the starting AG using the rotor for inode32, otherwise
 571          * use the directory inode's AG.
 572          */
 573         if (mp->m_flags & XFS_MOUNT_32BITINODES) {
 574                 rotorstep = xfs_rotorstep;
 575                 startag = (mp->m_agfrotor / rotorstep) % mp->m_sb.sb_agcount;
 576                 mp->m_agfrotor = (mp->m_agfrotor + 1) %
 577                                  (mp->m_sb.sb_agcount * rotorstep);
 578         } else
 579                 startag = XFS_INO_TO_AGNO(mp, pip->i_ino);
 580
 581         /* Pick a new AG for the parent inode starting at startag. */
 582         err = _xfs_filestream_pick_ag(mp, startag, &ag, 0, 0);
 583         if (err || ag == NULLAGNUMBER)
 584                 goto exit_did_pick;
 585
 586         /* Associate the parent inode with the AG. */
 587         err = _xfs_filestream_update_ag(pip, NULL, ag);
 588         if (err)
 589                 goto exit_did_pick;
 590
 591         /* Associate the file inode with the AG. */
 592         err = _xfs_filestream_update_ag(ip, pip, ag);
 593         if (err)
 594                 goto exit_did_pick;
 595
 596         TRACE_ASSOCIATE(mp, ip, pip, ag, xfs_filestream_peek_ag(mp, ag));
 597
 598 exit_did_pick:
 599         /*
 600          * If _xfs_filestream_pick_ag() returned a valid AG, remove the
 601          * reference it took on it, since the file and directory will have taken
 602          * their own now if they were successfully cached.
 603          */
 604         if (ag != NULLAGNUMBER)
 605                 xfs_filestream_put_ag(mp, ag);
 606
 607 exit:
 608         xfs_iunlock(pip, XFS_IOLOCK_EXCL);
 609         up_read(&mp->m_peraglock);
 610         return -err;
 611 }
 612
 613 /*
 614  * Pick a new allocation group for the current file and its file stream.  This
 615  * function is called by xfs_bmap_filestreams() with the mount point's per-ag
 616  * lock held.
 617  */
 618 int
 619 xfs_filestream_new_ag(
 620         xfs_bmalloca_t  *ap,
 621         xfs_agnumber_t  *agp)
 622 {
 623         int             flags, err;
 624         xfs_inode_t     *ip, *pip = NULL;
 625         xfs_mount_t     *mp;
 626         xfs_mru_cache_t *cache;
 627         xfs_extlen_t    minlen;
 628         fstrm_item_t    *dir, *file;
 629         xfs_agnumber_t  ag = NULLAGNUMBER;
 630
 631         ip = ap->ip;
 632         mp = ip->i_mount;
 633         cache = mp->m_filestream;
 634         minlen = ap->alen;
 635         *agp = NULLAGNUMBER;
 636
 637         /*
 638          * Look for the file in the cache, removing it if it's found.  Doing
 639          * this allows it to be held across the dir lookup that follows.
 640          */
 641         file = xfs_mru_cache_remove(cache, ip->i_ino);
 642         if (file) {
 643                 ASSERT(ip == file->ip);
 644
 645                 /* Save the file's parent inode and old AG number for later. */
 646                 pip = file->pip;
 647                 ag = file->ag;
 648
 649                 /* Look for the file's directory in the cache. */
 650                 dir = xfs_mru_cache_lookup(cache, pip->i_ino);
 651                 if (dir) {
 652                         ASSERT(pip == dir->ip);
 653
 654                         /*
 655                          * If the directory has already moved on to a new AG,
 656                          * use that AG as the new AG for the file. Don't
 657                          * forget to twiddle the AG refcounts to match the
 658                          * movement.
 659                          */
 660                         if (dir->ag != file->ag) {
 661                                 xfs_filestream_put_ag(mp, file->ag);
 662                                 xfs_filestream_get_ag(mp, dir->ag);
 663                                 *agp = file->ag = dir->ag;
 664                         }
 665
 666                         xfs_mru_cache_done(cache);
 667                 }
 668
 669                 /*
 670                  * Put the file back in the cache.  If this fails, the free
 671                  * function needs to be called to tidy up in the same way as if
 672                  * the item had simply expired from the cache.
 673                  */
 674                 err = xfs_mru_cache_insert(cache, ip->i_ino, file);
 675                 if (err) {
 676                         xfs_fstrm_free_func(ip->i_ino, file);
 677                         return err;
 678                 }
 679
 680                 /*
 681                  * If the file's AG was moved to the directory's new AG, there's
 682                  * nothing more to be done.
 683                  */
 684                 if (*agp != NULLAGNUMBER) {
 685                         TRACE_MOVEAG(mp, ip, pip,
 686                                         ag, xfs_filestream_peek_ag(mp, ag),
 687                                         *agp, xfs_filestream_peek_ag(mp, *agp));
 688                         return 0;
 689                 }
 690         }
 691
 692         /*
 693          * If the file's parent directory is known, take its iolock in exclusive
 694          * mode to prevent two sibling files from racing each other to migrate
 695          * themselves and their parent to different AGs.
 696          */
 697         if (pip)
 698                 xfs_ilock(pip, XFS_IOLOCK_EXCL);
 699
 700         /*
 701          * A new AG needs to be found for the file.  If the file's parent
 702          * directory is also known, it will be moved to the new AG as well to
 703          * ensure that files created inside it in future use the new AG.
 704          */
 705         ag = (ag == NULLAGNUMBER) ? 0 : (ag + 1) % mp->m_sb.sb_agcount;
 706         flags = (ap->userdata ? XFS_PICK_USERDATA : 0) |
 707                 (ap->low ? XFS_PICK_LOWSPACE : 0);
 708
 709         err = _xfs_filestream_pick_ag(mp, ag, agp, flags, minlen);
 710         if (err || *agp == NULLAGNUMBER)
 711                 goto exit;
 712
 713         /*
 714          * If the file wasn't found in the file cache, then its parent directory
 715          * inode isn't known.  For this to have happened, the file must either
 716          * be pre-existing, or it was created long enough ago that its cache
 717          * entry has expired.  This isn't the sort of usage that the filestreams
 718          * allocator is trying to optimise, so there's no point trying to track
 719          * its new AG somehow in the filestream data structures.
 720          */
 721         if (!pip) {
 722                 TRACE_ORPHAN(mp, ip, *agp);
 723                 goto exit;
 724         }
 725
 726         /* Associate the parent inode with the AG. */
 727         err = _xfs_filestream_update_ag(pip, NULL, *agp);
 728         if (err)
 729                 goto exit;
 730
 731         /* Associate the file inode with the AG. */
 732         err = _xfs_filestream_update_ag(ip, pip, *agp);
 733         if (err)
 734                 goto exit;
 735
 736         TRACE_MOVEAG(mp, ip, pip, NULLAGNUMBER, 0,
 737                         *agp, xfs_filestream_peek_ag(mp, *agp));
 738
 739 exit:
 740         /*
 741          * If _xfs_filestream_pick_ag() returned a valid AG, remove the
 742          * reference it took on it, since the file and directory will have taken
 743          * their own now if they were successfully cached.
 744          */
 745         if (*agp != NULLAGNUMBER)
 746                 xfs_filestream_put_ag(mp, *agp);
 747         else
 748                 *agp = 0;
 749
 750         if (pip)
 751                 xfs_iunlock(pip, XFS_IOLOCK_EXCL);
 752
 753         return err;
 754 }
 755
 756 /*
 757  * Remove an association between an inode and a filestream object.
 758  * Typically this is done on last close of an unlinked file.
 759  */
 760 void
 761 xfs_filestream_deassociate(
 762         xfs_inode_t     *ip)
 763 {
 764         xfs_mru_cache_t *cache = ip->i_mount->m_filestream;
 765
 766         xfs_mru_cache_delete(cache, ip->i_ino);
 767 }