ocfs2: Remove ENTRY from masklog.
[pandora-kernel.git] / fs / ocfs2 / localalloc.c
1 /* -*- mode: c; c-basic-offset: 8; -*-
2  * vim: noexpandtab sw=8 ts=8 sts=0:
3  *
4  * localalloc.c
5  *
6  * Node local data allocation
7  *
8  * Copyright (C) 2002, 2004 Oracle.  All rights reserved.
9  *
10  * This program is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU General Public
12  * License as published by the Free Software Foundation; either
13  * version 2 of the License, or (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
18  * General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public
21  * License along with this program; if not, write to the
22  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
23  * Boston, MA 021110-1307, USA.
24  */
25
26 #include <linux/fs.h>
27 #include <linux/types.h>
28 #include <linux/slab.h>
29 #include <linux/highmem.h>
30 #include <linux/bitops.h>
31
32 #define MLOG_MASK_PREFIX ML_DISK_ALLOC
33 #include <cluster/masklog.h>
34
35 #include "ocfs2.h"
36
37 #include "alloc.h"
38 #include "blockcheck.h"
39 #include "dlmglue.h"
40 #include "inode.h"
41 #include "journal.h"
42 #include "localalloc.h"
43 #include "suballoc.h"
44 #include "super.h"
45 #include "sysfile.h"
46
47 #include "buffer_head_io.h"
48
49 #define OCFS2_LOCAL_ALLOC(dinode)       (&((dinode)->id2.i_lab))
50
51 static u32 ocfs2_local_alloc_count_bits(struct ocfs2_dinode *alloc);
52
53 static int ocfs2_local_alloc_find_clear_bits(struct ocfs2_super *osb,
54                                              struct ocfs2_dinode *alloc,
55                                              u32 *numbits,
56                                              struct ocfs2_alloc_reservation *resv);
57
58 static void ocfs2_clear_local_alloc(struct ocfs2_dinode *alloc);
59
60 static int ocfs2_sync_local_to_main(struct ocfs2_super *osb,
61                                     handle_t *handle,
62                                     struct ocfs2_dinode *alloc,
63                                     struct inode *main_bm_inode,
64                                     struct buffer_head *main_bm_bh);
65
66 static int ocfs2_local_alloc_reserve_for_window(struct ocfs2_super *osb,
67                                                 struct ocfs2_alloc_context **ac,
68                                                 struct inode **bitmap_inode,
69                                                 struct buffer_head **bitmap_bh);
70
71 static int ocfs2_local_alloc_new_window(struct ocfs2_super *osb,
72                                         handle_t *handle,
73                                         struct ocfs2_alloc_context *ac);
74
75 static int ocfs2_local_alloc_slide_window(struct ocfs2_super *osb,
76                                           struct inode *local_alloc_inode);
77
78 /*
79  * ocfs2_la_default_mb() - determine a default size, in megabytes of
80  * the local alloc.
81  *
82  * Generally, we'd like to pick as large a local alloc as
83  * possible. Performance on large workloads tends to scale
84  * proportionally to la size. In addition to that, the reservations
85  * code functions more efficiently as it can reserve more windows for
86  * write.
87  *
88  * Some things work against us when trying to choose a large local alloc:
89  *
90  * - We need to ensure our sizing is picked to leave enough space in
91  *   group descriptors for other allocations (such as block groups,
92  *   etc). Picking default sizes which are a multiple of 4 could help
93  *   - block groups are allocated in 2mb and 4mb chunks.
94  *
95  * - Likewise, we don't want to starve other nodes of bits on small
96  *   file systems. This can easily be taken care of by limiting our
97  *   default to a reasonable size (256M) on larger cluster sizes.
98  *
99  * - Some file systems can't support very large sizes - 4k and 8k in
100  *   particular are limited to less than 128 and 256 megabytes respectively.
101  *
102  * The following reference table shows group descriptor and local
103  * alloc maximums at various cluster sizes (4k blocksize)
104  *
105  * csize: 4K    group: 126M     la: 121M
106  * csize: 8K    group: 252M     la: 243M
107  * csize: 16K   group: 504M     la: 486M
108  * csize: 32K   group: 1008M    la: 972M
109  * csize: 64K   group: 2016M    la: 1944M
110  * csize: 128K  group: 4032M    la: 3888M
111  * csize: 256K  group: 8064M    la: 7776M
112  * csize: 512K  group: 16128M   la: 15552M
113  * csize: 1024K group: 32256M   la: 31104M
114  */
115 #define OCFS2_LA_MAX_DEFAULT_MB 256
116 #define OCFS2_LA_OLD_DEFAULT    8
117 unsigned int ocfs2_la_default_mb(struct ocfs2_super *osb)
118 {
119         unsigned int la_mb;
120         unsigned int gd_mb;
121         unsigned int la_max_mb;
122         unsigned int megs_per_slot;
123         struct super_block *sb = osb->sb;
124
125         gd_mb = ocfs2_clusters_to_megabytes(osb->sb,
126                 8 * ocfs2_group_bitmap_size(sb, 0, osb->s_feature_incompat));
127
128         /*
129          * This takes care of files systems with very small group
130          * descriptors - 512 byte blocksize at cluster sizes lower
131          * than 16K and also 1k blocksize with 4k cluster size.
132          */
133         if ((sb->s_blocksize == 512 && osb->s_clustersize <= 8192)
134             || (sb->s_blocksize == 1024 && osb->s_clustersize == 4096))
135                 return OCFS2_LA_OLD_DEFAULT;
136
137         /*
138          * Leave enough room for some block groups and make the final
139          * value we work from a multiple of 4.
140          */
141         gd_mb -= 16;
142         gd_mb &= 0xFFFFFFFB;
143
144         la_mb = gd_mb;
145
146         /*
147          * Keep window sizes down to a reasonable default
148          */
149         if (la_mb > OCFS2_LA_MAX_DEFAULT_MB) {
150                 /*
151                  * Some clustersize / blocksize combinations will have
152                  * given us a larger than OCFS2_LA_MAX_DEFAULT_MB
153                  * default size, but get poor distribution when
154                  * limited to exactly 256 megabytes.
155                  *
156                  * As an example, 16K clustersize at 4K blocksize
157                  * gives us a cluster group size of 504M. Paring the
158                  * local alloc size down to 256 however, would give us
159                  * only one window and around 200MB left in the
160                  * cluster group. Instead, find the first size below
161                  * 256 which would give us an even distribution.
162                  *
163                  * Larger cluster group sizes actually work out pretty
164                  * well when pared to 256, so we don't have to do this
165                  * for any group that fits more than two
166                  * OCFS2_LA_MAX_DEFAULT_MB windows.
167                  */
168                 if (gd_mb > (2 * OCFS2_LA_MAX_DEFAULT_MB))
169                         la_mb = 256;
170                 else {
171                         unsigned int gd_mult = gd_mb;
172
173                         while (gd_mult > 256)
174                                 gd_mult = gd_mult >> 1;
175
176                         la_mb = gd_mult;
177                 }
178         }
179
180         megs_per_slot = osb->osb_clusters_at_boot / osb->max_slots;
181         megs_per_slot = ocfs2_clusters_to_megabytes(osb->sb, megs_per_slot);
182         /* Too many nodes, too few disk clusters. */
183         if (megs_per_slot < la_mb)
184                 la_mb = megs_per_slot;
185
186         /* We can't store more bits than we can in a block. */
187         la_max_mb = ocfs2_clusters_to_megabytes(osb->sb,
188                                                 ocfs2_local_alloc_size(sb) * 8);
189         if (la_mb > la_max_mb)
190                 la_mb = la_max_mb;
191
192         return la_mb;
193 }
194
195 void ocfs2_la_set_sizes(struct ocfs2_super *osb, int requested_mb)
196 {
197         struct super_block *sb = osb->sb;
198         unsigned int la_default_mb = ocfs2_la_default_mb(osb);
199         unsigned int la_max_mb;
200
201         la_max_mb = ocfs2_clusters_to_megabytes(sb,
202                                                 ocfs2_local_alloc_size(sb) * 8);
203
204         mlog(0, "requested: %dM, max: %uM, default: %uM\n",
205              requested_mb, la_max_mb, la_default_mb);
206
207         if (requested_mb == -1) {
208                 /* No user request - use defaults */
209                 osb->local_alloc_default_bits =
210                         ocfs2_megabytes_to_clusters(sb, la_default_mb);
211         } else if (requested_mb > la_max_mb) {
212                 /* Request is too big, we give the maximum available */
213                 osb->local_alloc_default_bits =
214                         ocfs2_megabytes_to_clusters(sb, la_max_mb);
215         } else {
216                 osb->local_alloc_default_bits =
217                         ocfs2_megabytes_to_clusters(sb, requested_mb);
218         }
219
220         osb->local_alloc_bits = osb->local_alloc_default_bits;
221 }
222
223 static inline int ocfs2_la_state_enabled(struct ocfs2_super *osb)
224 {
225         return (osb->local_alloc_state == OCFS2_LA_THROTTLED ||
226                 osb->local_alloc_state == OCFS2_LA_ENABLED);
227 }
228
229 void ocfs2_local_alloc_seen_free_bits(struct ocfs2_super *osb,
230                                       unsigned int num_clusters)
231 {
232         spin_lock(&osb->osb_lock);
233         if (osb->local_alloc_state == OCFS2_LA_DISABLED ||
234             osb->local_alloc_state == OCFS2_LA_THROTTLED)
235                 if (num_clusters >= osb->local_alloc_default_bits) {
236                         cancel_delayed_work(&osb->la_enable_wq);
237                         osb->local_alloc_state = OCFS2_LA_ENABLED;
238                 }
239         spin_unlock(&osb->osb_lock);
240 }
241
242 void ocfs2_la_enable_worker(struct work_struct *work)
243 {
244         struct ocfs2_super *osb =
245                 container_of(work, struct ocfs2_super,
246                              la_enable_wq.work);
247         spin_lock(&osb->osb_lock);
248         osb->local_alloc_state = OCFS2_LA_ENABLED;
249         spin_unlock(&osb->osb_lock);
250 }
251
252 /*
253  * Tell us whether a given allocation should use the local alloc
254  * file. Otherwise, it has to go to the main bitmap.
255  *
256  * This function does semi-dirty reads of local alloc size and state!
257  * This is ok however, as the values are re-checked once under mutex.
258  */
259 int ocfs2_alloc_should_use_local(struct ocfs2_super *osb, u64 bits)
260 {
261         int ret = 0;
262         int la_bits;
263
264         spin_lock(&osb->osb_lock);
265         la_bits = osb->local_alloc_bits;
266
267         if (!ocfs2_la_state_enabled(osb))
268                 goto bail;
269
270         /* la_bits should be at least twice the size (in clusters) of
271          * a new block group. We want to be sure block group
272          * allocations go through the local alloc, so allow an
273          * allocation to take up to half the bitmap. */
274         if (bits > (la_bits / 2))
275                 goto bail;
276
277         ret = 1;
278 bail:
279         mlog(0, "state=%d, bits=%llu, la_bits=%d, ret=%d\n",
280              osb->local_alloc_state, (unsigned long long)bits, la_bits, ret);
281         spin_unlock(&osb->osb_lock);
282         return ret;
283 }
284
285 int ocfs2_load_local_alloc(struct ocfs2_super *osb)
286 {
287         int status = 0;
288         struct ocfs2_dinode *alloc = NULL;
289         struct buffer_head *alloc_bh = NULL;
290         u32 num_used;
291         struct inode *inode = NULL;
292         struct ocfs2_local_alloc *la;
293
294         if (osb->local_alloc_bits == 0)
295                 goto bail;
296
297         if (osb->local_alloc_bits >= osb->bitmap_cpg) {
298                 mlog(ML_NOTICE, "Requested local alloc window %d is larger "
299                      "than max possible %u. Using defaults.\n",
300                      osb->local_alloc_bits, (osb->bitmap_cpg - 1));
301                 osb->local_alloc_bits =
302                         ocfs2_megabytes_to_clusters(osb->sb,
303                                                     ocfs2_la_default_mb(osb));
304         }
305
306         /* read the alloc off disk */
307         inode = ocfs2_get_system_file_inode(osb, LOCAL_ALLOC_SYSTEM_INODE,
308                                             osb->slot_num);
309         if (!inode) {
310                 status = -EINVAL;
311                 mlog_errno(status);
312                 goto bail;
313         }
314
315         status = ocfs2_read_inode_block_full(inode, &alloc_bh,
316                                              OCFS2_BH_IGNORE_CACHE);
317         if (status < 0) {
318                 mlog_errno(status);
319                 goto bail;
320         }
321
322         alloc = (struct ocfs2_dinode *) alloc_bh->b_data;
323         la = OCFS2_LOCAL_ALLOC(alloc);
324
325         if (!(le32_to_cpu(alloc->i_flags) &
326             (OCFS2_LOCAL_ALLOC_FL|OCFS2_BITMAP_FL))) {
327                 mlog(ML_ERROR, "Invalid local alloc inode, %llu\n",
328                      (unsigned long long)OCFS2_I(inode)->ip_blkno);
329                 status = -EINVAL;
330                 goto bail;
331         }
332
333         if ((la->la_size == 0) ||
334             (le16_to_cpu(la->la_size) > ocfs2_local_alloc_size(inode->i_sb))) {
335                 mlog(ML_ERROR, "Local alloc size is invalid (la_size = %u)\n",
336                      le16_to_cpu(la->la_size));
337                 status = -EINVAL;
338                 goto bail;
339         }
340
341         /* do a little verification. */
342         num_used = ocfs2_local_alloc_count_bits(alloc);
343
344         /* hopefully the local alloc has always been recovered before
345          * we load it. */
346         if (num_used
347             || alloc->id1.bitmap1.i_used
348             || alloc->id1.bitmap1.i_total
349             || la->la_bm_off)
350                 mlog(ML_ERROR, "Local alloc hasn't been recovered!\n"
351                      "found = %u, set = %u, taken = %u, off = %u\n",
352                      num_used, le32_to_cpu(alloc->id1.bitmap1.i_used),
353                      le32_to_cpu(alloc->id1.bitmap1.i_total),
354                      OCFS2_LOCAL_ALLOC(alloc)->la_bm_off);
355
356         osb->local_alloc_bh = alloc_bh;
357         osb->local_alloc_state = OCFS2_LA_ENABLED;
358
359 bail:
360         if (status < 0)
361                 brelse(alloc_bh);
362         if (inode)
363                 iput(inode);
364
365         mlog(0, "Local alloc window bits = %d\n", osb->local_alloc_bits);
366
367         mlog_exit(status);
368         return status;
369 }
370
371 /*
372  * return any unused bits to the bitmap and write out a clean
373  * local_alloc.
374  *
375  * local_alloc_bh is optional. If not passed, we will simply use the
376  * one off osb. If you do pass it however, be warned that it *will* be
377  * returned brelse'd and NULL'd out.*/
378 void ocfs2_shutdown_local_alloc(struct ocfs2_super *osb)
379 {
380         int status;
381         handle_t *handle;
382         struct inode *local_alloc_inode = NULL;
383         struct buffer_head *bh = NULL;
384         struct buffer_head *main_bm_bh = NULL;
385         struct inode *main_bm_inode = NULL;
386         struct ocfs2_dinode *alloc_copy = NULL;
387         struct ocfs2_dinode *alloc = NULL;
388
389         cancel_delayed_work(&osb->la_enable_wq);
390         flush_workqueue(ocfs2_wq);
391
392         if (osb->local_alloc_state == OCFS2_LA_UNUSED)
393                 goto out;
394
395         local_alloc_inode =
396                 ocfs2_get_system_file_inode(osb,
397                                             LOCAL_ALLOC_SYSTEM_INODE,
398                                             osb->slot_num);
399         if (!local_alloc_inode) {
400                 status = -ENOENT;
401                 mlog_errno(status);
402                 goto out;
403         }
404
405         osb->local_alloc_state = OCFS2_LA_DISABLED;
406
407         ocfs2_resmap_uninit(&osb->osb_la_resmap);
408
409         main_bm_inode = ocfs2_get_system_file_inode(osb,
410                                                     GLOBAL_BITMAP_SYSTEM_INODE,
411                                                     OCFS2_INVALID_SLOT);
412         if (!main_bm_inode) {
413                 status = -EINVAL;
414                 mlog_errno(status);
415                 goto out;
416         }
417
418         mutex_lock(&main_bm_inode->i_mutex);
419
420         status = ocfs2_inode_lock(main_bm_inode, &main_bm_bh, 1);
421         if (status < 0) {
422                 mlog_errno(status);
423                 goto out_mutex;
424         }
425
426         /* WINDOW_MOVE_CREDITS is a bit heavy... */
427         handle = ocfs2_start_trans(osb, OCFS2_WINDOW_MOVE_CREDITS);
428         if (IS_ERR(handle)) {
429                 mlog_errno(PTR_ERR(handle));
430                 handle = NULL;
431                 goto out_unlock;
432         }
433
434         bh = osb->local_alloc_bh;
435         alloc = (struct ocfs2_dinode *) bh->b_data;
436
437         alloc_copy = kmalloc(bh->b_size, GFP_NOFS);
438         if (!alloc_copy) {
439                 status = -ENOMEM;
440                 goto out_commit;
441         }
442         memcpy(alloc_copy, alloc, bh->b_size);
443
444         status = ocfs2_journal_access_di(handle, INODE_CACHE(local_alloc_inode),
445                                          bh, OCFS2_JOURNAL_ACCESS_WRITE);
446         if (status < 0) {
447                 mlog_errno(status);
448                 goto out_commit;
449         }
450
451         ocfs2_clear_local_alloc(alloc);
452         ocfs2_journal_dirty(handle, bh);
453
454         brelse(bh);
455         osb->local_alloc_bh = NULL;
456         osb->local_alloc_state = OCFS2_LA_UNUSED;
457
458         status = ocfs2_sync_local_to_main(osb, handle, alloc_copy,
459                                           main_bm_inode, main_bm_bh);
460         if (status < 0)
461                 mlog_errno(status);
462
463 out_commit:
464         ocfs2_commit_trans(osb, handle);
465
466 out_unlock:
467         brelse(main_bm_bh);
468
469         ocfs2_inode_unlock(main_bm_inode, 1);
470
471 out_mutex:
472         mutex_unlock(&main_bm_inode->i_mutex);
473         iput(main_bm_inode);
474
475 out:
476         if (local_alloc_inode)
477                 iput(local_alloc_inode);
478
479         if (alloc_copy)
480                 kfree(alloc_copy);
481
482         mlog_exit_void();
483 }
484
485 /*
486  * We want to free the bitmap bits outside of any recovery context as
487  * we'll need a cluster lock to do so, but we must clear the local
488  * alloc before giving up the recovered nodes journal. To solve this,
489  * we kmalloc a copy of the local alloc before it's change for the
490  * caller to process with ocfs2_complete_local_alloc_recovery
491  */
492 int ocfs2_begin_local_alloc_recovery(struct ocfs2_super *osb,
493                                      int slot_num,
494                                      struct ocfs2_dinode **alloc_copy)
495 {
496         int status = 0;
497         struct buffer_head *alloc_bh = NULL;
498         struct inode *inode = NULL;
499         struct ocfs2_dinode *alloc;
500
501         mlog(0, "(slot_num = %d)\n", slot_num);
502
503         *alloc_copy = NULL;
504
505         inode = ocfs2_get_system_file_inode(osb,
506                                             LOCAL_ALLOC_SYSTEM_INODE,
507                                             slot_num);
508         if (!inode) {
509                 status = -EINVAL;
510                 mlog_errno(status);
511                 goto bail;
512         }
513
514         mutex_lock(&inode->i_mutex);
515
516         status = ocfs2_read_inode_block_full(inode, &alloc_bh,
517                                              OCFS2_BH_IGNORE_CACHE);
518         if (status < 0) {
519                 mlog_errno(status);
520                 goto bail;
521         }
522
523         *alloc_copy = kmalloc(alloc_bh->b_size, GFP_KERNEL);
524         if (!(*alloc_copy)) {
525                 status = -ENOMEM;
526                 goto bail;
527         }
528         memcpy((*alloc_copy), alloc_bh->b_data, alloc_bh->b_size);
529
530         alloc = (struct ocfs2_dinode *) alloc_bh->b_data;
531         ocfs2_clear_local_alloc(alloc);
532
533         ocfs2_compute_meta_ecc(osb->sb, alloc_bh->b_data, &alloc->i_check);
534         status = ocfs2_write_block(osb, alloc_bh, INODE_CACHE(inode));
535         if (status < 0)
536                 mlog_errno(status);
537
538 bail:
539         if ((status < 0) && (*alloc_copy)) {
540                 kfree(*alloc_copy);
541                 *alloc_copy = NULL;
542         }
543
544         brelse(alloc_bh);
545
546         if (inode) {
547                 mutex_unlock(&inode->i_mutex);
548                 iput(inode);
549         }
550
551         mlog_exit(status);
552         return status;
553 }
554
555 /*
556  * Step 2: By now, we've completed the journal recovery, we've stamped
557  * a clean local alloc on disk and dropped the node out of the
558  * recovery map. Dlm locks will no longer stall, so lets clear out the
559  * main bitmap.
560  */
561 int ocfs2_complete_local_alloc_recovery(struct ocfs2_super *osb,
562                                         struct ocfs2_dinode *alloc)
563 {
564         int status;
565         handle_t *handle;
566         struct buffer_head *main_bm_bh = NULL;
567         struct inode *main_bm_inode;
568
569         main_bm_inode = ocfs2_get_system_file_inode(osb,
570                                                     GLOBAL_BITMAP_SYSTEM_INODE,
571                                                     OCFS2_INVALID_SLOT);
572         if (!main_bm_inode) {
573                 status = -EINVAL;
574                 mlog_errno(status);
575                 goto out;
576         }
577
578         mutex_lock(&main_bm_inode->i_mutex);
579
580         status = ocfs2_inode_lock(main_bm_inode, &main_bm_bh, 1);
581         if (status < 0) {
582                 mlog_errno(status);
583                 goto out_mutex;
584         }
585
586         handle = ocfs2_start_trans(osb, OCFS2_WINDOW_MOVE_CREDITS);
587         if (IS_ERR(handle)) {
588                 status = PTR_ERR(handle);
589                 handle = NULL;
590                 mlog_errno(status);
591                 goto out_unlock;
592         }
593
594         /* we want the bitmap change to be recorded on disk asap */
595         handle->h_sync = 1;
596
597         status = ocfs2_sync_local_to_main(osb, handle, alloc,
598                                           main_bm_inode, main_bm_bh);
599         if (status < 0)
600                 mlog_errno(status);
601
602         ocfs2_commit_trans(osb, handle);
603
604 out_unlock:
605         ocfs2_inode_unlock(main_bm_inode, 1);
606
607 out_mutex:
608         mutex_unlock(&main_bm_inode->i_mutex);
609
610         brelse(main_bm_bh);
611
612         iput(main_bm_inode);
613
614 out:
615         if (!status)
616                 ocfs2_init_steal_slots(osb);
617         mlog_exit(status);
618         return status;
619 }
620
621 /*
622  * make sure we've got at least bits_wanted contiguous bits in the
623  * local alloc. You lose them when you drop i_mutex.
624  *
625  * We will add ourselves to the transaction passed in, but may start
626  * our own in order to shift windows.
627  */
628 int ocfs2_reserve_local_alloc_bits(struct ocfs2_super *osb,
629                                    u32 bits_wanted,
630                                    struct ocfs2_alloc_context *ac)
631 {
632         int status;
633         struct ocfs2_dinode *alloc;
634         struct inode *local_alloc_inode;
635         unsigned int free_bits;
636
637         BUG_ON(!ac);
638
639         local_alloc_inode =
640                 ocfs2_get_system_file_inode(osb,
641                                             LOCAL_ALLOC_SYSTEM_INODE,
642                                             osb->slot_num);
643         if (!local_alloc_inode) {
644                 status = -ENOENT;
645                 mlog_errno(status);
646                 goto bail;
647         }
648
649         mutex_lock(&local_alloc_inode->i_mutex);
650
651         /*
652          * We must double check state and allocator bits because
653          * another process may have changed them while holding i_mutex.
654          */
655         spin_lock(&osb->osb_lock);
656         if (!ocfs2_la_state_enabled(osb) ||
657             (bits_wanted > osb->local_alloc_bits)) {
658                 spin_unlock(&osb->osb_lock);
659                 status = -ENOSPC;
660                 goto bail;
661         }
662         spin_unlock(&osb->osb_lock);
663
664         alloc = (struct ocfs2_dinode *) osb->local_alloc_bh->b_data;
665
666 #ifdef CONFIG_OCFS2_DEBUG_FS
667         if (le32_to_cpu(alloc->id1.bitmap1.i_used) !=
668             ocfs2_local_alloc_count_bits(alloc)) {
669                 ocfs2_error(osb->sb, "local alloc inode %llu says it has "
670                             "%u free bits, but a count shows %u",
671                             (unsigned long long)le64_to_cpu(alloc->i_blkno),
672                             le32_to_cpu(alloc->id1.bitmap1.i_used),
673                             ocfs2_local_alloc_count_bits(alloc));
674                 status = -EIO;
675                 goto bail;
676         }
677 #endif
678
679         free_bits = le32_to_cpu(alloc->id1.bitmap1.i_total) -
680                 le32_to_cpu(alloc->id1.bitmap1.i_used);
681         if (bits_wanted > free_bits) {
682                 /* uhoh, window change time. */
683                 status =
684                         ocfs2_local_alloc_slide_window(osb, local_alloc_inode);
685                 if (status < 0) {
686                         if (status != -ENOSPC)
687                                 mlog_errno(status);
688                         goto bail;
689                 }
690
691                 /*
692                  * Under certain conditions, the window slide code
693                  * might have reduced the number of bits available or
694                  * disabled the the local alloc entirely. Re-check
695                  * here and return -ENOSPC if necessary.
696                  */
697                 status = -ENOSPC;
698                 if (!ocfs2_la_state_enabled(osb))
699                         goto bail;
700
701                 free_bits = le32_to_cpu(alloc->id1.bitmap1.i_total) -
702                         le32_to_cpu(alloc->id1.bitmap1.i_used);
703                 if (bits_wanted > free_bits)
704                         goto bail;
705         }
706
707         if (ac->ac_max_block)
708                 mlog(0, "Calling in_range for max block %llu\n",
709                      (unsigned long long)ac->ac_max_block);
710
711         ac->ac_inode = local_alloc_inode;
712         /* We should never use localalloc from another slot */
713         ac->ac_alloc_slot = osb->slot_num;
714         ac->ac_which = OCFS2_AC_USE_LOCAL;
715         get_bh(osb->local_alloc_bh);
716         ac->ac_bh = osb->local_alloc_bh;
717         status = 0;
718 bail:
719         if (status < 0 && local_alloc_inode) {
720                 mutex_unlock(&local_alloc_inode->i_mutex);
721                 iput(local_alloc_inode);
722         }
723
724         mlog(0, "bits=%d, slot=%d, ret=%d\n", bits_wanted, osb->slot_num,
725              status);
726
727         mlog_exit(status);
728         return status;
729 }
730
731 int ocfs2_claim_local_alloc_bits(struct ocfs2_super *osb,
732                                  handle_t *handle,
733                                  struct ocfs2_alloc_context *ac,
734                                  u32 bits_wanted,
735                                  u32 *bit_off,
736                                  u32 *num_bits)
737 {
738         int status, start;
739         struct inode *local_alloc_inode;
740         void *bitmap;
741         struct ocfs2_dinode *alloc;
742         struct ocfs2_local_alloc *la;
743
744         BUG_ON(ac->ac_which != OCFS2_AC_USE_LOCAL);
745
746         local_alloc_inode = ac->ac_inode;
747         alloc = (struct ocfs2_dinode *) osb->local_alloc_bh->b_data;
748         la = OCFS2_LOCAL_ALLOC(alloc);
749
750         start = ocfs2_local_alloc_find_clear_bits(osb, alloc, &bits_wanted,
751                                                   ac->ac_resv);
752         if (start == -1) {
753                 /* TODO: Shouldn't we just BUG here? */
754                 status = -ENOSPC;
755                 mlog_errno(status);
756                 goto bail;
757         }
758
759         bitmap = la->la_bitmap;
760         *bit_off = le32_to_cpu(la->la_bm_off) + start;
761         *num_bits = bits_wanted;
762
763         status = ocfs2_journal_access_di(handle,
764                                          INODE_CACHE(local_alloc_inode),
765                                          osb->local_alloc_bh,
766                                          OCFS2_JOURNAL_ACCESS_WRITE);
767         if (status < 0) {
768                 mlog_errno(status);
769                 goto bail;
770         }
771
772         ocfs2_resmap_claimed_bits(&osb->osb_la_resmap, ac->ac_resv, start,
773                                   bits_wanted);
774
775         while(bits_wanted--)
776                 ocfs2_set_bit(start++, bitmap);
777
778         le32_add_cpu(&alloc->id1.bitmap1.i_used, *num_bits);
779         ocfs2_journal_dirty(handle, osb->local_alloc_bh);
780
781 bail:
782         mlog_exit(status);
783         return status;
784 }
785
786 static u32 ocfs2_local_alloc_count_bits(struct ocfs2_dinode *alloc)
787 {
788         int i;
789         u8 *buffer;
790         u32 count = 0;
791         struct ocfs2_local_alloc *la = OCFS2_LOCAL_ALLOC(alloc);
792
793         buffer = la->la_bitmap;
794         for (i = 0; i < le16_to_cpu(la->la_size); i++)
795                 count += hweight8(buffer[i]);
796
797         mlog_exit(count);
798         return count;
799 }
800
801 static int ocfs2_local_alloc_find_clear_bits(struct ocfs2_super *osb,
802                                      struct ocfs2_dinode *alloc,
803                                      u32 *numbits,
804                                      struct ocfs2_alloc_reservation *resv)
805 {
806         int numfound, bitoff, left, startoff, lastzero;
807         int local_resv = 0;
808         struct ocfs2_alloc_reservation r;
809         void *bitmap = NULL;
810         struct ocfs2_reservation_map *resmap = &osb->osb_la_resmap;
811
812         mlog(0, "(numbits wanted = %u)\n", *numbits);
813
814         if (!alloc->id1.bitmap1.i_total) {
815                 mlog(0, "No bits in my window!\n");
816                 bitoff = -1;
817                 goto bail;
818         }
819
820         if (!resv) {
821                 local_resv = 1;
822                 ocfs2_resv_init_once(&r);
823                 ocfs2_resv_set_type(&r, OCFS2_RESV_FLAG_TMP);
824                 resv = &r;
825         }
826
827         numfound = *numbits;
828         if (ocfs2_resmap_resv_bits(resmap, resv, &bitoff, &numfound) == 0) {
829                 if (numfound < *numbits)
830                         *numbits = numfound;
831                 goto bail;
832         }
833
834         /*
835          * Code error. While reservations are enabled, local
836          * allocation should _always_ go through them.
837          */
838         BUG_ON(osb->osb_resv_level != 0);
839
840         /*
841          * Reservations are disabled. Handle this the old way.
842          */
843
844         bitmap = OCFS2_LOCAL_ALLOC(alloc)->la_bitmap;
845
846         numfound = bitoff = startoff = 0;
847         lastzero = -1;
848         left = le32_to_cpu(alloc->id1.bitmap1.i_total);
849         while ((bitoff = ocfs2_find_next_zero_bit(bitmap, left, startoff)) != -1) {
850                 if (bitoff == left) {
851                         /* mlog(0, "bitoff (%d) == left", bitoff); */
852                         break;
853                 }
854                 /* mlog(0, "Found a zero: bitoff = %d, startoff = %d, "
855                    "numfound = %d\n", bitoff, startoff, numfound);*/
856
857                 /* Ok, we found a zero bit... is it contig. or do we
858                  * start over?*/
859                 if (bitoff == startoff) {
860                         /* we found a zero */
861                         numfound++;
862                         startoff++;
863                 } else {
864                         /* got a zero after some ones */
865                         numfound = 1;
866                         startoff = bitoff+1;
867                 }
868                 /* we got everything we needed */
869                 if (numfound == *numbits) {
870                         /* mlog(0, "Found it all!\n"); */
871                         break;
872                 }
873         }
874
875         mlog(0, "Exiting loop, bitoff = %d, numfound = %d\n", bitoff,
876              numfound);
877
878         if (numfound == *numbits)
879                 bitoff = startoff - numfound;
880         else
881                 bitoff = -1;
882
883 bail:
884         if (local_resv)
885                 ocfs2_resv_discard(resmap, resv);
886
887         mlog_exit(bitoff);
888         return bitoff;
889 }
890
891 static void ocfs2_clear_local_alloc(struct ocfs2_dinode *alloc)
892 {
893         struct ocfs2_local_alloc *la = OCFS2_LOCAL_ALLOC(alloc);
894         int i;
895
896         alloc->id1.bitmap1.i_total = 0;
897         alloc->id1.bitmap1.i_used = 0;
898         la->la_bm_off = 0;
899         for(i = 0; i < le16_to_cpu(la->la_size); i++)
900                 la->la_bitmap[i] = 0;
901
902         mlog_exit_void();
903 }
904
905 #if 0
906 /* turn this on and uncomment below to aid debugging window shifts. */
907 static void ocfs2_verify_zero_bits(unsigned long *bitmap,
908                                    unsigned int start,
909                                    unsigned int count)
910 {
911         unsigned int tmp = count;
912         while(tmp--) {
913                 if (ocfs2_test_bit(start + tmp, bitmap)) {
914                         printk("ocfs2_verify_zero_bits: start = %u, count = "
915                                "%u\n", start, count);
916                         printk("ocfs2_verify_zero_bits: bit %u is set!",
917                                start + tmp);
918                         BUG();
919                 }
920         }
921 }
922 #endif
923
924 /*
925  * sync the local alloc to main bitmap.
926  *
927  * assumes you've already locked the main bitmap -- the bitmap inode
928  * passed is used for caching.
929  */
930 static int ocfs2_sync_local_to_main(struct ocfs2_super *osb,
931                                     handle_t *handle,
932                                     struct ocfs2_dinode *alloc,
933                                     struct inode *main_bm_inode,
934                                     struct buffer_head *main_bm_bh)
935 {
936         int status = 0;
937         int bit_off, left, count, start;
938         u64 la_start_blk;
939         u64 blkno;
940         void *bitmap;
941         struct ocfs2_local_alloc *la = OCFS2_LOCAL_ALLOC(alloc);
942
943         mlog(0, "total = %u, used = %u\n",
944              le32_to_cpu(alloc->id1.bitmap1.i_total),
945              le32_to_cpu(alloc->id1.bitmap1.i_used));
946
947         if (!alloc->id1.bitmap1.i_total) {
948                 mlog(0, "nothing to sync!\n");
949                 goto bail;
950         }
951
952         if (le32_to_cpu(alloc->id1.bitmap1.i_used) ==
953             le32_to_cpu(alloc->id1.bitmap1.i_total)) {
954                 mlog(0, "all bits were taken!\n");
955                 goto bail;
956         }
957
958         la_start_blk = ocfs2_clusters_to_blocks(osb->sb,
959                                                 le32_to_cpu(la->la_bm_off));
960         bitmap = la->la_bitmap;
961         start = count = bit_off = 0;
962         left = le32_to_cpu(alloc->id1.bitmap1.i_total);
963
964         while ((bit_off = ocfs2_find_next_zero_bit(bitmap, left, start))
965                != -1) {
966                 if ((bit_off < left) && (bit_off == start)) {
967                         count++;
968                         start++;
969                         continue;
970                 }
971                 if (count) {
972                         blkno = la_start_blk +
973                                 ocfs2_clusters_to_blocks(osb->sb,
974                                                          start - count);
975
976                         mlog(0, "freeing %u bits starting at local alloc bit "
977                              "%u (la_start_blk = %llu, blkno = %llu)\n",
978                              count, start - count,
979                              (unsigned long long)la_start_blk,
980                              (unsigned long long)blkno);
981
982                         status = ocfs2_release_clusters(handle,
983                                                         main_bm_inode,
984                                                         main_bm_bh, blkno,
985                                                         count);
986                         if (status < 0) {
987                                 mlog_errno(status);
988                                 goto bail;
989                         }
990                 }
991                 if (bit_off >= left)
992                         break;
993                 count = 1;
994                 start = bit_off + 1;
995         }
996
997 bail:
998         mlog_exit(status);
999         return status;
1000 }
1001
1002 enum ocfs2_la_event {
1003         OCFS2_LA_EVENT_SLIDE,           /* Normal window slide. */
1004         OCFS2_LA_EVENT_FRAGMENTED,      /* The global bitmap has
1005                                          * enough bits theoretically
1006                                          * free, but a contiguous
1007                                          * allocation could not be
1008                                          * found. */
1009         OCFS2_LA_EVENT_ENOSPC,          /* Global bitmap doesn't have
1010                                          * enough bits free to satisfy
1011                                          * our request. */
1012 };
1013 #define OCFS2_LA_ENABLE_INTERVAL (30 * HZ)
1014 /*
1015  * Given an event, calculate the size of our next local alloc window.
1016  *
1017  * This should always be called under i_mutex of the local alloc inode
1018  * so that local alloc disabling doesn't race with processes trying to
1019  * use the allocator.
1020  *
1021  * Returns the state which the local alloc was left in. This value can
1022  * be ignored by some paths.
1023  */
1024 static int ocfs2_recalc_la_window(struct ocfs2_super *osb,
1025                                   enum ocfs2_la_event event)
1026 {
1027         unsigned int bits;
1028         int state;
1029
1030         spin_lock(&osb->osb_lock);
1031         if (osb->local_alloc_state == OCFS2_LA_DISABLED) {
1032                 WARN_ON_ONCE(osb->local_alloc_state == OCFS2_LA_DISABLED);
1033                 goto out_unlock;
1034         }
1035
1036         /*
1037          * ENOSPC and fragmentation are treated similarly for now.
1038          */
1039         if (event == OCFS2_LA_EVENT_ENOSPC ||
1040             event == OCFS2_LA_EVENT_FRAGMENTED) {
1041                 /*
1042                  * We ran out of contiguous space in the primary
1043                  * bitmap. Drastically reduce the number of bits used
1044                  * by local alloc until we have to disable it.
1045                  */
1046                 bits = osb->local_alloc_bits >> 1;
1047                 if (bits > ocfs2_megabytes_to_clusters(osb->sb, 1)) {
1048                         /*
1049                          * By setting state to THROTTLED, we'll keep
1050                          * the number of local alloc bits used down
1051                          * until an event occurs which would give us
1052                          * reason to assume the bitmap situation might
1053                          * have changed.
1054                          */
1055                         osb->local_alloc_state = OCFS2_LA_THROTTLED;
1056                         osb->local_alloc_bits = bits;
1057                 } else {
1058                         osb->local_alloc_state = OCFS2_LA_DISABLED;
1059                 }
1060                 queue_delayed_work(ocfs2_wq, &osb->la_enable_wq,
1061                                    OCFS2_LA_ENABLE_INTERVAL);
1062                 goto out_unlock;
1063         }
1064
1065         /*
1066          * Don't increase the size of the local alloc window until we
1067          * know we might be able to fulfill the request. Otherwise, we
1068          * risk bouncing around the global bitmap during periods of
1069          * low space.
1070          */
1071         if (osb->local_alloc_state != OCFS2_LA_THROTTLED)
1072                 osb->local_alloc_bits = osb->local_alloc_default_bits;
1073
1074 out_unlock:
1075         state = osb->local_alloc_state;
1076         spin_unlock(&osb->osb_lock);
1077
1078         return state;
1079 }
1080
1081 static int ocfs2_local_alloc_reserve_for_window(struct ocfs2_super *osb,
1082                                                 struct ocfs2_alloc_context **ac,
1083                                                 struct inode **bitmap_inode,
1084                                                 struct buffer_head **bitmap_bh)
1085 {
1086         int status;
1087
1088         *ac = kzalloc(sizeof(struct ocfs2_alloc_context), GFP_KERNEL);
1089         if (!(*ac)) {
1090                 status = -ENOMEM;
1091                 mlog_errno(status);
1092                 goto bail;
1093         }
1094
1095 retry_enospc:
1096         (*ac)->ac_bits_wanted = osb->local_alloc_default_bits;
1097         status = ocfs2_reserve_cluster_bitmap_bits(osb, *ac);
1098         if (status == -ENOSPC) {
1099                 if (ocfs2_recalc_la_window(osb, OCFS2_LA_EVENT_ENOSPC) ==
1100                     OCFS2_LA_DISABLED)
1101                         goto bail;
1102
1103                 ocfs2_free_ac_resource(*ac);
1104                 memset(*ac, 0, sizeof(struct ocfs2_alloc_context));
1105                 goto retry_enospc;
1106         }
1107         if (status < 0) {
1108                 mlog_errno(status);
1109                 goto bail;
1110         }
1111
1112         *bitmap_inode = (*ac)->ac_inode;
1113         igrab(*bitmap_inode);
1114         *bitmap_bh = (*ac)->ac_bh;
1115         get_bh(*bitmap_bh);
1116         status = 0;
1117 bail:
1118         if ((status < 0) && *ac) {
1119                 ocfs2_free_alloc_context(*ac);
1120                 *ac = NULL;
1121         }
1122
1123         mlog_exit(status);
1124         return status;
1125 }
1126
1127 /*
1128  * pass it the bitmap lock in lock_bh if you have it.
1129  */
1130 static int ocfs2_local_alloc_new_window(struct ocfs2_super *osb,
1131                                         handle_t *handle,
1132                                         struct ocfs2_alloc_context *ac)
1133 {
1134         int status = 0;
1135         u32 cluster_off, cluster_count;
1136         struct ocfs2_dinode *alloc = NULL;
1137         struct ocfs2_local_alloc *la;
1138
1139         alloc = (struct ocfs2_dinode *) osb->local_alloc_bh->b_data;
1140         la = OCFS2_LOCAL_ALLOC(alloc);
1141
1142         if (alloc->id1.bitmap1.i_total)
1143                 mlog(0, "asking me to alloc a new window over a non-empty "
1144                      "one\n");
1145
1146         mlog(0, "Allocating %u clusters for a new window.\n",
1147              osb->local_alloc_bits);
1148
1149         /* Instruct the allocation code to try the most recently used
1150          * cluster group. We'll re-record the group used this pass
1151          * below. */
1152         ac->ac_last_group = osb->la_last_gd;
1153
1154         /* we used the generic suballoc reserve function, but we set
1155          * everything up nicely, so there's no reason why we can't use
1156          * the more specific cluster api to claim bits. */
1157         status = ocfs2_claim_clusters(handle, ac, osb->local_alloc_bits,
1158                                       &cluster_off, &cluster_count);
1159         if (status == -ENOSPC) {
1160 retry_enospc:
1161                 /*
1162                  * Note: We could also try syncing the journal here to
1163                  * allow use of any free bits which the current
1164                  * transaction can't give us access to. --Mark
1165                  */
1166                 if (ocfs2_recalc_la_window(osb, OCFS2_LA_EVENT_FRAGMENTED) ==
1167                     OCFS2_LA_DISABLED)
1168                         goto bail;
1169
1170                 ac->ac_bits_wanted = osb->local_alloc_default_bits;
1171                 status = ocfs2_claim_clusters(handle, ac,
1172                                               osb->local_alloc_bits,
1173                                               &cluster_off,
1174                                               &cluster_count);
1175                 if (status == -ENOSPC)
1176                         goto retry_enospc;
1177                 /*
1178                  * We only shrunk the *minimum* number of in our
1179                  * request - it's entirely possible that the allocator
1180                  * might give us more than we asked for.
1181                  */
1182                 if (status == 0) {
1183                         spin_lock(&osb->osb_lock);
1184                         osb->local_alloc_bits = cluster_count;
1185                         spin_unlock(&osb->osb_lock);
1186                 }
1187         }
1188         if (status < 0) {
1189                 if (status != -ENOSPC)
1190                         mlog_errno(status);
1191                 goto bail;
1192         }
1193
1194         osb->la_last_gd = ac->ac_last_group;
1195
1196         la->la_bm_off = cpu_to_le32(cluster_off);
1197         alloc->id1.bitmap1.i_total = cpu_to_le32(cluster_count);
1198         /* just in case... In the future when we find space ourselves,
1199          * we don't have to get all contiguous -- but we'll have to
1200          * set all previously used bits in bitmap and update
1201          * la_bits_set before setting the bits in the main bitmap. */
1202         alloc->id1.bitmap1.i_used = 0;
1203         memset(OCFS2_LOCAL_ALLOC(alloc)->la_bitmap, 0,
1204                le16_to_cpu(la->la_size));
1205
1206         ocfs2_resmap_restart(&osb->osb_la_resmap, cluster_count,
1207                              OCFS2_LOCAL_ALLOC(alloc)->la_bitmap);
1208
1209         mlog(0, "New window allocated:\n");
1210         mlog(0, "window la_bm_off = %u\n",
1211              OCFS2_LOCAL_ALLOC(alloc)->la_bm_off);
1212         mlog(0, "window bits = %u\n", le32_to_cpu(alloc->id1.bitmap1.i_total));
1213
1214 bail:
1215         mlog_exit(status);
1216         return status;
1217 }
1218
1219 /* Note that we do *NOT* lock the local alloc inode here as
1220  * it's been locked already for us. */
1221 static int ocfs2_local_alloc_slide_window(struct ocfs2_super *osb,
1222                                           struct inode *local_alloc_inode)
1223 {
1224         int status = 0;
1225         struct buffer_head *main_bm_bh = NULL;
1226         struct inode *main_bm_inode = NULL;
1227         handle_t *handle = NULL;
1228         struct ocfs2_dinode *alloc;
1229         struct ocfs2_dinode *alloc_copy = NULL;
1230         struct ocfs2_alloc_context *ac = NULL;
1231
1232         ocfs2_recalc_la_window(osb, OCFS2_LA_EVENT_SLIDE);
1233
1234         /* This will lock the main bitmap for us. */
1235         status = ocfs2_local_alloc_reserve_for_window(osb,
1236                                                       &ac,
1237                                                       &main_bm_inode,
1238                                                       &main_bm_bh);
1239         if (status < 0) {
1240                 if (status != -ENOSPC)
1241                         mlog_errno(status);
1242                 goto bail;
1243         }
1244
1245         handle = ocfs2_start_trans(osb, OCFS2_WINDOW_MOVE_CREDITS);
1246         if (IS_ERR(handle)) {
1247                 status = PTR_ERR(handle);
1248                 handle = NULL;
1249                 mlog_errno(status);
1250                 goto bail;
1251         }
1252
1253         alloc = (struct ocfs2_dinode *) osb->local_alloc_bh->b_data;
1254
1255         /* We want to clear the local alloc before doing anything
1256          * else, so that if we error later during this operation,
1257          * local alloc shutdown won't try to double free main bitmap
1258          * bits. Make a copy so the sync function knows which bits to
1259          * free. */
1260         alloc_copy = kmalloc(osb->local_alloc_bh->b_size, GFP_NOFS);
1261         if (!alloc_copy) {
1262                 status = -ENOMEM;
1263                 mlog_errno(status);
1264                 goto bail;
1265         }
1266         memcpy(alloc_copy, alloc, osb->local_alloc_bh->b_size);
1267
1268         status = ocfs2_journal_access_di(handle,
1269                                          INODE_CACHE(local_alloc_inode),
1270                                          osb->local_alloc_bh,
1271                                          OCFS2_JOURNAL_ACCESS_WRITE);
1272         if (status < 0) {
1273                 mlog_errno(status);
1274                 goto bail;
1275         }
1276
1277         ocfs2_clear_local_alloc(alloc);
1278         ocfs2_journal_dirty(handle, osb->local_alloc_bh);
1279
1280         status = ocfs2_sync_local_to_main(osb, handle, alloc_copy,
1281                                           main_bm_inode, main_bm_bh);
1282         if (status < 0) {
1283                 mlog_errno(status);
1284                 goto bail;
1285         }
1286
1287         status = ocfs2_local_alloc_new_window(osb, handle, ac);
1288         if (status < 0) {
1289                 if (status != -ENOSPC)
1290                         mlog_errno(status);
1291                 goto bail;
1292         }
1293
1294         atomic_inc(&osb->alloc_stats.moves);
1295
1296 bail:
1297         if (handle)
1298                 ocfs2_commit_trans(osb, handle);
1299
1300         brelse(main_bm_bh);
1301
1302         if (main_bm_inode)
1303                 iput(main_bm_inode);
1304
1305         if (alloc_copy)
1306                 kfree(alloc_copy);
1307
1308         if (ac)
1309                 ocfs2_free_alloc_context(ac);
1310
1311         mlog_exit(status);
1312         return status;
1313 }
1314