btrfs: unlock on error in btrfs_file_llseek()
[pandora-kernel.git] / fs / bio-integrity.c
1 /*
2  * bio-integrity.c - bio data integrity extensions
3  *
4  * Copyright (C) 2007, 2008, 2009 Oracle Corporation
5  * Written by: Martin K. Petersen <martin.petersen@oracle.com>
6  *
7  * This program is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU General Public License version
9  * 2 as published by the Free Software Foundation.
10  *
11  * This program is distributed in the hope that it will be useful, but
12  * WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; see the file COPYING.  If not, write to
18  * the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139,
19  * USA.
20  *
21  */
22
23 #include <linux/blkdev.h>
24 #include <linux/mempool.h>
25 #include <linux/bio.h>
26 #include <linux/workqueue.h>
27 #include <linux/slab.h>
28
29 struct integrity_slab {
30         struct kmem_cache *slab;
31         unsigned short nr_vecs;
32         char name[8];
33 };
34
35 #define IS(x) { .nr_vecs = x, .name = "bip-"__stringify(x) }
36 struct integrity_slab bip_slab[BIOVEC_NR_POOLS] __read_mostly = {
37         IS(1), IS(4), IS(16), IS(64), IS(128), IS(BIO_MAX_PAGES),
38 };
39 #undef IS
40
41 static struct workqueue_struct *kintegrityd_wq;
42
43 static inline unsigned int vecs_to_idx(unsigned int nr)
44 {
45         switch (nr) {
46         case 1:
47                 return 0;
48         case 2 ... 4:
49                 return 1;
50         case 5 ... 16:
51                 return 2;
52         case 17 ... 64:
53                 return 3;
54         case 65 ... 128:
55                 return 4;
56         case 129 ... BIO_MAX_PAGES:
57                 return 5;
58         default:
59                 BUG();
60         }
61 }
62
63 static inline int use_bip_pool(unsigned int idx)
64 {
65         if (idx == BIOVEC_MAX_IDX)
66                 return 1;
67
68         return 0;
69 }
70
71 /**
72  * bio_integrity_alloc_bioset - Allocate integrity payload and attach it to bio
73  * @bio:        bio to attach integrity metadata to
74  * @gfp_mask:   Memory allocation mask
75  * @nr_vecs:    Number of integrity metadata scatter-gather elements
76  * @bs:         bio_set to allocate from
77  *
78  * Description: This function prepares a bio for attaching integrity
79  * metadata.  nr_vecs specifies the maximum number of pages containing
80  * integrity metadata that can be attached.
81  */
82 struct bio_integrity_payload *bio_integrity_alloc_bioset(struct bio *bio,
83                                                          gfp_t gfp_mask,
84                                                          unsigned int nr_vecs,
85                                                          struct bio_set *bs)
86 {
87         struct bio_integrity_payload *bip;
88         unsigned int idx = vecs_to_idx(nr_vecs);
89
90         BUG_ON(bio == NULL);
91         bip = NULL;
92
93         /* Lower order allocations come straight from slab */
94         if (!use_bip_pool(idx))
95                 bip = kmem_cache_alloc(bip_slab[idx].slab, gfp_mask);
96
97         /* Use mempool if lower order alloc failed or max vecs were requested */
98         if (bip == NULL) {
99                 idx = BIOVEC_MAX_IDX;  /* so we free the payload properly later */
100                 bip = mempool_alloc(bs->bio_integrity_pool, gfp_mask);
101
102                 if (unlikely(bip == NULL)) {
103                         printk(KERN_ERR "%s: could not alloc bip\n", __func__);
104                         return NULL;
105                 }
106         }
107
108         memset(bip, 0, sizeof(*bip));
109
110         bip->bip_slab = idx;
111         bip->bip_bio = bio;
112         bio->bi_integrity = bip;
113
114         return bip;
115 }
116 EXPORT_SYMBOL(bio_integrity_alloc_bioset);
117
118 /**
119  * bio_integrity_alloc - Allocate integrity payload and attach it to bio
120  * @bio:        bio to attach integrity metadata to
121  * @gfp_mask:   Memory allocation mask
122  * @nr_vecs:    Number of integrity metadata scatter-gather elements
123  *
124  * Description: This function prepares a bio for attaching integrity
125  * metadata.  nr_vecs specifies the maximum number of pages containing
126  * integrity metadata that can be attached.
127  */
128 struct bio_integrity_payload *bio_integrity_alloc(struct bio *bio,
129                                                   gfp_t gfp_mask,
130                                                   unsigned int nr_vecs)
131 {
132         return bio_integrity_alloc_bioset(bio, gfp_mask, nr_vecs, fs_bio_set);
133 }
134 EXPORT_SYMBOL(bio_integrity_alloc);
135
136 /**
137  * bio_integrity_free - Free bio integrity payload
138  * @bio:        bio containing bip to be freed
139  * @bs:         bio_set this bio was allocated from
140  *
141  * Description: Used to free the integrity portion of a bio. Usually
142  * called from bio_free().
143  */
144 void bio_integrity_free(struct bio *bio, struct bio_set *bs)
145 {
146         struct bio_integrity_payload *bip = bio->bi_integrity;
147
148         BUG_ON(bip == NULL);
149
150         /* A cloned bio doesn't own the integrity metadata */
151         if (!bio_flagged(bio, BIO_CLONED) && !bio_flagged(bio, BIO_FS_INTEGRITY)
152             && bip->bip_buf != NULL)
153                 kfree(bip->bip_buf);
154
155         if (use_bip_pool(bip->bip_slab))
156                 mempool_free(bip, bs->bio_integrity_pool);
157         else
158                 kmem_cache_free(bip_slab[bip->bip_slab].slab, bip);
159
160         bio->bi_integrity = NULL;
161 }
162 EXPORT_SYMBOL(bio_integrity_free);
163
164 /**
165  * bio_integrity_add_page - Attach integrity metadata
166  * @bio:        bio to update
167  * @page:       page containing integrity metadata
168  * @len:        number of bytes of integrity metadata in page
169  * @offset:     start offset within page
170  *
171  * Description: Attach a page containing integrity metadata to bio.
172  */
173 int bio_integrity_add_page(struct bio *bio, struct page *page,
174                            unsigned int len, unsigned int offset)
175 {
176         struct bio_integrity_payload *bip = bio->bi_integrity;
177         struct bio_vec *iv;
178
179         if (bip->bip_vcnt >= bvec_nr_vecs(bip->bip_slab)) {
180                 printk(KERN_ERR "%s: bip_vec full\n", __func__);
181                 return 0;
182         }
183
184         iv = bip_vec_idx(bip, bip->bip_vcnt);
185         BUG_ON(iv == NULL);
186
187         iv->bv_page = page;
188         iv->bv_len = len;
189         iv->bv_offset = offset;
190         bip->bip_vcnt++;
191
192         return len;
193 }
194 EXPORT_SYMBOL(bio_integrity_add_page);
195
196 static int bdev_integrity_enabled(struct block_device *bdev, int rw)
197 {
198         struct blk_integrity *bi = bdev_get_integrity(bdev);
199
200         if (bi == NULL)
201                 return 0;
202
203         if (rw == READ && bi->verify_fn != NULL &&
204             (bi->flags & INTEGRITY_FLAG_READ))
205                 return 1;
206
207         if (rw == WRITE && bi->generate_fn != NULL &&
208             (bi->flags & INTEGRITY_FLAG_WRITE))
209                 return 1;
210
211         return 0;
212 }
213
214 /**
215  * bio_integrity_enabled - Check whether integrity can be passed
216  * @bio:        bio to check
217  *
218  * Description: Determines whether bio_integrity_prep() can be called
219  * on this bio or not.  bio data direction and target device must be
220  * set prior to calling.  The functions honors the write_generate and
221  * read_verify flags in sysfs.
222  */
223 int bio_integrity_enabled(struct bio *bio)
224 {
225         /* Already protected? */
226         if (bio_integrity(bio))
227                 return 0;
228
229         return bdev_integrity_enabled(bio->bi_bdev, bio_data_dir(bio));
230 }
231 EXPORT_SYMBOL(bio_integrity_enabled);
232
233 /**
234  * bio_integrity_hw_sectors - Convert 512b sectors to hardware ditto
235  * @bi:         blk_integrity profile for device
236  * @sectors:    Number of 512 sectors to convert
237  *
238  * Description: The block layer calculates everything in 512 byte
239  * sectors but integrity metadata is done in terms of the hardware
240  * sector size of the storage device.  Convert the block layer sectors
241  * to physical sectors.
242  */
243 static inline unsigned int bio_integrity_hw_sectors(struct blk_integrity *bi,
244                                                     unsigned int sectors)
245 {
246         /* At this point there are only 512b or 4096b DIF/EPP devices */
247         if (bi->sector_size == 4096)
248                 return sectors >>= 3;
249
250         return sectors;
251 }
252
253 /**
254  * bio_integrity_tag_size - Retrieve integrity tag space
255  * @bio:        bio to inspect
256  *
257  * Description: Returns the maximum number of tag bytes that can be
258  * attached to this bio. Filesystems can use this to determine how
259  * much metadata to attach to an I/O.
260  */
261 unsigned int bio_integrity_tag_size(struct bio *bio)
262 {
263         struct blk_integrity *bi = bdev_get_integrity(bio->bi_bdev);
264
265         BUG_ON(bio->bi_size == 0);
266
267         return bi->tag_size * (bio->bi_size / bi->sector_size);
268 }
269 EXPORT_SYMBOL(bio_integrity_tag_size);
270
271 int bio_integrity_tag(struct bio *bio, void *tag_buf, unsigned int len, int set)
272 {
273         struct bio_integrity_payload *bip = bio->bi_integrity;
274         struct blk_integrity *bi = bdev_get_integrity(bio->bi_bdev);
275         unsigned int nr_sectors;
276
277         BUG_ON(bip->bip_buf == NULL);
278
279         if (bi->tag_size == 0)
280                 return -1;
281
282         nr_sectors = bio_integrity_hw_sectors(bi,
283                                         DIV_ROUND_UP(len, bi->tag_size));
284
285         if (nr_sectors * bi->tuple_size > bip->bip_size) {
286                 printk(KERN_ERR "%s: tag too big for bio: %u > %u\n",
287                        __func__, nr_sectors * bi->tuple_size, bip->bip_size);
288                 return -1;
289         }
290
291         if (set)
292                 bi->set_tag_fn(bip->bip_buf, tag_buf, nr_sectors);
293         else
294                 bi->get_tag_fn(bip->bip_buf, tag_buf, nr_sectors);
295
296         return 0;
297 }
298
299 /**
300  * bio_integrity_set_tag - Attach a tag buffer to a bio
301  * @bio:        bio to attach buffer to
302  * @tag_buf:    Pointer to a buffer containing tag data
303  * @len:        Length of the included buffer
304  *
305  * Description: Use this function to tag a bio by leveraging the extra
306  * space provided by devices formatted with integrity protection.  The
307  * size of the integrity buffer must be <= to the size reported by
308  * bio_integrity_tag_size().
309  */
310 int bio_integrity_set_tag(struct bio *bio, void *tag_buf, unsigned int len)
311 {
312         BUG_ON(bio_data_dir(bio) != WRITE);
313
314         return bio_integrity_tag(bio, tag_buf, len, 1);
315 }
316 EXPORT_SYMBOL(bio_integrity_set_tag);
317
318 /**
319  * bio_integrity_get_tag - Retrieve a tag buffer from a bio
320  * @bio:        bio to retrieve buffer from
321  * @tag_buf:    Pointer to a buffer for the tag data
322  * @len:        Length of the target buffer
323  *
324  * Description: Use this function to retrieve the tag buffer from a
325  * completed I/O. The size of the integrity buffer must be <= to the
326  * size reported by bio_integrity_tag_size().
327  */
328 int bio_integrity_get_tag(struct bio *bio, void *tag_buf, unsigned int len)
329 {
330         BUG_ON(bio_data_dir(bio) != READ);
331
332         return bio_integrity_tag(bio, tag_buf, len, 0);
333 }
334 EXPORT_SYMBOL(bio_integrity_get_tag);
335
336 /**
337  * bio_integrity_generate - Generate integrity metadata for a bio
338  * @bio:        bio to generate integrity metadata for
339  *
340  * Description: Generates integrity metadata for a bio by calling the
341  * block device's generation callback function.  The bio must have a
342  * bip attached with enough room to accommodate the generated
343  * integrity metadata.
344  */
345 static void bio_integrity_generate(struct bio *bio)
346 {
347         struct blk_integrity *bi = bdev_get_integrity(bio->bi_bdev);
348         struct blk_integrity_exchg bix;
349         struct bio_vec *bv;
350         sector_t sector = bio->bi_sector;
351         unsigned int i, sectors, total;
352         void *prot_buf = bio->bi_integrity->bip_buf;
353
354         total = 0;
355         bix.disk_name = bio->bi_bdev->bd_disk->disk_name;
356         bix.sector_size = bi->sector_size;
357
358         bio_for_each_segment(bv, bio, i) {
359                 void *kaddr = kmap_atomic(bv->bv_page, KM_USER0);
360                 bix.data_buf = kaddr + bv->bv_offset;
361                 bix.data_size = bv->bv_len;
362                 bix.prot_buf = prot_buf;
363                 bix.sector = sector;
364
365                 bi->generate_fn(&bix);
366
367                 sectors = bv->bv_len / bi->sector_size;
368                 sector += sectors;
369                 prot_buf += sectors * bi->tuple_size;
370                 total += sectors * bi->tuple_size;
371                 BUG_ON(total > bio->bi_integrity->bip_size);
372
373                 kunmap_atomic(kaddr, KM_USER0);
374         }
375 }
376
377 static inline unsigned short blk_integrity_tuple_size(struct blk_integrity *bi)
378 {
379         if (bi)
380                 return bi->tuple_size;
381
382         return 0;
383 }
384
385 /**
386  * bio_integrity_prep - Prepare bio for integrity I/O
387  * @bio:        bio to prepare
388  *
389  * Description: Allocates a buffer for integrity metadata, maps the
390  * pages and attaches them to a bio.  The bio must have data
391  * direction, target device and start sector set priot to calling.  In
392  * the WRITE case, integrity metadata will be generated using the
393  * block device's integrity function.  In the READ case, the buffer
394  * will be prepared for DMA and a suitable end_io handler set up.
395  */
396 int bio_integrity_prep(struct bio *bio)
397 {
398         struct bio_integrity_payload *bip;
399         struct blk_integrity *bi;
400         struct request_queue *q;
401         void *buf;
402         unsigned long start, end;
403         unsigned int len, nr_pages;
404         unsigned int bytes, offset, i;
405         unsigned int sectors;
406
407         bi = bdev_get_integrity(bio->bi_bdev);
408         q = bdev_get_queue(bio->bi_bdev);
409         BUG_ON(bi == NULL);
410         BUG_ON(bio_integrity(bio));
411
412         sectors = bio_integrity_hw_sectors(bi, bio_sectors(bio));
413
414         /* Allocate kernel buffer for protection data */
415         len = sectors * blk_integrity_tuple_size(bi);
416         buf = kmalloc(len, GFP_NOIO | q->bounce_gfp);
417         if (unlikely(buf == NULL)) {
418                 printk(KERN_ERR "could not allocate integrity buffer\n");
419                 return -ENOMEM;
420         }
421
422         end = (((unsigned long) buf) + len + PAGE_SIZE - 1) >> PAGE_SHIFT;
423         start = ((unsigned long) buf) >> PAGE_SHIFT;
424         nr_pages = end - start;
425
426         /* Allocate bio integrity payload and integrity vectors */
427         bip = bio_integrity_alloc(bio, GFP_NOIO, nr_pages);
428         if (unlikely(bip == NULL)) {
429                 printk(KERN_ERR "could not allocate data integrity bioset\n");
430                 kfree(buf);
431                 return -EIO;
432         }
433
434         bip->bip_buf = buf;
435         bip->bip_size = len;
436         bip->bip_sector = bio->bi_sector;
437
438         /* Map it */
439         offset = offset_in_page(buf);
440         for (i = 0 ; i < nr_pages ; i++) {
441                 int ret;
442                 bytes = PAGE_SIZE - offset;
443
444                 if (len <= 0)
445                         break;
446
447                 if (bytes > len)
448                         bytes = len;
449
450                 ret = bio_integrity_add_page(bio, virt_to_page(buf),
451                                              bytes, offset);
452
453                 if (ret == 0)
454                         return 0;
455
456                 if (ret < bytes)
457                         break;
458
459                 buf += bytes;
460                 len -= bytes;
461                 offset = 0;
462         }
463
464         /* Install custom I/O completion handler if read verify is enabled */
465         if (bio_data_dir(bio) == READ) {
466                 bip->bip_end_io = bio->bi_end_io;
467                 bio->bi_end_io = bio_integrity_endio;
468         }
469
470         /* Auto-generate integrity metadata if this is a write */
471         if (bio_data_dir(bio) == WRITE)
472                 bio_integrity_generate(bio);
473
474         return 0;
475 }
476 EXPORT_SYMBOL(bio_integrity_prep);
477
478 /**
479  * bio_integrity_verify - Verify integrity metadata for a bio
480  * @bio:        bio to verify
481  *
482  * Description: This function is called to verify the integrity of a
483  * bio.  The data in the bio io_vec is compared to the integrity
484  * metadata returned by the HBA.
485  */
486 static int bio_integrity_verify(struct bio *bio)
487 {
488         struct blk_integrity *bi = bdev_get_integrity(bio->bi_bdev);
489         struct blk_integrity_exchg bix;
490         struct bio_vec *bv;
491         sector_t sector = bio->bi_integrity->bip_sector;
492         unsigned int i, sectors, total, ret;
493         void *prot_buf = bio->bi_integrity->bip_buf;
494
495         ret = total = 0;
496         bix.disk_name = bio->bi_bdev->bd_disk->disk_name;
497         bix.sector_size = bi->sector_size;
498
499         bio_for_each_segment(bv, bio, i) {
500                 void *kaddr = kmap_atomic(bv->bv_page, KM_USER0);
501                 bix.data_buf = kaddr + bv->bv_offset;
502                 bix.data_size = bv->bv_len;
503                 bix.prot_buf = prot_buf;
504                 bix.sector = sector;
505
506                 ret = bi->verify_fn(&bix);
507
508                 if (ret) {
509                         kunmap_atomic(kaddr, KM_USER0);
510                         return ret;
511                 }
512
513                 sectors = bv->bv_len / bi->sector_size;
514                 sector += sectors;
515                 prot_buf += sectors * bi->tuple_size;
516                 total += sectors * bi->tuple_size;
517                 BUG_ON(total > bio->bi_integrity->bip_size);
518
519                 kunmap_atomic(kaddr, KM_USER0);
520         }
521
522         return ret;
523 }
524
525 /**
526  * bio_integrity_verify_fn - Integrity I/O completion worker
527  * @work:       Work struct stored in bio to be verified
528  *
529  * Description: This workqueue function is called to complete a READ
530  * request.  The function verifies the transferred integrity metadata
531  * and then calls the original bio end_io function.
532  */
533 static void bio_integrity_verify_fn(struct work_struct *work)
534 {
535         struct bio_integrity_payload *bip =
536                 container_of(work, struct bio_integrity_payload, bip_work);
537         struct bio *bio = bip->bip_bio;
538         int error;
539
540         error = bio_integrity_verify(bio);
541
542         /* Restore original bio completion handler */
543         bio->bi_end_io = bip->bip_end_io;
544         bio_endio(bio, error);
545 }
546
547 /**
548  * bio_integrity_endio - Integrity I/O completion function
549  * @bio:        Protected bio
550  * @error:      Pointer to errno
551  *
552  * Description: Completion for integrity I/O
553  *
554  * Normally I/O completion is done in interrupt context.  However,
555  * verifying I/O integrity is a time-consuming task which must be run
556  * in process context.  This function postpones completion
557  * accordingly.
558  */
559 void bio_integrity_endio(struct bio *bio, int error)
560 {
561         struct bio_integrity_payload *bip = bio->bi_integrity;
562
563         BUG_ON(bip->bip_bio != bio);
564
565         /* In case of an I/O error there is no point in verifying the
566          * integrity metadata.  Restore original bio end_io handler
567          * and run it.
568          */
569         if (error) {
570                 bio->bi_end_io = bip->bip_end_io;
571                 bio_endio(bio, error);
572
573                 return;
574         }
575
576         INIT_WORK(&bip->bip_work, bio_integrity_verify_fn);
577         queue_work(kintegrityd_wq, &bip->bip_work);
578 }
579 EXPORT_SYMBOL(bio_integrity_endio);
580
581 /**
582  * bio_integrity_mark_head - Advance bip_vec skip bytes
583  * @bip:        Integrity vector to advance
584  * @skip:       Number of bytes to advance it
585  */
586 void bio_integrity_mark_head(struct bio_integrity_payload *bip,
587                              unsigned int skip)
588 {
589         struct bio_vec *iv;
590         unsigned int i;
591
592         bip_for_each_vec(iv, bip, i) {
593                 if (skip == 0) {
594                         bip->bip_idx = i;
595                         return;
596                 } else if (skip >= iv->bv_len) {
597                         skip -= iv->bv_len;
598                 } else { /* skip < iv->bv_len) */
599                         iv->bv_offset += skip;
600                         iv->bv_len -= skip;
601                         bip->bip_idx = i;
602                         return;
603                 }
604         }
605 }
606
607 /**
608  * bio_integrity_mark_tail - Truncate bip_vec to be len bytes long
609  * @bip:        Integrity vector to truncate
610  * @len:        New length of integrity vector
611  */
612 void bio_integrity_mark_tail(struct bio_integrity_payload *bip,
613                              unsigned int len)
614 {
615         struct bio_vec *iv;
616         unsigned int i;
617
618         bip_for_each_vec(iv, bip, i) {
619                 if (len == 0) {
620                         bip->bip_vcnt = i;
621                         return;
622                 } else if (len >= iv->bv_len) {
623                         len -= iv->bv_len;
624                 } else { /* len < iv->bv_len) */
625                         iv->bv_len = len;
626                         len = 0;
627                 }
628         }
629 }
630
631 /**
632  * bio_integrity_advance - Advance integrity vector
633  * @bio:        bio whose integrity vector to update
634  * @bytes_done: number of data bytes that have been completed
635  *
636  * Description: This function calculates how many integrity bytes the
637  * number of completed data bytes correspond to and advances the
638  * integrity vector accordingly.
639  */
640 void bio_integrity_advance(struct bio *bio, unsigned int bytes_done)
641 {
642         struct bio_integrity_payload *bip = bio->bi_integrity;
643         struct blk_integrity *bi = bdev_get_integrity(bio->bi_bdev);
644         unsigned int nr_sectors;
645
646         BUG_ON(bip == NULL);
647         BUG_ON(bi == NULL);
648
649         nr_sectors = bio_integrity_hw_sectors(bi, bytes_done >> 9);
650         bio_integrity_mark_head(bip, nr_sectors * bi->tuple_size);
651 }
652 EXPORT_SYMBOL(bio_integrity_advance);
653
654 /**
655  * bio_integrity_trim - Trim integrity vector
656  * @bio:        bio whose integrity vector to update
657  * @offset:     offset to first data sector
658  * @sectors:    number of data sectors
659  *
660  * Description: Used to trim the integrity vector in a cloned bio.
661  * The ivec will be advanced corresponding to 'offset' data sectors
662  * and the length will be truncated corresponding to 'len' data
663  * sectors.
664  */
665 void bio_integrity_trim(struct bio *bio, unsigned int offset,
666                         unsigned int sectors)
667 {
668         struct bio_integrity_payload *bip = bio->bi_integrity;
669         struct blk_integrity *bi = bdev_get_integrity(bio->bi_bdev);
670         unsigned int nr_sectors;
671
672         BUG_ON(bip == NULL);
673         BUG_ON(bi == NULL);
674         BUG_ON(!bio_flagged(bio, BIO_CLONED));
675
676         nr_sectors = bio_integrity_hw_sectors(bi, sectors);
677         bip->bip_sector = bip->bip_sector + offset;
678         bio_integrity_mark_head(bip, offset * bi->tuple_size);
679         bio_integrity_mark_tail(bip, sectors * bi->tuple_size);
680 }
681 EXPORT_SYMBOL(bio_integrity_trim);
682
683 /**
684  * bio_integrity_split - Split integrity metadata
685  * @bio:        Protected bio
686  * @bp:         Resulting bio_pair
687  * @sectors:    Offset
688  *
689  * Description: Splits an integrity page into a bio_pair.
690  */
691 void bio_integrity_split(struct bio *bio, struct bio_pair *bp, int sectors)
692 {
693         struct blk_integrity *bi;
694         struct bio_integrity_payload *bip = bio->bi_integrity;
695         unsigned int nr_sectors;
696
697         if (bio_integrity(bio) == 0)
698                 return;
699
700         bi = bdev_get_integrity(bio->bi_bdev);
701         BUG_ON(bi == NULL);
702         BUG_ON(bip->bip_vcnt != 1);
703
704         nr_sectors = bio_integrity_hw_sectors(bi, sectors);
705
706         bp->bio1.bi_integrity = &bp->bip1;
707         bp->bio2.bi_integrity = &bp->bip2;
708
709         bp->iv1 = bip->bip_vec[0];
710         bp->iv2 = bip->bip_vec[0];
711
712         bp->bip1.bip_vec[0] = bp->iv1;
713         bp->bip2.bip_vec[0] = bp->iv2;
714
715         bp->iv1.bv_len = sectors * bi->tuple_size;
716         bp->iv2.bv_offset += sectors * bi->tuple_size;
717         bp->iv2.bv_len -= sectors * bi->tuple_size;
718
719         bp->bip1.bip_sector = bio->bi_integrity->bip_sector;
720         bp->bip2.bip_sector = bio->bi_integrity->bip_sector + nr_sectors;
721
722         bp->bip1.bip_vcnt = bp->bip2.bip_vcnt = 1;
723         bp->bip1.bip_idx = bp->bip2.bip_idx = 0;
724 }
725 EXPORT_SYMBOL(bio_integrity_split);
726
727 /**
728  * bio_integrity_clone - Callback for cloning bios with integrity metadata
729  * @bio:        New bio
730  * @bio_src:    Original bio
731  * @gfp_mask:   Memory allocation mask
732  * @bs:         bio_set to allocate bip from
733  *
734  * Description: Called to allocate a bip when cloning a bio
735  */
736 int bio_integrity_clone(struct bio *bio, struct bio *bio_src,
737                         gfp_t gfp_mask, struct bio_set *bs)
738 {
739         struct bio_integrity_payload *bip_src = bio_src->bi_integrity;
740         struct bio_integrity_payload *bip;
741
742         BUG_ON(bip_src == NULL);
743
744         bip = bio_integrity_alloc_bioset(bio, gfp_mask, bip_src->bip_vcnt, bs);
745
746         if (bip == NULL)
747                 return -EIO;
748
749         memcpy(bip->bip_vec, bip_src->bip_vec,
750                bip_src->bip_vcnt * sizeof(struct bio_vec));
751
752         bip->bip_sector = bip_src->bip_sector;
753         bip->bip_vcnt = bip_src->bip_vcnt;
754         bip->bip_idx = bip_src->bip_idx;
755
756         return 0;
757 }
758 EXPORT_SYMBOL(bio_integrity_clone);
759
760 int bioset_integrity_create(struct bio_set *bs, int pool_size)
761 {
762         unsigned int max_slab = vecs_to_idx(BIO_MAX_PAGES);
763
764         if (bs->bio_integrity_pool)
765                 return 0;
766
767         bs->bio_integrity_pool =
768                 mempool_create_slab_pool(pool_size, bip_slab[max_slab].slab);
769
770         if (!bs->bio_integrity_pool)
771                 return -1;
772
773         return 0;
774 }
775 EXPORT_SYMBOL(bioset_integrity_create);
776
777 void bioset_integrity_free(struct bio_set *bs)
778 {
779         if (bs->bio_integrity_pool)
780                 mempool_destroy(bs->bio_integrity_pool);
781 }
782 EXPORT_SYMBOL(bioset_integrity_free);
783
784 void __init bio_integrity_init(void)
785 {
786         unsigned int i;
787
788         /*
789          * kintegrityd won't block much but may burn a lot of CPU cycles.
790          * Make it highpri CPU intensive wq with max concurrency of 1.
791          */
792         kintegrityd_wq = alloc_workqueue("kintegrityd", WQ_MEM_RECLAIM |
793                                          WQ_HIGHPRI | WQ_CPU_INTENSIVE, 1);
794         if (!kintegrityd_wq)
795                 panic("Failed to create kintegrityd\n");
796
797         for (i = 0 ; i < BIOVEC_NR_POOLS ; i++) {
798                 unsigned int size;
799
800                 size = sizeof(struct bio_integrity_payload)
801                         + bip_slab[i].nr_vecs * sizeof(struct bio_vec);
802
803                 bip_slab[i].slab =
804                         kmem_cache_create(bip_slab[i].name, size, 0,
805                                           SLAB_HWCACHE_ALIGN|SLAB_PANIC, NULL);
806         }
807 }