Lines Matching refs:walk
42 static int skcipher_walk_next(struct skcipher_walk *walk);
44 static inline void skcipher_unmap(struct scatter_walk *walk, void *vaddr) in skcipher_unmap() argument
46 if (PageHighMem(scatterwalk_page(walk))) in skcipher_unmap()
50 static inline void *skcipher_map(struct scatter_walk *walk) in skcipher_map() argument
52 struct page *page = scatterwalk_page(walk); in skcipher_map()
55 offset_in_page(walk->offset); in skcipher_map()
58 static inline void skcipher_map_src(struct skcipher_walk *walk) in skcipher_map_src() argument
60 walk->src.virt.addr = skcipher_map(&walk->in); in skcipher_map_src()
63 static inline void skcipher_map_dst(struct skcipher_walk *walk) in skcipher_map_dst() argument
65 walk->dst.virt.addr = skcipher_map(&walk->out); in skcipher_map_dst()
68 static inline void skcipher_unmap_src(struct skcipher_walk *walk) in skcipher_unmap_src() argument
70 skcipher_unmap(&walk->in, walk->src.virt.addr); in skcipher_unmap_src()
73 static inline void skcipher_unmap_dst(struct skcipher_walk *walk) in skcipher_unmap_dst() argument
75 skcipher_unmap(&walk->out, walk->dst.virt.addr); in skcipher_unmap_dst()
78 static inline gfp_t skcipher_walk_gfp(struct skcipher_walk *walk) in skcipher_walk_gfp() argument
80 return walk->flags & SKCIPHER_WALK_SLEEP ? GFP_KERNEL : GFP_ATOMIC; in skcipher_walk_gfp()
93 static int skcipher_done_slow(struct skcipher_walk *walk, unsigned int bsize) in skcipher_done_slow() argument
97 addr = (u8 *)ALIGN((unsigned long)walk->buffer, walk->alignmask + 1); in skcipher_done_slow()
99 scatterwalk_copychunks(addr, &walk->out, bsize, in skcipher_done_slow()
100 (walk->flags & SKCIPHER_WALK_PHYS) ? 2 : 1); in skcipher_done_slow()
104 int skcipher_walk_done(struct skcipher_walk *walk, int err) in skcipher_walk_done() argument
106 unsigned int n = walk->nbytes; in skcipher_walk_done()
114 nbytes = walk->total - n; in skcipher_walk_done()
117 if (likely(!(walk->flags & (SKCIPHER_WALK_PHYS | in skcipher_walk_done()
122 skcipher_unmap_src(walk); in skcipher_walk_done()
123 } else if (walk->flags & SKCIPHER_WALK_DIFF) { in skcipher_walk_done()
124 skcipher_unmap_dst(walk); in skcipher_walk_done()
126 } else if (walk->flags & SKCIPHER_WALK_COPY) { in skcipher_walk_done()
127 skcipher_map_dst(walk); in skcipher_walk_done()
128 memcpy(walk->dst.virt.addr, walk->page, n); in skcipher_walk_done()
129 skcipher_unmap_dst(walk); in skcipher_walk_done()
130 } else if (unlikely(walk->flags & SKCIPHER_WALK_SLOW)) { in skcipher_walk_done()
141 n = skcipher_done_slow(walk, n); in skcipher_walk_done()
147 walk->total = nbytes; in skcipher_walk_done()
148 walk->nbytes = 0; in skcipher_walk_done()
150 scatterwalk_advance(&walk->in, n); in skcipher_walk_done()
151 scatterwalk_advance(&walk->out, n); in skcipher_walk_done()
152 scatterwalk_done(&walk->in, 0, nbytes); in skcipher_walk_done()
153 scatterwalk_done(&walk->out, 1, nbytes); in skcipher_walk_done()
156 crypto_yield(walk->flags & SKCIPHER_WALK_SLEEP ? in skcipher_walk_done()
158 return skcipher_walk_next(walk); in skcipher_walk_done()
163 if (!((unsigned long)walk->buffer | (unsigned long)walk->page)) in skcipher_walk_done()
166 if (walk->flags & SKCIPHER_WALK_PHYS) in skcipher_walk_done()
169 if (walk->iv != walk->oiv) in skcipher_walk_done()
170 memcpy(walk->oiv, walk->iv, walk->ivsize); in skcipher_walk_done()
171 if (walk->buffer != walk->page) in skcipher_walk_done()
172 kfree(walk->buffer); in skcipher_walk_done()
173 if (walk->page) in skcipher_walk_done()
174 free_page((unsigned long)walk->page); in skcipher_walk_done()
181 void skcipher_walk_complete(struct skcipher_walk *walk, int err) in skcipher_walk_complete() argument
185 list_for_each_entry_safe(p, tmp, &walk->buffers, entry) { in skcipher_walk_complete()
193 data = PTR_ALIGN(&p->buffer[0], walk->alignmask + 1); in skcipher_walk_complete()
194 data = skcipher_get_spot(data, walk->stride); in skcipher_walk_complete()
199 if (offset_in_page(p->data) + p->len + walk->stride > in skcipher_walk_complete()
208 if (!err && walk->iv != walk->oiv) in skcipher_walk_complete()
209 memcpy(walk->oiv, walk->iv, walk->ivsize); in skcipher_walk_complete()
210 if (walk->buffer != walk->page) in skcipher_walk_complete()
211 kfree(walk->buffer); in skcipher_walk_complete()
212 if (walk->page) in skcipher_walk_complete()
213 free_page((unsigned long)walk->page); in skcipher_walk_complete()
217 static void skcipher_queue_write(struct skcipher_walk *walk, in skcipher_queue_write() argument
220 p->dst = walk->out; in skcipher_queue_write()
221 list_add_tail(&p->entry, &walk->buffers); in skcipher_queue_write()
224 static int skcipher_next_slow(struct skcipher_walk *walk, unsigned int bsize) in skcipher_next_slow() argument
226 bool phys = walk->flags & SKCIPHER_WALK_PHYS; in skcipher_next_slow()
227 unsigned alignmask = walk->alignmask; in skcipher_next_slow()
235 if (!walk->buffer) in skcipher_next_slow()
236 walk->buffer = walk->page; in skcipher_next_slow()
237 buffer = walk->buffer; in skcipher_next_slow()
258 v = kzalloc(n, skcipher_walk_gfp(walk)); in skcipher_next_slow()
260 return skcipher_walk_done(walk, -ENOMEM); in skcipher_next_slow()
265 skcipher_queue_write(walk, p); in skcipher_next_slow()
268 walk->buffer = v; in skcipher_next_slow()
273 walk->dst.virt.addr = PTR_ALIGN(buffer, alignmask + 1); in skcipher_next_slow()
274 walk->dst.virt.addr = skcipher_get_spot(walk->dst.virt.addr, bsize); in skcipher_next_slow()
275 walk->src.virt.addr = walk->dst.virt.addr; in skcipher_next_slow()
277 scatterwalk_copychunks(walk->src.virt.addr, &walk->in, bsize, 0); in skcipher_next_slow()
279 walk->nbytes = bsize; in skcipher_next_slow()
280 walk->flags |= SKCIPHER_WALK_SLOW; in skcipher_next_slow()
285 static int skcipher_next_copy(struct skcipher_walk *walk) in skcipher_next_copy() argument
288 u8 *tmp = walk->page; in skcipher_next_copy()
290 skcipher_map_src(walk); in skcipher_next_copy()
291 memcpy(tmp, walk->src.virt.addr, walk->nbytes); in skcipher_next_copy()
292 skcipher_unmap_src(walk); in skcipher_next_copy()
294 walk->src.virt.addr = tmp; in skcipher_next_copy()
295 walk->dst.virt.addr = tmp; in skcipher_next_copy()
297 if (!(walk->flags & SKCIPHER_WALK_PHYS)) in skcipher_next_copy()
300 p = kmalloc(sizeof(*p), skcipher_walk_gfp(walk)); in skcipher_next_copy()
304 p->data = walk->page; in skcipher_next_copy()
305 p->len = walk->nbytes; in skcipher_next_copy()
306 skcipher_queue_write(walk, p); in skcipher_next_copy()
308 if (offset_in_page(walk->page) + walk->nbytes + walk->stride > in skcipher_next_copy()
310 walk->page = NULL; in skcipher_next_copy()
312 walk->page += walk->nbytes; in skcipher_next_copy()
317 static int skcipher_next_fast(struct skcipher_walk *walk) in skcipher_next_fast() argument
321 walk->src.phys.page = scatterwalk_page(&walk->in); in skcipher_next_fast()
322 walk->src.phys.offset = offset_in_page(walk->in.offset); in skcipher_next_fast()
323 walk->dst.phys.page = scatterwalk_page(&walk->out); in skcipher_next_fast()
324 walk->dst.phys.offset = offset_in_page(walk->out.offset); in skcipher_next_fast()
326 if (walk->flags & SKCIPHER_WALK_PHYS) in skcipher_next_fast()
329 diff = walk->src.phys.offset - walk->dst.phys.offset; in skcipher_next_fast()
330 diff |= walk->src.virt.page - walk->dst.virt.page; in skcipher_next_fast()
332 skcipher_map_src(walk); in skcipher_next_fast()
333 walk->dst.virt.addr = walk->src.virt.addr; in skcipher_next_fast()
336 walk->flags |= SKCIPHER_WALK_DIFF; in skcipher_next_fast()
337 skcipher_map_dst(walk); in skcipher_next_fast()
343 static int skcipher_walk_next(struct skcipher_walk *walk) in skcipher_walk_next() argument
349 walk->flags &= ~(SKCIPHER_WALK_SLOW | SKCIPHER_WALK_COPY | in skcipher_walk_next()
352 n = walk->total; in skcipher_walk_next()
353 bsize = min(walk->stride, max(n, walk->blocksize)); in skcipher_walk_next()
354 n = scatterwalk_clamp(&walk->in, n); in skcipher_walk_next()
355 n = scatterwalk_clamp(&walk->out, n); in skcipher_walk_next()
358 if (unlikely(walk->total < walk->blocksize)) in skcipher_walk_next()
359 return skcipher_walk_done(walk, -EINVAL); in skcipher_walk_next()
362 err = skcipher_next_slow(walk, bsize); in skcipher_walk_next()
366 if (unlikely((walk->in.offset | walk->out.offset) & walk->alignmask)) { in skcipher_walk_next()
367 if (!walk->page) { in skcipher_walk_next()
368 gfp_t gfp = skcipher_walk_gfp(walk); in skcipher_walk_next()
370 walk->page = (void *)__get_free_page(gfp); in skcipher_walk_next()
371 if (!walk->page) in skcipher_walk_next()
375 walk->nbytes = min_t(unsigned, n, in skcipher_walk_next()
376 PAGE_SIZE - offset_in_page(walk->page)); in skcipher_walk_next()
377 walk->flags |= SKCIPHER_WALK_COPY; in skcipher_walk_next()
378 err = skcipher_next_copy(walk); in skcipher_walk_next()
382 walk->nbytes = n; in skcipher_walk_next()
384 return skcipher_next_fast(walk); in skcipher_walk_next()
387 if (!err && (walk->flags & SKCIPHER_WALK_PHYS)) { in skcipher_walk_next()
388 walk->src.phys.page = virt_to_page(walk->src.virt.addr); in skcipher_walk_next()
389 walk->dst.phys.page = virt_to_page(walk->dst.virt.addr); in skcipher_walk_next()
390 walk->src.phys.offset &= PAGE_SIZE - 1; in skcipher_walk_next()
391 walk->dst.phys.offset &= PAGE_SIZE - 1; in skcipher_walk_next()
396 static int skcipher_copy_iv(struct skcipher_walk *walk) in skcipher_copy_iv() argument
399 unsigned alignmask = walk->alignmask; in skcipher_copy_iv()
400 unsigned ivsize = walk->ivsize; in skcipher_copy_iv()
401 unsigned bs = walk->stride; in skcipher_copy_iv()
411 if (walk->flags & SKCIPHER_WALK_PHYS) in skcipher_copy_iv()
420 walk->buffer = kmalloc(size, skcipher_walk_gfp(walk)); in skcipher_copy_iv()
421 if (!walk->buffer) in skcipher_copy_iv()
424 iv = PTR_ALIGN(walk->buffer, alignmask + 1); in skcipher_copy_iv()
427 walk->iv = memcpy(iv, walk->iv, walk->ivsize); in skcipher_copy_iv()
431 static int skcipher_walk_first(struct skcipher_walk *walk) in skcipher_walk_first() argument
436 walk->buffer = NULL; in skcipher_walk_first()
437 if (unlikely(((unsigned long)walk->iv & walk->alignmask))) { in skcipher_walk_first()
438 int err = skcipher_copy_iv(walk); in skcipher_walk_first()
443 walk->page = NULL; in skcipher_walk_first()
445 return skcipher_walk_next(walk); in skcipher_walk_first()
448 static int skcipher_walk_skcipher(struct skcipher_walk *walk, in skcipher_walk_skcipher() argument
453 walk->total = req->cryptlen; in skcipher_walk_skcipher()
454 walk->nbytes = 0; in skcipher_walk_skcipher()
455 walk->iv = req->iv; in skcipher_walk_skcipher()
456 walk->oiv = req->iv; in skcipher_walk_skcipher()
458 if (unlikely(!walk->total)) in skcipher_walk_skcipher()
461 scatterwalk_start(&walk->in, req->src); in skcipher_walk_skcipher()
462 scatterwalk_start(&walk->out, req->dst); in skcipher_walk_skcipher()
464 walk->flags &= ~SKCIPHER_WALK_SLEEP; in skcipher_walk_skcipher()
465 walk->flags |= req->base.flags & CRYPTO_TFM_REQ_MAY_SLEEP ? in skcipher_walk_skcipher()
468 walk->blocksize = crypto_skcipher_blocksize(tfm); in skcipher_walk_skcipher()
469 walk->stride = crypto_skcipher_walksize(tfm); in skcipher_walk_skcipher()
470 walk->ivsize = crypto_skcipher_ivsize(tfm); in skcipher_walk_skcipher()
471 walk->alignmask = crypto_skcipher_alignmask(tfm); in skcipher_walk_skcipher()
473 return skcipher_walk_first(walk); in skcipher_walk_skcipher()
476 int skcipher_walk_virt(struct skcipher_walk *walk, in skcipher_walk_virt() argument
483 walk->flags &= ~SKCIPHER_WALK_PHYS; in skcipher_walk_virt()
485 err = skcipher_walk_skcipher(walk, req); in skcipher_walk_virt()
487 walk->flags &= atomic ? ~SKCIPHER_WALK_SLEEP : ~0; in skcipher_walk_virt()
493 void skcipher_walk_atomise(struct skcipher_walk *walk) in skcipher_walk_atomise() argument
495 walk->flags &= ~SKCIPHER_WALK_SLEEP; in skcipher_walk_atomise()
499 int skcipher_walk_async(struct skcipher_walk *walk, in skcipher_walk_async() argument
502 walk->flags |= SKCIPHER_WALK_PHYS; in skcipher_walk_async()
504 INIT_LIST_HEAD(&walk->buffers); in skcipher_walk_async()
506 return skcipher_walk_skcipher(walk, req); in skcipher_walk_async()
510 static int skcipher_walk_aead_common(struct skcipher_walk *walk, in skcipher_walk_aead_common() argument
516 walk->nbytes = 0; in skcipher_walk_aead_common()
517 walk->iv = req->iv; in skcipher_walk_aead_common()
518 walk->oiv = req->iv; in skcipher_walk_aead_common()
520 if (unlikely(!walk->total)) in skcipher_walk_aead_common()
523 walk->flags &= ~SKCIPHER_WALK_PHYS; in skcipher_walk_aead_common()
525 scatterwalk_start(&walk->in, req->src); in skcipher_walk_aead_common()
526 scatterwalk_start(&walk->out, req->dst); in skcipher_walk_aead_common()
528 scatterwalk_copychunks(NULL, &walk->in, req->assoclen, 2); in skcipher_walk_aead_common()
529 scatterwalk_copychunks(NULL, &walk->out, req->assoclen, 2); in skcipher_walk_aead_common()
531 scatterwalk_done(&walk->in, 0, walk->total); in skcipher_walk_aead_common()
532 scatterwalk_done(&walk->out, 0, walk->total); in skcipher_walk_aead_common()
535 walk->flags |= SKCIPHER_WALK_SLEEP; in skcipher_walk_aead_common()
537 walk->flags &= ~SKCIPHER_WALK_SLEEP; in skcipher_walk_aead_common()
539 walk->blocksize = crypto_aead_blocksize(tfm); in skcipher_walk_aead_common()
540 walk->stride = crypto_aead_chunksize(tfm); in skcipher_walk_aead_common()
541 walk->ivsize = crypto_aead_ivsize(tfm); in skcipher_walk_aead_common()
542 walk->alignmask = crypto_aead_alignmask(tfm); in skcipher_walk_aead_common()
544 err = skcipher_walk_first(walk); in skcipher_walk_aead_common()
547 walk->flags &= ~SKCIPHER_WALK_SLEEP; in skcipher_walk_aead_common()
552 int skcipher_walk_aead(struct skcipher_walk *walk, struct aead_request *req, in skcipher_walk_aead() argument
555 walk->total = req->cryptlen; in skcipher_walk_aead()
557 return skcipher_walk_aead_common(walk, req, atomic); in skcipher_walk_aead()
561 int skcipher_walk_aead_encrypt(struct skcipher_walk *walk, in skcipher_walk_aead_encrypt() argument
564 walk->total = req->cryptlen; in skcipher_walk_aead_encrypt()
566 return skcipher_walk_aead_common(walk, req, atomic); in skcipher_walk_aead_encrypt()
570 int skcipher_walk_aead_decrypt(struct skcipher_walk *walk, in skcipher_walk_aead_decrypt() argument
575 walk->total = req->cryptlen - crypto_aead_authsize(tfm); in skcipher_walk_aead_decrypt()
577 return skcipher_walk_aead_common(walk, req, atomic); in skcipher_walk_aead_decrypt()