• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1#if defined(__x86_64__) && !defined(OPENSSL_NO_ASM)
2.text
3
4.type	_aesni_ctr32_ghash_6x,@function
5.align	32
6_aesni_ctr32_ghash_6x:
7.cfi_startproc
8	vmovdqu	32(%r11),%xmm2
9	subq	$6,%rdx
10	vpxor	%xmm4,%xmm4,%xmm4
11	vmovdqu	0-128(%rcx),%xmm15
12	vpaddb	%xmm2,%xmm1,%xmm10
13	vpaddb	%xmm2,%xmm10,%xmm11
14	vpaddb	%xmm2,%xmm11,%xmm12
15	vpaddb	%xmm2,%xmm12,%xmm13
16	vpaddb	%xmm2,%xmm13,%xmm14
17	vpxor	%xmm15,%xmm1,%xmm9
18	vmovdqu	%xmm4,16+8(%rsp)
19	jmp	.Loop6x
20
21.align	32
22.Loop6x:
23	addl	$100663296,%ebx
24	jc	.Lhandle_ctr32
25	vmovdqu	0-32(%r9),%xmm3
26	vpaddb	%xmm2,%xmm14,%xmm1
27	vpxor	%xmm15,%xmm10,%xmm10
28	vpxor	%xmm15,%xmm11,%xmm11
29
30.Lresume_ctr32:
31	vmovdqu	%xmm1,(%r8)
32	vpclmulqdq	$0x10,%xmm3,%xmm7,%xmm5
33	vpxor	%xmm15,%xmm12,%xmm12
34	vmovups	16-128(%rcx),%xmm2
35	vpclmulqdq	$0x01,%xmm3,%xmm7,%xmm6
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53	xorq	%r12,%r12
54	cmpq	%r14,%r15
55
56	vaesenc	%xmm2,%xmm9,%xmm9
57	vmovdqu	48+8(%rsp),%xmm0
58	vpxor	%xmm15,%xmm13,%xmm13
59	vpclmulqdq	$0x00,%xmm3,%xmm7,%xmm1
60	vaesenc	%xmm2,%xmm10,%xmm10
61	vpxor	%xmm15,%xmm14,%xmm14
62	setnc	%r12b
63	vpclmulqdq	$0x11,%xmm3,%xmm7,%xmm7
64	vaesenc	%xmm2,%xmm11,%xmm11
65	vmovdqu	16-32(%r9),%xmm3
66	negq	%r12
67	vaesenc	%xmm2,%xmm12,%xmm12
68	vpxor	%xmm5,%xmm6,%xmm6
69	vpclmulqdq	$0x00,%xmm3,%xmm0,%xmm5
70	vpxor	%xmm4,%xmm8,%xmm8
71	vaesenc	%xmm2,%xmm13,%xmm13
72	vpxor	%xmm5,%xmm1,%xmm4
73	andq	$0x60,%r12
74	vmovups	32-128(%rcx),%xmm15
75	vpclmulqdq	$0x10,%xmm3,%xmm0,%xmm1
76	vaesenc	%xmm2,%xmm14,%xmm14
77
78	vpclmulqdq	$0x01,%xmm3,%xmm0,%xmm2
79	leaq	(%r14,%r12,1),%r14
80	vaesenc	%xmm15,%xmm9,%xmm9
81	vpxor	16+8(%rsp),%xmm8,%xmm8
82	vpclmulqdq	$0x11,%xmm3,%xmm0,%xmm3
83	vmovdqu	64+8(%rsp),%xmm0
84	vaesenc	%xmm15,%xmm10,%xmm10
85	movbeq	88(%r14),%r13
86	vaesenc	%xmm15,%xmm11,%xmm11
87	movbeq	80(%r14),%r12
88	vaesenc	%xmm15,%xmm12,%xmm12
89	movq	%r13,32+8(%rsp)
90	vaesenc	%xmm15,%xmm13,%xmm13
91	movq	%r12,40+8(%rsp)
92	vmovdqu	48-32(%r9),%xmm5
93	vaesenc	%xmm15,%xmm14,%xmm14
94
95	vmovups	48-128(%rcx),%xmm15
96	vpxor	%xmm1,%xmm6,%xmm6
97	vpclmulqdq	$0x00,%xmm5,%xmm0,%xmm1
98	vaesenc	%xmm15,%xmm9,%xmm9
99	vpxor	%xmm2,%xmm6,%xmm6
100	vpclmulqdq	$0x10,%xmm5,%xmm0,%xmm2
101	vaesenc	%xmm15,%xmm10,%xmm10
102	vpxor	%xmm3,%xmm7,%xmm7
103	vpclmulqdq	$0x01,%xmm5,%xmm0,%xmm3
104	vaesenc	%xmm15,%xmm11,%xmm11
105	vpclmulqdq	$0x11,%xmm5,%xmm0,%xmm5
106	vmovdqu	80+8(%rsp),%xmm0
107	vaesenc	%xmm15,%xmm12,%xmm12
108	vaesenc	%xmm15,%xmm13,%xmm13
109	vpxor	%xmm1,%xmm4,%xmm4
110	vmovdqu	64-32(%r9),%xmm1
111	vaesenc	%xmm15,%xmm14,%xmm14
112
113	vmovups	64-128(%rcx),%xmm15
114	vpxor	%xmm2,%xmm6,%xmm6
115	vpclmulqdq	$0x00,%xmm1,%xmm0,%xmm2
116	vaesenc	%xmm15,%xmm9,%xmm9
117	vpxor	%xmm3,%xmm6,%xmm6
118	vpclmulqdq	$0x10,%xmm1,%xmm0,%xmm3
119	vaesenc	%xmm15,%xmm10,%xmm10
120	movbeq	72(%r14),%r13
121	vpxor	%xmm5,%xmm7,%xmm7
122	vpclmulqdq	$0x01,%xmm1,%xmm0,%xmm5
123	vaesenc	%xmm15,%xmm11,%xmm11
124	movbeq	64(%r14),%r12
125	vpclmulqdq	$0x11,%xmm1,%xmm0,%xmm1
126	vmovdqu	96+8(%rsp),%xmm0
127	vaesenc	%xmm15,%xmm12,%xmm12
128	movq	%r13,48+8(%rsp)
129	vaesenc	%xmm15,%xmm13,%xmm13
130	movq	%r12,56+8(%rsp)
131	vpxor	%xmm2,%xmm4,%xmm4
132	vmovdqu	96-32(%r9),%xmm2
133	vaesenc	%xmm15,%xmm14,%xmm14
134
135	vmovups	80-128(%rcx),%xmm15
136	vpxor	%xmm3,%xmm6,%xmm6
137	vpclmulqdq	$0x00,%xmm2,%xmm0,%xmm3
138	vaesenc	%xmm15,%xmm9,%xmm9
139	vpxor	%xmm5,%xmm6,%xmm6
140	vpclmulqdq	$0x10,%xmm2,%xmm0,%xmm5
141	vaesenc	%xmm15,%xmm10,%xmm10
142	movbeq	56(%r14),%r13
143	vpxor	%xmm1,%xmm7,%xmm7
144	vpclmulqdq	$0x01,%xmm2,%xmm0,%xmm1
145	vpxor	112+8(%rsp),%xmm8,%xmm8
146	vaesenc	%xmm15,%xmm11,%xmm11
147	movbeq	48(%r14),%r12
148	vpclmulqdq	$0x11,%xmm2,%xmm0,%xmm2
149	vaesenc	%xmm15,%xmm12,%xmm12
150	movq	%r13,64+8(%rsp)
151	vaesenc	%xmm15,%xmm13,%xmm13
152	movq	%r12,72+8(%rsp)
153	vpxor	%xmm3,%xmm4,%xmm4
154	vmovdqu	112-32(%r9),%xmm3
155	vaesenc	%xmm15,%xmm14,%xmm14
156
157	vmovups	96-128(%rcx),%xmm15
158	vpxor	%xmm5,%xmm6,%xmm6
159	vpclmulqdq	$0x10,%xmm3,%xmm8,%xmm5
160	vaesenc	%xmm15,%xmm9,%xmm9
161	vpxor	%xmm1,%xmm6,%xmm6
162	vpclmulqdq	$0x01,%xmm3,%xmm8,%xmm1
163	vaesenc	%xmm15,%xmm10,%xmm10
164	movbeq	40(%r14),%r13
165	vpxor	%xmm2,%xmm7,%xmm7
166	vpclmulqdq	$0x00,%xmm3,%xmm8,%xmm2
167	vaesenc	%xmm15,%xmm11,%xmm11
168	movbeq	32(%r14),%r12
169	vpclmulqdq	$0x11,%xmm3,%xmm8,%xmm8
170	vaesenc	%xmm15,%xmm12,%xmm12
171	movq	%r13,80+8(%rsp)
172	vaesenc	%xmm15,%xmm13,%xmm13
173	movq	%r12,88+8(%rsp)
174	vpxor	%xmm5,%xmm6,%xmm6
175	vaesenc	%xmm15,%xmm14,%xmm14
176	vpxor	%xmm1,%xmm6,%xmm6
177
178	vmovups	112-128(%rcx),%xmm15
179	vpslldq	$8,%xmm6,%xmm5
180	vpxor	%xmm2,%xmm4,%xmm4
181	vmovdqu	16(%r11),%xmm3
182
183	vaesenc	%xmm15,%xmm9,%xmm9
184	vpxor	%xmm8,%xmm7,%xmm7
185	vaesenc	%xmm15,%xmm10,%xmm10
186	vpxor	%xmm5,%xmm4,%xmm4
187	movbeq	24(%r14),%r13
188	vaesenc	%xmm15,%xmm11,%xmm11
189	movbeq	16(%r14),%r12
190	vpalignr	$8,%xmm4,%xmm4,%xmm0
191	vpclmulqdq	$0x10,%xmm3,%xmm4,%xmm4
192	movq	%r13,96+8(%rsp)
193	vaesenc	%xmm15,%xmm12,%xmm12
194	movq	%r12,104+8(%rsp)
195	vaesenc	%xmm15,%xmm13,%xmm13
196	vmovups	128-128(%rcx),%xmm1
197	vaesenc	%xmm15,%xmm14,%xmm14
198
199	vaesenc	%xmm1,%xmm9,%xmm9
200	vmovups	144-128(%rcx),%xmm15
201	vaesenc	%xmm1,%xmm10,%xmm10
202	vpsrldq	$8,%xmm6,%xmm6
203	vaesenc	%xmm1,%xmm11,%xmm11
204	vpxor	%xmm6,%xmm7,%xmm7
205	vaesenc	%xmm1,%xmm12,%xmm12
206	vpxor	%xmm0,%xmm4,%xmm4
207	movbeq	8(%r14),%r13
208	vaesenc	%xmm1,%xmm13,%xmm13
209	movbeq	0(%r14),%r12
210	vaesenc	%xmm1,%xmm14,%xmm14
211	vmovups	160-128(%rcx),%xmm1
212	cmpl	$11,%ebp
213	jb	.Lenc_tail
214
215	vaesenc	%xmm15,%xmm9,%xmm9
216	vaesenc	%xmm15,%xmm10,%xmm10
217	vaesenc	%xmm15,%xmm11,%xmm11
218	vaesenc	%xmm15,%xmm12,%xmm12
219	vaesenc	%xmm15,%xmm13,%xmm13
220	vaesenc	%xmm15,%xmm14,%xmm14
221
222	vaesenc	%xmm1,%xmm9,%xmm9
223	vaesenc	%xmm1,%xmm10,%xmm10
224	vaesenc	%xmm1,%xmm11,%xmm11
225	vaesenc	%xmm1,%xmm12,%xmm12
226	vaesenc	%xmm1,%xmm13,%xmm13
227	vmovups	176-128(%rcx),%xmm15
228	vaesenc	%xmm1,%xmm14,%xmm14
229	vmovups	192-128(%rcx),%xmm1
230	je	.Lenc_tail
231
232	vaesenc	%xmm15,%xmm9,%xmm9
233	vaesenc	%xmm15,%xmm10,%xmm10
234	vaesenc	%xmm15,%xmm11,%xmm11
235	vaesenc	%xmm15,%xmm12,%xmm12
236	vaesenc	%xmm15,%xmm13,%xmm13
237	vaesenc	%xmm15,%xmm14,%xmm14
238
239	vaesenc	%xmm1,%xmm9,%xmm9
240	vaesenc	%xmm1,%xmm10,%xmm10
241	vaesenc	%xmm1,%xmm11,%xmm11
242	vaesenc	%xmm1,%xmm12,%xmm12
243	vaesenc	%xmm1,%xmm13,%xmm13
244	vmovups	208-128(%rcx),%xmm15
245	vaesenc	%xmm1,%xmm14,%xmm14
246	vmovups	224-128(%rcx),%xmm1
247	jmp	.Lenc_tail
248
249.align	32
250.Lhandle_ctr32:
251	vmovdqu	(%r11),%xmm0
252	vpshufb	%xmm0,%xmm1,%xmm6
253	vmovdqu	48(%r11),%xmm5
254	vpaddd	64(%r11),%xmm6,%xmm10
255	vpaddd	%xmm5,%xmm6,%xmm11
256	vmovdqu	0-32(%r9),%xmm3
257	vpaddd	%xmm5,%xmm10,%xmm12
258	vpshufb	%xmm0,%xmm10,%xmm10
259	vpaddd	%xmm5,%xmm11,%xmm13
260	vpshufb	%xmm0,%xmm11,%xmm11
261	vpxor	%xmm15,%xmm10,%xmm10
262	vpaddd	%xmm5,%xmm12,%xmm14
263	vpshufb	%xmm0,%xmm12,%xmm12
264	vpxor	%xmm15,%xmm11,%xmm11
265	vpaddd	%xmm5,%xmm13,%xmm1
266	vpshufb	%xmm0,%xmm13,%xmm13
267	vpshufb	%xmm0,%xmm14,%xmm14
268	vpshufb	%xmm0,%xmm1,%xmm1
269	jmp	.Lresume_ctr32
270
271.align	32
272.Lenc_tail:
273	vaesenc	%xmm15,%xmm9,%xmm9
274	vmovdqu	%xmm7,16+8(%rsp)
275	vpalignr	$8,%xmm4,%xmm4,%xmm8
276	vaesenc	%xmm15,%xmm10,%xmm10
277	vpclmulqdq	$0x10,%xmm3,%xmm4,%xmm4
278	vpxor	0(%rdi),%xmm1,%xmm2
279	vaesenc	%xmm15,%xmm11,%xmm11
280	vpxor	16(%rdi),%xmm1,%xmm0
281	vaesenc	%xmm15,%xmm12,%xmm12
282	vpxor	32(%rdi),%xmm1,%xmm5
283	vaesenc	%xmm15,%xmm13,%xmm13
284	vpxor	48(%rdi),%xmm1,%xmm6
285	vaesenc	%xmm15,%xmm14,%xmm14
286	vpxor	64(%rdi),%xmm1,%xmm7
287	vpxor	80(%rdi),%xmm1,%xmm3
288	vmovdqu	(%r8),%xmm1
289
290	vaesenclast	%xmm2,%xmm9,%xmm9
291	vmovdqu	32(%r11),%xmm2
292	vaesenclast	%xmm0,%xmm10,%xmm10
293	vpaddb	%xmm2,%xmm1,%xmm0
294	movq	%r13,112+8(%rsp)
295	leaq	96(%rdi),%rdi
296	vaesenclast	%xmm5,%xmm11,%xmm11
297	vpaddb	%xmm2,%xmm0,%xmm5
298	movq	%r12,120+8(%rsp)
299	leaq	96(%rsi),%rsi
300	vmovdqu	0-128(%rcx),%xmm15
301	vaesenclast	%xmm6,%xmm12,%xmm12
302	vpaddb	%xmm2,%xmm5,%xmm6
303	vaesenclast	%xmm7,%xmm13,%xmm13
304	vpaddb	%xmm2,%xmm6,%xmm7
305	vaesenclast	%xmm3,%xmm14,%xmm14
306	vpaddb	%xmm2,%xmm7,%xmm3
307
308	addq	$0x60,%r10
309	subq	$0x6,%rdx
310	jc	.L6x_done
311
312	vmovups	%xmm9,-96(%rsi)
313	vpxor	%xmm15,%xmm1,%xmm9
314	vmovups	%xmm10,-80(%rsi)
315	vmovdqa	%xmm0,%xmm10
316	vmovups	%xmm11,-64(%rsi)
317	vmovdqa	%xmm5,%xmm11
318	vmovups	%xmm12,-48(%rsi)
319	vmovdqa	%xmm6,%xmm12
320	vmovups	%xmm13,-32(%rsi)
321	vmovdqa	%xmm7,%xmm13
322	vmovups	%xmm14,-16(%rsi)
323	vmovdqa	%xmm3,%xmm14
324	vmovdqu	32+8(%rsp),%xmm7
325	jmp	.Loop6x
326
327.L6x_done:
328	vpxor	16+8(%rsp),%xmm8,%xmm8
329	vpxor	%xmm4,%xmm8,%xmm8
330
331	.byte	0xf3,0xc3
332.cfi_endproc
333.size	_aesni_ctr32_ghash_6x,.-_aesni_ctr32_ghash_6x
334.globl	aesni_gcm_decrypt
335.hidden aesni_gcm_decrypt
336.type	aesni_gcm_decrypt,@function
337.align	32
338aesni_gcm_decrypt:
339.cfi_startproc
340	xorq	%r10,%r10
341
342
343
344	cmpq	$0x60,%rdx
345	jb	.Lgcm_dec_abort
346
347	leaq	(%rsp),%rax
348.cfi_def_cfa_register	%rax
349	pushq	%rbx
350.cfi_offset	%rbx,-16
351	pushq	%rbp
352.cfi_offset	%rbp,-24
353	pushq	%r12
354.cfi_offset	%r12,-32
355	pushq	%r13
356.cfi_offset	%r13,-40
357	pushq	%r14
358.cfi_offset	%r14,-48
359	pushq	%r15
360.cfi_offset	%r15,-56
361	vzeroupper
362
363	vmovdqu	(%r8),%xmm1
364	addq	$-128,%rsp
365	movl	12(%r8),%ebx
366	leaq	.Lbswap_mask(%rip),%r11
367	leaq	-128(%rcx),%r14
368	movq	$0xf80,%r15
369	vmovdqu	(%r9),%xmm8
370	andq	$-128,%rsp
371	vmovdqu	(%r11),%xmm0
372	leaq	128(%rcx),%rcx
373	leaq	32+32(%r9),%r9
374	movl	240-128(%rcx),%ebp
375	vpshufb	%xmm0,%xmm8,%xmm8
376
377	andq	%r15,%r14
378	andq	%rsp,%r15
379	subq	%r14,%r15
380	jc	.Ldec_no_key_aliasing
381	cmpq	$768,%r15
382	jnc	.Ldec_no_key_aliasing
383	subq	%r15,%rsp
384.Ldec_no_key_aliasing:
385
386	vmovdqu	80(%rdi),%xmm7
387	leaq	(%rdi),%r14
388	vmovdqu	64(%rdi),%xmm4
389
390
391
392
393
394
395
396	leaq	-192(%rdi,%rdx,1),%r15
397
398	vmovdqu	48(%rdi),%xmm5
399	shrq	$4,%rdx
400	xorq	%r10,%r10
401	vmovdqu	32(%rdi),%xmm6
402	vpshufb	%xmm0,%xmm7,%xmm7
403	vmovdqu	16(%rdi),%xmm2
404	vpshufb	%xmm0,%xmm4,%xmm4
405	vmovdqu	(%rdi),%xmm3
406	vpshufb	%xmm0,%xmm5,%xmm5
407	vmovdqu	%xmm4,48(%rsp)
408	vpshufb	%xmm0,%xmm6,%xmm6
409	vmovdqu	%xmm5,64(%rsp)
410	vpshufb	%xmm0,%xmm2,%xmm2
411	vmovdqu	%xmm6,80(%rsp)
412	vpshufb	%xmm0,%xmm3,%xmm3
413	vmovdqu	%xmm2,96(%rsp)
414	vmovdqu	%xmm3,112(%rsp)
415
416	call	_aesni_ctr32_ghash_6x
417
418	vmovups	%xmm9,-96(%rsi)
419	vmovups	%xmm10,-80(%rsi)
420	vmovups	%xmm11,-64(%rsi)
421	vmovups	%xmm12,-48(%rsi)
422	vmovups	%xmm13,-32(%rsi)
423	vmovups	%xmm14,-16(%rsi)
424
425	vpshufb	(%r11),%xmm8,%xmm8
426	vmovdqu	%xmm8,-64(%r9)
427
428	vzeroupper
429	movq	-48(%rax),%r15
430.cfi_restore	%r15
431	movq	-40(%rax),%r14
432.cfi_restore	%r14
433	movq	-32(%rax),%r13
434.cfi_restore	%r13
435	movq	-24(%rax),%r12
436.cfi_restore	%r12
437	movq	-16(%rax),%rbp
438.cfi_restore	%rbp
439	movq	-8(%rax),%rbx
440.cfi_restore	%rbx
441	leaq	(%rax),%rsp
442.cfi_def_cfa_register	%rsp
443.Lgcm_dec_abort:
444	movq	%r10,%rax
445	.byte	0xf3,0xc3
446.cfi_endproc
447.size	aesni_gcm_decrypt,.-aesni_gcm_decrypt
448.type	_aesni_ctr32_6x,@function
449.align	32
450_aesni_ctr32_6x:
451.cfi_startproc
452	vmovdqu	0-128(%rcx),%xmm4
453	vmovdqu	32(%r11),%xmm2
454	leaq	-1(%rbp),%r13
455	vmovups	16-128(%rcx),%xmm15
456	leaq	32-128(%rcx),%r12
457	vpxor	%xmm4,%xmm1,%xmm9
458	addl	$100663296,%ebx
459	jc	.Lhandle_ctr32_2
460	vpaddb	%xmm2,%xmm1,%xmm10
461	vpaddb	%xmm2,%xmm10,%xmm11
462	vpxor	%xmm4,%xmm10,%xmm10
463	vpaddb	%xmm2,%xmm11,%xmm12
464	vpxor	%xmm4,%xmm11,%xmm11
465	vpaddb	%xmm2,%xmm12,%xmm13
466	vpxor	%xmm4,%xmm12,%xmm12
467	vpaddb	%xmm2,%xmm13,%xmm14
468	vpxor	%xmm4,%xmm13,%xmm13
469	vpaddb	%xmm2,%xmm14,%xmm1
470	vpxor	%xmm4,%xmm14,%xmm14
471	jmp	.Loop_ctr32
472
473.align	16
474.Loop_ctr32:
475	vaesenc	%xmm15,%xmm9,%xmm9
476	vaesenc	%xmm15,%xmm10,%xmm10
477	vaesenc	%xmm15,%xmm11,%xmm11
478	vaesenc	%xmm15,%xmm12,%xmm12
479	vaesenc	%xmm15,%xmm13,%xmm13
480	vaesenc	%xmm15,%xmm14,%xmm14
481	vmovups	(%r12),%xmm15
482	leaq	16(%r12),%r12
483	decl	%r13d
484	jnz	.Loop_ctr32
485
486	vmovdqu	(%r12),%xmm3
487	vaesenc	%xmm15,%xmm9,%xmm9
488	vpxor	0(%rdi),%xmm3,%xmm4
489	vaesenc	%xmm15,%xmm10,%xmm10
490	vpxor	16(%rdi),%xmm3,%xmm5
491	vaesenc	%xmm15,%xmm11,%xmm11
492	vpxor	32(%rdi),%xmm3,%xmm6
493	vaesenc	%xmm15,%xmm12,%xmm12
494	vpxor	48(%rdi),%xmm3,%xmm8
495	vaesenc	%xmm15,%xmm13,%xmm13
496	vpxor	64(%rdi),%xmm3,%xmm2
497	vaesenc	%xmm15,%xmm14,%xmm14
498	vpxor	80(%rdi),%xmm3,%xmm3
499	leaq	96(%rdi),%rdi
500
501	vaesenclast	%xmm4,%xmm9,%xmm9
502	vaesenclast	%xmm5,%xmm10,%xmm10
503	vaesenclast	%xmm6,%xmm11,%xmm11
504	vaesenclast	%xmm8,%xmm12,%xmm12
505	vaesenclast	%xmm2,%xmm13,%xmm13
506	vaesenclast	%xmm3,%xmm14,%xmm14
507	vmovups	%xmm9,0(%rsi)
508	vmovups	%xmm10,16(%rsi)
509	vmovups	%xmm11,32(%rsi)
510	vmovups	%xmm12,48(%rsi)
511	vmovups	%xmm13,64(%rsi)
512	vmovups	%xmm14,80(%rsi)
513	leaq	96(%rsi),%rsi
514
515	.byte	0xf3,0xc3
516.align	32
517.Lhandle_ctr32_2:
518	vpshufb	%xmm0,%xmm1,%xmm6
519	vmovdqu	48(%r11),%xmm5
520	vpaddd	64(%r11),%xmm6,%xmm10
521	vpaddd	%xmm5,%xmm6,%xmm11
522	vpaddd	%xmm5,%xmm10,%xmm12
523	vpshufb	%xmm0,%xmm10,%xmm10
524	vpaddd	%xmm5,%xmm11,%xmm13
525	vpshufb	%xmm0,%xmm11,%xmm11
526	vpxor	%xmm4,%xmm10,%xmm10
527	vpaddd	%xmm5,%xmm12,%xmm14
528	vpshufb	%xmm0,%xmm12,%xmm12
529	vpxor	%xmm4,%xmm11,%xmm11
530	vpaddd	%xmm5,%xmm13,%xmm1
531	vpshufb	%xmm0,%xmm13,%xmm13
532	vpxor	%xmm4,%xmm12,%xmm12
533	vpshufb	%xmm0,%xmm14,%xmm14
534	vpxor	%xmm4,%xmm13,%xmm13
535	vpshufb	%xmm0,%xmm1,%xmm1
536	vpxor	%xmm4,%xmm14,%xmm14
537	jmp	.Loop_ctr32
538.cfi_endproc
539.size	_aesni_ctr32_6x,.-_aesni_ctr32_6x
540
541.globl	aesni_gcm_encrypt
542.hidden aesni_gcm_encrypt
543.type	aesni_gcm_encrypt,@function
544.align	32
545aesni_gcm_encrypt:
546.cfi_startproc
547	xorq	%r10,%r10
548
549
550
551
552	cmpq	$288,%rdx
553	jb	.Lgcm_enc_abort
554
555	leaq	(%rsp),%rax
556.cfi_def_cfa_register	%rax
557	pushq	%rbx
558.cfi_offset	%rbx,-16
559	pushq	%rbp
560.cfi_offset	%rbp,-24
561	pushq	%r12
562.cfi_offset	%r12,-32
563	pushq	%r13
564.cfi_offset	%r13,-40
565	pushq	%r14
566.cfi_offset	%r14,-48
567	pushq	%r15
568.cfi_offset	%r15,-56
569	vzeroupper
570
571	vmovdqu	(%r8),%xmm1
572	addq	$-128,%rsp
573	movl	12(%r8),%ebx
574	leaq	.Lbswap_mask(%rip),%r11
575	leaq	-128(%rcx),%r14
576	movq	$0xf80,%r15
577	leaq	128(%rcx),%rcx
578	vmovdqu	(%r11),%xmm0
579	andq	$-128,%rsp
580	movl	240-128(%rcx),%ebp
581
582	andq	%r15,%r14
583	andq	%rsp,%r15
584	subq	%r14,%r15
585	jc	.Lenc_no_key_aliasing
586	cmpq	$768,%r15
587	jnc	.Lenc_no_key_aliasing
588	subq	%r15,%rsp
589.Lenc_no_key_aliasing:
590
591	leaq	(%rsi),%r14
592
593
594
595
596
597
598
599
600	leaq	-192(%rsi,%rdx,1),%r15
601
602	shrq	$4,%rdx
603
604	call	_aesni_ctr32_6x
605	vpshufb	%xmm0,%xmm9,%xmm8
606	vpshufb	%xmm0,%xmm10,%xmm2
607	vmovdqu	%xmm8,112(%rsp)
608	vpshufb	%xmm0,%xmm11,%xmm4
609	vmovdqu	%xmm2,96(%rsp)
610	vpshufb	%xmm0,%xmm12,%xmm5
611	vmovdqu	%xmm4,80(%rsp)
612	vpshufb	%xmm0,%xmm13,%xmm6
613	vmovdqu	%xmm5,64(%rsp)
614	vpshufb	%xmm0,%xmm14,%xmm7
615	vmovdqu	%xmm6,48(%rsp)
616
617	call	_aesni_ctr32_6x
618
619	vmovdqu	(%r9),%xmm8
620	leaq	32+32(%r9),%r9
621	subq	$12,%rdx
622	movq	$192,%r10
623	vpshufb	%xmm0,%xmm8,%xmm8
624
625	call	_aesni_ctr32_ghash_6x
626	vmovdqu	32(%rsp),%xmm7
627	vmovdqu	(%r11),%xmm0
628	vmovdqu	0-32(%r9),%xmm3
629	vpunpckhqdq	%xmm7,%xmm7,%xmm1
630	vmovdqu	32-32(%r9),%xmm15
631	vmovups	%xmm9,-96(%rsi)
632	vpshufb	%xmm0,%xmm9,%xmm9
633	vpxor	%xmm7,%xmm1,%xmm1
634	vmovups	%xmm10,-80(%rsi)
635	vpshufb	%xmm0,%xmm10,%xmm10
636	vmovups	%xmm11,-64(%rsi)
637	vpshufb	%xmm0,%xmm11,%xmm11
638	vmovups	%xmm12,-48(%rsi)
639	vpshufb	%xmm0,%xmm12,%xmm12
640	vmovups	%xmm13,-32(%rsi)
641	vpshufb	%xmm0,%xmm13,%xmm13
642	vmovups	%xmm14,-16(%rsi)
643	vpshufb	%xmm0,%xmm14,%xmm14
644	vmovdqu	%xmm9,16(%rsp)
645	vmovdqu	48(%rsp),%xmm6
646	vmovdqu	16-32(%r9),%xmm0
647	vpunpckhqdq	%xmm6,%xmm6,%xmm2
648	vpclmulqdq	$0x00,%xmm3,%xmm7,%xmm5
649	vpxor	%xmm6,%xmm2,%xmm2
650	vpclmulqdq	$0x11,%xmm3,%xmm7,%xmm7
651	vpclmulqdq	$0x00,%xmm15,%xmm1,%xmm1
652
653	vmovdqu	64(%rsp),%xmm9
654	vpclmulqdq	$0x00,%xmm0,%xmm6,%xmm4
655	vmovdqu	48-32(%r9),%xmm3
656	vpxor	%xmm5,%xmm4,%xmm4
657	vpunpckhqdq	%xmm9,%xmm9,%xmm5
658	vpclmulqdq	$0x11,%xmm0,%xmm6,%xmm6
659	vpxor	%xmm9,%xmm5,%xmm5
660	vpxor	%xmm7,%xmm6,%xmm6
661	vpclmulqdq	$0x10,%xmm15,%xmm2,%xmm2
662	vmovdqu	80-32(%r9),%xmm15
663	vpxor	%xmm1,%xmm2,%xmm2
664
665	vmovdqu	80(%rsp),%xmm1
666	vpclmulqdq	$0x00,%xmm3,%xmm9,%xmm7
667	vmovdqu	64-32(%r9),%xmm0
668	vpxor	%xmm4,%xmm7,%xmm7
669	vpunpckhqdq	%xmm1,%xmm1,%xmm4
670	vpclmulqdq	$0x11,%xmm3,%xmm9,%xmm9
671	vpxor	%xmm1,%xmm4,%xmm4
672	vpxor	%xmm6,%xmm9,%xmm9
673	vpclmulqdq	$0x00,%xmm15,%xmm5,%xmm5
674	vpxor	%xmm2,%xmm5,%xmm5
675
676	vmovdqu	96(%rsp),%xmm2
677	vpclmulqdq	$0x00,%xmm0,%xmm1,%xmm6
678	vmovdqu	96-32(%r9),%xmm3
679	vpxor	%xmm7,%xmm6,%xmm6
680	vpunpckhqdq	%xmm2,%xmm2,%xmm7
681	vpclmulqdq	$0x11,%xmm0,%xmm1,%xmm1
682	vpxor	%xmm2,%xmm7,%xmm7
683	vpxor	%xmm9,%xmm1,%xmm1
684	vpclmulqdq	$0x10,%xmm15,%xmm4,%xmm4
685	vmovdqu	128-32(%r9),%xmm15
686	vpxor	%xmm5,%xmm4,%xmm4
687
688	vpxor	112(%rsp),%xmm8,%xmm8
689	vpclmulqdq	$0x00,%xmm3,%xmm2,%xmm5
690	vmovdqu	112-32(%r9),%xmm0
691	vpunpckhqdq	%xmm8,%xmm8,%xmm9
692	vpxor	%xmm6,%xmm5,%xmm5
693	vpclmulqdq	$0x11,%xmm3,%xmm2,%xmm2
694	vpxor	%xmm8,%xmm9,%xmm9
695	vpxor	%xmm1,%xmm2,%xmm2
696	vpclmulqdq	$0x00,%xmm15,%xmm7,%xmm7
697	vpxor	%xmm4,%xmm7,%xmm4
698
699	vpclmulqdq	$0x00,%xmm0,%xmm8,%xmm6
700	vmovdqu	0-32(%r9),%xmm3
701	vpunpckhqdq	%xmm14,%xmm14,%xmm1
702	vpclmulqdq	$0x11,%xmm0,%xmm8,%xmm8
703	vpxor	%xmm14,%xmm1,%xmm1
704	vpxor	%xmm5,%xmm6,%xmm5
705	vpclmulqdq	$0x10,%xmm15,%xmm9,%xmm9
706	vmovdqu	32-32(%r9),%xmm15
707	vpxor	%xmm2,%xmm8,%xmm7
708	vpxor	%xmm4,%xmm9,%xmm6
709
710	vmovdqu	16-32(%r9),%xmm0
711	vpxor	%xmm5,%xmm7,%xmm9
712	vpclmulqdq	$0x00,%xmm3,%xmm14,%xmm4
713	vpxor	%xmm9,%xmm6,%xmm6
714	vpunpckhqdq	%xmm13,%xmm13,%xmm2
715	vpclmulqdq	$0x11,%xmm3,%xmm14,%xmm14
716	vpxor	%xmm13,%xmm2,%xmm2
717	vpslldq	$8,%xmm6,%xmm9
718	vpclmulqdq	$0x00,%xmm15,%xmm1,%xmm1
719	vpxor	%xmm9,%xmm5,%xmm8
720	vpsrldq	$8,%xmm6,%xmm6
721	vpxor	%xmm6,%xmm7,%xmm7
722
723	vpclmulqdq	$0x00,%xmm0,%xmm13,%xmm5
724	vmovdqu	48-32(%r9),%xmm3
725	vpxor	%xmm4,%xmm5,%xmm5
726	vpunpckhqdq	%xmm12,%xmm12,%xmm9
727	vpclmulqdq	$0x11,%xmm0,%xmm13,%xmm13
728	vpxor	%xmm12,%xmm9,%xmm9
729	vpxor	%xmm14,%xmm13,%xmm13
730	vpalignr	$8,%xmm8,%xmm8,%xmm14
731	vpclmulqdq	$0x10,%xmm15,%xmm2,%xmm2
732	vmovdqu	80-32(%r9),%xmm15
733	vpxor	%xmm1,%xmm2,%xmm2
734
735	vpclmulqdq	$0x00,%xmm3,%xmm12,%xmm4
736	vmovdqu	64-32(%r9),%xmm0
737	vpxor	%xmm5,%xmm4,%xmm4
738	vpunpckhqdq	%xmm11,%xmm11,%xmm1
739	vpclmulqdq	$0x11,%xmm3,%xmm12,%xmm12
740	vpxor	%xmm11,%xmm1,%xmm1
741	vpxor	%xmm13,%xmm12,%xmm12
742	vxorps	16(%rsp),%xmm7,%xmm7
743	vpclmulqdq	$0x00,%xmm15,%xmm9,%xmm9
744	vpxor	%xmm2,%xmm9,%xmm9
745
746	vpclmulqdq	$0x10,16(%r11),%xmm8,%xmm8
747	vxorps	%xmm14,%xmm8,%xmm8
748
749	vpclmulqdq	$0x00,%xmm0,%xmm11,%xmm5
750	vmovdqu	96-32(%r9),%xmm3
751	vpxor	%xmm4,%xmm5,%xmm5
752	vpunpckhqdq	%xmm10,%xmm10,%xmm2
753	vpclmulqdq	$0x11,%xmm0,%xmm11,%xmm11
754	vpxor	%xmm10,%xmm2,%xmm2
755	vpalignr	$8,%xmm8,%xmm8,%xmm14
756	vpxor	%xmm12,%xmm11,%xmm11
757	vpclmulqdq	$0x10,%xmm15,%xmm1,%xmm1
758	vmovdqu	128-32(%r9),%xmm15
759	vpxor	%xmm9,%xmm1,%xmm1
760
761	vxorps	%xmm7,%xmm14,%xmm14
762	vpclmulqdq	$0x10,16(%r11),%xmm8,%xmm8
763	vxorps	%xmm14,%xmm8,%xmm8
764
765	vpclmulqdq	$0x00,%xmm3,%xmm10,%xmm4
766	vmovdqu	112-32(%r9),%xmm0
767	vpxor	%xmm5,%xmm4,%xmm4
768	vpunpckhqdq	%xmm8,%xmm8,%xmm9
769	vpclmulqdq	$0x11,%xmm3,%xmm10,%xmm10
770	vpxor	%xmm8,%xmm9,%xmm9
771	vpxor	%xmm11,%xmm10,%xmm10
772	vpclmulqdq	$0x00,%xmm15,%xmm2,%xmm2
773	vpxor	%xmm1,%xmm2,%xmm2
774
775	vpclmulqdq	$0x00,%xmm0,%xmm8,%xmm5
776	vpclmulqdq	$0x11,%xmm0,%xmm8,%xmm7
777	vpxor	%xmm4,%xmm5,%xmm5
778	vpclmulqdq	$0x10,%xmm15,%xmm9,%xmm6
779	vpxor	%xmm10,%xmm7,%xmm7
780	vpxor	%xmm2,%xmm6,%xmm6
781
782	vpxor	%xmm5,%xmm7,%xmm4
783	vpxor	%xmm4,%xmm6,%xmm6
784	vpslldq	$8,%xmm6,%xmm1
785	vmovdqu	16(%r11),%xmm3
786	vpsrldq	$8,%xmm6,%xmm6
787	vpxor	%xmm1,%xmm5,%xmm8
788	vpxor	%xmm6,%xmm7,%xmm7
789
790	vpalignr	$8,%xmm8,%xmm8,%xmm2
791	vpclmulqdq	$0x10,%xmm3,%xmm8,%xmm8
792	vpxor	%xmm2,%xmm8,%xmm8
793
794	vpalignr	$8,%xmm8,%xmm8,%xmm2
795	vpclmulqdq	$0x10,%xmm3,%xmm8,%xmm8
796	vpxor	%xmm7,%xmm2,%xmm2
797	vpxor	%xmm2,%xmm8,%xmm8
798	vpshufb	(%r11),%xmm8,%xmm8
799	vmovdqu	%xmm8,-64(%r9)
800
801	vzeroupper
802	movq	-48(%rax),%r15
803.cfi_restore	%r15
804	movq	-40(%rax),%r14
805.cfi_restore	%r14
806	movq	-32(%rax),%r13
807.cfi_restore	%r13
808	movq	-24(%rax),%r12
809.cfi_restore	%r12
810	movq	-16(%rax),%rbp
811.cfi_restore	%rbp
812	movq	-8(%rax),%rbx
813.cfi_restore	%rbx
814	leaq	(%rax),%rsp
815.cfi_def_cfa_register	%rsp
816.Lgcm_enc_abort:
817	movq	%r10,%rax
818	.byte	0xf3,0xc3
819.cfi_endproc
820.size	aesni_gcm_encrypt,.-aesni_gcm_encrypt
821.align	64
822.Lbswap_mask:
823.byte	15,14,13,12,11,10,9,8,7,6,5,4,3,2,1,0
824.Lpoly:
825.byte	0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0xc2
826.Lone_msb:
827.byte	0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1
828.Ltwo_lsb:
829.byte	2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
830.Lone_lsb:
831.byte	1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
832.byte	65,69,83,45,78,73,32,71,67,77,32,109,111,100,117,108,101,32,102,111,114,32,120,56,54,95,54,52,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
833.align	64
834#endif
835