• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1#if defined(__arm__)
2#include <openssl/arm_arch.h>
3
4@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both
5@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions.
6.arch	armv7-a
7
8.text
9#if defined(__thumb2__)
10.syntax	unified
11.thumb
12#else
13.code	32
14#endif
15
16#if __ARM_MAX_ARCH__>=7
17.align	5
18.LOPENSSL_armcap:
19.word	OPENSSL_armcap_P-.Lbn_mul_mont
20#endif
21
22.globl	bn_mul_mont
23.hidden	bn_mul_mont
24.type	bn_mul_mont,%function
25
26.align	5
27bn_mul_mont:
28.Lbn_mul_mont:
29	ldr	ip,[sp,#4]		@ load num
30	stmdb	sp!,{r0,r2}		@ sp points at argument block
31#if __ARM_MAX_ARCH__>=7
32	tst	ip,#7
33	bne	.Lialu
34	adr	r0,.Lbn_mul_mont
35	ldr	r2,.LOPENSSL_armcap
36	ldr	r0,[r0,r2]
37#ifdef	__APPLE__
38	ldr	r0,[r0]
39#endif
40	tst	r0,#ARMV7_NEON		@ NEON available?
41	ldmia	sp, {r0,r2}
42	beq	.Lialu
43	add	sp,sp,#8
44	b	bn_mul8x_mont_neon
45.align	4
46.Lialu:
47#endif
48	cmp	ip,#2
49	mov	r0,ip			@ load num
50#ifdef	__thumb2__
51	ittt	lt
52#endif
53	movlt	r0,#0
54	addlt	sp,sp,#2*4
55	blt	.Labrt
56
57	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ save 10 registers
58
59	mov	r0,r0,lsl#2		@ rescale r0 for byte count
60	sub	sp,sp,r0		@ alloca(4*num)
61	sub	sp,sp,#4		@ +extra dword
62	sub	r0,r0,#4		@ "num=num-1"
63	add	r4,r2,r0		@ &bp[num-1]
64
65	add	r0,sp,r0		@ r0 to point at &tp[num-1]
66	ldr	r8,[r0,#14*4]		@ &n0
67	ldr	r2,[r2]		@ bp[0]
68	ldr	r5,[r1],#4		@ ap[0],ap++
69	ldr	r6,[r3],#4		@ np[0],np++
70	ldr	r8,[r8]		@ *n0
71	str	r4,[r0,#15*4]		@ save &bp[num]
72
73	umull	r10,r11,r5,r2	@ ap[0]*bp[0]
74	str	r8,[r0,#14*4]		@ save n0 value
75	mul	r8,r10,r8		@ "tp[0]"*n0
76	mov	r12,#0
77	umlal	r10,r12,r6,r8	@ np[0]*n0+"t[0]"
78	mov	r4,sp
79
80.L1st:
81	ldr	r5,[r1],#4		@ ap[j],ap++
82	mov	r10,r11
83	ldr	r6,[r3],#4		@ np[j],np++
84	mov	r11,#0
85	umlal	r10,r11,r5,r2	@ ap[j]*bp[0]
86	mov	r14,#0
87	umlal	r12,r14,r6,r8	@ np[j]*n0
88	adds	r12,r12,r10
89	str	r12,[r4],#4		@ tp[j-1]=,tp++
90	adc	r12,r14,#0
91	cmp	r4,r0
92	bne	.L1st
93
94	adds	r12,r12,r11
95	ldr	r4,[r0,#13*4]		@ restore bp
96	mov	r14,#0
97	ldr	r8,[r0,#14*4]		@ restore n0
98	adc	r14,r14,#0
99	str	r12,[r0]		@ tp[num-1]=
100	mov	r7,sp
101	str	r14,[r0,#4]		@ tp[num]=
102
103.Louter:
104	sub	r7,r0,r7		@ "original" r0-1 value
105	sub	r1,r1,r7		@ "rewind" ap to &ap[1]
106	ldr	r2,[r4,#4]!		@ *(++bp)
107	sub	r3,r3,r7		@ "rewind" np to &np[1]
108	ldr	r5,[r1,#-4]		@ ap[0]
109	ldr	r10,[sp]		@ tp[0]
110	ldr	r6,[r3,#-4]		@ np[0]
111	ldr	r7,[sp,#4]		@ tp[1]
112
113	mov	r11,#0
114	umlal	r10,r11,r5,r2	@ ap[0]*bp[i]+tp[0]
115	str	r4,[r0,#13*4]		@ save bp
116	mul	r8,r10,r8
117	mov	r12,#0
118	umlal	r10,r12,r6,r8	@ np[0]*n0+"tp[0]"
119	mov	r4,sp
120
121.Linner:
122	ldr	r5,[r1],#4		@ ap[j],ap++
123	adds	r10,r11,r7		@ +=tp[j]
124	ldr	r6,[r3],#4		@ np[j],np++
125	mov	r11,#0
126	umlal	r10,r11,r5,r2	@ ap[j]*bp[i]
127	mov	r14,#0
128	umlal	r12,r14,r6,r8	@ np[j]*n0
129	adc	r11,r11,#0
130	ldr	r7,[r4,#8]		@ tp[j+1]
131	adds	r12,r12,r10
132	str	r12,[r4],#4		@ tp[j-1]=,tp++
133	adc	r12,r14,#0
134	cmp	r4,r0
135	bne	.Linner
136
137	adds	r12,r12,r11
138	mov	r14,#0
139	ldr	r4,[r0,#13*4]		@ restore bp
140	adc	r14,r14,#0
141	ldr	r8,[r0,#14*4]		@ restore n0
142	adds	r12,r12,r7
143	ldr	r7,[r0,#15*4]		@ restore &bp[num]
144	adc	r14,r14,#0
145	str	r12,[r0]		@ tp[num-1]=
146	str	r14,[r0,#4]		@ tp[num]=
147
148	cmp	r4,r7
149#ifdef	__thumb2__
150	itt	ne
151#endif
152	movne	r7,sp
153	bne	.Louter
154
155	ldr	r2,[r0,#12*4]		@ pull rp
156	mov	r5,sp
157	add	r0,r0,#4		@ r0 to point at &tp[num]
158	sub	r5,r0,r5		@ "original" num value
159	mov	r4,sp			@ "rewind" r4
160	mov	r1,r4			@ "borrow" r1
161	sub	r3,r3,r5		@ "rewind" r3 to &np[0]
162
163	subs	r7,r7,r7		@ "clear" carry flag
164.Lsub:	ldr	r7,[r4],#4
165	ldr	r6,[r3],#4
166	sbcs	r7,r7,r6		@ tp[j]-np[j]
167	str	r7,[r2],#4		@ rp[j]=
168	teq	r4,r0		@ preserve carry
169	bne	.Lsub
170	sbcs	r14,r14,#0		@ upmost carry
171	mov	r4,sp			@ "rewind" r4
172	sub	r2,r2,r5		@ "rewind" r2
173
174	and	r1,r4,r14
175	bic	r3,r2,r14
176	orr	r1,r1,r3		@ ap=borrow?tp:rp
177
178.Lcopy:	ldr	r7,[r1],#4		@ copy or in-place refresh
179	str	sp,[r4],#4		@ zap tp
180	str	r7,[r2],#4
181	cmp	r4,r0
182	bne	.Lcopy
183
184	mov	sp,r0
185	add	sp,sp,#4		@ skip over tp[num+1]
186	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ restore registers
187	add	sp,sp,#2*4		@ skip over {r0,r2}
188	mov	r0,#1
189.Labrt:
190#if __ARM_ARCH__>=5
191	bx	lr				@ bx lr
192#else
193	tst	lr,#1
194	moveq	pc,lr			@ be binary compatible with V4, yet
195.word	0xe12fff1e			@ interoperable with Thumb ISA:-)
196#endif
197.size	bn_mul_mont,.-bn_mul_mont
198#if __ARM_MAX_ARCH__>=7
199.arch	armv7-a
200.fpu	neon
201
202.type	bn_mul8x_mont_neon,%function
203.align	5
204bn_mul8x_mont_neon:
205	mov	ip,sp
206	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
207	vstmdb	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}		@ ABI specification says so
208	ldmia	ip,{r4,r5}		@ load rest of parameter block
209	mov	ip,sp
210
211	cmp	r5,#8
212	bhi	.LNEON_8n
213
214	@ special case for r5==8, everything is in register bank...
215
216	vld1.32	{d28[0]}, [r2,:32]!
217	veor	d8,d8,d8
218	sub	r7,sp,r5,lsl#4
219	vld1.32	{d0,d1,d2,d3},  [r1]!		@ can't specify :32 :-(
220	and	r7,r7,#-64
221	vld1.32	{d30[0]}, [r4,:32]
222	mov	sp,r7			@ alloca
223	vzip.16	d28,d8
224
225	vmull.u32	q6,d28,d0[0]
226	vmull.u32	q7,d28,d0[1]
227	vmull.u32	q8,d28,d1[0]
228	vshl.i64	d29,d13,#16
229	vmull.u32	q9,d28,d1[1]
230
231	vadd.u64	d29,d29,d12
232	veor	d8,d8,d8
233	vmul.u32	d29,d29,d30
234
235	vmull.u32	q10,d28,d2[0]
236	vld1.32	{d4,d5,d6,d7}, [r3]!
237	vmull.u32	q11,d28,d2[1]
238	vmull.u32	q12,d28,d3[0]
239	vzip.16	d29,d8
240	vmull.u32	q13,d28,d3[1]
241
242	vmlal.u32	q6,d29,d4[0]
243	sub	r9,r5,#1
244	vmlal.u32	q7,d29,d4[1]
245	vmlal.u32	q8,d29,d5[0]
246	vmlal.u32	q9,d29,d5[1]
247
248	vmlal.u32	q10,d29,d6[0]
249	vmov	q5,q6
250	vmlal.u32	q11,d29,d6[1]
251	vmov	q6,q7
252	vmlal.u32	q12,d29,d7[0]
253	vmov	q7,q8
254	vmlal.u32	q13,d29,d7[1]
255	vmov	q8,q9
256	vmov	q9,q10
257	vshr.u64	d10,d10,#16
258	vmov	q10,q11
259	vmov	q11,q12
260	vadd.u64	d10,d10,d11
261	vmov	q12,q13
262	veor	q13,q13
263	vshr.u64	d10,d10,#16
264
265	b	.LNEON_outer8
266
267.align	4
268.LNEON_outer8:
269	vld1.32	{d28[0]}, [r2,:32]!
270	veor	d8,d8,d8
271	vzip.16	d28,d8
272	vadd.u64	d12,d12,d10
273
274	vmlal.u32	q6,d28,d0[0]
275	vmlal.u32	q7,d28,d0[1]
276	vmlal.u32	q8,d28,d1[0]
277	vshl.i64	d29,d13,#16
278	vmlal.u32	q9,d28,d1[1]
279
280	vadd.u64	d29,d29,d12
281	veor	d8,d8,d8
282	subs	r9,r9,#1
283	vmul.u32	d29,d29,d30
284
285	vmlal.u32	q10,d28,d2[0]
286	vmlal.u32	q11,d28,d2[1]
287	vmlal.u32	q12,d28,d3[0]
288	vzip.16	d29,d8
289	vmlal.u32	q13,d28,d3[1]
290
291	vmlal.u32	q6,d29,d4[0]
292	vmlal.u32	q7,d29,d4[1]
293	vmlal.u32	q8,d29,d5[0]
294	vmlal.u32	q9,d29,d5[1]
295
296	vmlal.u32	q10,d29,d6[0]
297	vmov	q5,q6
298	vmlal.u32	q11,d29,d6[1]
299	vmov	q6,q7
300	vmlal.u32	q12,d29,d7[0]
301	vmov	q7,q8
302	vmlal.u32	q13,d29,d7[1]
303	vmov	q8,q9
304	vmov	q9,q10
305	vshr.u64	d10,d10,#16
306	vmov	q10,q11
307	vmov	q11,q12
308	vadd.u64	d10,d10,d11
309	vmov	q12,q13
310	veor	q13,q13
311	vshr.u64	d10,d10,#16
312
313	bne	.LNEON_outer8
314
315	vadd.u64	d12,d12,d10
316	mov	r7,sp
317	vshr.u64	d10,d12,#16
318	mov	r8,r5
319	vadd.u64	d13,d13,d10
320	add	r6,sp,#96
321	vshr.u64	d10,d13,#16
322	vzip.16	d12,d13
323
324	b	.LNEON_tail_entry
325
326.align	4
327.LNEON_8n:
328	veor	q6,q6,q6
329	sub	r7,sp,#128
330	veor	q7,q7,q7
331	sub	r7,r7,r5,lsl#4
332	veor	q8,q8,q8
333	and	r7,r7,#-64
334	veor	q9,q9,q9
335	mov	sp,r7			@ alloca
336	veor	q10,q10,q10
337	add	r7,r7,#256
338	veor	q11,q11,q11
339	sub	r8,r5,#8
340	veor	q12,q12,q12
341	veor	q13,q13,q13
342
343.LNEON_8n_init:
344	vst1.64	{q6,q7},[r7,:256]!
345	subs	r8,r8,#8
346	vst1.64	{q8,q9},[r7,:256]!
347	vst1.64	{q10,q11},[r7,:256]!
348	vst1.64	{q12,q13},[r7,:256]!
349	bne	.LNEON_8n_init
350
351	add	r6,sp,#256
352	vld1.32	{d0,d1,d2,d3},[r1]!
353	add	r10,sp,#8
354	vld1.32	{d30[0]},[r4,:32]
355	mov	r9,r5
356	b	.LNEON_8n_outer
357
358.align	4
359.LNEON_8n_outer:
360	vld1.32	{d28[0]},[r2,:32]!	@ *b++
361	veor	d8,d8,d8
362	vzip.16	d28,d8
363	add	r7,sp,#128
364	vld1.32	{d4,d5,d6,d7},[r3]!
365
366	vmlal.u32	q6,d28,d0[0]
367	vmlal.u32	q7,d28,d0[1]
368	veor	d8,d8,d8
369	vmlal.u32	q8,d28,d1[0]
370	vshl.i64	d29,d13,#16
371	vmlal.u32	q9,d28,d1[1]
372	vadd.u64	d29,d29,d12
373	vmlal.u32	q10,d28,d2[0]
374	vmul.u32	d29,d29,d30
375	vmlal.u32	q11,d28,d2[1]
376	vst1.32	{d28},[sp,:64]		@ put aside smashed b[8*i+0]
377	vmlal.u32	q12,d28,d3[0]
378	vzip.16	d29,d8
379	vmlal.u32	q13,d28,d3[1]
380	vld1.32	{d28[0]},[r2,:32]!	@ *b++
381	vmlal.u32	q6,d29,d4[0]
382	veor	d10,d10,d10
383	vmlal.u32	q7,d29,d4[1]
384	vzip.16	d28,d10
385	vmlal.u32	q8,d29,d5[0]
386	vshr.u64	d12,d12,#16
387	vmlal.u32	q9,d29,d5[1]
388	vmlal.u32	q10,d29,d6[0]
389	vadd.u64	d12,d12,d13
390	vmlal.u32	q11,d29,d6[1]
391	vshr.u64	d12,d12,#16
392	vmlal.u32	q12,d29,d7[0]
393	vmlal.u32	q13,d29,d7[1]
394	vadd.u64	d14,d14,d12
395	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+0]
396	vmlal.u32	q7,d28,d0[0]
397	vld1.64	{q6},[r6,:128]!
398	vmlal.u32	q8,d28,d0[1]
399	veor	d8,d8,d8
400	vmlal.u32	q9,d28,d1[0]
401	vshl.i64	d29,d15,#16
402	vmlal.u32	q10,d28,d1[1]
403	vadd.u64	d29,d29,d14
404	vmlal.u32	q11,d28,d2[0]
405	vmul.u32	d29,d29,d30
406	vmlal.u32	q12,d28,d2[1]
407	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+1]
408	vmlal.u32	q13,d28,d3[0]
409	vzip.16	d29,d8
410	vmlal.u32	q6,d28,d3[1]
411	vld1.32	{d28[0]},[r2,:32]!	@ *b++
412	vmlal.u32	q7,d29,d4[0]
413	veor	d10,d10,d10
414	vmlal.u32	q8,d29,d4[1]
415	vzip.16	d28,d10
416	vmlal.u32	q9,d29,d5[0]
417	vshr.u64	d14,d14,#16
418	vmlal.u32	q10,d29,d5[1]
419	vmlal.u32	q11,d29,d6[0]
420	vadd.u64	d14,d14,d15
421	vmlal.u32	q12,d29,d6[1]
422	vshr.u64	d14,d14,#16
423	vmlal.u32	q13,d29,d7[0]
424	vmlal.u32	q6,d29,d7[1]
425	vadd.u64	d16,d16,d14
426	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+1]
427	vmlal.u32	q8,d28,d0[0]
428	vld1.64	{q7},[r6,:128]!
429	vmlal.u32	q9,d28,d0[1]
430	veor	d8,d8,d8
431	vmlal.u32	q10,d28,d1[0]
432	vshl.i64	d29,d17,#16
433	vmlal.u32	q11,d28,d1[1]
434	vadd.u64	d29,d29,d16
435	vmlal.u32	q12,d28,d2[0]
436	vmul.u32	d29,d29,d30
437	vmlal.u32	q13,d28,d2[1]
438	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+2]
439	vmlal.u32	q6,d28,d3[0]
440	vzip.16	d29,d8
441	vmlal.u32	q7,d28,d3[1]
442	vld1.32	{d28[0]},[r2,:32]!	@ *b++
443	vmlal.u32	q8,d29,d4[0]
444	veor	d10,d10,d10
445	vmlal.u32	q9,d29,d4[1]
446	vzip.16	d28,d10
447	vmlal.u32	q10,d29,d5[0]
448	vshr.u64	d16,d16,#16
449	vmlal.u32	q11,d29,d5[1]
450	vmlal.u32	q12,d29,d6[0]
451	vadd.u64	d16,d16,d17
452	vmlal.u32	q13,d29,d6[1]
453	vshr.u64	d16,d16,#16
454	vmlal.u32	q6,d29,d7[0]
455	vmlal.u32	q7,d29,d7[1]
456	vadd.u64	d18,d18,d16
457	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+2]
458	vmlal.u32	q9,d28,d0[0]
459	vld1.64	{q8},[r6,:128]!
460	vmlal.u32	q10,d28,d0[1]
461	veor	d8,d8,d8
462	vmlal.u32	q11,d28,d1[0]
463	vshl.i64	d29,d19,#16
464	vmlal.u32	q12,d28,d1[1]
465	vadd.u64	d29,d29,d18
466	vmlal.u32	q13,d28,d2[0]
467	vmul.u32	d29,d29,d30
468	vmlal.u32	q6,d28,d2[1]
469	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+3]
470	vmlal.u32	q7,d28,d3[0]
471	vzip.16	d29,d8
472	vmlal.u32	q8,d28,d3[1]
473	vld1.32	{d28[0]},[r2,:32]!	@ *b++
474	vmlal.u32	q9,d29,d4[0]
475	veor	d10,d10,d10
476	vmlal.u32	q10,d29,d4[1]
477	vzip.16	d28,d10
478	vmlal.u32	q11,d29,d5[0]
479	vshr.u64	d18,d18,#16
480	vmlal.u32	q12,d29,d5[1]
481	vmlal.u32	q13,d29,d6[0]
482	vadd.u64	d18,d18,d19
483	vmlal.u32	q6,d29,d6[1]
484	vshr.u64	d18,d18,#16
485	vmlal.u32	q7,d29,d7[0]
486	vmlal.u32	q8,d29,d7[1]
487	vadd.u64	d20,d20,d18
488	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+3]
489	vmlal.u32	q10,d28,d0[0]
490	vld1.64	{q9},[r6,:128]!
491	vmlal.u32	q11,d28,d0[1]
492	veor	d8,d8,d8
493	vmlal.u32	q12,d28,d1[0]
494	vshl.i64	d29,d21,#16
495	vmlal.u32	q13,d28,d1[1]
496	vadd.u64	d29,d29,d20
497	vmlal.u32	q6,d28,d2[0]
498	vmul.u32	d29,d29,d30
499	vmlal.u32	q7,d28,d2[1]
500	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+4]
501	vmlal.u32	q8,d28,d3[0]
502	vzip.16	d29,d8
503	vmlal.u32	q9,d28,d3[1]
504	vld1.32	{d28[0]},[r2,:32]!	@ *b++
505	vmlal.u32	q10,d29,d4[0]
506	veor	d10,d10,d10
507	vmlal.u32	q11,d29,d4[1]
508	vzip.16	d28,d10
509	vmlal.u32	q12,d29,d5[0]
510	vshr.u64	d20,d20,#16
511	vmlal.u32	q13,d29,d5[1]
512	vmlal.u32	q6,d29,d6[0]
513	vadd.u64	d20,d20,d21
514	vmlal.u32	q7,d29,d6[1]
515	vshr.u64	d20,d20,#16
516	vmlal.u32	q8,d29,d7[0]
517	vmlal.u32	q9,d29,d7[1]
518	vadd.u64	d22,d22,d20
519	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+4]
520	vmlal.u32	q11,d28,d0[0]
521	vld1.64	{q10},[r6,:128]!
522	vmlal.u32	q12,d28,d0[1]
523	veor	d8,d8,d8
524	vmlal.u32	q13,d28,d1[0]
525	vshl.i64	d29,d23,#16
526	vmlal.u32	q6,d28,d1[1]
527	vadd.u64	d29,d29,d22
528	vmlal.u32	q7,d28,d2[0]
529	vmul.u32	d29,d29,d30
530	vmlal.u32	q8,d28,d2[1]
531	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+5]
532	vmlal.u32	q9,d28,d3[0]
533	vzip.16	d29,d8
534	vmlal.u32	q10,d28,d3[1]
535	vld1.32	{d28[0]},[r2,:32]!	@ *b++
536	vmlal.u32	q11,d29,d4[0]
537	veor	d10,d10,d10
538	vmlal.u32	q12,d29,d4[1]
539	vzip.16	d28,d10
540	vmlal.u32	q13,d29,d5[0]
541	vshr.u64	d22,d22,#16
542	vmlal.u32	q6,d29,d5[1]
543	vmlal.u32	q7,d29,d6[0]
544	vadd.u64	d22,d22,d23
545	vmlal.u32	q8,d29,d6[1]
546	vshr.u64	d22,d22,#16
547	vmlal.u32	q9,d29,d7[0]
548	vmlal.u32	q10,d29,d7[1]
549	vadd.u64	d24,d24,d22
550	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+5]
551	vmlal.u32	q12,d28,d0[0]
552	vld1.64	{q11},[r6,:128]!
553	vmlal.u32	q13,d28,d0[1]
554	veor	d8,d8,d8
555	vmlal.u32	q6,d28,d1[0]
556	vshl.i64	d29,d25,#16
557	vmlal.u32	q7,d28,d1[1]
558	vadd.u64	d29,d29,d24
559	vmlal.u32	q8,d28,d2[0]
560	vmul.u32	d29,d29,d30
561	vmlal.u32	q9,d28,d2[1]
562	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+6]
563	vmlal.u32	q10,d28,d3[0]
564	vzip.16	d29,d8
565	vmlal.u32	q11,d28,d3[1]
566	vld1.32	{d28[0]},[r2,:32]!	@ *b++
567	vmlal.u32	q12,d29,d4[0]
568	veor	d10,d10,d10
569	vmlal.u32	q13,d29,d4[1]
570	vzip.16	d28,d10
571	vmlal.u32	q6,d29,d5[0]
572	vshr.u64	d24,d24,#16
573	vmlal.u32	q7,d29,d5[1]
574	vmlal.u32	q8,d29,d6[0]
575	vadd.u64	d24,d24,d25
576	vmlal.u32	q9,d29,d6[1]
577	vshr.u64	d24,d24,#16
578	vmlal.u32	q10,d29,d7[0]
579	vmlal.u32	q11,d29,d7[1]
580	vadd.u64	d26,d26,d24
581	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+6]
582	vmlal.u32	q13,d28,d0[0]
583	vld1.64	{q12},[r6,:128]!
584	vmlal.u32	q6,d28,d0[1]
585	veor	d8,d8,d8
586	vmlal.u32	q7,d28,d1[0]
587	vshl.i64	d29,d27,#16
588	vmlal.u32	q8,d28,d1[1]
589	vadd.u64	d29,d29,d26
590	vmlal.u32	q9,d28,d2[0]
591	vmul.u32	d29,d29,d30
592	vmlal.u32	q10,d28,d2[1]
593	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+7]
594	vmlal.u32	q11,d28,d3[0]
595	vzip.16	d29,d8
596	vmlal.u32	q12,d28,d3[1]
597	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
598	vmlal.u32	q13,d29,d4[0]
599	vld1.32	{d0,d1,d2,d3},[r1]!
600	vmlal.u32	q6,d29,d4[1]
601	vmlal.u32	q7,d29,d5[0]
602	vshr.u64	d26,d26,#16
603	vmlal.u32	q8,d29,d5[1]
604	vmlal.u32	q9,d29,d6[0]
605	vadd.u64	d26,d26,d27
606	vmlal.u32	q10,d29,d6[1]
607	vshr.u64	d26,d26,#16
608	vmlal.u32	q11,d29,d7[0]
609	vmlal.u32	q12,d29,d7[1]
610	vadd.u64	d12,d12,d26
611	vst1.32	{d29},[r10,:64]	@ put aside smashed m[8*i+7]
612	add	r10,sp,#8		@ rewind
613	sub	r8,r5,#8
614	b	.LNEON_8n_inner
615
616.align	4
617.LNEON_8n_inner:
618	subs	r8,r8,#8
619	vmlal.u32	q6,d28,d0[0]
620	vld1.64	{q13},[r6,:128]
621	vmlal.u32	q7,d28,d0[1]
622	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+0]
623	vmlal.u32	q8,d28,d1[0]
624	vld1.32	{d4,d5,d6,d7},[r3]!
625	vmlal.u32	q9,d28,d1[1]
626	it	ne
627	addne	r6,r6,#16	@ don't advance in last iteration
628	vmlal.u32	q10,d28,d2[0]
629	vmlal.u32	q11,d28,d2[1]
630	vmlal.u32	q12,d28,d3[0]
631	vmlal.u32	q13,d28,d3[1]
632	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+1]
633	vmlal.u32	q6,d29,d4[0]
634	vmlal.u32	q7,d29,d4[1]
635	vmlal.u32	q8,d29,d5[0]
636	vmlal.u32	q9,d29,d5[1]
637	vmlal.u32	q10,d29,d6[0]
638	vmlal.u32	q11,d29,d6[1]
639	vmlal.u32	q12,d29,d7[0]
640	vmlal.u32	q13,d29,d7[1]
641	vst1.64	{q6},[r7,:128]!
642	vmlal.u32	q7,d28,d0[0]
643	vld1.64	{q6},[r6,:128]
644	vmlal.u32	q8,d28,d0[1]
645	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+1]
646	vmlal.u32	q9,d28,d1[0]
647	it	ne
648	addne	r6,r6,#16	@ don't advance in last iteration
649	vmlal.u32	q10,d28,d1[1]
650	vmlal.u32	q11,d28,d2[0]
651	vmlal.u32	q12,d28,d2[1]
652	vmlal.u32	q13,d28,d3[0]
653	vmlal.u32	q6,d28,d3[1]
654	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+2]
655	vmlal.u32	q7,d29,d4[0]
656	vmlal.u32	q8,d29,d4[1]
657	vmlal.u32	q9,d29,d5[0]
658	vmlal.u32	q10,d29,d5[1]
659	vmlal.u32	q11,d29,d6[0]
660	vmlal.u32	q12,d29,d6[1]
661	vmlal.u32	q13,d29,d7[0]
662	vmlal.u32	q6,d29,d7[1]
663	vst1.64	{q7},[r7,:128]!
664	vmlal.u32	q8,d28,d0[0]
665	vld1.64	{q7},[r6,:128]
666	vmlal.u32	q9,d28,d0[1]
667	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+2]
668	vmlal.u32	q10,d28,d1[0]
669	it	ne
670	addne	r6,r6,#16	@ don't advance in last iteration
671	vmlal.u32	q11,d28,d1[1]
672	vmlal.u32	q12,d28,d2[0]
673	vmlal.u32	q13,d28,d2[1]
674	vmlal.u32	q6,d28,d3[0]
675	vmlal.u32	q7,d28,d3[1]
676	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+3]
677	vmlal.u32	q8,d29,d4[0]
678	vmlal.u32	q9,d29,d4[1]
679	vmlal.u32	q10,d29,d5[0]
680	vmlal.u32	q11,d29,d5[1]
681	vmlal.u32	q12,d29,d6[0]
682	vmlal.u32	q13,d29,d6[1]
683	vmlal.u32	q6,d29,d7[0]
684	vmlal.u32	q7,d29,d7[1]
685	vst1.64	{q8},[r7,:128]!
686	vmlal.u32	q9,d28,d0[0]
687	vld1.64	{q8},[r6,:128]
688	vmlal.u32	q10,d28,d0[1]
689	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+3]
690	vmlal.u32	q11,d28,d1[0]
691	it	ne
692	addne	r6,r6,#16	@ don't advance in last iteration
693	vmlal.u32	q12,d28,d1[1]
694	vmlal.u32	q13,d28,d2[0]
695	vmlal.u32	q6,d28,d2[1]
696	vmlal.u32	q7,d28,d3[0]
697	vmlal.u32	q8,d28,d3[1]
698	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+4]
699	vmlal.u32	q9,d29,d4[0]
700	vmlal.u32	q10,d29,d4[1]
701	vmlal.u32	q11,d29,d5[0]
702	vmlal.u32	q12,d29,d5[1]
703	vmlal.u32	q13,d29,d6[0]
704	vmlal.u32	q6,d29,d6[1]
705	vmlal.u32	q7,d29,d7[0]
706	vmlal.u32	q8,d29,d7[1]
707	vst1.64	{q9},[r7,:128]!
708	vmlal.u32	q10,d28,d0[0]
709	vld1.64	{q9},[r6,:128]
710	vmlal.u32	q11,d28,d0[1]
711	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+4]
712	vmlal.u32	q12,d28,d1[0]
713	it	ne
714	addne	r6,r6,#16	@ don't advance in last iteration
715	vmlal.u32	q13,d28,d1[1]
716	vmlal.u32	q6,d28,d2[0]
717	vmlal.u32	q7,d28,d2[1]
718	vmlal.u32	q8,d28,d3[0]
719	vmlal.u32	q9,d28,d3[1]
720	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+5]
721	vmlal.u32	q10,d29,d4[0]
722	vmlal.u32	q11,d29,d4[1]
723	vmlal.u32	q12,d29,d5[0]
724	vmlal.u32	q13,d29,d5[1]
725	vmlal.u32	q6,d29,d6[0]
726	vmlal.u32	q7,d29,d6[1]
727	vmlal.u32	q8,d29,d7[0]
728	vmlal.u32	q9,d29,d7[1]
729	vst1.64	{q10},[r7,:128]!
730	vmlal.u32	q11,d28,d0[0]
731	vld1.64	{q10},[r6,:128]
732	vmlal.u32	q12,d28,d0[1]
733	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+5]
734	vmlal.u32	q13,d28,d1[0]
735	it	ne
736	addne	r6,r6,#16	@ don't advance in last iteration
737	vmlal.u32	q6,d28,d1[1]
738	vmlal.u32	q7,d28,d2[0]
739	vmlal.u32	q8,d28,d2[1]
740	vmlal.u32	q9,d28,d3[0]
741	vmlal.u32	q10,d28,d3[1]
742	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+6]
743	vmlal.u32	q11,d29,d4[0]
744	vmlal.u32	q12,d29,d4[1]
745	vmlal.u32	q13,d29,d5[0]
746	vmlal.u32	q6,d29,d5[1]
747	vmlal.u32	q7,d29,d6[0]
748	vmlal.u32	q8,d29,d6[1]
749	vmlal.u32	q9,d29,d7[0]
750	vmlal.u32	q10,d29,d7[1]
751	vst1.64	{q11},[r7,:128]!
752	vmlal.u32	q12,d28,d0[0]
753	vld1.64	{q11},[r6,:128]
754	vmlal.u32	q13,d28,d0[1]
755	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+6]
756	vmlal.u32	q6,d28,d1[0]
757	it	ne
758	addne	r6,r6,#16	@ don't advance in last iteration
759	vmlal.u32	q7,d28,d1[1]
760	vmlal.u32	q8,d28,d2[0]
761	vmlal.u32	q9,d28,d2[1]
762	vmlal.u32	q10,d28,d3[0]
763	vmlal.u32	q11,d28,d3[1]
764	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+7]
765	vmlal.u32	q12,d29,d4[0]
766	vmlal.u32	q13,d29,d4[1]
767	vmlal.u32	q6,d29,d5[0]
768	vmlal.u32	q7,d29,d5[1]
769	vmlal.u32	q8,d29,d6[0]
770	vmlal.u32	q9,d29,d6[1]
771	vmlal.u32	q10,d29,d7[0]
772	vmlal.u32	q11,d29,d7[1]
773	vst1.64	{q12},[r7,:128]!
774	vmlal.u32	q13,d28,d0[0]
775	vld1.64	{q12},[r6,:128]
776	vmlal.u32	q6,d28,d0[1]
777	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+7]
778	vmlal.u32	q7,d28,d1[0]
779	it	ne
780	addne	r6,r6,#16	@ don't advance in last iteration
781	vmlal.u32	q8,d28,d1[1]
782	vmlal.u32	q9,d28,d2[0]
783	vmlal.u32	q10,d28,d2[1]
784	vmlal.u32	q11,d28,d3[0]
785	vmlal.u32	q12,d28,d3[1]
786	it	eq
787	subeq	r1,r1,r5,lsl#2	@ rewind
788	vmlal.u32	q13,d29,d4[0]
789	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
790	vmlal.u32	q6,d29,d4[1]
791	vld1.32	{d0,d1,d2,d3},[r1]!
792	vmlal.u32	q7,d29,d5[0]
793	add	r10,sp,#8		@ rewind
794	vmlal.u32	q8,d29,d5[1]
795	vmlal.u32	q9,d29,d6[0]
796	vmlal.u32	q10,d29,d6[1]
797	vmlal.u32	q11,d29,d7[0]
798	vst1.64	{q13},[r7,:128]!
799	vmlal.u32	q12,d29,d7[1]
800
801	bne	.LNEON_8n_inner
802	add	r6,sp,#128
803	vst1.64	{q6,q7},[r7,:256]!
804	veor	q2,q2,q2		@ d4-d5
805	vst1.64	{q8,q9},[r7,:256]!
806	veor	q3,q3,q3		@ d6-d7
807	vst1.64	{q10,q11},[r7,:256]!
808	vst1.64	{q12},[r7,:128]
809
810	subs	r9,r9,#8
811	vld1.64	{q6,q7},[r6,:256]!
812	vld1.64	{q8,q9},[r6,:256]!
813	vld1.64	{q10,q11},[r6,:256]!
814	vld1.64	{q12,q13},[r6,:256]!
815
816	itt	ne
817	subne	r3,r3,r5,lsl#2	@ rewind
818	bne	.LNEON_8n_outer
819
820	add	r7,sp,#128
821	vst1.64	{q2,q3}, [sp,:256]!	@ start wiping stack frame
822	vshr.u64	d10,d12,#16
823	vst1.64	{q2,q3},[sp,:256]!
824	vadd.u64	d13,d13,d10
825	vst1.64	{q2,q3}, [sp,:256]!
826	vshr.u64	d10,d13,#16
827	vst1.64	{q2,q3}, [sp,:256]!
828	vzip.16	d12,d13
829
830	mov	r8,r5
831	b	.LNEON_tail_entry
832
833.align	4
834.LNEON_tail:
835	vadd.u64	d12,d12,d10
836	vshr.u64	d10,d12,#16
837	vld1.64	{q8,q9}, [r6, :256]!
838	vadd.u64	d13,d13,d10
839	vld1.64	{q10,q11}, [r6, :256]!
840	vshr.u64	d10,d13,#16
841	vld1.64	{q12,q13}, [r6, :256]!
842	vzip.16	d12,d13
843
844.LNEON_tail_entry:
845	vadd.u64	d14,d14,d10
846	vst1.32	{d12[0]}, [r7, :32]!
847	vshr.u64	d10,d14,#16
848	vadd.u64	d15,d15,d10
849	vshr.u64	d10,d15,#16
850	vzip.16	d14,d15
851	vadd.u64	d16,d16,d10
852	vst1.32	{d14[0]}, [r7, :32]!
853	vshr.u64	d10,d16,#16
854	vadd.u64	d17,d17,d10
855	vshr.u64	d10,d17,#16
856	vzip.16	d16,d17
857	vadd.u64	d18,d18,d10
858	vst1.32	{d16[0]}, [r7, :32]!
859	vshr.u64	d10,d18,#16
860	vadd.u64	d19,d19,d10
861	vshr.u64	d10,d19,#16
862	vzip.16	d18,d19
863	vadd.u64	d20,d20,d10
864	vst1.32	{d18[0]}, [r7, :32]!
865	vshr.u64	d10,d20,#16
866	vadd.u64	d21,d21,d10
867	vshr.u64	d10,d21,#16
868	vzip.16	d20,d21
869	vadd.u64	d22,d22,d10
870	vst1.32	{d20[0]}, [r7, :32]!
871	vshr.u64	d10,d22,#16
872	vadd.u64	d23,d23,d10
873	vshr.u64	d10,d23,#16
874	vzip.16	d22,d23
875	vadd.u64	d24,d24,d10
876	vst1.32	{d22[0]}, [r7, :32]!
877	vshr.u64	d10,d24,#16
878	vadd.u64	d25,d25,d10
879	vshr.u64	d10,d25,#16
880	vzip.16	d24,d25
881	vadd.u64	d26,d26,d10
882	vst1.32	{d24[0]}, [r7, :32]!
883	vshr.u64	d10,d26,#16
884	vadd.u64	d27,d27,d10
885	vshr.u64	d10,d27,#16
886	vzip.16	d26,d27
887	vld1.64	{q6,q7}, [r6, :256]!
888	subs	r8,r8,#8
889	vst1.32	{d26[0]},   [r7, :32]!
890	bne	.LNEON_tail
891
892	vst1.32	{d10[0]}, [r7, :32]		@ top-most bit
893	sub	r3,r3,r5,lsl#2			@ rewind r3
894	subs	r1,sp,#0				@ clear carry flag
895	add	r2,sp,r5,lsl#2
896
897.LNEON_sub:
898	ldmia	r1!, {r4,r5,r6,r7}
899	ldmia	r3!, {r8,r9,r10,r11}
900	sbcs	r8, r4,r8
901	sbcs	r9, r5,r9
902	sbcs	r10,r6,r10
903	sbcs	r11,r7,r11
904	teq	r1,r2				@ preserves carry
905	stmia	r0!, {r8,r9,r10,r11}
906	bne	.LNEON_sub
907
908	ldr	r10, [r1]				@ load top-most bit
909	mov	r11,sp
910	veor	q0,q0,q0
911	sub	r11,r2,r11				@ this is num*4
912	veor	q1,q1,q1
913	mov	r1,sp
914	sub	r0,r0,r11				@ rewind r0
915	mov	r3,r2				@ second 3/4th of frame
916	sbcs	r10,r10,#0				@ result is carry flag
917
918.LNEON_copy_n_zap:
919	ldmia	r1!, {r4,r5,r6,r7}
920	ldmia	r0,  {r8,r9,r10,r11}
921	it	cc
922	movcc	r8, r4
923	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
924	itt	cc
925	movcc	r9, r5
926	movcc	r10,r6
927	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
928	it	cc
929	movcc	r11,r7
930	ldmia	r1, {r4,r5,r6,r7}
931	stmia	r0!, {r8,r9,r10,r11}
932	sub	r1,r1,#16
933	ldmia	r0, {r8,r9,r10,r11}
934	it	cc
935	movcc	r8, r4
936	vst1.64	{q0,q1}, [r1,:256]!			@ wipe
937	itt	cc
938	movcc	r9, r5
939	movcc	r10,r6
940	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
941	it	cc
942	movcc	r11,r7
943	teq	r1,r2				@ preserves carry
944	stmia	r0!, {r8,r9,r10,r11}
945	bne	.LNEON_copy_n_zap
946
947	mov	sp,ip
948	vldmia	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}
949	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
950	bx	lr						@ bx lr
951.size	bn_mul8x_mont_neon,.-bn_mul8x_mont_neon
952#endif
953.byte	77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
954.align	2
955.align	2
956#if __ARM_MAX_ARCH__>=7
957.comm	OPENSSL_armcap_P,4,4
958.hidden	OPENSSL_armcap_P
959#endif
960#endif
961