1#if defined(__arm__) 2#include <openssl/arm_arch.h> 3 4@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both 5@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. 6.arch armv7-a 7 8.text 9#if defined(__thumb2__) 10.syntax unified 11.thumb 12#else 13.code 32 14#endif 15 16#if __ARM_MAX_ARCH__>=7 17.align 5 18.LOPENSSL_armcap: 19.word OPENSSL_armcap_P-.Lbn_mul_mont 20#endif 21 22.globl bn_mul_mont 23.hidden bn_mul_mont 24.type bn_mul_mont,%function 25 26.align 5 27bn_mul_mont: 28.Lbn_mul_mont: 29 ldr ip,[sp,#4] @ load num 30 stmdb sp!,{r0,r2} @ sp points at argument block 31#if __ARM_MAX_ARCH__>=7 32 tst ip,#7 33 bne .Lialu 34 adr r0,.Lbn_mul_mont 35 ldr r2,.LOPENSSL_armcap 36 ldr r0,[r0,r2] 37#ifdef __APPLE__ 38 ldr r0,[r0] 39#endif 40 tst r0,#ARMV7_NEON @ NEON available? 41 ldmia sp, {r0,r2} 42 beq .Lialu 43 add sp,sp,#8 44 b bn_mul8x_mont_neon 45.align 4 46.Lialu: 47#endif 48 cmp ip,#2 49 mov r0,ip @ load num 50#ifdef __thumb2__ 51 ittt lt 52#endif 53 movlt r0,#0 54 addlt sp,sp,#2*4 55 blt .Labrt 56 57 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 58 59 mov r0,r0,lsl#2 @ rescale r0 for byte count 60 sub sp,sp,r0 @ alloca(4*num) 61 sub sp,sp,#4 @ +extra dword 62 sub r0,r0,#4 @ "num=num-1" 63 add r4,r2,r0 @ &bp[num-1] 64 65 add r0,sp,r0 @ r0 to point at &tp[num-1] 66 ldr r8,[r0,#14*4] @ &n0 67 ldr r2,[r2] @ bp[0] 68 ldr r5,[r1],#4 @ ap[0],ap++ 69 ldr r6,[r3],#4 @ np[0],np++ 70 ldr r8,[r8] @ *n0 71 str r4,[r0,#15*4] @ save &bp[num] 72 73 umull r10,r11,r5,r2 @ ap[0]*bp[0] 74 str r8,[r0,#14*4] @ save n0 value 75 mul r8,r10,r8 @ "tp[0]"*n0 76 mov r12,#0 77 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 78 mov r4,sp 79 80.L1st: 81 ldr r5,[r1],#4 @ ap[j],ap++ 82 mov r10,r11 83 ldr r6,[r3],#4 @ np[j],np++ 84 mov r11,#0 85 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 86 mov r14,#0 87 umlal r12,r14,r6,r8 @ np[j]*n0 88 adds r12,r12,r10 89 str r12,[r4],#4 @ tp[j-1]=,tp++ 90 adc r12,r14,#0 91 cmp r4,r0 92 bne .L1st 93 94 adds r12,r12,r11 95 ldr r4,[r0,#13*4] @ restore bp 96 mov r14,#0 97 ldr r8,[r0,#14*4] @ restore n0 98 adc r14,r14,#0 99 str r12,[r0] @ tp[num-1]= 100 mov r7,sp 101 str r14,[r0,#4] @ tp[num]= 102 103.Louter: 104 sub r7,r0,r7 @ "original" r0-1 value 105 sub r1,r1,r7 @ "rewind" ap to &ap[1] 106 ldr r2,[r4,#4]! @ *(++bp) 107 sub r3,r3,r7 @ "rewind" np to &np[1] 108 ldr r5,[r1,#-4] @ ap[0] 109 ldr r10,[sp] @ tp[0] 110 ldr r6,[r3,#-4] @ np[0] 111 ldr r7,[sp,#4] @ tp[1] 112 113 mov r11,#0 114 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 115 str r4,[r0,#13*4] @ save bp 116 mul r8,r10,r8 117 mov r12,#0 118 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 119 mov r4,sp 120 121.Linner: 122 ldr r5,[r1],#4 @ ap[j],ap++ 123 adds r10,r11,r7 @ +=tp[j] 124 ldr r6,[r3],#4 @ np[j],np++ 125 mov r11,#0 126 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 127 mov r14,#0 128 umlal r12,r14,r6,r8 @ np[j]*n0 129 adc r11,r11,#0 130 ldr r7,[r4,#8] @ tp[j+1] 131 adds r12,r12,r10 132 str r12,[r4],#4 @ tp[j-1]=,tp++ 133 adc r12,r14,#0 134 cmp r4,r0 135 bne .Linner 136 137 adds r12,r12,r11 138 mov r14,#0 139 ldr r4,[r0,#13*4] @ restore bp 140 adc r14,r14,#0 141 ldr r8,[r0,#14*4] @ restore n0 142 adds r12,r12,r7 143 ldr r7,[r0,#15*4] @ restore &bp[num] 144 adc r14,r14,#0 145 str r12,[r0] @ tp[num-1]= 146 str r14,[r0,#4] @ tp[num]= 147 148 cmp r4,r7 149#ifdef __thumb2__ 150 itt ne 151#endif 152 movne r7,sp 153 bne .Louter 154 155 ldr r2,[r0,#12*4] @ pull rp 156 mov r5,sp 157 add r0,r0,#4 @ r0 to point at &tp[num] 158 sub r5,r0,r5 @ "original" num value 159 mov r4,sp @ "rewind" r4 160 mov r1,r4 @ "borrow" r1 161 sub r3,r3,r5 @ "rewind" r3 to &np[0] 162 163 subs r7,r7,r7 @ "clear" carry flag 164.Lsub: ldr r7,[r4],#4 165 ldr r6,[r3],#4 166 sbcs r7,r7,r6 @ tp[j]-np[j] 167 str r7,[r2],#4 @ rp[j]= 168 teq r4,r0 @ preserve carry 169 bne .Lsub 170 sbcs r14,r14,#0 @ upmost carry 171 mov r4,sp @ "rewind" r4 172 sub r2,r2,r5 @ "rewind" r2 173 174 and r1,r4,r14 175 bic r3,r2,r14 176 orr r1,r1,r3 @ ap=borrow?tp:rp 177 178.Lcopy: ldr r7,[r1],#4 @ copy or in-place refresh 179 str sp,[r4],#4 @ zap tp 180 str r7,[r2],#4 181 cmp r4,r0 182 bne .Lcopy 183 184 mov sp,r0 185 add sp,sp,#4 @ skip over tp[num+1] 186 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 187 add sp,sp,#2*4 @ skip over {r0,r2} 188 mov r0,#1 189.Labrt: 190#if __ARM_ARCH__>=5 191 bx lr @ bx lr 192#else 193 tst lr,#1 194 moveq pc,lr @ be binary compatible with V4, yet 195.word 0xe12fff1e @ interoperable with Thumb ISA:-) 196#endif 197.size bn_mul_mont,.-bn_mul_mont 198#if __ARM_MAX_ARCH__>=7 199.arch armv7-a 200.fpu neon 201 202.type bn_mul8x_mont_neon,%function 203.align 5 204bn_mul8x_mont_neon: 205 mov ip,sp 206 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 207 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 208 ldmia ip,{r4,r5} @ load rest of parameter block 209 mov ip,sp 210 211 cmp r5,#8 212 bhi .LNEON_8n 213 214 @ special case for r5==8, everything is in register bank... 215 216 vld1.32 {d28[0]}, [r2,:32]! 217 veor d8,d8,d8 218 sub r7,sp,r5,lsl#4 219 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 220 and r7,r7,#-64 221 vld1.32 {d30[0]}, [r4,:32] 222 mov sp,r7 @ alloca 223 vzip.16 d28,d8 224 225 vmull.u32 q6,d28,d0[0] 226 vmull.u32 q7,d28,d0[1] 227 vmull.u32 q8,d28,d1[0] 228 vshl.i64 d29,d13,#16 229 vmull.u32 q9,d28,d1[1] 230 231 vadd.u64 d29,d29,d12 232 veor d8,d8,d8 233 vmul.u32 d29,d29,d30 234 235 vmull.u32 q10,d28,d2[0] 236 vld1.32 {d4,d5,d6,d7}, [r3]! 237 vmull.u32 q11,d28,d2[1] 238 vmull.u32 q12,d28,d3[0] 239 vzip.16 d29,d8 240 vmull.u32 q13,d28,d3[1] 241 242 vmlal.u32 q6,d29,d4[0] 243 sub r9,r5,#1 244 vmlal.u32 q7,d29,d4[1] 245 vmlal.u32 q8,d29,d5[0] 246 vmlal.u32 q9,d29,d5[1] 247 248 vmlal.u32 q10,d29,d6[0] 249 vmov q5,q6 250 vmlal.u32 q11,d29,d6[1] 251 vmov q6,q7 252 vmlal.u32 q12,d29,d7[0] 253 vmov q7,q8 254 vmlal.u32 q13,d29,d7[1] 255 vmov q8,q9 256 vmov q9,q10 257 vshr.u64 d10,d10,#16 258 vmov q10,q11 259 vmov q11,q12 260 vadd.u64 d10,d10,d11 261 vmov q12,q13 262 veor q13,q13 263 vshr.u64 d10,d10,#16 264 265 b .LNEON_outer8 266 267.align 4 268.LNEON_outer8: 269 vld1.32 {d28[0]}, [r2,:32]! 270 veor d8,d8,d8 271 vzip.16 d28,d8 272 vadd.u64 d12,d12,d10 273 274 vmlal.u32 q6,d28,d0[0] 275 vmlal.u32 q7,d28,d0[1] 276 vmlal.u32 q8,d28,d1[0] 277 vshl.i64 d29,d13,#16 278 vmlal.u32 q9,d28,d1[1] 279 280 vadd.u64 d29,d29,d12 281 veor d8,d8,d8 282 subs r9,r9,#1 283 vmul.u32 d29,d29,d30 284 285 vmlal.u32 q10,d28,d2[0] 286 vmlal.u32 q11,d28,d2[1] 287 vmlal.u32 q12,d28,d3[0] 288 vzip.16 d29,d8 289 vmlal.u32 q13,d28,d3[1] 290 291 vmlal.u32 q6,d29,d4[0] 292 vmlal.u32 q7,d29,d4[1] 293 vmlal.u32 q8,d29,d5[0] 294 vmlal.u32 q9,d29,d5[1] 295 296 vmlal.u32 q10,d29,d6[0] 297 vmov q5,q6 298 vmlal.u32 q11,d29,d6[1] 299 vmov q6,q7 300 vmlal.u32 q12,d29,d7[0] 301 vmov q7,q8 302 vmlal.u32 q13,d29,d7[1] 303 vmov q8,q9 304 vmov q9,q10 305 vshr.u64 d10,d10,#16 306 vmov q10,q11 307 vmov q11,q12 308 vadd.u64 d10,d10,d11 309 vmov q12,q13 310 veor q13,q13 311 vshr.u64 d10,d10,#16 312 313 bne .LNEON_outer8 314 315 vadd.u64 d12,d12,d10 316 mov r7,sp 317 vshr.u64 d10,d12,#16 318 mov r8,r5 319 vadd.u64 d13,d13,d10 320 add r6,sp,#96 321 vshr.u64 d10,d13,#16 322 vzip.16 d12,d13 323 324 b .LNEON_tail_entry 325 326.align 4 327.LNEON_8n: 328 veor q6,q6,q6 329 sub r7,sp,#128 330 veor q7,q7,q7 331 sub r7,r7,r5,lsl#4 332 veor q8,q8,q8 333 and r7,r7,#-64 334 veor q9,q9,q9 335 mov sp,r7 @ alloca 336 veor q10,q10,q10 337 add r7,r7,#256 338 veor q11,q11,q11 339 sub r8,r5,#8 340 veor q12,q12,q12 341 veor q13,q13,q13 342 343.LNEON_8n_init: 344 vst1.64 {q6,q7},[r7,:256]! 345 subs r8,r8,#8 346 vst1.64 {q8,q9},[r7,:256]! 347 vst1.64 {q10,q11},[r7,:256]! 348 vst1.64 {q12,q13},[r7,:256]! 349 bne .LNEON_8n_init 350 351 add r6,sp,#256 352 vld1.32 {d0,d1,d2,d3},[r1]! 353 add r10,sp,#8 354 vld1.32 {d30[0]},[r4,:32] 355 mov r9,r5 356 b .LNEON_8n_outer 357 358.align 4 359.LNEON_8n_outer: 360 vld1.32 {d28[0]},[r2,:32]! @ *b++ 361 veor d8,d8,d8 362 vzip.16 d28,d8 363 add r7,sp,#128 364 vld1.32 {d4,d5,d6,d7},[r3]! 365 366 vmlal.u32 q6,d28,d0[0] 367 vmlal.u32 q7,d28,d0[1] 368 veor d8,d8,d8 369 vmlal.u32 q8,d28,d1[0] 370 vshl.i64 d29,d13,#16 371 vmlal.u32 q9,d28,d1[1] 372 vadd.u64 d29,d29,d12 373 vmlal.u32 q10,d28,d2[0] 374 vmul.u32 d29,d29,d30 375 vmlal.u32 q11,d28,d2[1] 376 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 377 vmlal.u32 q12,d28,d3[0] 378 vzip.16 d29,d8 379 vmlal.u32 q13,d28,d3[1] 380 vld1.32 {d28[0]},[r2,:32]! @ *b++ 381 vmlal.u32 q6,d29,d4[0] 382 veor d10,d10,d10 383 vmlal.u32 q7,d29,d4[1] 384 vzip.16 d28,d10 385 vmlal.u32 q8,d29,d5[0] 386 vshr.u64 d12,d12,#16 387 vmlal.u32 q9,d29,d5[1] 388 vmlal.u32 q10,d29,d6[0] 389 vadd.u64 d12,d12,d13 390 vmlal.u32 q11,d29,d6[1] 391 vshr.u64 d12,d12,#16 392 vmlal.u32 q12,d29,d7[0] 393 vmlal.u32 q13,d29,d7[1] 394 vadd.u64 d14,d14,d12 395 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 396 vmlal.u32 q7,d28,d0[0] 397 vld1.64 {q6},[r6,:128]! 398 vmlal.u32 q8,d28,d0[1] 399 veor d8,d8,d8 400 vmlal.u32 q9,d28,d1[0] 401 vshl.i64 d29,d15,#16 402 vmlal.u32 q10,d28,d1[1] 403 vadd.u64 d29,d29,d14 404 vmlal.u32 q11,d28,d2[0] 405 vmul.u32 d29,d29,d30 406 vmlal.u32 q12,d28,d2[1] 407 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 408 vmlal.u32 q13,d28,d3[0] 409 vzip.16 d29,d8 410 vmlal.u32 q6,d28,d3[1] 411 vld1.32 {d28[0]},[r2,:32]! @ *b++ 412 vmlal.u32 q7,d29,d4[0] 413 veor d10,d10,d10 414 vmlal.u32 q8,d29,d4[1] 415 vzip.16 d28,d10 416 vmlal.u32 q9,d29,d5[0] 417 vshr.u64 d14,d14,#16 418 vmlal.u32 q10,d29,d5[1] 419 vmlal.u32 q11,d29,d6[0] 420 vadd.u64 d14,d14,d15 421 vmlal.u32 q12,d29,d6[1] 422 vshr.u64 d14,d14,#16 423 vmlal.u32 q13,d29,d7[0] 424 vmlal.u32 q6,d29,d7[1] 425 vadd.u64 d16,d16,d14 426 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 427 vmlal.u32 q8,d28,d0[0] 428 vld1.64 {q7},[r6,:128]! 429 vmlal.u32 q9,d28,d0[1] 430 veor d8,d8,d8 431 vmlal.u32 q10,d28,d1[0] 432 vshl.i64 d29,d17,#16 433 vmlal.u32 q11,d28,d1[1] 434 vadd.u64 d29,d29,d16 435 vmlal.u32 q12,d28,d2[0] 436 vmul.u32 d29,d29,d30 437 vmlal.u32 q13,d28,d2[1] 438 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 439 vmlal.u32 q6,d28,d3[0] 440 vzip.16 d29,d8 441 vmlal.u32 q7,d28,d3[1] 442 vld1.32 {d28[0]},[r2,:32]! @ *b++ 443 vmlal.u32 q8,d29,d4[0] 444 veor d10,d10,d10 445 vmlal.u32 q9,d29,d4[1] 446 vzip.16 d28,d10 447 vmlal.u32 q10,d29,d5[0] 448 vshr.u64 d16,d16,#16 449 vmlal.u32 q11,d29,d5[1] 450 vmlal.u32 q12,d29,d6[0] 451 vadd.u64 d16,d16,d17 452 vmlal.u32 q13,d29,d6[1] 453 vshr.u64 d16,d16,#16 454 vmlal.u32 q6,d29,d7[0] 455 vmlal.u32 q7,d29,d7[1] 456 vadd.u64 d18,d18,d16 457 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 458 vmlal.u32 q9,d28,d0[0] 459 vld1.64 {q8},[r6,:128]! 460 vmlal.u32 q10,d28,d0[1] 461 veor d8,d8,d8 462 vmlal.u32 q11,d28,d1[0] 463 vshl.i64 d29,d19,#16 464 vmlal.u32 q12,d28,d1[1] 465 vadd.u64 d29,d29,d18 466 vmlal.u32 q13,d28,d2[0] 467 vmul.u32 d29,d29,d30 468 vmlal.u32 q6,d28,d2[1] 469 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 470 vmlal.u32 q7,d28,d3[0] 471 vzip.16 d29,d8 472 vmlal.u32 q8,d28,d3[1] 473 vld1.32 {d28[0]},[r2,:32]! @ *b++ 474 vmlal.u32 q9,d29,d4[0] 475 veor d10,d10,d10 476 vmlal.u32 q10,d29,d4[1] 477 vzip.16 d28,d10 478 vmlal.u32 q11,d29,d5[0] 479 vshr.u64 d18,d18,#16 480 vmlal.u32 q12,d29,d5[1] 481 vmlal.u32 q13,d29,d6[0] 482 vadd.u64 d18,d18,d19 483 vmlal.u32 q6,d29,d6[1] 484 vshr.u64 d18,d18,#16 485 vmlal.u32 q7,d29,d7[0] 486 vmlal.u32 q8,d29,d7[1] 487 vadd.u64 d20,d20,d18 488 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 489 vmlal.u32 q10,d28,d0[0] 490 vld1.64 {q9},[r6,:128]! 491 vmlal.u32 q11,d28,d0[1] 492 veor d8,d8,d8 493 vmlal.u32 q12,d28,d1[0] 494 vshl.i64 d29,d21,#16 495 vmlal.u32 q13,d28,d1[1] 496 vadd.u64 d29,d29,d20 497 vmlal.u32 q6,d28,d2[0] 498 vmul.u32 d29,d29,d30 499 vmlal.u32 q7,d28,d2[1] 500 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 501 vmlal.u32 q8,d28,d3[0] 502 vzip.16 d29,d8 503 vmlal.u32 q9,d28,d3[1] 504 vld1.32 {d28[0]},[r2,:32]! @ *b++ 505 vmlal.u32 q10,d29,d4[0] 506 veor d10,d10,d10 507 vmlal.u32 q11,d29,d4[1] 508 vzip.16 d28,d10 509 vmlal.u32 q12,d29,d5[0] 510 vshr.u64 d20,d20,#16 511 vmlal.u32 q13,d29,d5[1] 512 vmlal.u32 q6,d29,d6[0] 513 vadd.u64 d20,d20,d21 514 vmlal.u32 q7,d29,d6[1] 515 vshr.u64 d20,d20,#16 516 vmlal.u32 q8,d29,d7[0] 517 vmlal.u32 q9,d29,d7[1] 518 vadd.u64 d22,d22,d20 519 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 520 vmlal.u32 q11,d28,d0[0] 521 vld1.64 {q10},[r6,:128]! 522 vmlal.u32 q12,d28,d0[1] 523 veor d8,d8,d8 524 vmlal.u32 q13,d28,d1[0] 525 vshl.i64 d29,d23,#16 526 vmlal.u32 q6,d28,d1[1] 527 vadd.u64 d29,d29,d22 528 vmlal.u32 q7,d28,d2[0] 529 vmul.u32 d29,d29,d30 530 vmlal.u32 q8,d28,d2[1] 531 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 532 vmlal.u32 q9,d28,d3[0] 533 vzip.16 d29,d8 534 vmlal.u32 q10,d28,d3[1] 535 vld1.32 {d28[0]},[r2,:32]! @ *b++ 536 vmlal.u32 q11,d29,d4[0] 537 veor d10,d10,d10 538 vmlal.u32 q12,d29,d4[1] 539 vzip.16 d28,d10 540 vmlal.u32 q13,d29,d5[0] 541 vshr.u64 d22,d22,#16 542 vmlal.u32 q6,d29,d5[1] 543 vmlal.u32 q7,d29,d6[0] 544 vadd.u64 d22,d22,d23 545 vmlal.u32 q8,d29,d6[1] 546 vshr.u64 d22,d22,#16 547 vmlal.u32 q9,d29,d7[0] 548 vmlal.u32 q10,d29,d7[1] 549 vadd.u64 d24,d24,d22 550 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 551 vmlal.u32 q12,d28,d0[0] 552 vld1.64 {q11},[r6,:128]! 553 vmlal.u32 q13,d28,d0[1] 554 veor d8,d8,d8 555 vmlal.u32 q6,d28,d1[0] 556 vshl.i64 d29,d25,#16 557 vmlal.u32 q7,d28,d1[1] 558 vadd.u64 d29,d29,d24 559 vmlal.u32 q8,d28,d2[0] 560 vmul.u32 d29,d29,d30 561 vmlal.u32 q9,d28,d2[1] 562 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 563 vmlal.u32 q10,d28,d3[0] 564 vzip.16 d29,d8 565 vmlal.u32 q11,d28,d3[1] 566 vld1.32 {d28[0]},[r2,:32]! @ *b++ 567 vmlal.u32 q12,d29,d4[0] 568 veor d10,d10,d10 569 vmlal.u32 q13,d29,d4[1] 570 vzip.16 d28,d10 571 vmlal.u32 q6,d29,d5[0] 572 vshr.u64 d24,d24,#16 573 vmlal.u32 q7,d29,d5[1] 574 vmlal.u32 q8,d29,d6[0] 575 vadd.u64 d24,d24,d25 576 vmlal.u32 q9,d29,d6[1] 577 vshr.u64 d24,d24,#16 578 vmlal.u32 q10,d29,d7[0] 579 vmlal.u32 q11,d29,d7[1] 580 vadd.u64 d26,d26,d24 581 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 582 vmlal.u32 q13,d28,d0[0] 583 vld1.64 {q12},[r6,:128]! 584 vmlal.u32 q6,d28,d0[1] 585 veor d8,d8,d8 586 vmlal.u32 q7,d28,d1[0] 587 vshl.i64 d29,d27,#16 588 vmlal.u32 q8,d28,d1[1] 589 vadd.u64 d29,d29,d26 590 vmlal.u32 q9,d28,d2[0] 591 vmul.u32 d29,d29,d30 592 vmlal.u32 q10,d28,d2[1] 593 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 594 vmlal.u32 q11,d28,d3[0] 595 vzip.16 d29,d8 596 vmlal.u32 q12,d28,d3[1] 597 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 598 vmlal.u32 q13,d29,d4[0] 599 vld1.32 {d0,d1,d2,d3},[r1]! 600 vmlal.u32 q6,d29,d4[1] 601 vmlal.u32 q7,d29,d5[0] 602 vshr.u64 d26,d26,#16 603 vmlal.u32 q8,d29,d5[1] 604 vmlal.u32 q9,d29,d6[0] 605 vadd.u64 d26,d26,d27 606 vmlal.u32 q10,d29,d6[1] 607 vshr.u64 d26,d26,#16 608 vmlal.u32 q11,d29,d7[0] 609 vmlal.u32 q12,d29,d7[1] 610 vadd.u64 d12,d12,d26 611 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 612 add r10,sp,#8 @ rewind 613 sub r8,r5,#8 614 b .LNEON_8n_inner 615 616.align 4 617.LNEON_8n_inner: 618 subs r8,r8,#8 619 vmlal.u32 q6,d28,d0[0] 620 vld1.64 {q13},[r6,:128] 621 vmlal.u32 q7,d28,d0[1] 622 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 623 vmlal.u32 q8,d28,d1[0] 624 vld1.32 {d4,d5,d6,d7},[r3]! 625 vmlal.u32 q9,d28,d1[1] 626 it ne 627 addne r6,r6,#16 @ don't advance in last iteration 628 vmlal.u32 q10,d28,d2[0] 629 vmlal.u32 q11,d28,d2[1] 630 vmlal.u32 q12,d28,d3[0] 631 vmlal.u32 q13,d28,d3[1] 632 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 633 vmlal.u32 q6,d29,d4[0] 634 vmlal.u32 q7,d29,d4[1] 635 vmlal.u32 q8,d29,d5[0] 636 vmlal.u32 q9,d29,d5[1] 637 vmlal.u32 q10,d29,d6[0] 638 vmlal.u32 q11,d29,d6[1] 639 vmlal.u32 q12,d29,d7[0] 640 vmlal.u32 q13,d29,d7[1] 641 vst1.64 {q6},[r7,:128]! 642 vmlal.u32 q7,d28,d0[0] 643 vld1.64 {q6},[r6,:128] 644 vmlal.u32 q8,d28,d0[1] 645 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 646 vmlal.u32 q9,d28,d1[0] 647 it ne 648 addne r6,r6,#16 @ don't advance in last iteration 649 vmlal.u32 q10,d28,d1[1] 650 vmlal.u32 q11,d28,d2[0] 651 vmlal.u32 q12,d28,d2[1] 652 vmlal.u32 q13,d28,d3[0] 653 vmlal.u32 q6,d28,d3[1] 654 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 655 vmlal.u32 q7,d29,d4[0] 656 vmlal.u32 q8,d29,d4[1] 657 vmlal.u32 q9,d29,d5[0] 658 vmlal.u32 q10,d29,d5[1] 659 vmlal.u32 q11,d29,d6[0] 660 vmlal.u32 q12,d29,d6[1] 661 vmlal.u32 q13,d29,d7[0] 662 vmlal.u32 q6,d29,d7[1] 663 vst1.64 {q7},[r7,:128]! 664 vmlal.u32 q8,d28,d0[0] 665 vld1.64 {q7},[r6,:128] 666 vmlal.u32 q9,d28,d0[1] 667 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 668 vmlal.u32 q10,d28,d1[0] 669 it ne 670 addne r6,r6,#16 @ don't advance in last iteration 671 vmlal.u32 q11,d28,d1[1] 672 vmlal.u32 q12,d28,d2[0] 673 vmlal.u32 q13,d28,d2[1] 674 vmlal.u32 q6,d28,d3[0] 675 vmlal.u32 q7,d28,d3[1] 676 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 677 vmlal.u32 q8,d29,d4[0] 678 vmlal.u32 q9,d29,d4[1] 679 vmlal.u32 q10,d29,d5[0] 680 vmlal.u32 q11,d29,d5[1] 681 vmlal.u32 q12,d29,d6[0] 682 vmlal.u32 q13,d29,d6[1] 683 vmlal.u32 q6,d29,d7[0] 684 vmlal.u32 q7,d29,d7[1] 685 vst1.64 {q8},[r7,:128]! 686 vmlal.u32 q9,d28,d0[0] 687 vld1.64 {q8},[r6,:128] 688 vmlal.u32 q10,d28,d0[1] 689 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 690 vmlal.u32 q11,d28,d1[0] 691 it ne 692 addne r6,r6,#16 @ don't advance in last iteration 693 vmlal.u32 q12,d28,d1[1] 694 vmlal.u32 q13,d28,d2[0] 695 vmlal.u32 q6,d28,d2[1] 696 vmlal.u32 q7,d28,d3[0] 697 vmlal.u32 q8,d28,d3[1] 698 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 699 vmlal.u32 q9,d29,d4[0] 700 vmlal.u32 q10,d29,d4[1] 701 vmlal.u32 q11,d29,d5[0] 702 vmlal.u32 q12,d29,d5[1] 703 vmlal.u32 q13,d29,d6[0] 704 vmlal.u32 q6,d29,d6[1] 705 vmlal.u32 q7,d29,d7[0] 706 vmlal.u32 q8,d29,d7[1] 707 vst1.64 {q9},[r7,:128]! 708 vmlal.u32 q10,d28,d0[0] 709 vld1.64 {q9},[r6,:128] 710 vmlal.u32 q11,d28,d0[1] 711 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 712 vmlal.u32 q12,d28,d1[0] 713 it ne 714 addne r6,r6,#16 @ don't advance in last iteration 715 vmlal.u32 q13,d28,d1[1] 716 vmlal.u32 q6,d28,d2[0] 717 vmlal.u32 q7,d28,d2[1] 718 vmlal.u32 q8,d28,d3[0] 719 vmlal.u32 q9,d28,d3[1] 720 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 721 vmlal.u32 q10,d29,d4[0] 722 vmlal.u32 q11,d29,d4[1] 723 vmlal.u32 q12,d29,d5[0] 724 vmlal.u32 q13,d29,d5[1] 725 vmlal.u32 q6,d29,d6[0] 726 vmlal.u32 q7,d29,d6[1] 727 vmlal.u32 q8,d29,d7[0] 728 vmlal.u32 q9,d29,d7[1] 729 vst1.64 {q10},[r7,:128]! 730 vmlal.u32 q11,d28,d0[0] 731 vld1.64 {q10},[r6,:128] 732 vmlal.u32 q12,d28,d0[1] 733 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 734 vmlal.u32 q13,d28,d1[0] 735 it ne 736 addne r6,r6,#16 @ don't advance in last iteration 737 vmlal.u32 q6,d28,d1[1] 738 vmlal.u32 q7,d28,d2[0] 739 vmlal.u32 q8,d28,d2[1] 740 vmlal.u32 q9,d28,d3[0] 741 vmlal.u32 q10,d28,d3[1] 742 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 743 vmlal.u32 q11,d29,d4[0] 744 vmlal.u32 q12,d29,d4[1] 745 vmlal.u32 q13,d29,d5[0] 746 vmlal.u32 q6,d29,d5[1] 747 vmlal.u32 q7,d29,d6[0] 748 vmlal.u32 q8,d29,d6[1] 749 vmlal.u32 q9,d29,d7[0] 750 vmlal.u32 q10,d29,d7[1] 751 vst1.64 {q11},[r7,:128]! 752 vmlal.u32 q12,d28,d0[0] 753 vld1.64 {q11},[r6,:128] 754 vmlal.u32 q13,d28,d0[1] 755 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 756 vmlal.u32 q6,d28,d1[0] 757 it ne 758 addne r6,r6,#16 @ don't advance in last iteration 759 vmlal.u32 q7,d28,d1[1] 760 vmlal.u32 q8,d28,d2[0] 761 vmlal.u32 q9,d28,d2[1] 762 vmlal.u32 q10,d28,d3[0] 763 vmlal.u32 q11,d28,d3[1] 764 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 765 vmlal.u32 q12,d29,d4[0] 766 vmlal.u32 q13,d29,d4[1] 767 vmlal.u32 q6,d29,d5[0] 768 vmlal.u32 q7,d29,d5[1] 769 vmlal.u32 q8,d29,d6[0] 770 vmlal.u32 q9,d29,d6[1] 771 vmlal.u32 q10,d29,d7[0] 772 vmlal.u32 q11,d29,d7[1] 773 vst1.64 {q12},[r7,:128]! 774 vmlal.u32 q13,d28,d0[0] 775 vld1.64 {q12},[r6,:128] 776 vmlal.u32 q6,d28,d0[1] 777 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 778 vmlal.u32 q7,d28,d1[0] 779 it ne 780 addne r6,r6,#16 @ don't advance in last iteration 781 vmlal.u32 q8,d28,d1[1] 782 vmlal.u32 q9,d28,d2[0] 783 vmlal.u32 q10,d28,d2[1] 784 vmlal.u32 q11,d28,d3[0] 785 vmlal.u32 q12,d28,d3[1] 786 it eq 787 subeq r1,r1,r5,lsl#2 @ rewind 788 vmlal.u32 q13,d29,d4[0] 789 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 790 vmlal.u32 q6,d29,d4[1] 791 vld1.32 {d0,d1,d2,d3},[r1]! 792 vmlal.u32 q7,d29,d5[0] 793 add r10,sp,#8 @ rewind 794 vmlal.u32 q8,d29,d5[1] 795 vmlal.u32 q9,d29,d6[0] 796 vmlal.u32 q10,d29,d6[1] 797 vmlal.u32 q11,d29,d7[0] 798 vst1.64 {q13},[r7,:128]! 799 vmlal.u32 q12,d29,d7[1] 800 801 bne .LNEON_8n_inner 802 add r6,sp,#128 803 vst1.64 {q6,q7},[r7,:256]! 804 veor q2,q2,q2 @ d4-d5 805 vst1.64 {q8,q9},[r7,:256]! 806 veor q3,q3,q3 @ d6-d7 807 vst1.64 {q10,q11},[r7,:256]! 808 vst1.64 {q12},[r7,:128] 809 810 subs r9,r9,#8 811 vld1.64 {q6,q7},[r6,:256]! 812 vld1.64 {q8,q9},[r6,:256]! 813 vld1.64 {q10,q11},[r6,:256]! 814 vld1.64 {q12,q13},[r6,:256]! 815 816 itt ne 817 subne r3,r3,r5,lsl#2 @ rewind 818 bne .LNEON_8n_outer 819 820 add r7,sp,#128 821 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 822 vshr.u64 d10,d12,#16 823 vst1.64 {q2,q3},[sp,:256]! 824 vadd.u64 d13,d13,d10 825 vst1.64 {q2,q3}, [sp,:256]! 826 vshr.u64 d10,d13,#16 827 vst1.64 {q2,q3}, [sp,:256]! 828 vzip.16 d12,d13 829 830 mov r8,r5 831 b .LNEON_tail_entry 832 833.align 4 834.LNEON_tail: 835 vadd.u64 d12,d12,d10 836 vshr.u64 d10,d12,#16 837 vld1.64 {q8,q9}, [r6, :256]! 838 vadd.u64 d13,d13,d10 839 vld1.64 {q10,q11}, [r6, :256]! 840 vshr.u64 d10,d13,#16 841 vld1.64 {q12,q13}, [r6, :256]! 842 vzip.16 d12,d13 843 844.LNEON_tail_entry: 845 vadd.u64 d14,d14,d10 846 vst1.32 {d12[0]}, [r7, :32]! 847 vshr.u64 d10,d14,#16 848 vadd.u64 d15,d15,d10 849 vshr.u64 d10,d15,#16 850 vzip.16 d14,d15 851 vadd.u64 d16,d16,d10 852 vst1.32 {d14[0]}, [r7, :32]! 853 vshr.u64 d10,d16,#16 854 vadd.u64 d17,d17,d10 855 vshr.u64 d10,d17,#16 856 vzip.16 d16,d17 857 vadd.u64 d18,d18,d10 858 vst1.32 {d16[0]}, [r7, :32]! 859 vshr.u64 d10,d18,#16 860 vadd.u64 d19,d19,d10 861 vshr.u64 d10,d19,#16 862 vzip.16 d18,d19 863 vadd.u64 d20,d20,d10 864 vst1.32 {d18[0]}, [r7, :32]! 865 vshr.u64 d10,d20,#16 866 vadd.u64 d21,d21,d10 867 vshr.u64 d10,d21,#16 868 vzip.16 d20,d21 869 vadd.u64 d22,d22,d10 870 vst1.32 {d20[0]}, [r7, :32]! 871 vshr.u64 d10,d22,#16 872 vadd.u64 d23,d23,d10 873 vshr.u64 d10,d23,#16 874 vzip.16 d22,d23 875 vadd.u64 d24,d24,d10 876 vst1.32 {d22[0]}, [r7, :32]! 877 vshr.u64 d10,d24,#16 878 vadd.u64 d25,d25,d10 879 vshr.u64 d10,d25,#16 880 vzip.16 d24,d25 881 vadd.u64 d26,d26,d10 882 vst1.32 {d24[0]}, [r7, :32]! 883 vshr.u64 d10,d26,#16 884 vadd.u64 d27,d27,d10 885 vshr.u64 d10,d27,#16 886 vzip.16 d26,d27 887 vld1.64 {q6,q7}, [r6, :256]! 888 subs r8,r8,#8 889 vst1.32 {d26[0]}, [r7, :32]! 890 bne .LNEON_tail 891 892 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 893 sub r3,r3,r5,lsl#2 @ rewind r3 894 subs r1,sp,#0 @ clear carry flag 895 add r2,sp,r5,lsl#2 896 897.LNEON_sub: 898 ldmia r1!, {r4,r5,r6,r7} 899 ldmia r3!, {r8,r9,r10,r11} 900 sbcs r8, r4,r8 901 sbcs r9, r5,r9 902 sbcs r10,r6,r10 903 sbcs r11,r7,r11 904 teq r1,r2 @ preserves carry 905 stmia r0!, {r8,r9,r10,r11} 906 bne .LNEON_sub 907 908 ldr r10, [r1] @ load top-most bit 909 mov r11,sp 910 veor q0,q0,q0 911 sub r11,r2,r11 @ this is num*4 912 veor q1,q1,q1 913 mov r1,sp 914 sub r0,r0,r11 @ rewind r0 915 mov r3,r2 @ second 3/4th of frame 916 sbcs r10,r10,#0 @ result is carry flag 917 918.LNEON_copy_n_zap: 919 ldmia r1!, {r4,r5,r6,r7} 920 ldmia r0, {r8,r9,r10,r11} 921 it cc 922 movcc r8, r4 923 vst1.64 {q0,q1}, [r3,:256]! @ wipe 924 itt cc 925 movcc r9, r5 926 movcc r10,r6 927 vst1.64 {q0,q1}, [r3,:256]! @ wipe 928 it cc 929 movcc r11,r7 930 ldmia r1, {r4,r5,r6,r7} 931 stmia r0!, {r8,r9,r10,r11} 932 sub r1,r1,#16 933 ldmia r0, {r8,r9,r10,r11} 934 it cc 935 movcc r8, r4 936 vst1.64 {q0,q1}, [r1,:256]! @ wipe 937 itt cc 938 movcc r9, r5 939 movcc r10,r6 940 vst1.64 {q0,q1}, [r3,:256]! @ wipe 941 it cc 942 movcc r11,r7 943 teq r1,r2 @ preserves carry 944 stmia r0!, {r8,r9,r10,r11} 945 bne .LNEON_copy_n_zap 946 947 mov sp,ip 948 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 949 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 950 bx lr @ bx lr 951.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 952#endif 953.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 954.align 2 955.align 2 956#if __ARM_MAX_ARCH__>=7 957.comm OPENSSL_armcap_P,4,4 958.hidden OPENSSL_armcap_P 959#endif 960#endif 961