1// This file is generated from a similarly-named Perl script in the BoringSSL 2// source tree. Do not edit by hand. 3 4#include <openssl/asm_base.h> 5 6#if !defined(OPENSSL_NO_ASM) && defined(OPENSSL_ARM) && defined(__ELF__) 7#include <openssl/arm_arch.h> 8 9@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both 10@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. 11.arch armv7-a 12 13.text 14#if defined(__thumb2__) 15.syntax unified 16.thumb 17#else 18.code 32 19#endif 20 21#if __ARM_MAX_ARCH__>=7 22.align 5 23.LOPENSSL_armcap: 24.word OPENSSL_armcap_P-.Lbn_mul_mont 25#endif 26 27.globl bn_mul_mont 28.hidden bn_mul_mont 29.type bn_mul_mont,%function 30 31.align 5 32bn_mul_mont: 33.Lbn_mul_mont: 34 ldr ip,[sp,#4] @ load num 35 stmdb sp!,{r0,r2} @ sp points at argument block 36#if __ARM_MAX_ARCH__>=7 37 tst ip,#7 38 bne .Lialu 39 adr r0,.Lbn_mul_mont 40 ldr r2,.LOPENSSL_armcap 41 ldr r0,[r0,r2] 42#ifdef __APPLE__ 43 ldr r0,[r0] 44#endif 45 tst r0,#ARMV7_NEON @ NEON available? 46 ldmia sp, {r0,r2} 47 beq .Lialu 48 add sp,sp,#8 49 b bn_mul8x_mont_neon 50.align 4 51.Lialu: 52#endif 53 cmp ip,#2 54 mov r0,ip @ load num 55#ifdef __thumb2__ 56 ittt lt 57#endif 58 movlt r0,#0 59 addlt sp,sp,#2*4 60 blt .Labrt 61 62 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 63 64 mov r0,r0,lsl#2 @ rescale r0 for byte count 65 sub sp,sp,r0 @ alloca(4*num) 66 sub sp,sp,#4 @ +extra dword 67 sub r0,r0,#4 @ "num=num-1" 68 add r4,r2,r0 @ &bp[num-1] 69 70 add r0,sp,r0 @ r0 to point at &tp[num-1] 71 ldr r8,[r0,#14*4] @ &n0 72 ldr r2,[r2] @ bp[0] 73 ldr r5,[r1],#4 @ ap[0],ap++ 74 ldr r6,[r3],#4 @ np[0],np++ 75 ldr r8,[r8] @ *n0 76 str r4,[r0,#15*4] @ save &bp[num] 77 78 umull r10,r11,r5,r2 @ ap[0]*bp[0] 79 str r8,[r0,#14*4] @ save n0 value 80 mul r8,r10,r8 @ "tp[0]"*n0 81 mov r12,#0 82 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 83 mov r4,sp 84 85.L1st: 86 ldr r5,[r1],#4 @ ap[j],ap++ 87 mov r10,r11 88 ldr r6,[r3],#4 @ np[j],np++ 89 mov r11,#0 90 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 91 mov r14,#0 92 umlal r12,r14,r6,r8 @ np[j]*n0 93 adds r12,r12,r10 94 str r12,[r4],#4 @ tp[j-1]=,tp++ 95 adc r12,r14,#0 96 cmp r4,r0 97 bne .L1st 98 99 adds r12,r12,r11 100 ldr r4,[r0,#13*4] @ restore bp 101 mov r14,#0 102 ldr r8,[r0,#14*4] @ restore n0 103 adc r14,r14,#0 104 str r12,[r0] @ tp[num-1]= 105 mov r7,sp 106 str r14,[r0,#4] @ tp[num]= 107 108.Louter: 109 sub r7,r0,r7 @ "original" r0-1 value 110 sub r1,r1,r7 @ "rewind" ap to &ap[1] 111 ldr r2,[r4,#4]! @ *(++bp) 112 sub r3,r3,r7 @ "rewind" np to &np[1] 113 ldr r5,[r1,#-4] @ ap[0] 114 ldr r10,[sp] @ tp[0] 115 ldr r6,[r3,#-4] @ np[0] 116 ldr r7,[sp,#4] @ tp[1] 117 118 mov r11,#0 119 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 120 str r4,[r0,#13*4] @ save bp 121 mul r8,r10,r8 122 mov r12,#0 123 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 124 mov r4,sp 125 126.Linner: 127 ldr r5,[r1],#4 @ ap[j],ap++ 128 adds r10,r11,r7 @ +=tp[j] 129 ldr r6,[r3],#4 @ np[j],np++ 130 mov r11,#0 131 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 132 mov r14,#0 133 umlal r12,r14,r6,r8 @ np[j]*n0 134 adc r11,r11,#0 135 ldr r7,[r4,#8] @ tp[j+1] 136 adds r12,r12,r10 137 str r12,[r4],#4 @ tp[j-1]=,tp++ 138 adc r12,r14,#0 139 cmp r4,r0 140 bne .Linner 141 142 adds r12,r12,r11 143 mov r14,#0 144 ldr r4,[r0,#13*4] @ restore bp 145 adc r14,r14,#0 146 ldr r8,[r0,#14*4] @ restore n0 147 adds r12,r12,r7 148 ldr r7,[r0,#15*4] @ restore &bp[num] 149 adc r14,r14,#0 150 str r12,[r0] @ tp[num-1]= 151 str r14,[r0,#4] @ tp[num]= 152 153 cmp r4,r7 154#ifdef __thumb2__ 155 itt ne 156#endif 157 movne r7,sp 158 bne .Louter 159 160 ldr r2,[r0,#12*4] @ pull rp 161 mov r5,sp 162 add r0,r0,#4 @ r0 to point at &tp[num] 163 sub r5,r0,r5 @ "original" num value 164 mov r4,sp @ "rewind" r4 165 mov r1,r4 @ "borrow" r1 166 sub r3,r3,r5 @ "rewind" r3 to &np[0] 167 168 subs r7,r7,r7 @ "clear" carry flag 169.Lsub: ldr r7,[r4],#4 170 ldr r6,[r3],#4 171 sbcs r7,r7,r6 @ tp[j]-np[j] 172 str r7,[r2],#4 @ rp[j]= 173 teq r4,r0 @ preserve carry 174 bne .Lsub 175 sbcs r14,r14,#0 @ upmost carry 176 mov r4,sp @ "rewind" r4 177 sub r2,r2,r5 @ "rewind" r2 178 179.Lcopy: ldr r7,[r4] @ conditional copy 180 ldr r5,[r2] 181 str sp,[r4],#4 @ zap tp 182#ifdef __thumb2__ 183 it cc 184#endif 185 movcc r5,r7 186 str r5,[r2],#4 187 teq r4,r0 @ preserve carry 188 bne .Lcopy 189 190 mov sp,r0 191 add sp,sp,#4 @ skip over tp[num+1] 192 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 193 add sp,sp,#2*4 @ skip over {r0,r2} 194 mov r0,#1 195.Labrt: 196#if __ARM_ARCH>=5 197 bx lr @ bx lr 198#else 199 tst lr,#1 200 moveq pc,lr @ be binary compatible with V4, yet 201.word 0xe12fff1e @ interoperable with Thumb ISA:-) 202#endif 203.size bn_mul_mont,.-bn_mul_mont 204#if __ARM_MAX_ARCH__>=7 205.arch armv7-a 206.fpu neon 207 208.type bn_mul8x_mont_neon,%function 209.align 5 210bn_mul8x_mont_neon: 211 mov ip,sp 212 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 213 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 214 ldmia ip,{r4,r5} @ load rest of parameter block 215 mov ip,sp 216 217 cmp r5,#8 218 bhi .LNEON_8n 219 220 @ special case for r5==8, everything is in register bank... 221 222 vld1.32 {d28[0]}, [r2,:32]! 223 veor d8,d8,d8 224 sub r7,sp,r5,lsl#4 225 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 226 and r7,r7,#-64 227 vld1.32 {d30[0]}, [r4,:32] 228 mov sp,r7 @ alloca 229 vzip.16 d28,d8 230 231 vmull.u32 q6,d28,d0[0] 232 vmull.u32 q7,d28,d0[1] 233 vmull.u32 q8,d28,d1[0] 234 vshl.i64 d29,d13,#16 235 vmull.u32 q9,d28,d1[1] 236 237 vadd.u64 d29,d29,d12 238 veor d8,d8,d8 239 vmul.u32 d29,d29,d30 240 241 vmull.u32 q10,d28,d2[0] 242 vld1.32 {d4,d5,d6,d7}, [r3]! 243 vmull.u32 q11,d28,d2[1] 244 vmull.u32 q12,d28,d3[0] 245 vzip.16 d29,d8 246 vmull.u32 q13,d28,d3[1] 247 248 vmlal.u32 q6,d29,d4[0] 249 sub r9,r5,#1 250 vmlal.u32 q7,d29,d4[1] 251 vmlal.u32 q8,d29,d5[0] 252 vmlal.u32 q9,d29,d5[1] 253 254 vmlal.u32 q10,d29,d6[0] 255 vmov q5,q6 256 vmlal.u32 q11,d29,d6[1] 257 vmov q6,q7 258 vmlal.u32 q12,d29,d7[0] 259 vmov q7,q8 260 vmlal.u32 q13,d29,d7[1] 261 vmov q8,q9 262 vmov q9,q10 263 vshr.u64 d10,d10,#16 264 vmov q10,q11 265 vmov q11,q12 266 vadd.u64 d10,d10,d11 267 vmov q12,q13 268 veor q13,q13 269 vshr.u64 d10,d10,#16 270 271 b .LNEON_outer8 272 273.align 4 274.LNEON_outer8: 275 vld1.32 {d28[0]}, [r2,:32]! 276 veor d8,d8,d8 277 vzip.16 d28,d8 278 vadd.u64 d12,d12,d10 279 280 vmlal.u32 q6,d28,d0[0] 281 vmlal.u32 q7,d28,d0[1] 282 vmlal.u32 q8,d28,d1[0] 283 vshl.i64 d29,d13,#16 284 vmlal.u32 q9,d28,d1[1] 285 286 vadd.u64 d29,d29,d12 287 veor d8,d8,d8 288 subs r9,r9,#1 289 vmul.u32 d29,d29,d30 290 291 vmlal.u32 q10,d28,d2[0] 292 vmlal.u32 q11,d28,d2[1] 293 vmlal.u32 q12,d28,d3[0] 294 vzip.16 d29,d8 295 vmlal.u32 q13,d28,d3[1] 296 297 vmlal.u32 q6,d29,d4[0] 298 vmlal.u32 q7,d29,d4[1] 299 vmlal.u32 q8,d29,d5[0] 300 vmlal.u32 q9,d29,d5[1] 301 302 vmlal.u32 q10,d29,d6[0] 303 vmov q5,q6 304 vmlal.u32 q11,d29,d6[1] 305 vmov q6,q7 306 vmlal.u32 q12,d29,d7[0] 307 vmov q7,q8 308 vmlal.u32 q13,d29,d7[1] 309 vmov q8,q9 310 vmov q9,q10 311 vshr.u64 d10,d10,#16 312 vmov q10,q11 313 vmov q11,q12 314 vadd.u64 d10,d10,d11 315 vmov q12,q13 316 veor q13,q13 317 vshr.u64 d10,d10,#16 318 319 bne .LNEON_outer8 320 321 vadd.u64 d12,d12,d10 322 mov r7,sp 323 vshr.u64 d10,d12,#16 324 mov r8,r5 325 vadd.u64 d13,d13,d10 326 add r6,sp,#96 327 vshr.u64 d10,d13,#16 328 vzip.16 d12,d13 329 330 b .LNEON_tail_entry 331 332.align 4 333.LNEON_8n: 334 veor q6,q6,q6 335 sub r7,sp,#128 336 veor q7,q7,q7 337 sub r7,r7,r5,lsl#4 338 veor q8,q8,q8 339 and r7,r7,#-64 340 veor q9,q9,q9 341 mov sp,r7 @ alloca 342 veor q10,q10,q10 343 add r7,r7,#256 344 veor q11,q11,q11 345 sub r8,r5,#8 346 veor q12,q12,q12 347 veor q13,q13,q13 348 349.LNEON_8n_init: 350 vst1.64 {q6,q7},[r7,:256]! 351 subs r8,r8,#8 352 vst1.64 {q8,q9},[r7,:256]! 353 vst1.64 {q10,q11},[r7,:256]! 354 vst1.64 {q12,q13},[r7,:256]! 355 bne .LNEON_8n_init 356 357 add r6,sp,#256 358 vld1.32 {d0,d1,d2,d3},[r1]! 359 add r10,sp,#8 360 vld1.32 {d30[0]},[r4,:32] 361 mov r9,r5 362 b .LNEON_8n_outer 363 364.align 4 365.LNEON_8n_outer: 366 vld1.32 {d28[0]},[r2,:32]! @ *b++ 367 veor d8,d8,d8 368 vzip.16 d28,d8 369 add r7,sp,#128 370 vld1.32 {d4,d5,d6,d7},[r3]! 371 372 vmlal.u32 q6,d28,d0[0] 373 vmlal.u32 q7,d28,d0[1] 374 veor d8,d8,d8 375 vmlal.u32 q8,d28,d1[0] 376 vshl.i64 d29,d13,#16 377 vmlal.u32 q9,d28,d1[1] 378 vadd.u64 d29,d29,d12 379 vmlal.u32 q10,d28,d2[0] 380 vmul.u32 d29,d29,d30 381 vmlal.u32 q11,d28,d2[1] 382 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 383 vmlal.u32 q12,d28,d3[0] 384 vzip.16 d29,d8 385 vmlal.u32 q13,d28,d3[1] 386 vld1.32 {d28[0]},[r2,:32]! @ *b++ 387 vmlal.u32 q6,d29,d4[0] 388 veor d10,d10,d10 389 vmlal.u32 q7,d29,d4[1] 390 vzip.16 d28,d10 391 vmlal.u32 q8,d29,d5[0] 392 vshr.u64 d12,d12,#16 393 vmlal.u32 q9,d29,d5[1] 394 vmlal.u32 q10,d29,d6[0] 395 vadd.u64 d12,d12,d13 396 vmlal.u32 q11,d29,d6[1] 397 vshr.u64 d12,d12,#16 398 vmlal.u32 q12,d29,d7[0] 399 vmlal.u32 q13,d29,d7[1] 400 vadd.u64 d14,d14,d12 401 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 402 vmlal.u32 q7,d28,d0[0] 403 vld1.64 {q6},[r6,:128]! 404 vmlal.u32 q8,d28,d0[1] 405 veor d8,d8,d8 406 vmlal.u32 q9,d28,d1[0] 407 vshl.i64 d29,d15,#16 408 vmlal.u32 q10,d28,d1[1] 409 vadd.u64 d29,d29,d14 410 vmlal.u32 q11,d28,d2[0] 411 vmul.u32 d29,d29,d30 412 vmlal.u32 q12,d28,d2[1] 413 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 414 vmlal.u32 q13,d28,d3[0] 415 vzip.16 d29,d8 416 vmlal.u32 q6,d28,d3[1] 417 vld1.32 {d28[0]},[r2,:32]! @ *b++ 418 vmlal.u32 q7,d29,d4[0] 419 veor d10,d10,d10 420 vmlal.u32 q8,d29,d4[1] 421 vzip.16 d28,d10 422 vmlal.u32 q9,d29,d5[0] 423 vshr.u64 d14,d14,#16 424 vmlal.u32 q10,d29,d5[1] 425 vmlal.u32 q11,d29,d6[0] 426 vadd.u64 d14,d14,d15 427 vmlal.u32 q12,d29,d6[1] 428 vshr.u64 d14,d14,#16 429 vmlal.u32 q13,d29,d7[0] 430 vmlal.u32 q6,d29,d7[1] 431 vadd.u64 d16,d16,d14 432 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 433 vmlal.u32 q8,d28,d0[0] 434 vld1.64 {q7},[r6,:128]! 435 vmlal.u32 q9,d28,d0[1] 436 veor d8,d8,d8 437 vmlal.u32 q10,d28,d1[0] 438 vshl.i64 d29,d17,#16 439 vmlal.u32 q11,d28,d1[1] 440 vadd.u64 d29,d29,d16 441 vmlal.u32 q12,d28,d2[0] 442 vmul.u32 d29,d29,d30 443 vmlal.u32 q13,d28,d2[1] 444 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 445 vmlal.u32 q6,d28,d3[0] 446 vzip.16 d29,d8 447 vmlal.u32 q7,d28,d3[1] 448 vld1.32 {d28[0]},[r2,:32]! @ *b++ 449 vmlal.u32 q8,d29,d4[0] 450 veor d10,d10,d10 451 vmlal.u32 q9,d29,d4[1] 452 vzip.16 d28,d10 453 vmlal.u32 q10,d29,d5[0] 454 vshr.u64 d16,d16,#16 455 vmlal.u32 q11,d29,d5[1] 456 vmlal.u32 q12,d29,d6[0] 457 vadd.u64 d16,d16,d17 458 vmlal.u32 q13,d29,d6[1] 459 vshr.u64 d16,d16,#16 460 vmlal.u32 q6,d29,d7[0] 461 vmlal.u32 q7,d29,d7[1] 462 vadd.u64 d18,d18,d16 463 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 464 vmlal.u32 q9,d28,d0[0] 465 vld1.64 {q8},[r6,:128]! 466 vmlal.u32 q10,d28,d0[1] 467 veor d8,d8,d8 468 vmlal.u32 q11,d28,d1[0] 469 vshl.i64 d29,d19,#16 470 vmlal.u32 q12,d28,d1[1] 471 vadd.u64 d29,d29,d18 472 vmlal.u32 q13,d28,d2[0] 473 vmul.u32 d29,d29,d30 474 vmlal.u32 q6,d28,d2[1] 475 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 476 vmlal.u32 q7,d28,d3[0] 477 vzip.16 d29,d8 478 vmlal.u32 q8,d28,d3[1] 479 vld1.32 {d28[0]},[r2,:32]! @ *b++ 480 vmlal.u32 q9,d29,d4[0] 481 veor d10,d10,d10 482 vmlal.u32 q10,d29,d4[1] 483 vzip.16 d28,d10 484 vmlal.u32 q11,d29,d5[0] 485 vshr.u64 d18,d18,#16 486 vmlal.u32 q12,d29,d5[1] 487 vmlal.u32 q13,d29,d6[0] 488 vadd.u64 d18,d18,d19 489 vmlal.u32 q6,d29,d6[1] 490 vshr.u64 d18,d18,#16 491 vmlal.u32 q7,d29,d7[0] 492 vmlal.u32 q8,d29,d7[1] 493 vadd.u64 d20,d20,d18 494 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 495 vmlal.u32 q10,d28,d0[0] 496 vld1.64 {q9},[r6,:128]! 497 vmlal.u32 q11,d28,d0[1] 498 veor d8,d8,d8 499 vmlal.u32 q12,d28,d1[0] 500 vshl.i64 d29,d21,#16 501 vmlal.u32 q13,d28,d1[1] 502 vadd.u64 d29,d29,d20 503 vmlal.u32 q6,d28,d2[0] 504 vmul.u32 d29,d29,d30 505 vmlal.u32 q7,d28,d2[1] 506 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 507 vmlal.u32 q8,d28,d3[0] 508 vzip.16 d29,d8 509 vmlal.u32 q9,d28,d3[1] 510 vld1.32 {d28[0]},[r2,:32]! @ *b++ 511 vmlal.u32 q10,d29,d4[0] 512 veor d10,d10,d10 513 vmlal.u32 q11,d29,d4[1] 514 vzip.16 d28,d10 515 vmlal.u32 q12,d29,d5[0] 516 vshr.u64 d20,d20,#16 517 vmlal.u32 q13,d29,d5[1] 518 vmlal.u32 q6,d29,d6[0] 519 vadd.u64 d20,d20,d21 520 vmlal.u32 q7,d29,d6[1] 521 vshr.u64 d20,d20,#16 522 vmlal.u32 q8,d29,d7[0] 523 vmlal.u32 q9,d29,d7[1] 524 vadd.u64 d22,d22,d20 525 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 526 vmlal.u32 q11,d28,d0[0] 527 vld1.64 {q10},[r6,:128]! 528 vmlal.u32 q12,d28,d0[1] 529 veor d8,d8,d8 530 vmlal.u32 q13,d28,d1[0] 531 vshl.i64 d29,d23,#16 532 vmlal.u32 q6,d28,d1[1] 533 vadd.u64 d29,d29,d22 534 vmlal.u32 q7,d28,d2[0] 535 vmul.u32 d29,d29,d30 536 vmlal.u32 q8,d28,d2[1] 537 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 538 vmlal.u32 q9,d28,d3[0] 539 vzip.16 d29,d8 540 vmlal.u32 q10,d28,d3[1] 541 vld1.32 {d28[0]},[r2,:32]! @ *b++ 542 vmlal.u32 q11,d29,d4[0] 543 veor d10,d10,d10 544 vmlal.u32 q12,d29,d4[1] 545 vzip.16 d28,d10 546 vmlal.u32 q13,d29,d5[0] 547 vshr.u64 d22,d22,#16 548 vmlal.u32 q6,d29,d5[1] 549 vmlal.u32 q7,d29,d6[0] 550 vadd.u64 d22,d22,d23 551 vmlal.u32 q8,d29,d6[1] 552 vshr.u64 d22,d22,#16 553 vmlal.u32 q9,d29,d7[0] 554 vmlal.u32 q10,d29,d7[1] 555 vadd.u64 d24,d24,d22 556 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 557 vmlal.u32 q12,d28,d0[0] 558 vld1.64 {q11},[r6,:128]! 559 vmlal.u32 q13,d28,d0[1] 560 veor d8,d8,d8 561 vmlal.u32 q6,d28,d1[0] 562 vshl.i64 d29,d25,#16 563 vmlal.u32 q7,d28,d1[1] 564 vadd.u64 d29,d29,d24 565 vmlal.u32 q8,d28,d2[0] 566 vmul.u32 d29,d29,d30 567 vmlal.u32 q9,d28,d2[1] 568 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 569 vmlal.u32 q10,d28,d3[0] 570 vzip.16 d29,d8 571 vmlal.u32 q11,d28,d3[1] 572 vld1.32 {d28[0]},[r2,:32]! @ *b++ 573 vmlal.u32 q12,d29,d4[0] 574 veor d10,d10,d10 575 vmlal.u32 q13,d29,d4[1] 576 vzip.16 d28,d10 577 vmlal.u32 q6,d29,d5[0] 578 vshr.u64 d24,d24,#16 579 vmlal.u32 q7,d29,d5[1] 580 vmlal.u32 q8,d29,d6[0] 581 vadd.u64 d24,d24,d25 582 vmlal.u32 q9,d29,d6[1] 583 vshr.u64 d24,d24,#16 584 vmlal.u32 q10,d29,d7[0] 585 vmlal.u32 q11,d29,d7[1] 586 vadd.u64 d26,d26,d24 587 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 588 vmlal.u32 q13,d28,d0[0] 589 vld1.64 {q12},[r6,:128]! 590 vmlal.u32 q6,d28,d0[1] 591 veor d8,d8,d8 592 vmlal.u32 q7,d28,d1[0] 593 vshl.i64 d29,d27,#16 594 vmlal.u32 q8,d28,d1[1] 595 vadd.u64 d29,d29,d26 596 vmlal.u32 q9,d28,d2[0] 597 vmul.u32 d29,d29,d30 598 vmlal.u32 q10,d28,d2[1] 599 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 600 vmlal.u32 q11,d28,d3[0] 601 vzip.16 d29,d8 602 vmlal.u32 q12,d28,d3[1] 603 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 604 vmlal.u32 q13,d29,d4[0] 605 vld1.32 {d0,d1,d2,d3},[r1]! 606 vmlal.u32 q6,d29,d4[1] 607 vmlal.u32 q7,d29,d5[0] 608 vshr.u64 d26,d26,#16 609 vmlal.u32 q8,d29,d5[1] 610 vmlal.u32 q9,d29,d6[0] 611 vadd.u64 d26,d26,d27 612 vmlal.u32 q10,d29,d6[1] 613 vshr.u64 d26,d26,#16 614 vmlal.u32 q11,d29,d7[0] 615 vmlal.u32 q12,d29,d7[1] 616 vadd.u64 d12,d12,d26 617 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 618 add r10,sp,#8 @ rewind 619 sub r8,r5,#8 620 b .LNEON_8n_inner 621 622.align 4 623.LNEON_8n_inner: 624 subs r8,r8,#8 625 vmlal.u32 q6,d28,d0[0] 626 vld1.64 {q13},[r6,:128] 627 vmlal.u32 q7,d28,d0[1] 628 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 629 vmlal.u32 q8,d28,d1[0] 630 vld1.32 {d4,d5,d6,d7},[r3]! 631 vmlal.u32 q9,d28,d1[1] 632 it ne 633 addne r6,r6,#16 @ don't advance in last iteration 634 vmlal.u32 q10,d28,d2[0] 635 vmlal.u32 q11,d28,d2[1] 636 vmlal.u32 q12,d28,d3[0] 637 vmlal.u32 q13,d28,d3[1] 638 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 639 vmlal.u32 q6,d29,d4[0] 640 vmlal.u32 q7,d29,d4[1] 641 vmlal.u32 q8,d29,d5[0] 642 vmlal.u32 q9,d29,d5[1] 643 vmlal.u32 q10,d29,d6[0] 644 vmlal.u32 q11,d29,d6[1] 645 vmlal.u32 q12,d29,d7[0] 646 vmlal.u32 q13,d29,d7[1] 647 vst1.64 {q6},[r7,:128]! 648 vmlal.u32 q7,d28,d0[0] 649 vld1.64 {q6},[r6,:128] 650 vmlal.u32 q8,d28,d0[1] 651 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 652 vmlal.u32 q9,d28,d1[0] 653 it ne 654 addne r6,r6,#16 @ don't advance in last iteration 655 vmlal.u32 q10,d28,d1[1] 656 vmlal.u32 q11,d28,d2[0] 657 vmlal.u32 q12,d28,d2[1] 658 vmlal.u32 q13,d28,d3[0] 659 vmlal.u32 q6,d28,d3[1] 660 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 661 vmlal.u32 q7,d29,d4[0] 662 vmlal.u32 q8,d29,d4[1] 663 vmlal.u32 q9,d29,d5[0] 664 vmlal.u32 q10,d29,d5[1] 665 vmlal.u32 q11,d29,d6[0] 666 vmlal.u32 q12,d29,d6[1] 667 vmlal.u32 q13,d29,d7[0] 668 vmlal.u32 q6,d29,d7[1] 669 vst1.64 {q7},[r7,:128]! 670 vmlal.u32 q8,d28,d0[0] 671 vld1.64 {q7},[r6,:128] 672 vmlal.u32 q9,d28,d0[1] 673 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 674 vmlal.u32 q10,d28,d1[0] 675 it ne 676 addne r6,r6,#16 @ don't advance in last iteration 677 vmlal.u32 q11,d28,d1[1] 678 vmlal.u32 q12,d28,d2[0] 679 vmlal.u32 q13,d28,d2[1] 680 vmlal.u32 q6,d28,d3[0] 681 vmlal.u32 q7,d28,d3[1] 682 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 683 vmlal.u32 q8,d29,d4[0] 684 vmlal.u32 q9,d29,d4[1] 685 vmlal.u32 q10,d29,d5[0] 686 vmlal.u32 q11,d29,d5[1] 687 vmlal.u32 q12,d29,d6[0] 688 vmlal.u32 q13,d29,d6[1] 689 vmlal.u32 q6,d29,d7[0] 690 vmlal.u32 q7,d29,d7[1] 691 vst1.64 {q8},[r7,:128]! 692 vmlal.u32 q9,d28,d0[0] 693 vld1.64 {q8},[r6,:128] 694 vmlal.u32 q10,d28,d0[1] 695 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 696 vmlal.u32 q11,d28,d1[0] 697 it ne 698 addne r6,r6,#16 @ don't advance in last iteration 699 vmlal.u32 q12,d28,d1[1] 700 vmlal.u32 q13,d28,d2[0] 701 vmlal.u32 q6,d28,d2[1] 702 vmlal.u32 q7,d28,d3[0] 703 vmlal.u32 q8,d28,d3[1] 704 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 705 vmlal.u32 q9,d29,d4[0] 706 vmlal.u32 q10,d29,d4[1] 707 vmlal.u32 q11,d29,d5[0] 708 vmlal.u32 q12,d29,d5[1] 709 vmlal.u32 q13,d29,d6[0] 710 vmlal.u32 q6,d29,d6[1] 711 vmlal.u32 q7,d29,d7[0] 712 vmlal.u32 q8,d29,d7[1] 713 vst1.64 {q9},[r7,:128]! 714 vmlal.u32 q10,d28,d0[0] 715 vld1.64 {q9},[r6,:128] 716 vmlal.u32 q11,d28,d0[1] 717 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 718 vmlal.u32 q12,d28,d1[0] 719 it ne 720 addne r6,r6,#16 @ don't advance in last iteration 721 vmlal.u32 q13,d28,d1[1] 722 vmlal.u32 q6,d28,d2[0] 723 vmlal.u32 q7,d28,d2[1] 724 vmlal.u32 q8,d28,d3[0] 725 vmlal.u32 q9,d28,d3[1] 726 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 727 vmlal.u32 q10,d29,d4[0] 728 vmlal.u32 q11,d29,d4[1] 729 vmlal.u32 q12,d29,d5[0] 730 vmlal.u32 q13,d29,d5[1] 731 vmlal.u32 q6,d29,d6[0] 732 vmlal.u32 q7,d29,d6[1] 733 vmlal.u32 q8,d29,d7[0] 734 vmlal.u32 q9,d29,d7[1] 735 vst1.64 {q10},[r7,:128]! 736 vmlal.u32 q11,d28,d0[0] 737 vld1.64 {q10},[r6,:128] 738 vmlal.u32 q12,d28,d0[1] 739 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 740 vmlal.u32 q13,d28,d1[0] 741 it ne 742 addne r6,r6,#16 @ don't advance in last iteration 743 vmlal.u32 q6,d28,d1[1] 744 vmlal.u32 q7,d28,d2[0] 745 vmlal.u32 q8,d28,d2[1] 746 vmlal.u32 q9,d28,d3[0] 747 vmlal.u32 q10,d28,d3[1] 748 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 749 vmlal.u32 q11,d29,d4[0] 750 vmlal.u32 q12,d29,d4[1] 751 vmlal.u32 q13,d29,d5[0] 752 vmlal.u32 q6,d29,d5[1] 753 vmlal.u32 q7,d29,d6[0] 754 vmlal.u32 q8,d29,d6[1] 755 vmlal.u32 q9,d29,d7[0] 756 vmlal.u32 q10,d29,d7[1] 757 vst1.64 {q11},[r7,:128]! 758 vmlal.u32 q12,d28,d0[0] 759 vld1.64 {q11},[r6,:128] 760 vmlal.u32 q13,d28,d0[1] 761 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 762 vmlal.u32 q6,d28,d1[0] 763 it ne 764 addne r6,r6,#16 @ don't advance in last iteration 765 vmlal.u32 q7,d28,d1[1] 766 vmlal.u32 q8,d28,d2[0] 767 vmlal.u32 q9,d28,d2[1] 768 vmlal.u32 q10,d28,d3[0] 769 vmlal.u32 q11,d28,d3[1] 770 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 771 vmlal.u32 q12,d29,d4[0] 772 vmlal.u32 q13,d29,d4[1] 773 vmlal.u32 q6,d29,d5[0] 774 vmlal.u32 q7,d29,d5[1] 775 vmlal.u32 q8,d29,d6[0] 776 vmlal.u32 q9,d29,d6[1] 777 vmlal.u32 q10,d29,d7[0] 778 vmlal.u32 q11,d29,d7[1] 779 vst1.64 {q12},[r7,:128]! 780 vmlal.u32 q13,d28,d0[0] 781 vld1.64 {q12},[r6,:128] 782 vmlal.u32 q6,d28,d0[1] 783 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 784 vmlal.u32 q7,d28,d1[0] 785 it ne 786 addne r6,r6,#16 @ don't advance in last iteration 787 vmlal.u32 q8,d28,d1[1] 788 vmlal.u32 q9,d28,d2[0] 789 vmlal.u32 q10,d28,d2[1] 790 vmlal.u32 q11,d28,d3[0] 791 vmlal.u32 q12,d28,d3[1] 792 it eq 793 subeq r1,r1,r5,lsl#2 @ rewind 794 vmlal.u32 q13,d29,d4[0] 795 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 796 vmlal.u32 q6,d29,d4[1] 797 vld1.32 {d0,d1,d2,d3},[r1]! 798 vmlal.u32 q7,d29,d5[0] 799 add r10,sp,#8 @ rewind 800 vmlal.u32 q8,d29,d5[1] 801 vmlal.u32 q9,d29,d6[0] 802 vmlal.u32 q10,d29,d6[1] 803 vmlal.u32 q11,d29,d7[0] 804 vst1.64 {q13},[r7,:128]! 805 vmlal.u32 q12,d29,d7[1] 806 807 bne .LNEON_8n_inner 808 add r6,sp,#128 809 vst1.64 {q6,q7},[r7,:256]! 810 veor q2,q2,q2 @ d4-d5 811 vst1.64 {q8,q9},[r7,:256]! 812 veor q3,q3,q3 @ d6-d7 813 vst1.64 {q10,q11},[r7,:256]! 814 vst1.64 {q12},[r7,:128] 815 816 subs r9,r9,#8 817 vld1.64 {q6,q7},[r6,:256]! 818 vld1.64 {q8,q9},[r6,:256]! 819 vld1.64 {q10,q11},[r6,:256]! 820 vld1.64 {q12,q13},[r6,:256]! 821 822 itt ne 823 subne r3,r3,r5,lsl#2 @ rewind 824 bne .LNEON_8n_outer 825 826 add r7,sp,#128 827 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 828 vshr.u64 d10,d12,#16 829 vst1.64 {q2,q3},[sp,:256]! 830 vadd.u64 d13,d13,d10 831 vst1.64 {q2,q3}, [sp,:256]! 832 vshr.u64 d10,d13,#16 833 vst1.64 {q2,q3}, [sp,:256]! 834 vzip.16 d12,d13 835 836 mov r8,r5 837 b .LNEON_tail_entry 838 839.align 4 840.LNEON_tail: 841 vadd.u64 d12,d12,d10 842 vshr.u64 d10,d12,#16 843 vld1.64 {q8,q9}, [r6, :256]! 844 vadd.u64 d13,d13,d10 845 vld1.64 {q10,q11}, [r6, :256]! 846 vshr.u64 d10,d13,#16 847 vld1.64 {q12,q13}, [r6, :256]! 848 vzip.16 d12,d13 849 850.LNEON_tail_entry: 851 vadd.u64 d14,d14,d10 852 vst1.32 {d12[0]}, [r7, :32]! 853 vshr.u64 d10,d14,#16 854 vadd.u64 d15,d15,d10 855 vshr.u64 d10,d15,#16 856 vzip.16 d14,d15 857 vadd.u64 d16,d16,d10 858 vst1.32 {d14[0]}, [r7, :32]! 859 vshr.u64 d10,d16,#16 860 vadd.u64 d17,d17,d10 861 vshr.u64 d10,d17,#16 862 vzip.16 d16,d17 863 vadd.u64 d18,d18,d10 864 vst1.32 {d16[0]}, [r7, :32]! 865 vshr.u64 d10,d18,#16 866 vadd.u64 d19,d19,d10 867 vshr.u64 d10,d19,#16 868 vzip.16 d18,d19 869 vadd.u64 d20,d20,d10 870 vst1.32 {d18[0]}, [r7, :32]! 871 vshr.u64 d10,d20,#16 872 vadd.u64 d21,d21,d10 873 vshr.u64 d10,d21,#16 874 vzip.16 d20,d21 875 vadd.u64 d22,d22,d10 876 vst1.32 {d20[0]}, [r7, :32]! 877 vshr.u64 d10,d22,#16 878 vadd.u64 d23,d23,d10 879 vshr.u64 d10,d23,#16 880 vzip.16 d22,d23 881 vadd.u64 d24,d24,d10 882 vst1.32 {d22[0]}, [r7, :32]! 883 vshr.u64 d10,d24,#16 884 vadd.u64 d25,d25,d10 885 vshr.u64 d10,d25,#16 886 vzip.16 d24,d25 887 vadd.u64 d26,d26,d10 888 vst1.32 {d24[0]}, [r7, :32]! 889 vshr.u64 d10,d26,#16 890 vadd.u64 d27,d27,d10 891 vshr.u64 d10,d27,#16 892 vzip.16 d26,d27 893 vld1.64 {q6,q7}, [r6, :256]! 894 subs r8,r8,#8 895 vst1.32 {d26[0]}, [r7, :32]! 896 bne .LNEON_tail 897 898 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 899 sub r3,r3,r5,lsl#2 @ rewind r3 900 subs r1,sp,#0 @ clear carry flag 901 add r2,sp,r5,lsl#2 902 903.LNEON_sub: 904 ldmia r1!, {r4,r5,r6,r7} 905 ldmia r3!, {r8,r9,r10,r11} 906 sbcs r8, r4,r8 907 sbcs r9, r5,r9 908 sbcs r10,r6,r10 909 sbcs r11,r7,r11 910 teq r1,r2 @ preserves carry 911 stmia r0!, {r8,r9,r10,r11} 912 bne .LNEON_sub 913 914 ldr r10, [r1] @ load top-most bit 915 mov r11,sp 916 veor q0,q0,q0 917 sub r11,r2,r11 @ this is num*4 918 veor q1,q1,q1 919 mov r1,sp 920 sub r0,r0,r11 @ rewind r0 921 mov r3,r2 @ second 3/4th of frame 922 sbcs r10,r10,#0 @ result is carry flag 923 924.LNEON_copy_n_zap: 925 ldmia r1!, {r4,r5,r6,r7} 926 ldmia r0, {r8,r9,r10,r11} 927 it cc 928 movcc r8, r4 929 vst1.64 {q0,q1}, [r3,:256]! @ wipe 930 itt cc 931 movcc r9, r5 932 movcc r10,r6 933 vst1.64 {q0,q1}, [r3,:256]! @ wipe 934 it cc 935 movcc r11,r7 936 ldmia r1, {r4,r5,r6,r7} 937 stmia r0!, {r8,r9,r10,r11} 938 sub r1,r1,#16 939 ldmia r0, {r8,r9,r10,r11} 940 it cc 941 movcc r8, r4 942 vst1.64 {q0,q1}, [r1,:256]! @ wipe 943 itt cc 944 movcc r9, r5 945 movcc r10,r6 946 vst1.64 {q0,q1}, [r3,:256]! @ wipe 947 it cc 948 movcc r11,r7 949 teq r1,r2 @ preserves carry 950 stmia r0!, {r8,r9,r10,r11} 951 bne .LNEON_copy_n_zap 952 953 mov sp,ip 954 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 955 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 956 bx lr @ bx lr 957.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 958#endif 959.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 960.align 2 961.align 2 962#if __ARM_MAX_ARCH__>=7 963.comm OPENSSL_armcap_P,4,4 964.hidden OPENSSL_armcap_P 965#endif 966#endif // !OPENSSL_NO_ASM && defined(OPENSSL_ARM) && defined(__ELF__) 967