1// This file is generated from a similarly-named Perl script in the BoringSSL 2// source tree. Do not edit by hand. 3 4#if !defined(__has_feature) 5#define __has_feature(x) 0 6#endif 7#if __has_feature(memory_sanitizer) && !defined(OPENSSL_NO_ASM) 8#define OPENSSL_NO_ASM 9#endif 10 11#if !defined(OPENSSL_NO_ASM) 12#if defined(__arm__) 13#if defined(BORINGSSL_PREFIX) 14#include <boringssl_prefix_symbols_asm.h> 15#endif 16#include <openssl/arm_arch.h> 17 18@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both 19@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. 20.arch armv7-a 21 22.text 23#if defined(__thumb2__) 24.syntax unified 25.thumb 26#else 27.code 32 28#endif 29 30#if __ARM_MAX_ARCH__>=7 31.align 5 32.LOPENSSL_armcap: 33.word OPENSSL_armcap_P-.Lbn_mul_mont 34#endif 35 36.globl bn_mul_mont 37.hidden bn_mul_mont 38.type bn_mul_mont,%function 39 40.align 5 41bn_mul_mont: 42.Lbn_mul_mont: 43 ldr ip,[sp,#4] @ load num 44 stmdb sp!,{r0,r2} @ sp points at argument block 45#if __ARM_MAX_ARCH__>=7 46 tst ip,#7 47 bne .Lialu 48 adr r0,.Lbn_mul_mont 49 ldr r2,.LOPENSSL_armcap 50 ldr r0,[r0,r2] 51#ifdef __APPLE__ 52 ldr r0,[r0] 53#endif 54 tst r0,#ARMV7_NEON @ NEON available? 55 ldmia sp, {r0,r2} 56 beq .Lialu 57 add sp,sp,#8 58 b bn_mul8x_mont_neon 59.align 4 60.Lialu: 61#endif 62 cmp ip,#2 63 mov r0,ip @ load num 64#ifdef __thumb2__ 65 ittt lt 66#endif 67 movlt r0,#0 68 addlt sp,sp,#2*4 69 blt .Labrt 70 71 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 72 73 mov r0,r0,lsl#2 @ rescale r0 for byte count 74 sub sp,sp,r0 @ alloca(4*num) 75 sub sp,sp,#4 @ +extra dword 76 sub r0,r0,#4 @ "num=num-1" 77 add r4,r2,r0 @ &bp[num-1] 78 79 add r0,sp,r0 @ r0 to point at &tp[num-1] 80 ldr r8,[r0,#14*4] @ &n0 81 ldr r2,[r2] @ bp[0] 82 ldr r5,[r1],#4 @ ap[0],ap++ 83 ldr r6,[r3],#4 @ np[0],np++ 84 ldr r8,[r8] @ *n0 85 str r4,[r0,#15*4] @ save &bp[num] 86 87 umull r10,r11,r5,r2 @ ap[0]*bp[0] 88 str r8,[r0,#14*4] @ save n0 value 89 mul r8,r10,r8 @ "tp[0]"*n0 90 mov r12,#0 91 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 92 mov r4,sp 93 94.L1st: 95 ldr r5,[r1],#4 @ ap[j],ap++ 96 mov r10,r11 97 ldr r6,[r3],#4 @ np[j],np++ 98 mov r11,#0 99 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 100 mov r14,#0 101 umlal r12,r14,r6,r8 @ np[j]*n0 102 adds r12,r12,r10 103 str r12,[r4],#4 @ tp[j-1]=,tp++ 104 adc r12,r14,#0 105 cmp r4,r0 106 bne .L1st 107 108 adds r12,r12,r11 109 ldr r4,[r0,#13*4] @ restore bp 110 mov r14,#0 111 ldr r8,[r0,#14*4] @ restore n0 112 adc r14,r14,#0 113 str r12,[r0] @ tp[num-1]= 114 mov r7,sp 115 str r14,[r0,#4] @ tp[num]= 116 117.Louter: 118 sub r7,r0,r7 @ "original" r0-1 value 119 sub r1,r1,r7 @ "rewind" ap to &ap[1] 120 ldr r2,[r4,#4]! @ *(++bp) 121 sub r3,r3,r7 @ "rewind" np to &np[1] 122 ldr r5,[r1,#-4] @ ap[0] 123 ldr r10,[sp] @ tp[0] 124 ldr r6,[r3,#-4] @ np[0] 125 ldr r7,[sp,#4] @ tp[1] 126 127 mov r11,#0 128 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 129 str r4,[r0,#13*4] @ save bp 130 mul r8,r10,r8 131 mov r12,#0 132 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 133 mov r4,sp 134 135.Linner: 136 ldr r5,[r1],#4 @ ap[j],ap++ 137 adds r10,r11,r7 @ +=tp[j] 138 ldr r6,[r3],#4 @ np[j],np++ 139 mov r11,#0 140 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 141 mov r14,#0 142 umlal r12,r14,r6,r8 @ np[j]*n0 143 adc r11,r11,#0 144 ldr r7,[r4,#8] @ tp[j+1] 145 adds r12,r12,r10 146 str r12,[r4],#4 @ tp[j-1]=,tp++ 147 adc r12,r14,#0 148 cmp r4,r0 149 bne .Linner 150 151 adds r12,r12,r11 152 mov r14,#0 153 ldr r4,[r0,#13*4] @ restore bp 154 adc r14,r14,#0 155 ldr r8,[r0,#14*4] @ restore n0 156 adds r12,r12,r7 157 ldr r7,[r0,#15*4] @ restore &bp[num] 158 adc r14,r14,#0 159 str r12,[r0] @ tp[num-1]= 160 str r14,[r0,#4] @ tp[num]= 161 162 cmp r4,r7 163#ifdef __thumb2__ 164 itt ne 165#endif 166 movne r7,sp 167 bne .Louter 168 169 ldr r2,[r0,#12*4] @ pull rp 170 mov r5,sp 171 add r0,r0,#4 @ r0 to point at &tp[num] 172 sub r5,r0,r5 @ "original" num value 173 mov r4,sp @ "rewind" r4 174 mov r1,r4 @ "borrow" r1 175 sub r3,r3,r5 @ "rewind" r3 to &np[0] 176 177 subs r7,r7,r7 @ "clear" carry flag 178.Lsub: ldr r7,[r4],#4 179 ldr r6,[r3],#4 180 sbcs r7,r7,r6 @ tp[j]-np[j] 181 str r7,[r2],#4 @ rp[j]= 182 teq r4,r0 @ preserve carry 183 bne .Lsub 184 sbcs r14,r14,#0 @ upmost carry 185 mov r4,sp @ "rewind" r4 186 sub r2,r2,r5 @ "rewind" r2 187 188.Lcopy: ldr r7,[r4] @ conditional copy 189 ldr r5,[r2] 190 str sp,[r4],#4 @ zap tp 191#ifdef __thumb2__ 192 it cc 193#endif 194 movcc r5,r7 195 str r5,[r2],#4 196 teq r4,r0 @ preserve carry 197 bne .Lcopy 198 199 mov sp,r0 200 add sp,sp,#4 @ skip over tp[num+1] 201 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 202 add sp,sp,#2*4 @ skip over {r0,r2} 203 mov r0,#1 204.Labrt: 205#if __ARM_ARCH__>=5 206 bx lr @ bx lr 207#else 208 tst lr,#1 209 moveq pc,lr @ be binary compatible with V4, yet 210.word 0xe12fff1e @ interoperable with Thumb ISA:-) 211#endif 212.size bn_mul_mont,.-bn_mul_mont 213#if __ARM_MAX_ARCH__>=7 214.arch armv7-a 215.fpu neon 216 217.type bn_mul8x_mont_neon,%function 218.align 5 219bn_mul8x_mont_neon: 220 mov ip,sp 221 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 222 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 223 ldmia ip,{r4,r5} @ load rest of parameter block 224 mov ip,sp 225 226 cmp r5,#8 227 bhi .LNEON_8n 228 229 @ special case for r5==8, everything is in register bank... 230 231 vld1.32 {d28[0]}, [r2,:32]! 232 veor d8,d8,d8 233 sub r7,sp,r5,lsl#4 234 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 235 and r7,r7,#-64 236 vld1.32 {d30[0]}, [r4,:32] 237 mov sp,r7 @ alloca 238 vzip.16 d28,d8 239 240 vmull.u32 q6,d28,d0[0] 241 vmull.u32 q7,d28,d0[1] 242 vmull.u32 q8,d28,d1[0] 243 vshl.i64 d29,d13,#16 244 vmull.u32 q9,d28,d1[1] 245 246 vadd.u64 d29,d29,d12 247 veor d8,d8,d8 248 vmul.u32 d29,d29,d30 249 250 vmull.u32 q10,d28,d2[0] 251 vld1.32 {d4,d5,d6,d7}, [r3]! 252 vmull.u32 q11,d28,d2[1] 253 vmull.u32 q12,d28,d3[0] 254 vzip.16 d29,d8 255 vmull.u32 q13,d28,d3[1] 256 257 vmlal.u32 q6,d29,d4[0] 258 sub r9,r5,#1 259 vmlal.u32 q7,d29,d4[1] 260 vmlal.u32 q8,d29,d5[0] 261 vmlal.u32 q9,d29,d5[1] 262 263 vmlal.u32 q10,d29,d6[0] 264 vmov q5,q6 265 vmlal.u32 q11,d29,d6[1] 266 vmov q6,q7 267 vmlal.u32 q12,d29,d7[0] 268 vmov q7,q8 269 vmlal.u32 q13,d29,d7[1] 270 vmov q8,q9 271 vmov q9,q10 272 vshr.u64 d10,d10,#16 273 vmov q10,q11 274 vmov q11,q12 275 vadd.u64 d10,d10,d11 276 vmov q12,q13 277 veor q13,q13 278 vshr.u64 d10,d10,#16 279 280 b .LNEON_outer8 281 282.align 4 283.LNEON_outer8: 284 vld1.32 {d28[0]}, [r2,:32]! 285 veor d8,d8,d8 286 vzip.16 d28,d8 287 vadd.u64 d12,d12,d10 288 289 vmlal.u32 q6,d28,d0[0] 290 vmlal.u32 q7,d28,d0[1] 291 vmlal.u32 q8,d28,d1[0] 292 vshl.i64 d29,d13,#16 293 vmlal.u32 q9,d28,d1[1] 294 295 vadd.u64 d29,d29,d12 296 veor d8,d8,d8 297 subs r9,r9,#1 298 vmul.u32 d29,d29,d30 299 300 vmlal.u32 q10,d28,d2[0] 301 vmlal.u32 q11,d28,d2[1] 302 vmlal.u32 q12,d28,d3[0] 303 vzip.16 d29,d8 304 vmlal.u32 q13,d28,d3[1] 305 306 vmlal.u32 q6,d29,d4[0] 307 vmlal.u32 q7,d29,d4[1] 308 vmlal.u32 q8,d29,d5[0] 309 vmlal.u32 q9,d29,d5[1] 310 311 vmlal.u32 q10,d29,d6[0] 312 vmov q5,q6 313 vmlal.u32 q11,d29,d6[1] 314 vmov q6,q7 315 vmlal.u32 q12,d29,d7[0] 316 vmov q7,q8 317 vmlal.u32 q13,d29,d7[1] 318 vmov q8,q9 319 vmov q9,q10 320 vshr.u64 d10,d10,#16 321 vmov q10,q11 322 vmov q11,q12 323 vadd.u64 d10,d10,d11 324 vmov q12,q13 325 veor q13,q13 326 vshr.u64 d10,d10,#16 327 328 bne .LNEON_outer8 329 330 vadd.u64 d12,d12,d10 331 mov r7,sp 332 vshr.u64 d10,d12,#16 333 mov r8,r5 334 vadd.u64 d13,d13,d10 335 add r6,sp,#96 336 vshr.u64 d10,d13,#16 337 vzip.16 d12,d13 338 339 b .LNEON_tail_entry 340 341.align 4 342.LNEON_8n: 343 veor q6,q6,q6 344 sub r7,sp,#128 345 veor q7,q7,q7 346 sub r7,r7,r5,lsl#4 347 veor q8,q8,q8 348 and r7,r7,#-64 349 veor q9,q9,q9 350 mov sp,r7 @ alloca 351 veor q10,q10,q10 352 add r7,r7,#256 353 veor q11,q11,q11 354 sub r8,r5,#8 355 veor q12,q12,q12 356 veor q13,q13,q13 357 358.LNEON_8n_init: 359 vst1.64 {q6,q7},[r7,:256]! 360 subs r8,r8,#8 361 vst1.64 {q8,q9},[r7,:256]! 362 vst1.64 {q10,q11},[r7,:256]! 363 vst1.64 {q12,q13},[r7,:256]! 364 bne .LNEON_8n_init 365 366 add r6,sp,#256 367 vld1.32 {d0,d1,d2,d3},[r1]! 368 add r10,sp,#8 369 vld1.32 {d30[0]},[r4,:32] 370 mov r9,r5 371 b .LNEON_8n_outer 372 373.align 4 374.LNEON_8n_outer: 375 vld1.32 {d28[0]},[r2,:32]! @ *b++ 376 veor d8,d8,d8 377 vzip.16 d28,d8 378 add r7,sp,#128 379 vld1.32 {d4,d5,d6,d7},[r3]! 380 381 vmlal.u32 q6,d28,d0[0] 382 vmlal.u32 q7,d28,d0[1] 383 veor d8,d8,d8 384 vmlal.u32 q8,d28,d1[0] 385 vshl.i64 d29,d13,#16 386 vmlal.u32 q9,d28,d1[1] 387 vadd.u64 d29,d29,d12 388 vmlal.u32 q10,d28,d2[0] 389 vmul.u32 d29,d29,d30 390 vmlal.u32 q11,d28,d2[1] 391 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 392 vmlal.u32 q12,d28,d3[0] 393 vzip.16 d29,d8 394 vmlal.u32 q13,d28,d3[1] 395 vld1.32 {d28[0]},[r2,:32]! @ *b++ 396 vmlal.u32 q6,d29,d4[0] 397 veor d10,d10,d10 398 vmlal.u32 q7,d29,d4[1] 399 vzip.16 d28,d10 400 vmlal.u32 q8,d29,d5[0] 401 vshr.u64 d12,d12,#16 402 vmlal.u32 q9,d29,d5[1] 403 vmlal.u32 q10,d29,d6[0] 404 vadd.u64 d12,d12,d13 405 vmlal.u32 q11,d29,d6[1] 406 vshr.u64 d12,d12,#16 407 vmlal.u32 q12,d29,d7[0] 408 vmlal.u32 q13,d29,d7[1] 409 vadd.u64 d14,d14,d12 410 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 411 vmlal.u32 q7,d28,d0[0] 412 vld1.64 {q6},[r6,:128]! 413 vmlal.u32 q8,d28,d0[1] 414 veor d8,d8,d8 415 vmlal.u32 q9,d28,d1[0] 416 vshl.i64 d29,d15,#16 417 vmlal.u32 q10,d28,d1[1] 418 vadd.u64 d29,d29,d14 419 vmlal.u32 q11,d28,d2[0] 420 vmul.u32 d29,d29,d30 421 vmlal.u32 q12,d28,d2[1] 422 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 423 vmlal.u32 q13,d28,d3[0] 424 vzip.16 d29,d8 425 vmlal.u32 q6,d28,d3[1] 426 vld1.32 {d28[0]},[r2,:32]! @ *b++ 427 vmlal.u32 q7,d29,d4[0] 428 veor d10,d10,d10 429 vmlal.u32 q8,d29,d4[1] 430 vzip.16 d28,d10 431 vmlal.u32 q9,d29,d5[0] 432 vshr.u64 d14,d14,#16 433 vmlal.u32 q10,d29,d5[1] 434 vmlal.u32 q11,d29,d6[0] 435 vadd.u64 d14,d14,d15 436 vmlal.u32 q12,d29,d6[1] 437 vshr.u64 d14,d14,#16 438 vmlal.u32 q13,d29,d7[0] 439 vmlal.u32 q6,d29,d7[1] 440 vadd.u64 d16,d16,d14 441 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 442 vmlal.u32 q8,d28,d0[0] 443 vld1.64 {q7},[r6,:128]! 444 vmlal.u32 q9,d28,d0[1] 445 veor d8,d8,d8 446 vmlal.u32 q10,d28,d1[0] 447 vshl.i64 d29,d17,#16 448 vmlal.u32 q11,d28,d1[1] 449 vadd.u64 d29,d29,d16 450 vmlal.u32 q12,d28,d2[0] 451 vmul.u32 d29,d29,d30 452 vmlal.u32 q13,d28,d2[1] 453 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 454 vmlal.u32 q6,d28,d3[0] 455 vzip.16 d29,d8 456 vmlal.u32 q7,d28,d3[1] 457 vld1.32 {d28[0]},[r2,:32]! @ *b++ 458 vmlal.u32 q8,d29,d4[0] 459 veor d10,d10,d10 460 vmlal.u32 q9,d29,d4[1] 461 vzip.16 d28,d10 462 vmlal.u32 q10,d29,d5[0] 463 vshr.u64 d16,d16,#16 464 vmlal.u32 q11,d29,d5[1] 465 vmlal.u32 q12,d29,d6[0] 466 vadd.u64 d16,d16,d17 467 vmlal.u32 q13,d29,d6[1] 468 vshr.u64 d16,d16,#16 469 vmlal.u32 q6,d29,d7[0] 470 vmlal.u32 q7,d29,d7[1] 471 vadd.u64 d18,d18,d16 472 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 473 vmlal.u32 q9,d28,d0[0] 474 vld1.64 {q8},[r6,:128]! 475 vmlal.u32 q10,d28,d0[1] 476 veor d8,d8,d8 477 vmlal.u32 q11,d28,d1[0] 478 vshl.i64 d29,d19,#16 479 vmlal.u32 q12,d28,d1[1] 480 vadd.u64 d29,d29,d18 481 vmlal.u32 q13,d28,d2[0] 482 vmul.u32 d29,d29,d30 483 vmlal.u32 q6,d28,d2[1] 484 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 485 vmlal.u32 q7,d28,d3[0] 486 vzip.16 d29,d8 487 vmlal.u32 q8,d28,d3[1] 488 vld1.32 {d28[0]},[r2,:32]! @ *b++ 489 vmlal.u32 q9,d29,d4[0] 490 veor d10,d10,d10 491 vmlal.u32 q10,d29,d4[1] 492 vzip.16 d28,d10 493 vmlal.u32 q11,d29,d5[0] 494 vshr.u64 d18,d18,#16 495 vmlal.u32 q12,d29,d5[1] 496 vmlal.u32 q13,d29,d6[0] 497 vadd.u64 d18,d18,d19 498 vmlal.u32 q6,d29,d6[1] 499 vshr.u64 d18,d18,#16 500 vmlal.u32 q7,d29,d7[0] 501 vmlal.u32 q8,d29,d7[1] 502 vadd.u64 d20,d20,d18 503 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 504 vmlal.u32 q10,d28,d0[0] 505 vld1.64 {q9},[r6,:128]! 506 vmlal.u32 q11,d28,d0[1] 507 veor d8,d8,d8 508 vmlal.u32 q12,d28,d1[0] 509 vshl.i64 d29,d21,#16 510 vmlal.u32 q13,d28,d1[1] 511 vadd.u64 d29,d29,d20 512 vmlal.u32 q6,d28,d2[0] 513 vmul.u32 d29,d29,d30 514 vmlal.u32 q7,d28,d2[1] 515 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 516 vmlal.u32 q8,d28,d3[0] 517 vzip.16 d29,d8 518 vmlal.u32 q9,d28,d3[1] 519 vld1.32 {d28[0]},[r2,:32]! @ *b++ 520 vmlal.u32 q10,d29,d4[0] 521 veor d10,d10,d10 522 vmlal.u32 q11,d29,d4[1] 523 vzip.16 d28,d10 524 vmlal.u32 q12,d29,d5[0] 525 vshr.u64 d20,d20,#16 526 vmlal.u32 q13,d29,d5[1] 527 vmlal.u32 q6,d29,d6[0] 528 vadd.u64 d20,d20,d21 529 vmlal.u32 q7,d29,d6[1] 530 vshr.u64 d20,d20,#16 531 vmlal.u32 q8,d29,d7[0] 532 vmlal.u32 q9,d29,d7[1] 533 vadd.u64 d22,d22,d20 534 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 535 vmlal.u32 q11,d28,d0[0] 536 vld1.64 {q10},[r6,:128]! 537 vmlal.u32 q12,d28,d0[1] 538 veor d8,d8,d8 539 vmlal.u32 q13,d28,d1[0] 540 vshl.i64 d29,d23,#16 541 vmlal.u32 q6,d28,d1[1] 542 vadd.u64 d29,d29,d22 543 vmlal.u32 q7,d28,d2[0] 544 vmul.u32 d29,d29,d30 545 vmlal.u32 q8,d28,d2[1] 546 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 547 vmlal.u32 q9,d28,d3[0] 548 vzip.16 d29,d8 549 vmlal.u32 q10,d28,d3[1] 550 vld1.32 {d28[0]},[r2,:32]! @ *b++ 551 vmlal.u32 q11,d29,d4[0] 552 veor d10,d10,d10 553 vmlal.u32 q12,d29,d4[1] 554 vzip.16 d28,d10 555 vmlal.u32 q13,d29,d5[0] 556 vshr.u64 d22,d22,#16 557 vmlal.u32 q6,d29,d5[1] 558 vmlal.u32 q7,d29,d6[0] 559 vadd.u64 d22,d22,d23 560 vmlal.u32 q8,d29,d6[1] 561 vshr.u64 d22,d22,#16 562 vmlal.u32 q9,d29,d7[0] 563 vmlal.u32 q10,d29,d7[1] 564 vadd.u64 d24,d24,d22 565 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 566 vmlal.u32 q12,d28,d0[0] 567 vld1.64 {q11},[r6,:128]! 568 vmlal.u32 q13,d28,d0[1] 569 veor d8,d8,d8 570 vmlal.u32 q6,d28,d1[0] 571 vshl.i64 d29,d25,#16 572 vmlal.u32 q7,d28,d1[1] 573 vadd.u64 d29,d29,d24 574 vmlal.u32 q8,d28,d2[0] 575 vmul.u32 d29,d29,d30 576 vmlal.u32 q9,d28,d2[1] 577 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 578 vmlal.u32 q10,d28,d3[0] 579 vzip.16 d29,d8 580 vmlal.u32 q11,d28,d3[1] 581 vld1.32 {d28[0]},[r2,:32]! @ *b++ 582 vmlal.u32 q12,d29,d4[0] 583 veor d10,d10,d10 584 vmlal.u32 q13,d29,d4[1] 585 vzip.16 d28,d10 586 vmlal.u32 q6,d29,d5[0] 587 vshr.u64 d24,d24,#16 588 vmlal.u32 q7,d29,d5[1] 589 vmlal.u32 q8,d29,d6[0] 590 vadd.u64 d24,d24,d25 591 vmlal.u32 q9,d29,d6[1] 592 vshr.u64 d24,d24,#16 593 vmlal.u32 q10,d29,d7[0] 594 vmlal.u32 q11,d29,d7[1] 595 vadd.u64 d26,d26,d24 596 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 597 vmlal.u32 q13,d28,d0[0] 598 vld1.64 {q12},[r6,:128]! 599 vmlal.u32 q6,d28,d0[1] 600 veor d8,d8,d8 601 vmlal.u32 q7,d28,d1[0] 602 vshl.i64 d29,d27,#16 603 vmlal.u32 q8,d28,d1[1] 604 vadd.u64 d29,d29,d26 605 vmlal.u32 q9,d28,d2[0] 606 vmul.u32 d29,d29,d30 607 vmlal.u32 q10,d28,d2[1] 608 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 609 vmlal.u32 q11,d28,d3[0] 610 vzip.16 d29,d8 611 vmlal.u32 q12,d28,d3[1] 612 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 613 vmlal.u32 q13,d29,d4[0] 614 vld1.32 {d0,d1,d2,d3},[r1]! 615 vmlal.u32 q6,d29,d4[1] 616 vmlal.u32 q7,d29,d5[0] 617 vshr.u64 d26,d26,#16 618 vmlal.u32 q8,d29,d5[1] 619 vmlal.u32 q9,d29,d6[0] 620 vadd.u64 d26,d26,d27 621 vmlal.u32 q10,d29,d6[1] 622 vshr.u64 d26,d26,#16 623 vmlal.u32 q11,d29,d7[0] 624 vmlal.u32 q12,d29,d7[1] 625 vadd.u64 d12,d12,d26 626 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 627 add r10,sp,#8 @ rewind 628 sub r8,r5,#8 629 b .LNEON_8n_inner 630 631.align 4 632.LNEON_8n_inner: 633 subs r8,r8,#8 634 vmlal.u32 q6,d28,d0[0] 635 vld1.64 {q13},[r6,:128] 636 vmlal.u32 q7,d28,d0[1] 637 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 638 vmlal.u32 q8,d28,d1[0] 639 vld1.32 {d4,d5,d6,d7},[r3]! 640 vmlal.u32 q9,d28,d1[1] 641 it ne 642 addne r6,r6,#16 @ don't advance in last iteration 643 vmlal.u32 q10,d28,d2[0] 644 vmlal.u32 q11,d28,d2[1] 645 vmlal.u32 q12,d28,d3[0] 646 vmlal.u32 q13,d28,d3[1] 647 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 648 vmlal.u32 q6,d29,d4[0] 649 vmlal.u32 q7,d29,d4[1] 650 vmlal.u32 q8,d29,d5[0] 651 vmlal.u32 q9,d29,d5[1] 652 vmlal.u32 q10,d29,d6[0] 653 vmlal.u32 q11,d29,d6[1] 654 vmlal.u32 q12,d29,d7[0] 655 vmlal.u32 q13,d29,d7[1] 656 vst1.64 {q6},[r7,:128]! 657 vmlal.u32 q7,d28,d0[0] 658 vld1.64 {q6},[r6,:128] 659 vmlal.u32 q8,d28,d0[1] 660 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 661 vmlal.u32 q9,d28,d1[0] 662 it ne 663 addne r6,r6,#16 @ don't advance in last iteration 664 vmlal.u32 q10,d28,d1[1] 665 vmlal.u32 q11,d28,d2[0] 666 vmlal.u32 q12,d28,d2[1] 667 vmlal.u32 q13,d28,d3[0] 668 vmlal.u32 q6,d28,d3[1] 669 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 670 vmlal.u32 q7,d29,d4[0] 671 vmlal.u32 q8,d29,d4[1] 672 vmlal.u32 q9,d29,d5[0] 673 vmlal.u32 q10,d29,d5[1] 674 vmlal.u32 q11,d29,d6[0] 675 vmlal.u32 q12,d29,d6[1] 676 vmlal.u32 q13,d29,d7[0] 677 vmlal.u32 q6,d29,d7[1] 678 vst1.64 {q7},[r7,:128]! 679 vmlal.u32 q8,d28,d0[0] 680 vld1.64 {q7},[r6,:128] 681 vmlal.u32 q9,d28,d0[1] 682 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 683 vmlal.u32 q10,d28,d1[0] 684 it ne 685 addne r6,r6,#16 @ don't advance in last iteration 686 vmlal.u32 q11,d28,d1[1] 687 vmlal.u32 q12,d28,d2[0] 688 vmlal.u32 q13,d28,d2[1] 689 vmlal.u32 q6,d28,d3[0] 690 vmlal.u32 q7,d28,d3[1] 691 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 692 vmlal.u32 q8,d29,d4[0] 693 vmlal.u32 q9,d29,d4[1] 694 vmlal.u32 q10,d29,d5[0] 695 vmlal.u32 q11,d29,d5[1] 696 vmlal.u32 q12,d29,d6[0] 697 vmlal.u32 q13,d29,d6[1] 698 vmlal.u32 q6,d29,d7[0] 699 vmlal.u32 q7,d29,d7[1] 700 vst1.64 {q8},[r7,:128]! 701 vmlal.u32 q9,d28,d0[0] 702 vld1.64 {q8},[r6,:128] 703 vmlal.u32 q10,d28,d0[1] 704 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 705 vmlal.u32 q11,d28,d1[0] 706 it ne 707 addne r6,r6,#16 @ don't advance in last iteration 708 vmlal.u32 q12,d28,d1[1] 709 vmlal.u32 q13,d28,d2[0] 710 vmlal.u32 q6,d28,d2[1] 711 vmlal.u32 q7,d28,d3[0] 712 vmlal.u32 q8,d28,d3[1] 713 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 714 vmlal.u32 q9,d29,d4[0] 715 vmlal.u32 q10,d29,d4[1] 716 vmlal.u32 q11,d29,d5[0] 717 vmlal.u32 q12,d29,d5[1] 718 vmlal.u32 q13,d29,d6[0] 719 vmlal.u32 q6,d29,d6[1] 720 vmlal.u32 q7,d29,d7[0] 721 vmlal.u32 q8,d29,d7[1] 722 vst1.64 {q9},[r7,:128]! 723 vmlal.u32 q10,d28,d0[0] 724 vld1.64 {q9},[r6,:128] 725 vmlal.u32 q11,d28,d0[1] 726 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 727 vmlal.u32 q12,d28,d1[0] 728 it ne 729 addne r6,r6,#16 @ don't advance in last iteration 730 vmlal.u32 q13,d28,d1[1] 731 vmlal.u32 q6,d28,d2[0] 732 vmlal.u32 q7,d28,d2[1] 733 vmlal.u32 q8,d28,d3[0] 734 vmlal.u32 q9,d28,d3[1] 735 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 736 vmlal.u32 q10,d29,d4[0] 737 vmlal.u32 q11,d29,d4[1] 738 vmlal.u32 q12,d29,d5[0] 739 vmlal.u32 q13,d29,d5[1] 740 vmlal.u32 q6,d29,d6[0] 741 vmlal.u32 q7,d29,d6[1] 742 vmlal.u32 q8,d29,d7[0] 743 vmlal.u32 q9,d29,d7[1] 744 vst1.64 {q10},[r7,:128]! 745 vmlal.u32 q11,d28,d0[0] 746 vld1.64 {q10},[r6,:128] 747 vmlal.u32 q12,d28,d0[1] 748 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 749 vmlal.u32 q13,d28,d1[0] 750 it ne 751 addne r6,r6,#16 @ don't advance in last iteration 752 vmlal.u32 q6,d28,d1[1] 753 vmlal.u32 q7,d28,d2[0] 754 vmlal.u32 q8,d28,d2[1] 755 vmlal.u32 q9,d28,d3[0] 756 vmlal.u32 q10,d28,d3[1] 757 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 758 vmlal.u32 q11,d29,d4[0] 759 vmlal.u32 q12,d29,d4[1] 760 vmlal.u32 q13,d29,d5[0] 761 vmlal.u32 q6,d29,d5[1] 762 vmlal.u32 q7,d29,d6[0] 763 vmlal.u32 q8,d29,d6[1] 764 vmlal.u32 q9,d29,d7[0] 765 vmlal.u32 q10,d29,d7[1] 766 vst1.64 {q11},[r7,:128]! 767 vmlal.u32 q12,d28,d0[0] 768 vld1.64 {q11},[r6,:128] 769 vmlal.u32 q13,d28,d0[1] 770 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 771 vmlal.u32 q6,d28,d1[0] 772 it ne 773 addne r6,r6,#16 @ don't advance in last iteration 774 vmlal.u32 q7,d28,d1[1] 775 vmlal.u32 q8,d28,d2[0] 776 vmlal.u32 q9,d28,d2[1] 777 vmlal.u32 q10,d28,d3[0] 778 vmlal.u32 q11,d28,d3[1] 779 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 780 vmlal.u32 q12,d29,d4[0] 781 vmlal.u32 q13,d29,d4[1] 782 vmlal.u32 q6,d29,d5[0] 783 vmlal.u32 q7,d29,d5[1] 784 vmlal.u32 q8,d29,d6[0] 785 vmlal.u32 q9,d29,d6[1] 786 vmlal.u32 q10,d29,d7[0] 787 vmlal.u32 q11,d29,d7[1] 788 vst1.64 {q12},[r7,:128]! 789 vmlal.u32 q13,d28,d0[0] 790 vld1.64 {q12},[r6,:128] 791 vmlal.u32 q6,d28,d0[1] 792 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 793 vmlal.u32 q7,d28,d1[0] 794 it ne 795 addne r6,r6,#16 @ don't advance in last iteration 796 vmlal.u32 q8,d28,d1[1] 797 vmlal.u32 q9,d28,d2[0] 798 vmlal.u32 q10,d28,d2[1] 799 vmlal.u32 q11,d28,d3[0] 800 vmlal.u32 q12,d28,d3[1] 801 it eq 802 subeq r1,r1,r5,lsl#2 @ rewind 803 vmlal.u32 q13,d29,d4[0] 804 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 805 vmlal.u32 q6,d29,d4[1] 806 vld1.32 {d0,d1,d2,d3},[r1]! 807 vmlal.u32 q7,d29,d5[0] 808 add r10,sp,#8 @ rewind 809 vmlal.u32 q8,d29,d5[1] 810 vmlal.u32 q9,d29,d6[0] 811 vmlal.u32 q10,d29,d6[1] 812 vmlal.u32 q11,d29,d7[0] 813 vst1.64 {q13},[r7,:128]! 814 vmlal.u32 q12,d29,d7[1] 815 816 bne .LNEON_8n_inner 817 add r6,sp,#128 818 vst1.64 {q6,q7},[r7,:256]! 819 veor q2,q2,q2 @ d4-d5 820 vst1.64 {q8,q9},[r7,:256]! 821 veor q3,q3,q3 @ d6-d7 822 vst1.64 {q10,q11},[r7,:256]! 823 vst1.64 {q12},[r7,:128] 824 825 subs r9,r9,#8 826 vld1.64 {q6,q7},[r6,:256]! 827 vld1.64 {q8,q9},[r6,:256]! 828 vld1.64 {q10,q11},[r6,:256]! 829 vld1.64 {q12,q13},[r6,:256]! 830 831 itt ne 832 subne r3,r3,r5,lsl#2 @ rewind 833 bne .LNEON_8n_outer 834 835 add r7,sp,#128 836 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 837 vshr.u64 d10,d12,#16 838 vst1.64 {q2,q3},[sp,:256]! 839 vadd.u64 d13,d13,d10 840 vst1.64 {q2,q3}, [sp,:256]! 841 vshr.u64 d10,d13,#16 842 vst1.64 {q2,q3}, [sp,:256]! 843 vzip.16 d12,d13 844 845 mov r8,r5 846 b .LNEON_tail_entry 847 848.align 4 849.LNEON_tail: 850 vadd.u64 d12,d12,d10 851 vshr.u64 d10,d12,#16 852 vld1.64 {q8,q9}, [r6, :256]! 853 vadd.u64 d13,d13,d10 854 vld1.64 {q10,q11}, [r6, :256]! 855 vshr.u64 d10,d13,#16 856 vld1.64 {q12,q13}, [r6, :256]! 857 vzip.16 d12,d13 858 859.LNEON_tail_entry: 860 vadd.u64 d14,d14,d10 861 vst1.32 {d12[0]}, [r7, :32]! 862 vshr.u64 d10,d14,#16 863 vadd.u64 d15,d15,d10 864 vshr.u64 d10,d15,#16 865 vzip.16 d14,d15 866 vadd.u64 d16,d16,d10 867 vst1.32 {d14[0]}, [r7, :32]! 868 vshr.u64 d10,d16,#16 869 vadd.u64 d17,d17,d10 870 vshr.u64 d10,d17,#16 871 vzip.16 d16,d17 872 vadd.u64 d18,d18,d10 873 vst1.32 {d16[0]}, [r7, :32]! 874 vshr.u64 d10,d18,#16 875 vadd.u64 d19,d19,d10 876 vshr.u64 d10,d19,#16 877 vzip.16 d18,d19 878 vadd.u64 d20,d20,d10 879 vst1.32 {d18[0]}, [r7, :32]! 880 vshr.u64 d10,d20,#16 881 vadd.u64 d21,d21,d10 882 vshr.u64 d10,d21,#16 883 vzip.16 d20,d21 884 vadd.u64 d22,d22,d10 885 vst1.32 {d20[0]}, [r7, :32]! 886 vshr.u64 d10,d22,#16 887 vadd.u64 d23,d23,d10 888 vshr.u64 d10,d23,#16 889 vzip.16 d22,d23 890 vadd.u64 d24,d24,d10 891 vst1.32 {d22[0]}, [r7, :32]! 892 vshr.u64 d10,d24,#16 893 vadd.u64 d25,d25,d10 894 vshr.u64 d10,d25,#16 895 vzip.16 d24,d25 896 vadd.u64 d26,d26,d10 897 vst1.32 {d24[0]}, [r7, :32]! 898 vshr.u64 d10,d26,#16 899 vadd.u64 d27,d27,d10 900 vshr.u64 d10,d27,#16 901 vzip.16 d26,d27 902 vld1.64 {q6,q7}, [r6, :256]! 903 subs r8,r8,#8 904 vst1.32 {d26[0]}, [r7, :32]! 905 bne .LNEON_tail 906 907 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 908 sub r3,r3,r5,lsl#2 @ rewind r3 909 subs r1,sp,#0 @ clear carry flag 910 add r2,sp,r5,lsl#2 911 912.LNEON_sub: 913 ldmia r1!, {r4,r5,r6,r7} 914 ldmia r3!, {r8,r9,r10,r11} 915 sbcs r8, r4,r8 916 sbcs r9, r5,r9 917 sbcs r10,r6,r10 918 sbcs r11,r7,r11 919 teq r1,r2 @ preserves carry 920 stmia r0!, {r8,r9,r10,r11} 921 bne .LNEON_sub 922 923 ldr r10, [r1] @ load top-most bit 924 mov r11,sp 925 veor q0,q0,q0 926 sub r11,r2,r11 @ this is num*4 927 veor q1,q1,q1 928 mov r1,sp 929 sub r0,r0,r11 @ rewind r0 930 mov r3,r2 @ second 3/4th of frame 931 sbcs r10,r10,#0 @ result is carry flag 932 933.LNEON_copy_n_zap: 934 ldmia r1!, {r4,r5,r6,r7} 935 ldmia r0, {r8,r9,r10,r11} 936 it cc 937 movcc r8, r4 938 vst1.64 {q0,q1}, [r3,:256]! @ wipe 939 itt cc 940 movcc r9, r5 941 movcc r10,r6 942 vst1.64 {q0,q1}, [r3,:256]! @ wipe 943 it cc 944 movcc r11,r7 945 ldmia r1, {r4,r5,r6,r7} 946 stmia r0!, {r8,r9,r10,r11} 947 sub r1,r1,#16 948 ldmia r0, {r8,r9,r10,r11} 949 it cc 950 movcc r8, r4 951 vst1.64 {q0,q1}, [r1,:256]! @ wipe 952 itt cc 953 movcc r9, r5 954 movcc r10,r6 955 vst1.64 {q0,q1}, [r3,:256]! @ wipe 956 it cc 957 movcc r11,r7 958 teq r1,r2 @ preserves carry 959 stmia r0!, {r8,r9,r10,r11} 960 bne .LNEON_copy_n_zap 961 962 mov sp,ip 963 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 964 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 965 bx lr @ bx lr 966.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 967#endif 968.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 969.align 2 970.align 2 971#if __ARM_MAX_ARCH__>=7 972.comm OPENSSL_armcap_P,4,4 973.hidden OPENSSL_armcap_P 974#endif 975#endif 976#endif // !OPENSSL_NO_ASM 977.section .note.GNU-stack,"",%progbits 978