1// This file is generated from a similarly-named Perl script in the BoringSSL 2// source tree. Do not edit by hand. 3 4#if defined(__has_feature) 5#if __has_feature(memory_sanitizer) && !defined(OPENSSL_NO_ASM) 6#define OPENSSL_NO_ASM 7#endif 8#endif 9 10#if !defined(OPENSSL_NO_ASM) 11#if defined(__arm__) 12#if defined(BORINGSSL_PREFIX) 13#include <boringssl_prefix_symbols_asm.h> 14#endif 15#include <openssl/arm_arch.h> 16 17@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both 18@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. 19.arch armv7-a 20 21.text 22#if defined(__thumb2__) 23.syntax unified 24.thumb 25#else 26.code 32 27#endif 28 29#if __ARM_MAX_ARCH__>=7 30.align 5 31.LOPENSSL_armcap: 32.word OPENSSL_armcap_P-.Lbn_mul_mont 33#endif 34 35.globl bn_mul_mont 36.hidden bn_mul_mont 37.type bn_mul_mont,%function 38 39.align 5 40bn_mul_mont: 41.Lbn_mul_mont: 42 ldr ip,[sp,#4] @ load num 43 stmdb sp!,{r0,r2} @ sp points at argument block 44#if __ARM_MAX_ARCH__>=7 45 tst ip,#7 46 bne .Lialu 47 adr r0,.Lbn_mul_mont 48 ldr r2,.LOPENSSL_armcap 49 ldr r0,[r0,r2] 50#ifdef __APPLE__ 51 ldr r0,[r0] 52#endif 53 tst r0,#ARMV7_NEON @ NEON available? 54 ldmia sp, {r0,r2} 55 beq .Lialu 56 add sp,sp,#8 57 b bn_mul8x_mont_neon 58.align 4 59.Lialu: 60#endif 61 cmp ip,#2 62 mov r0,ip @ load num 63#ifdef __thumb2__ 64 ittt lt 65#endif 66 movlt r0,#0 67 addlt sp,sp,#2*4 68 blt .Labrt 69 70 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 71 72 mov r0,r0,lsl#2 @ rescale r0 for byte count 73 sub sp,sp,r0 @ alloca(4*num) 74 sub sp,sp,#4 @ +extra dword 75 sub r0,r0,#4 @ "num=num-1" 76 add r4,r2,r0 @ &bp[num-1] 77 78 add r0,sp,r0 @ r0 to point at &tp[num-1] 79 ldr r8,[r0,#14*4] @ &n0 80 ldr r2,[r2] @ bp[0] 81 ldr r5,[r1],#4 @ ap[0],ap++ 82 ldr r6,[r3],#4 @ np[0],np++ 83 ldr r8,[r8] @ *n0 84 str r4,[r0,#15*4] @ save &bp[num] 85 86 umull r10,r11,r5,r2 @ ap[0]*bp[0] 87 str r8,[r0,#14*4] @ save n0 value 88 mul r8,r10,r8 @ "tp[0]"*n0 89 mov r12,#0 90 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 91 mov r4,sp 92 93.L1st: 94 ldr r5,[r1],#4 @ ap[j],ap++ 95 mov r10,r11 96 ldr r6,[r3],#4 @ np[j],np++ 97 mov r11,#0 98 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 99 mov r14,#0 100 umlal r12,r14,r6,r8 @ np[j]*n0 101 adds r12,r12,r10 102 str r12,[r4],#4 @ tp[j-1]=,tp++ 103 adc r12,r14,#0 104 cmp r4,r0 105 bne .L1st 106 107 adds r12,r12,r11 108 ldr r4,[r0,#13*4] @ restore bp 109 mov r14,#0 110 ldr r8,[r0,#14*4] @ restore n0 111 adc r14,r14,#0 112 str r12,[r0] @ tp[num-1]= 113 mov r7,sp 114 str r14,[r0,#4] @ tp[num]= 115 116.Louter: 117 sub r7,r0,r7 @ "original" r0-1 value 118 sub r1,r1,r7 @ "rewind" ap to &ap[1] 119 ldr r2,[r4,#4]! @ *(++bp) 120 sub r3,r3,r7 @ "rewind" np to &np[1] 121 ldr r5,[r1,#-4] @ ap[0] 122 ldr r10,[sp] @ tp[0] 123 ldr r6,[r3,#-4] @ np[0] 124 ldr r7,[sp,#4] @ tp[1] 125 126 mov r11,#0 127 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 128 str r4,[r0,#13*4] @ save bp 129 mul r8,r10,r8 130 mov r12,#0 131 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 132 mov r4,sp 133 134.Linner: 135 ldr r5,[r1],#4 @ ap[j],ap++ 136 adds r10,r11,r7 @ +=tp[j] 137 ldr r6,[r3],#4 @ np[j],np++ 138 mov r11,#0 139 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 140 mov r14,#0 141 umlal r12,r14,r6,r8 @ np[j]*n0 142 adc r11,r11,#0 143 ldr r7,[r4,#8] @ tp[j+1] 144 adds r12,r12,r10 145 str r12,[r4],#4 @ tp[j-1]=,tp++ 146 adc r12,r14,#0 147 cmp r4,r0 148 bne .Linner 149 150 adds r12,r12,r11 151 mov r14,#0 152 ldr r4,[r0,#13*4] @ restore bp 153 adc r14,r14,#0 154 ldr r8,[r0,#14*4] @ restore n0 155 adds r12,r12,r7 156 ldr r7,[r0,#15*4] @ restore &bp[num] 157 adc r14,r14,#0 158 str r12,[r0] @ tp[num-1]= 159 str r14,[r0,#4] @ tp[num]= 160 161 cmp r4,r7 162#ifdef __thumb2__ 163 itt ne 164#endif 165 movne r7,sp 166 bne .Louter 167 168 ldr r2,[r0,#12*4] @ pull rp 169 mov r5,sp 170 add r0,r0,#4 @ r0 to point at &tp[num] 171 sub r5,r0,r5 @ "original" num value 172 mov r4,sp @ "rewind" r4 173 mov r1,r4 @ "borrow" r1 174 sub r3,r3,r5 @ "rewind" r3 to &np[0] 175 176 subs r7,r7,r7 @ "clear" carry flag 177.Lsub: ldr r7,[r4],#4 178 ldr r6,[r3],#4 179 sbcs r7,r7,r6 @ tp[j]-np[j] 180 str r7,[r2],#4 @ rp[j]= 181 teq r4,r0 @ preserve carry 182 bne .Lsub 183 sbcs r14,r14,#0 @ upmost carry 184 mov r4,sp @ "rewind" r4 185 sub r2,r2,r5 @ "rewind" r2 186 187.Lcopy: ldr r7,[r4] @ conditional copy 188 ldr r5,[r2] 189 str sp,[r4],#4 @ zap tp 190#ifdef __thumb2__ 191 it cc 192#endif 193 movcc r5,r7 194 str r5,[r2],#4 195 teq r4,r0 @ preserve carry 196 bne .Lcopy 197 198 mov sp,r0 199 add sp,sp,#4 @ skip over tp[num+1] 200 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 201 add sp,sp,#2*4 @ skip over {r0,r2} 202 mov r0,#1 203.Labrt: 204#if __ARM_ARCH__>=5 205 bx lr @ bx lr 206#else 207 tst lr,#1 208 moveq pc,lr @ be binary compatible with V4, yet 209.word 0xe12fff1e @ interoperable with Thumb ISA:-) 210#endif 211.size bn_mul_mont,.-bn_mul_mont 212#if __ARM_MAX_ARCH__>=7 213.arch armv7-a 214.fpu neon 215 216.type bn_mul8x_mont_neon,%function 217.align 5 218bn_mul8x_mont_neon: 219 mov ip,sp 220 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 221 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 222 ldmia ip,{r4,r5} @ load rest of parameter block 223 mov ip,sp 224 225 cmp r5,#8 226 bhi .LNEON_8n 227 228 @ special case for r5==8, everything is in register bank... 229 230 vld1.32 {d28[0]}, [r2,:32]! 231 veor d8,d8,d8 232 sub r7,sp,r5,lsl#4 233 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 234 and r7,r7,#-64 235 vld1.32 {d30[0]}, [r4,:32] 236 mov sp,r7 @ alloca 237 vzip.16 d28,d8 238 239 vmull.u32 q6,d28,d0[0] 240 vmull.u32 q7,d28,d0[1] 241 vmull.u32 q8,d28,d1[0] 242 vshl.i64 d29,d13,#16 243 vmull.u32 q9,d28,d1[1] 244 245 vadd.u64 d29,d29,d12 246 veor d8,d8,d8 247 vmul.u32 d29,d29,d30 248 249 vmull.u32 q10,d28,d2[0] 250 vld1.32 {d4,d5,d6,d7}, [r3]! 251 vmull.u32 q11,d28,d2[1] 252 vmull.u32 q12,d28,d3[0] 253 vzip.16 d29,d8 254 vmull.u32 q13,d28,d3[1] 255 256 vmlal.u32 q6,d29,d4[0] 257 sub r9,r5,#1 258 vmlal.u32 q7,d29,d4[1] 259 vmlal.u32 q8,d29,d5[0] 260 vmlal.u32 q9,d29,d5[1] 261 262 vmlal.u32 q10,d29,d6[0] 263 vmov q5,q6 264 vmlal.u32 q11,d29,d6[1] 265 vmov q6,q7 266 vmlal.u32 q12,d29,d7[0] 267 vmov q7,q8 268 vmlal.u32 q13,d29,d7[1] 269 vmov q8,q9 270 vmov q9,q10 271 vshr.u64 d10,d10,#16 272 vmov q10,q11 273 vmov q11,q12 274 vadd.u64 d10,d10,d11 275 vmov q12,q13 276 veor q13,q13 277 vshr.u64 d10,d10,#16 278 279 b .LNEON_outer8 280 281.align 4 282.LNEON_outer8: 283 vld1.32 {d28[0]}, [r2,:32]! 284 veor d8,d8,d8 285 vzip.16 d28,d8 286 vadd.u64 d12,d12,d10 287 288 vmlal.u32 q6,d28,d0[0] 289 vmlal.u32 q7,d28,d0[1] 290 vmlal.u32 q8,d28,d1[0] 291 vshl.i64 d29,d13,#16 292 vmlal.u32 q9,d28,d1[1] 293 294 vadd.u64 d29,d29,d12 295 veor d8,d8,d8 296 subs r9,r9,#1 297 vmul.u32 d29,d29,d30 298 299 vmlal.u32 q10,d28,d2[0] 300 vmlal.u32 q11,d28,d2[1] 301 vmlal.u32 q12,d28,d3[0] 302 vzip.16 d29,d8 303 vmlal.u32 q13,d28,d3[1] 304 305 vmlal.u32 q6,d29,d4[0] 306 vmlal.u32 q7,d29,d4[1] 307 vmlal.u32 q8,d29,d5[0] 308 vmlal.u32 q9,d29,d5[1] 309 310 vmlal.u32 q10,d29,d6[0] 311 vmov q5,q6 312 vmlal.u32 q11,d29,d6[1] 313 vmov q6,q7 314 vmlal.u32 q12,d29,d7[0] 315 vmov q7,q8 316 vmlal.u32 q13,d29,d7[1] 317 vmov q8,q9 318 vmov q9,q10 319 vshr.u64 d10,d10,#16 320 vmov q10,q11 321 vmov q11,q12 322 vadd.u64 d10,d10,d11 323 vmov q12,q13 324 veor q13,q13 325 vshr.u64 d10,d10,#16 326 327 bne .LNEON_outer8 328 329 vadd.u64 d12,d12,d10 330 mov r7,sp 331 vshr.u64 d10,d12,#16 332 mov r8,r5 333 vadd.u64 d13,d13,d10 334 add r6,sp,#96 335 vshr.u64 d10,d13,#16 336 vzip.16 d12,d13 337 338 b .LNEON_tail_entry 339 340.align 4 341.LNEON_8n: 342 veor q6,q6,q6 343 sub r7,sp,#128 344 veor q7,q7,q7 345 sub r7,r7,r5,lsl#4 346 veor q8,q8,q8 347 and r7,r7,#-64 348 veor q9,q9,q9 349 mov sp,r7 @ alloca 350 veor q10,q10,q10 351 add r7,r7,#256 352 veor q11,q11,q11 353 sub r8,r5,#8 354 veor q12,q12,q12 355 veor q13,q13,q13 356 357.LNEON_8n_init: 358 vst1.64 {q6,q7},[r7,:256]! 359 subs r8,r8,#8 360 vst1.64 {q8,q9},[r7,:256]! 361 vst1.64 {q10,q11},[r7,:256]! 362 vst1.64 {q12,q13},[r7,:256]! 363 bne .LNEON_8n_init 364 365 add r6,sp,#256 366 vld1.32 {d0,d1,d2,d3},[r1]! 367 add r10,sp,#8 368 vld1.32 {d30[0]},[r4,:32] 369 mov r9,r5 370 b .LNEON_8n_outer 371 372.align 4 373.LNEON_8n_outer: 374 vld1.32 {d28[0]},[r2,:32]! @ *b++ 375 veor d8,d8,d8 376 vzip.16 d28,d8 377 add r7,sp,#128 378 vld1.32 {d4,d5,d6,d7},[r3]! 379 380 vmlal.u32 q6,d28,d0[0] 381 vmlal.u32 q7,d28,d0[1] 382 veor d8,d8,d8 383 vmlal.u32 q8,d28,d1[0] 384 vshl.i64 d29,d13,#16 385 vmlal.u32 q9,d28,d1[1] 386 vadd.u64 d29,d29,d12 387 vmlal.u32 q10,d28,d2[0] 388 vmul.u32 d29,d29,d30 389 vmlal.u32 q11,d28,d2[1] 390 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 391 vmlal.u32 q12,d28,d3[0] 392 vzip.16 d29,d8 393 vmlal.u32 q13,d28,d3[1] 394 vld1.32 {d28[0]},[r2,:32]! @ *b++ 395 vmlal.u32 q6,d29,d4[0] 396 veor d10,d10,d10 397 vmlal.u32 q7,d29,d4[1] 398 vzip.16 d28,d10 399 vmlal.u32 q8,d29,d5[0] 400 vshr.u64 d12,d12,#16 401 vmlal.u32 q9,d29,d5[1] 402 vmlal.u32 q10,d29,d6[0] 403 vadd.u64 d12,d12,d13 404 vmlal.u32 q11,d29,d6[1] 405 vshr.u64 d12,d12,#16 406 vmlal.u32 q12,d29,d7[0] 407 vmlal.u32 q13,d29,d7[1] 408 vadd.u64 d14,d14,d12 409 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 410 vmlal.u32 q7,d28,d0[0] 411 vld1.64 {q6},[r6,:128]! 412 vmlal.u32 q8,d28,d0[1] 413 veor d8,d8,d8 414 vmlal.u32 q9,d28,d1[0] 415 vshl.i64 d29,d15,#16 416 vmlal.u32 q10,d28,d1[1] 417 vadd.u64 d29,d29,d14 418 vmlal.u32 q11,d28,d2[0] 419 vmul.u32 d29,d29,d30 420 vmlal.u32 q12,d28,d2[1] 421 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 422 vmlal.u32 q13,d28,d3[0] 423 vzip.16 d29,d8 424 vmlal.u32 q6,d28,d3[1] 425 vld1.32 {d28[0]},[r2,:32]! @ *b++ 426 vmlal.u32 q7,d29,d4[0] 427 veor d10,d10,d10 428 vmlal.u32 q8,d29,d4[1] 429 vzip.16 d28,d10 430 vmlal.u32 q9,d29,d5[0] 431 vshr.u64 d14,d14,#16 432 vmlal.u32 q10,d29,d5[1] 433 vmlal.u32 q11,d29,d6[0] 434 vadd.u64 d14,d14,d15 435 vmlal.u32 q12,d29,d6[1] 436 vshr.u64 d14,d14,#16 437 vmlal.u32 q13,d29,d7[0] 438 vmlal.u32 q6,d29,d7[1] 439 vadd.u64 d16,d16,d14 440 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 441 vmlal.u32 q8,d28,d0[0] 442 vld1.64 {q7},[r6,:128]! 443 vmlal.u32 q9,d28,d0[1] 444 veor d8,d8,d8 445 vmlal.u32 q10,d28,d1[0] 446 vshl.i64 d29,d17,#16 447 vmlal.u32 q11,d28,d1[1] 448 vadd.u64 d29,d29,d16 449 vmlal.u32 q12,d28,d2[0] 450 vmul.u32 d29,d29,d30 451 vmlal.u32 q13,d28,d2[1] 452 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 453 vmlal.u32 q6,d28,d3[0] 454 vzip.16 d29,d8 455 vmlal.u32 q7,d28,d3[1] 456 vld1.32 {d28[0]},[r2,:32]! @ *b++ 457 vmlal.u32 q8,d29,d4[0] 458 veor d10,d10,d10 459 vmlal.u32 q9,d29,d4[1] 460 vzip.16 d28,d10 461 vmlal.u32 q10,d29,d5[0] 462 vshr.u64 d16,d16,#16 463 vmlal.u32 q11,d29,d5[1] 464 vmlal.u32 q12,d29,d6[0] 465 vadd.u64 d16,d16,d17 466 vmlal.u32 q13,d29,d6[1] 467 vshr.u64 d16,d16,#16 468 vmlal.u32 q6,d29,d7[0] 469 vmlal.u32 q7,d29,d7[1] 470 vadd.u64 d18,d18,d16 471 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 472 vmlal.u32 q9,d28,d0[0] 473 vld1.64 {q8},[r6,:128]! 474 vmlal.u32 q10,d28,d0[1] 475 veor d8,d8,d8 476 vmlal.u32 q11,d28,d1[0] 477 vshl.i64 d29,d19,#16 478 vmlal.u32 q12,d28,d1[1] 479 vadd.u64 d29,d29,d18 480 vmlal.u32 q13,d28,d2[0] 481 vmul.u32 d29,d29,d30 482 vmlal.u32 q6,d28,d2[1] 483 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 484 vmlal.u32 q7,d28,d3[0] 485 vzip.16 d29,d8 486 vmlal.u32 q8,d28,d3[1] 487 vld1.32 {d28[0]},[r2,:32]! @ *b++ 488 vmlal.u32 q9,d29,d4[0] 489 veor d10,d10,d10 490 vmlal.u32 q10,d29,d4[1] 491 vzip.16 d28,d10 492 vmlal.u32 q11,d29,d5[0] 493 vshr.u64 d18,d18,#16 494 vmlal.u32 q12,d29,d5[1] 495 vmlal.u32 q13,d29,d6[0] 496 vadd.u64 d18,d18,d19 497 vmlal.u32 q6,d29,d6[1] 498 vshr.u64 d18,d18,#16 499 vmlal.u32 q7,d29,d7[0] 500 vmlal.u32 q8,d29,d7[1] 501 vadd.u64 d20,d20,d18 502 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 503 vmlal.u32 q10,d28,d0[0] 504 vld1.64 {q9},[r6,:128]! 505 vmlal.u32 q11,d28,d0[1] 506 veor d8,d8,d8 507 vmlal.u32 q12,d28,d1[0] 508 vshl.i64 d29,d21,#16 509 vmlal.u32 q13,d28,d1[1] 510 vadd.u64 d29,d29,d20 511 vmlal.u32 q6,d28,d2[0] 512 vmul.u32 d29,d29,d30 513 vmlal.u32 q7,d28,d2[1] 514 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 515 vmlal.u32 q8,d28,d3[0] 516 vzip.16 d29,d8 517 vmlal.u32 q9,d28,d3[1] 518 vld1.32 {d28[0]},[r2,:32]! @ *b++ 519 vmlal.u32 q10,d29,d4[0] 520 veor d10,d10,d10 521 vmlal.u32 q11,d29,d4[1] 522 vzip.16 d28,d10 523 vmlal.u32 q12,d29,d5[0] 524 vshr.u64 d20,d20,#16 525 vmlal.u32 q13,d29,d5[1] 526 vmlal.u32 q6,d29,d6[0] 527 vadd.u64 d20,d20,d21 528 vmlal.u32 q7,d29,d6[1] 529 vshr.u64 d20,d20,#16 530 vmlal.u32 q8,d29,d7[0] 531 vmlal.u32 q9,d29,d7[1] 532 vadd.u64 d22,d22,d20 533 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 534 vmlal.u32 q11,d28,d0[0] 535 vld1.64 {q10},[r6,:128]! 536 vmlal.u32 q12,d28,d0[1] 537 veor d8,d8,d8 538 vmlal.u32 q13,d28,d1[0] 539 vshl.i64 d29,d23,#16 540 vmlal.u32 q6,d28,d1[1] 541 vadd.u64 d29,d29,d22 542 vmlal.u32 q7,d28,d2[0] 543 vmul.u32 d29,d29,d30 544 vmlal.u32 q8,d28,d2[1] 545 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 546 vmlal.u32 q9,d28,d3[0] 547 vzip.16 d29,d8 548 vmlal.u32 q10,d28,d3[1] 549 vld1.32 {d28[0]},[r2,:32]! @ *b++ 550 vmlal.u32 q11,d29,d4[0] 551 veor d10,d10,d10 552 vmlal.u32 q12,d29,d4[1] 553 vzip.16 d28,d10 554 vmlal.u32 q13,d29,d5[0] 555 vshr.u64 d22,d22,#16 556 vmlal.u32 q6,d29,d5[1] 557 vmlal.u32 q7,d29,d6[0] 558 vadd.u64 d22,d22,d23 559 vmlal.u32 q8,d29,d6[1] 560 vshr.u64 d22,d22,#16 561 vmlal.u32 q9,d29,d7[0] 562 vmlal.u32 q10,d29,d7[1] 563 vadd.u64 d24,d24,d22 564 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 565 vmlal.u32 q12,d28,d0[0] 566 vld1.64 {q11},[r6,:128]! 567 vmlal.u32 q13,d28,d0[1] 568 veor d8,d8,d8 569 vmlal.u32 q6,d28,d1[0] 570 vshl.i64 d29,d25,#16 571 vmlal.u32 q7,d28,d1[1] 572 vadd.u64 d29,d29,d24 573 vmlal.u32 q8,d28,d2[0] 574 vmul.u32 d29,d29,d30 575 vmlal.u32 q9,d28,d2[1] 576 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 577 vmlal.u32 q10,d28,d3[0] 578 vzip.16 d29,d8 579 vmlal.u32 q11,d28,d3[1] 580 vld1.32 {d28[0]},[r2,:32]! @ *b++ 581 vmlal.u32 q12,d29,d4[0] 582 veor d10,d10,d10 583 vmlal.u32 q13,d29,d4[1] 584 vzip.16 d28,d10 585 vmlal.u32 q6,d29,d5[0] 586 vshr.u64 d24,d24,#16 587 vmlal.u32 q7,d29,d5[1] 588 vmlal.u32 q8,d29,d6[0] 589 vadd.u64 d24,d24,d25 590 vmlal.u32 q9,d29,d6[1] 591 vshr.u64 d24,d24,#16 592 vmlal.u32 q10,d29,d7[0] 593 vmlal.u32 q11,d29,d7[1] 594 vadd.u64 d26,d26,d24 595 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 596 vmlal.u32 q13,d28,d0[0] 597 vld1.64 {q12},[r6,:128]! 598 vmlal.u32 q6,d28,d0[1] 599 veor d8,d8,d8 600 vmlal.u32 q7,d28,d1[0] 601 vshl.i64 d29,d27,#16 602 vmlal.u32 q8,d28,d1[1] 603 vadd.u64 d29,d29,d26 604 vmlal.u32 q9,d28,d2[0] 605 vmul.u32 d29,d29,d30 606 vmlal.u32 q10,d28,d2[1] 607 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 608 vmlal.u32 q11,d28,d3[0] 609 vzip.16 d29,d8 610 vmlal.u32 q12,d28,d3[1] 611 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 612 vmlal.u32 q13,d29,d4[0] 613 vld1.32 {d0,d1,d2,d3},[r1]! 614 vmlal.u32 q6,d29,d4[1] 615 vmlal.u32 q7,d29,d5[0] 616 vshr.u64 d26,d26,#16 617 vmlal.u32 q8,d29,d5[1] 618 vmlal.u32 q9,d29,d6[0] 619 vadd.u64 d26,d26,d27 620 vmlal.u32 q10,d29,d6[1] 621 vshr.u64 d26,d26,#16 622 vmlal.u32 q11,d29,d7[0] 623 vmlal.u32 q12,d29,d7[1] 624 vadd.u64 d12,d12,d26 625 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 626 add r10,sp,#8 @ rewind 627 sub r8,r5,#8 628 b .LNEON_8n_inner 629 630.align 4 631.LNEON_8n_inner: 632 subs r8,r8,#8 633 vmlal.u32 q6,d28,d0[0] 634 vld1.64 {q13},[r6,:128] 635 vmlal.u32 q7,d28,d0[1] 636 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 637 vmlal.u32 q8,d28,d1[0] 638 vld1.32 {d4,d5,d6,d7},[r3]! 639 vmlal.u32 q9,d28,d1[1] 640 it ne 641 addne r6,r6,#16 @ don't advance in last iteration 642 vmlal.u32 q10,d28,d2[0] 643 vmlal.u32 q11,d28,d2[1] 644 vmlal.u32 q12,d28,d3[0] 645 vmlal.u32 q13,d28,d3[1] 646 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 647 vmlal.u32 q6,d29,d4[0] 648 vmlal.u32 q7,d29,d4[1] 649 vmlal.u32 q8,d29,d5[0] 650 vmlal.u32 q9,d29,d5[1] 651 vmlal.u32 q10,d29,d6[0] 652 vmlal.u32 q11,d29,d6[1] 653 vmlal.u32 q12,d29,d7[0] 654 vmlal.u32 q13,d29,d7[1] 655 vst1.64 {q6},[r7,:128]! 656 vmlal.u32 q7,d28,d0[0] 657 vld1.64 {q6},[r6,:128] 658 vmlal.u32 q8,d28,d0[1] 659 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 660 vmlal.u32 q9,d28,d1[0] 661 it ne 662 addne r6,r6,#16 @ don't advance in last iteration 663 vmlal.u32 q10,d28,d1[1] 664 vmlal.u32 q11,d28,d2[0] 665 vmlal.u32 q12,d28,d2[1] 666 vmlal.u32 q13,d28,d3[0] 667 vmlal.u32 q6,d28,d3[1] 668 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 669 vmlal.u32 q7,d29,d4[0] 670 vmlal.u32 q8,d29,d4[1] 671 vmlal.u32 q9,d29,d5[0] 672 vmlal.u32 q10,d29,d5[1] 673 vmlal.u32 q11,d29,d6[0] 674 vmlal.u32 q12,d29,d6[1] 675 vmlal.u32 q13,d29,d7[0] 676 vmlal.u32 q6,d29,d7[1] 677 vst1.64 {q7},[r7,:128]! 678 vmlal.u32 q8,d28,d0[0] 679 vld1.64 {q7},[r6,:128] 680 vmlal.u32 q9,d28,d0[1] 681 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 682 vmlal.u32 q10,d28,d1[0] 683 it ne 684 addne r6,r6,#16 @ don't advance in last iteration 685 vmlal.u32 q11,d28,d1[1] 686 vmlal.u32 q12,d28,d2[0] 687 vmlal.u32 q13,d28,d2[1] 688 vmlal.u32 q6,d28,d3[0] 689 vmlal.u32 q7,d28,d3[1] 690 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 691 vmlal.u32 q8,d29,d4[0] 692 vmlal.u32 q9,d29,d4[1] 693 vmlal.u32 q10,d29,d5[0] 694 vmlal.u32 q11,d29,d5[1] 695 vmlal.u32 q12,d29,d6[0] 696 vmlal.u32 q13,d29,d6[1] 697 vmlal.u32 q6,d29,d7[0] 698 vmlal.u32 q7,d29,d7[1] 699 vst1.64 {q8},[r7,:128]! 700 vmlal.u32 q9,d28,d0[0] 701 vld1.64 {q8},[r6,:128] 702 vmlal.u32 q10,d28,d0[1] 703 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 704 vmlal.u32 q11,d28,d1[0] 705 it ne 706 addne r6,r6,#16 @ don't advance in last iteration 707 vmlal.u32 q12,d28,d1[1] 708 vmlal.u32 q13,d28,d2[0] 709 vmlal.u32 q6,d28,d2[1] 710 vmlal.u32 q7,d28,d3[0] 711 vmlal.u32 q8,d28,d3[1] 712 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 713 vmlal.u32 q9,d29,d4[0] 714 vmlal.u32 q10,d29,d4[1] 715 vmlal.u32 q11,d29,d5[0] 716 vmlal.u32 q12,d29,d5[1] 717 vmlal.u32 q13,d29,d6[0] 718 vmlal.u32 q6,d29,d6[1] 719 vmlal.u32 q7,d29,d7[0] 720 vmlal.u32 q8,d29,d7[1] 721 vst1.64 {q9},[r7,:128]! 722 vmlal.u32 q10,d28,d0[0] 723 vld1.64 {q9},[r6,:128] 724 vmlal.u32 q11,d28,d0[1] 725 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 726 vmlal.u32 q12,d28,d1[0] 727 it ne 728 addne r6,r6,#16 @ don't advance in last iteration 729 vmlal.u32 q13,d28,d1[1] 730 vmlal.u32 q6,d28,d2[0] 731 vmlal.u32 q7,d28,d2[1] 732 vmlal.u32 q8,d28,d3[0] 733 vmlal.u32 q9,d28,d3[1] 734 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 735 vmlal.u32 q10,d29,d4[0] 736 vmlal.u32 q11,d29,d4[1] 737 vmlal.u32 q12,d29,d5[0] 738 vmlal.u32 q13,d29,d5[1] 739 vmlal.u32 q6,d29,d6[0] 740 vmlal.u32 q7,d29,d6[1] 741 vmlal.u32 q8,d29,d7[0] 742 vmlal.u32 q9,d29,d7[1] 743 vst1.64 {q10},[r7,:128]! 744 vmlal.u32 q11,d28,d0[0] 745 vld1.64 {q10},[r6,:128] 746 vmlal.u32 q12,d28,d0[1] 747 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 748 vmlal.u32 q13,d28,d1[0] 749 it ne 750 addne r6,r6,#16 @ don't advance in last iteration 751 vmlal.u32 q6,d28,d1[1] 752 vmlal.u32 q7,d28,d2[0] 753 vmlal.u32 q8,d28,d2[1] 754 vmlal.u32 q9,d28,d3[0] 755 vmlal.u32 q10,d28,d3[1] 756 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 757 vmlal.u32 q11,d29,d4[0] 758 vmlal.u32 q12,d29,d4[1] 759 vmlal.u32 q13,d29,d5[0] 760 vmlal.u32 q6,d29,d5[1] 761 vmlal.u32 q7,d29,d6[0] 762 vmlal.u32 q8,d29,d6[1] 763 vmlal.u32 q9,d29,d7[0] 764 vmlal.u32 q10,d29,d7[1] 765 vst1.64 {q11},[r7,:128]! 766 vmlal.u32 q12,d28,d0[0] 767 vld1.64 {q11},[r6,:128] 768 vmlal.u32 q13,d28,d0[1] 769 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 770 vmlal.u32 q6,d28,d1[0] 771 it ne 772 addne r6,r6,#16 @ don't advance in last iteration 773 vmlal.u32 q7,d28,d1[1] 774 vmlal.u32 q8,d28,d2[0] 775 vmlal.u32 q9,d28,d2[1] 776 vmlal.u32 q10,d28,d3[0] 777 vmlal.u32 q11,d28,d3[1] 778 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 779 vmlal.u32 q12,d29,d4[0] 780 vmlal.u32 q13,d29,d4[1] 781 vmlal.u32 q6,d29,d5[0] 782 vmlal.u32 q7,d29,d5[1] 783 vmlal.u32 q8,d29,d6[0] 784 vmlal.u32 q9,d29,d6[1] 785 vmlal.u32 q10,d29,d7[0] 786 vmlal.u32 q11,d29,d7[1] 787 vst1.64 {q12},[r7,:128]! 788 vmlal.u32 q13,d28,d0[0] 789 vld1.64 {q12},[r6,:128] 790 vmlal.u32 q6,d28,d0[1] 791 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 792 vmlal.u32 q7,d28,d1[0] 793 it ne 794 addne r6,r6,#16 @ don't advance in last iteration 795 vmlal.u32 q8,d28,d1[1] 796 vmlal.u32 q9,d28,d2[0] 797 vmlal.u32 q10,d28,d2[1] 798 vmlal.u32 q11,d28,d3[0] 799 vmlal.u32 q12,d28,d3[1] 800 it eq 801 subeq r1,r1,r5,lsl#2 @ rewind 802 vmlal.u32 q13,d29,d4[0] 803 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 804 vmlal.u32 q6,d29,d4[1] 805 vld1.32 {d0,d1,d2,d3},[r1]! 806 vmlal.u32 q7,d29,d5[0] 807 add r10,sp,#8 @ rewind 808 vmlal.u32 q8,d29,d5[1] 809 vmlal.u32 q9,d29,d6[0] 810 vmlal.u32 q10,d29,d6[1] 811 vmlal.u32 q11,d29,d7[0] 812 vst1.64 {q13},[r7,:128]! 813 vmlal.u32 q12,d29,d7[1] 814 815 bne .LNEON_8n_inner 816 add r6,sp,#128 817 vst1.64 {q6,q7},[r7,:256]! 818 veor q2,q2,q2 @ d4-d5 819 vst1.64 {q8,q9},[r7,:256]! 820 veor q3,q3,q3 @ d6-d7 821 vst1.64 {q10,q11},[r7,:256]! 822 vst1.64 {q12},[r7,:128] 823 824 subs r9,r9,#8 825 vld1.64 {q6,q7},[r6,:256]! 826 vld1.64 {q8,q9},[r6,:256]! 827 vld1.64 {q10,q11},[r6,:256]! 828 vld1.64 {q12,q13},[r6,:256]! 829 830 itt ne 831 subne r3,r3,r5,lsl#2 @ rewind 832 bne .LNEON_8n_outer 833 834 add r7,sp,#128 835 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 836 vshr.u64 d10,d12,#16 837 vst1.64 {q2,q3},[sp,:256]! 838 vadd.u64 d13,d13,d10 839 vst1.64 {q2,q3}, [sp,:256]! 840 vshr.u64 d10,d13,#16 841 vst1.64 {q2,q3}, [sp,:256]! 842 vzip.16 d12,d13 843 844 mov r8,r5 845 b .LNEON_tail_entry 846 847.align 4 848.LNEON_tail: 849 vadd.u64 d12,d12,d10 850 vshr.u64 d10,d12,#16 851 vld1.64 {q8,q9}, [r6, :256]! 852 vadd.u64 d13,d13,d10 853 vld1.64 {q10,q11}, [r6, :256]! 854 vshr.u64 d10,d13,#16 855 vld1.64 {q12,q13}, [r6, :256]! 856 vzip.16 d12,d13 857 858.LNEON_tail_entry: 859 vadd.u64 d14,d14,d10 860 vst1.32 {d12[0]}, [r7, :32]! 861 vshr.u64 d10,d14,#16 862 vadd.u64 d15,d15,d10 863 vshr.u64 d10,d15,#16 864 vzip.16 d14,d15 865 vadd.u64 d16,d16,d10 866 vst1.32 {d14[0]}, [r7, :32]! 867 vshr.u64 d10,d16,#16 868 vadd.u64 d17,d17,d10 869 vshr.u64 d10,d17,#16 870 vzip.16 d16,d17 871 vadd.u64 d18,d18,d10 872 vst1.32 {d16[0]}, [r7, :32]! 873 vshr.u64 d10,d18,#16 874 vadd.u64 d19,d19,d10 875 vshr.u64 d10,d19,#16 876 vzip.16 d18,d19 877 vadd.u64 d20,d20,d10 878 vst1.32 {d18[0]}, [r7, :32]! 879 vshr.u64 d10,d20,#16 880 vadd.u64 d21,d21,d10 881 vshr.u64 d10,d21,#16 882 vzip.16 d20,d21 883 vadd.u64 d22,d22,d10 884 vst1.32 {d20[0]}, [r7, :32]! 885 vshr.u64 d10,d22,#16 886 vadd.u64 d23,d23,d10 887 vshr.u64 d10,d23,#16 888 vzip.16 d22,d23 889 vadd.u64 d24,d24,d10 890 vst1.32 {d22[0]}, [r7, :32]! 891 vshr.u64 d10,d24,#16 892 vadd.u64 d25,d25,d10 893 vshr.u64 d10,d25,#16 894 vzip.16 d24,d25 895 vadd.u64 d26,d26,d10 896 vst1.32 {d24[0]}, [r7, :32]! 897 vshr.u64 d10,d26,#16 898 vadd.u64 d27,d27,d10 899 vshr.u64 d10,d27,#16 900 vzip.16 d26,d27 901 vld1.64 {q6,q7}, [r6, :256]! 902 subs r8,r8,#8 903 vst1.32 {d26[0]}, [r7, :32]! 904 bne .LNEON_tail 905 906 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 907 sub r3,r3,r5,lsl#2 @ rewind r3 908 subs r1,sp,#0 @ clear carry flag 909 add r2,sp,r5,lsl#2 910 911.LNEON_sub: 912 ldmia r1!, {r4,r5,r6,r7} 913 ldmia r3!, {r8,r9,r10,r11} 914 sbcs r8, r4,r8 915 sbcs r9, r5,r9 916 sbcs r10,r6,r10 917 sbcs r11,r7,r11 918 teq r1,r2 @ preserves carry 919 stmia r0!, {r8,r9,r10,r11} 920 bne .LNEON_sub 921 922 ldr r10, [r1] @ load top-most bit 923 mov r11,sp 924 veor q0,q0,q0 925 sub r11,r2,r11 @ this is num*4 926 veor q1,q1,q1 927 mov r1,sp 928 sub r0,r0,r11 @ rewind r0 929 mov r3,r2 @ second 3/4th of frame 930 sbcs r10,r10,#0 @ result is carry flag 931 932.LNEON_copy_n_zap: 933 ldmia r1!, {r4,r5,r6,r7} 934 ldmia r0, {r8,r9,r10,r11} 935 it cc 936 movcc r8, r4 937 vst1.64 {q0,q1}, [r3,:256]! @ wipe 938 itt cc 939 movcc r9, r5 940 movcc r10,r6 941 vst1.64 {q0,q1}, [r3,:256]! @ wipe 942 it cc 943 movcc r11,r7 944 ldmia r1, {r4,r5,r6,r7} 945 stmia r0!, {r8,r9,r10,r11} 946 sub r1,r1,#16 947 ldmia r0, {r8,r9,r10,r11} 948 it cc 949 movcc r8, r4 950 vst1.64 {q0,q1}, [r1,:256]! @ wipe 951 itt cc 952 movcc r9, r5 953 movcc r10,r6 954 vst1.64 {q0,q1}, [r3,:256]! @ wipe 955 it cc 956 movcc r11,r7 957 teq r1,r2 @ preserves carry 958 stmia r0!, {r8,r9,r10,r11} 959 bne .LNEON_copy_n_zap 960 961 mov sp,ip 962 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 963 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 964 bx lr @ bx lr 965.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 966#endif 967.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 968.align 2 969.align 2 970#if __ARM_MAX_ARCH__>=7 971.comm OPENSSL_armcap_P,4,4 972.hidden OPENSSL_armcap_P 973#endif 974#endif 975#endif // !OPENSSL_NO_ASM 976