1// This file is generated from a similarly-named Perl script in the BoringSSL 2// source tree. Do not edit by hand. 3 4#include <openssl/asm_base.h> 5 6#if !defined(OPENSSL_NO_ASM) && defined(OPENSSL_ARM) && defined(__APPLE__) 7#include <openssl/arm_arch.h> 8 9@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both 10@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. 11 12 13.text 14#if defined(__thumb2__) 15.syntax unified 16.thumb 17#else 18.code 32 19#endif 20 21#if __ARM_MAX_ARCH__>=7 22.align 5 23LOPENSSL_armcap: 24.word OPENSSL_armcap_P-Lbn_mul_mont 25#endif 26 27.globl _bn_mul_mont 28.private_extern _bn_mul_mont 29#ifdef __thumb2__ 30.thumb_func _bn_mul_mont 31#endif 32 33.align 5 34_bn_mul_mont: 35Lbn_mul_mont: 36 ldr ip,[sp,#4] @ load num 37 stmdb sp!,{r0,r2} @ sp points at argument block 38#if __ARM_MAX_ARCH__>=7 39 tst ip,#7 40 bne Lialu 41 adr r0,Lbn_mul_mont 42 ldr r2,LOPENSSL_armcap 43 ldr r0,[r0,r2] 44#ifdef __APPLE__ 45 ldr r0,[r0] 46#endif 47 tst r0,#ARMV7_NEON @ NEON available? 48 ldmia sp, {r0,r2} 49 beq Lialu 50 add sp,sp,#8 51 b bn_mul8x_mont_neon 52.align 4 53Lialu: 54#endif 55 cmp ip,#2 56 mov r0,ip @ load num 57#ifdef __thumb2__ 58 ittt lt 59#endif 60 movlt r0,#0 61 addlt sp,sp,#2*4 62 blt Labrt 63 64 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 65 66 mov r0,r0,lsl#2 @ rescale r0 for byte count 67 sub sp,sp,r0 @ alloca(4*num) 68 sub sp,sp,#4 @ +extra dword 69 sub r0,r0,#4 @ "num=num-1" 70 add r4,r2,r0 @ &bp[num-1] 71 72 add r0,sp,r0 @ r0 to point at &tp[num-1] 73 ldr r8,[r0,#14*4] @ &n0 74 ldr r2,[r2] @ bp[0] 75 ldr r5,[r1],#4 @ ap[0],ap++ 76 ldr r6,[r3],#4 @ np[0],np++ 77 ldr r8,[r8] @ *n0 78 str r4,[r0,#15*4] @ save &bp[num] 79 80 umull r10,r11,r5,r2 @ ap[0]*bp[0] 81 str r8,[r0,#14*4] @ save n0 value 82 mul r8,r10,r8 @ "tp[0]"*n0 83 mov r12,#0 84 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 85 mov r4,sp 86 87L1st: 88 ldr r5,[r1],#4 @ ap[j],ap++ 89 mov r10,r11 90 ldr r6,[r3],#4 @ np[j],np++ 91 mov r11,#0 92 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 93 mov r14,#0 94 umlal r12,r14,r6,r8 @ np[j]*n0 95 adds r12,r12,r10 96 str r12,[r4],#4 @ tp[j-1]=,tp++ 97 adc r12,r14,#0 98 cmp r4,r0 99 bne L1st 100 101 adds r12,r12,r11 102 ldr r4,[r0,#13*4] @ restore bp 103 mov r14,#0 104 ldr r8,[r0,#14*4] @ restore n0 105 adc r14,r14,#0 106 str r12,[r0] @ tp[num-1]= 107 mov r7,sp 108 str r14,[r0,#4] @ tp[num]= 109 110Louter: 111 sub r7,r0,r7 @ "original" r0-1 value 112 sub r1,r1,r7 @ "rewind" ap to &ap[1] 113 ldr r2,[r4,#4]! @ *(++bp) 114 sub r3,r3,r7 @ "rewind" np to &np[1] 115 ldr r5,[r1,#-4] @ ap[0] 116 ldr r10,[sp] @ tp[0] 117 ldr r6,[r3,#-4] @ np[0] 118 ldr r7,[sp,#4] @ tp[1] 119 120 mov r11,#0 121 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 122 str r4,[r0,#13*4] @ save bp 123 mul r8,r10,r8 124 mov r12,#0 125 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 126 mov r4,sp 127 128Linner: 129 ldr r5,[r1],#4 @ ap[j],ap++ 130 adds r10,r11,r7 @ +=tp[j] 131 ldr r6,[r3],#4 @ np[j],np++ 132 mov r11,#0 133 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 134 mov r14,#0 135 umlal r12,r14,r6,r8 @ np[j]*n0 136 adc r11,r11,#0 137 ldr r7,[r4,#8] @ tp[j+1] 138 adds r12,r12,r10 139 str r12,[r4],#4 @ tp[j-1]=,tp++ 140 adc r12,r14,#0 141 cmp r4,r0 142 bne Linner 143 144 adds r12,r12,r11 145 mov r14,#0 146 ldr r4,[r0,#13*4] @ restore bp 147 adc r14,r14,#0 148 ldr r8,[r0,#14*4] @ restore n0 149 adds r12,r12,r7 150 ldr r7,[r0,#15*4] @ restore &bp[num] 151 adc r14,r14,#0 152 str r12,[r0] @ tp[num-1]= 153 str r14,[r0,#4] @ tp[num]= 154 155 cmp r4,r7 156#ifdef __thumb2__ 157 itt ne 158#endif 159 movne r7,sp 160 bne Louter 161 162 ldr r2,[r0,#12*4] @ pull rp 163 mov r5,sp 164 add r0,r0,#4 @ r0 to point at &tp[num] 165 sub r5,r0,r5 @ "original" num value 166 mov r4,sp @ "rewind" r4 167 mov r1,r4 @ "borrow" r1 168 sub r3,r3,r5 @ "rewind" r3 to &np[0] 169 170 subs r7,r7,r7 @ "clear" carry flag 171Lsub: ldr r7,[r4],#4 172 ldr r6,[r3],#4 173 sbcs r7,r7,r6 @ tp[j]-np[j] 174 str r7,[r2],#4 @ rp[j]= 175 teq r4,r0 @ preserve carry 176 bne Lsub 177 sbcs r14,r14,#0 @ upmost carry 178 mov r4,sp @ "rewind" r4 179 sub r2,r2,r5 @ "rewind" r2 180 181Lcopy: ldr r7,[r4] @ conditional copy 182 ldr r5,[r2] 183 str sp,[r4],#4 @ zap tp 184#ifdef __thumb2__ 185 it cc 186#endif 187 movcc r5,r7 188 str r5,[r2],#4 189 teq r4,r0 @ preserve carry 190 bne Lcopy 191 192 mov sp,r0 193 add sp,sp,#4 @ skip over tp[num+1] 194 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 195 add sp,sp,#2*4 @ skip over {r0,r2} 196 mov r0,#1 197Labrt: 198#if __ARM_ARCH>=5 199 bx lr @ bx lr 200#else 201 tst lr,#1 202 moveq pc,lr @ be binary compatible with V4, yet 203.word 0xe12fff1e @ interoperable with Thumb ISA:-) 204#endif 205 206#if __ARM_MAX_ARCH__>=7 207 208 209 210#ifdef __thumb2__ 211.thumb_func bn_mul8x_mont_neon 212#endif 213.align 5 214bn_mul8x_mont_neon: 215 mov ip,sp 216 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 217 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 218 ldmia ip,{r4,r5} @ load rest of parameter block 219 mov ip,sp 220 221 cmp r5,#8 222 bhi LNEON_8n 223 224 @ special case for r5==8, everything is in register bank... 225 226 vld1.32 {d28[0]}, [r2,:32]! 227 veor d8,d8,d8 228 sub r7,sp,r5,lsl#4 229 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 230 and r7,r7,#-64 231 vld1.32 {d30[0]}, [r4,:32] 232 mov sp,r7 @ alloca 233 vzip.16 d28,d8 234 235 vmull.u32 q6,d28,d0[0] 236 vmull.u32 q7,d28,d0[1] 237 vmull.u32 q8,d28,d1[0] 238 vshl.i64 d29,d13,#16 239 vmull.u32 q9,d28,d1[1] 240 241 vadd.u64 d29,d29,d12 242 veor d8,d8,d8 243 vmul.u32 d29,d29,d30 244 245 vmull.u32 q10,d28,d2[0] 246 vld1.32 {d4,d5,d6,d7}, [r3]! 247 vmull.u32 q11,d28,d2[1] 248 vmull.u32 q12,d28,d3[0] 249 vzip.16 d29,d8 250 vmull.u32 q13,d28,d3[1] 251 252 vmlal.u32 q6,d29,d4[0] 253 sub r9,r5,#1 254 vmlal.u32 q7,d29,d4[1] 255 vmlal.u32 q8,d29,d5[0] 256 vmlal.u32 q9,d29,d5[1] 257 258 vmlal.u32 q10,d29,d6[0] 259 vmov q5,q6 260 vmlal.u32 q11,d29,d6[1] 261 vmov q6,q7 262 vmlal.u32 q12,d29,d7[0] 263 vmov q7,q8 264 vmlal.u32 q13,d29,d7[1] 265 vmov q8,q9 266 vmov q9,q10 267 vshr.u64 d10,d10,#16 268 vmov q10,q11 269 vmov q11,q12 270 vadd.u64 d10,d10,d11 271 vmov q12,q13 272 veor q13,q13 273 vshr.u64 d10,d10,#16 274 275 b LNEON_outer8 276 277.align 4 278LNEON_outer8: 279 vld1.32 {d28[0]}, [r2,:32]! 280 veor d8,d8,d8 281 vzip.16 d28,d8 282 vadd.u64 d12,d12,d10 283 284 vmlal.u32 q6,d28,d0[0] 285 vmlal.u32 q7,d28,d0[1] 286 vmlal.u32 q8,d28,d1[0] 287 vshl.i64 d29,d13,#16 288 vmlal.u32 q9,d28,d1[1] 289 290 vadd.u64 d29,d29,d12 291 veor d8,d8,d8 292 subs r9,r9,#1 293 vmul.u32 d29,d29,d30 294 295 vmlal.u32 q10,d28,d2[0] 296 vmlal.u32 q11,d28,d2[1] 297 vmlal.u32 q12,d28,d3[0] 298 vzip.16 d29,d8 299 vmlal.u32 q13,d28,d3[1] 300 301 vmlal.u32 q6,d29,d4[0] 302 vmlal.u32 q7,d29,d4[1] 303 vmlal.u32 q8,d29,d5[0] 304 vmlal.u32 q9,d29,d5[1] 305 306 vmlal.u32 q10,d29,d6[0] 307 vmov q5,q6 308 vmlal.u32 q11,d29,d6[1] 309 vmov q6,q7 310 vmlal.u32 q12,d29,d7[0] 311 vmov q7,q8 312 vmlal.u32 q13,d29,d7[1] 313 vmov q8,q9 314 vmov q9,q10 315 vshr.u64 d10,d10,#16 316 vmov q10,q11 317 vmov q11,q12 318 vadd.u64 d10,d10,d11 319 vmov q12,q13 320 veor q13,q13 321 vshr.u64 d10,d10,#16 322 323 bne LNEON_outer8 324 325 vadd.u64 d12,d12,d10 326 mov r7,sp 327 vshr.u64 d10,d12,#16 328 mov r8,r5 329 vadd.u64 d13,d13,d10 330 add r6,sp,#96 331 vshr.u64 d10,d13,#16 332 vzip.16 d12,d13 333 334 b LNEON_tail_entry 335 336.align 4 337LNEON_8n: 338 veor q6,q6,q6 339 sub r7,sp,#128 340 veor q7,q7,q7 341 sub r7,r7,r5,lsl#4 342 veor q8,q8,q8 343 and r7,r7,#-64 344 veor q9,q9,q9 345 mov sp,r7 @ alloca 346 veor q10,q10,q10 347 add r7,r7,#256 348 veor q11,q11,q11 349 sub r8,r5,#8 350 veor q12,q12,q12 351 veor q13,q13,q13 352 353LNEON_8n_init: 354 vst1.64 {q6,q7},[r7,:256]! 355 subs r8,r8,#8 356 vst1.64 {q8,q9},[r7,:256]! 357 vst1.64 {q10,q11},[r7,:256]! 358 vst1.64 {q12,q13},[r7,:256]! 359 bne LNEON_8n_init 360 361 add r6,sp,#256 362 vld1.32 {d0,d1,d2,d3},[r1]! 363 add r10,sp,#8 364 vld1.32 {d30[0]},[r4,:32] 365 mov r9,r5 366 b LNEON_8n_outer 367 368.align 4 369LNEON_8n_outer: 370 vld1.32 {d28[0]},[r2,:32]! @ *b++ 371 veor d8,d8,d8 372 vzip.16 d28,d8 373 add r7,sp,#128 374 vld1.32 {d4,d5,d6,d7},[r3]! 375 376 vmlal.u32 q6,d28,d0[0] 377 vmlal.u32 q7,d28,d0[1] 378 veor d8,d8,d8 379 vmlal.u32 q8,d28,d1[0] 380 vshl.i64 d29,d13,#16 381 vmlal.u32 q9,d28,d1[1] 382 vadd.u64 d29,d29,d12 383 vmlal.u32 q10,d28,d2[0] 384 vmul.u32 d29,d29,d30 385 vmlal.u32 q11,d28,d2[1] 386 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 387 vmlal.u32 q12,d28,d3[0] 388 vzip.16 d29,d8 389 vmlal.u32 q13,d28,d3[1] 390 vld1.32 {d28[0]},[r2,:32]! @ *b++ 391 vmlal.u32 q6,d29,d4[0] 392 veor d10,d10,d10 393 vmlal.u32 q7,d29,d4[1] 394 vzip.16 d28,d10 395 vmlal.u32 q8,d29,d5[0] 396 vshr.u64 d12,d12,#16 397 vmlal.u32 q9,d29,d5[1] 398 vmlal.u32 q10,d29,d6[0] 399 vadd.u64 d12,d12,d13 400 vmlal.u32 q11,d29,d6[1] 401 vshr.u64 d12,d12,#16 402 vmlal.u32 q12,d29,d7[0] 403 vmlal.u32 q13,d29,d7[1] 404 vadd.u64 d14,d14,d12 405 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 406 vmlal.u32 q7,d28,d0[0] 407 vld1.64 {q6},[r6,:128]! 408 vmlal.u32 q8,d28,d0[1] 409 veor d8,d8,d8 410 vmlal.u32 q9,d28,d1[0] 411 vshl.i64 d29,d15,#16 412 vmlal.u32 q10,d28,d1[1] 413 vadd.u64 d29,d29,d14 414 vmlal.u32 q11,d28,d2[0] 415 vmul.u32 d29,d29,d30 416 vmlal.u32 q12,d28,d2[1] 417 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 418 vmlal.u32 q13,d28,d3[0] 419 vzip.16 d29,d8 420 vmlal.u32 q6,d28,d3[1] 421 vld1.32 {d28[0]},[r2,:32]! @ *b++ 422 vmlal.u32 q7,d29,d4[0] 423 veor d10,d10,d10 424 vmlal.u32 q8,d29,d4[1] 425 vzip.16 d28,d10 426 vmlal.u32 q9,d29,d5[0] 427 vshr.u64 d14,d14,#16 428 vmlal.u32 q10,d29,d5[1] 429 vmlal.u32 q11,d29,d6[0] 430 vadd.u64 d14,d14,d15 431 vmlal.u32 q12,d29,d6[1] 432 vshr.u64 d14,d14,#16 433 vmlal.u32 q13,d29,d7[0] 434 vmlal.u32 q6,d29,d7[1] 435 vadd.u64 d16,d16,d14 436 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 437 vmlal.u32 q8,d28,d0[0] 438 vld1.64 {q7},[r6,:128]! 439 vmlal.u32 q9,d28,d0[1] 440 veor d8,d8,d8 441 vmlal.u32 q10,d28,d1[0] 442 vshl.i64 d29,d17,#16 443 vmlal.u32 q11,d28,d1[1] 444 vadd.u64 d29,d29,d16 445 vmlal.u32 q12,d28,d2[0] 446 vmul.u32 d29,d29,d30 447 vmlal.u32 q13,d28,d2[1] 448 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 449 vmlal.u32 q6,d28,d3[0] 450 vzip.16 d29,d8 451 vmlal.u32 q7,d28,d3[1] 452 vld1.32 {d28[0]},[r2,:32]! @ *b++ 453 vmlal.u32 q8,d29,d4[0] 454 veor d10,d10,d10 455 vmlal.u32 q9,d29,d4[1] 456 vzip.16 d28,d10 457 vmlal.u32 q10,d29,d5[0] 458 vshr.u64 d16,d16,#16 459 vmlal.u32 q11,d29,d5[1] 460 vmlal.u32 q12,d29,d6[0] 461 vadd.u64 d16,d16,d17 462 vmlal.u32 q13,d29,d6[1] 463 vshr.u64 d16,d16,#16 464 vmlal.u32 q6,d29,d7[0] 465 vmlal.u32 q7,d29,d7[1] 466 vadd.u64 d18,d18,d16 467 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 468 vmlal.u32 q9,d28,d0[0] 469 vld1.64 {q8},[r6,:128]! 470 vmlal.u32 q10,d28,d0[1] 471 veor d8,d8,d8 472 vmlal.u32 q11,d28,d1[0] 473 vshl.i64 d29,d19,#16 474 vmlal.u32 q12,d28,d1[1] 475 vadd.u64 d29,d29,d18 476 vmlal.u32 q13,d28,d2[0] 477 vmul.u32 d29,d29,d30 478 vmlal.u32 q6,d28,d2[1] 479 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 480 vmlal.u32 q7,d28,d3[0] 481 vzip.16 d29,d8 482 vmlal.u32 q8,d28,d3[1] 483 vld1.32 {d28[0]},[r2,:32]! @ *b++ 484 vmlal.u32 q9,d29,d4[0] 485 veor d10,d10,d10 486 vmlal.u32 q10,d29,d4[1] 487 vzip.16 d28,d10 488 vmlal.u32 q11,d29,d5[0] 489 vshr.u64 d18,d18,#16 490 vmlal.u32 q12,d29,d5[1] 491 vmlal.u32 q13,d29,d6[0] 492 vadd.u64 d18,d18,d19 493 vmlal.u32 q6,d29,d6[1] 494 vshr.u64 d18,d18,#16 495 vmlal.u32 q7,d29,d7[0] 496 vmlal.u32 q8,d29,d7[1] 497 vadd.u64 d20,d20,d18 498 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 499 vmlal.u32 q10,d28,d0[0] 500 vld1.64 {q9},[r6,:128]! 501 vmlal.u32 q11,d28,d0[1] 502 veor d8,d8,d8 503 vmlal.u32 q12,d28,d1[0] 504 vshl.i64 d29,d21,#16 505 vmlal.u32 q13,d28,d1[1] 506 vadd.u64 d29,d29,d20 507 vmlal.u32 q6,d28,d2[0] 508 vmul.u32 d29,d29,d30 509 vmlal.u32 q7,d28,d2[1] 510 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 511 vmlal.u32 q8,d28,d3[0] 512 vzip.16 d29,d8 513 vmlal.u32 q9,d28,d3[1] 514 vld1.32 {d28[0]},[r2,:32]! @ *b++ 515 vmlal.u32 q10,d29,d4[0] 516 veor d10,d10,d10 517 vmlal.u32 q11,d29,d4[1] 518 vzip.16 d28,d10 519 vmlal.u32 q12,d29,d5[0] 520 vshr.u64 d20,d20,#16 521 vmlal.u32 q13,d29,d5[1] 522 vmlal.u32 q6,d29,d6[0] 523 vadd.u64 d20,d20,d21 524 vmlal.u32 q7,d29,d6[1] 525 vshr.u64 d20,d20,#16 526 vmlal.u32 q8,d29,d7[0] 527 vmlal.u32 q9,d29,d7[1] 528 vadd.u64 d22,d22,d20 529 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 530 vmlal.u32 q11,d28,d0[0] 531 vld1.64 {q10},[r6,:128]! 532 vmlal.u32 q12,d28,d0[1] 533 veor d8,d8,d8 534 vmlal.u32 q13,d28,d1[0] 535 vshl.i64 d29,d23,#16 536 vmlal.u32 q6,d28,d1[1] 537 vadd.u64 d29,d29,d22 538 vmlal.u32 q7,d28,d2[0] 539 vmul.u32 d29,d29,d30 540 vmlal.u32 q8,d28,d2[1] 541 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 542 vmlal.u32 q9,d28,d3[0] 543 vzip.16 d29,d8 544 vmlal.u32 q10,d28,d3[1] 545 vld1.32 {d28[0]},[r2,:32]! @ *b++ 546 vmlal.u32 q11,d29,d4[0] 547 veor d10,d10,d10 548 vmlal.u32 q12,d29,d4[1] 549 vzip.16 d28,d10 550 vmlal.u32 q13,d29,d5[0] 551 vshr.u64 d22,d22,#16 552 vmlal.u32 q6,d29,d5[1] 553 vmlal.u32 q7,d29,d6[0] 554 vadd.u64 d22,d22,d23 555 vmlal.u32 q8,d29,d6[1] 556 vshr.u64 d22,d22,#16 557 vmlal.u32 q9,d29,d7[0] 558 vmlal.u32 q10,d29,d7[1] 559 vadd.u64 d24,d24,d22 560 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 561 vmlal.u32 q12,d28,d0[0] 562 vld1.64 {q11},[r6,:128]! 563 vmlal.u32 q13,d28,d0[1] 564 veor d8,d8,d8 565 vmlal.u32 q6,d28,d1[0] 566 vshl.i64 d29,d25,#16 567 vmlal.u32 q7,d28,d1[1] 568 vadd.u64 d29,d29,d24 569 vmlal.u32 q8,d28,d2[0] 570 vmul.u32 d29,d29,d30 571 vmlal.u32 q9,d28,d2[1] 572 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 573 vmlal.u32 q10,d28,d3[0] 574 vzip.16 d29,d8 575 vmlal.u32 q11,d28,d3[1] 576 vld1.32 {d28[0]},[r2,:32]! @ *b++ 577 vmlal.u32 q12,d29,d4[0] 578 veor d10,d10,d10 579 vmlal.u32 q13,d29,d4[1] 580 vzip.16 d28,d10 581 vmlal.u32 q6,d29,d5[0] 582 vshr.u64 d24,d24,#16 583 vmlal.u32 q7,d29,d5[1] 584 vmlal.u32 q8,d29,d6[0] 585 vadd.u64 d24,d24,d25 586 vmlal.u32 q9,d29,d6[1] 587 vshr.u64 d24,d24,#16 588 vmlal.u32 q10,d29,d7[0] 589 vmlal.u32 q11,d29,d7[1] 590 vadd.u64 d26,d26,d24 591 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 592 vmlal.u32 q13,d28,d0[0] 593 vld1.64 {q12},[r6,:128]! 594 vmlal.u32 q6,d28,d0[1] 595 veor d8,d8,d8 596 vmlal.u32 q7,d28,d1[0] 597 vshl.i64 d29,d27,#16 598 vmlal.u32 q8,d28,d1[1] 599 vadd.u64 d29,d29,d26 600 vmlal.u32 q9,d28,d2[0] 601 vmul.u32 d29,d29,d30 602 vmlal.u32 q10,d28,d2[1] 603 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 604 vmlal.u32 q11,d28,d3[0] 605 vzip.16 d29,d8 606 vmlal.u32 q12,d28,d3[1] 607 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 608 vmlal.u32 q13,d29,d4[0] 609 vld1.32 {d0,d1,d2,d3},[r1]! 610 vmlal.u32 q6,d29,d4[1] 611 vmlal.u32 q7,d29,d5[0] 612 vshr.u64 d26,d26,#16 613 vmlal.u32 q8,d29,d5[1] 614 vmlal.u32 q9,d29,d6[0] 615 vadd.u64 d26,d26,d27 616 vmlal.u32 q10,d29,d6[1] 617 vshr.u64 d26,d26,#16 618 vmlal.u32 q11,d29,d7[0] 619 vmlal.u32 q12,d29,d7[1] 620 vadd.u64 d12,d12,d26 621 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 622 add r10,sp,#8 @ rewind 623 sub r8,r5,#8 624 b LNEON_8n_inner 625 626.align 4 627LNEON_8n_inner: 628 subs r8,r8,#8 629 vmlal.u32 q6,d28,d0[0] 630 vld1.64 {q13},[r6,:128] 631 vmlal.u32 q7,d28,d0[1] 632 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 633 vmlal.u32 q8,d28,d1[0] 634 vld1.32 {d4,d5,d6,d7},[r3]! 635 vmlal.u32 q9,d28,d1[1] 636 it ne 637 addne r6,r6,#16 @ don't advance in last iteration 638 vmlal.u32 q10,d28,d2[0] 639 vmlal.u32 q11,d28,d2[1] 640 vmlal.u32 q12,d28,d3[0] 641 vmlal.u32 q13,d28,d3[1] 642 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 643 vmlal.u32 q6,d29,d4[0] 644 vmlal.u32 q7,d29,d4[1] 645 vmlal.u32 q8,d29,d5[0] 646 vmlal.u32 q9,d29,d5[1] 647 vmlal.u32 q10,d29,d6[0] 648 vmlal.u32 q11,d29,d6[1] 649 vmlal.u32 q12,d29,d7[0] 650 vmlal.u32 q13,d29,d7[1] 651 vst1.64 {q6},[r7,:128]! 652 vmlal.u32 q7,d28,d0[0] 653 vld1.64 {q6},[r6,:128] 654 vmlal.u32 q8,d28,d0[1] 655 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 656 vmlal.u32 q9,d28,d1[0] 657 it ne 658 addne r6,r6,#16 @ don't advance in last iteration 659 vmlal.u32 q10,d28,d1[1] 660 vmlal.u32 q11,d28,d2[0] 661 vmlal.u32 q12,d28,d2[1] 662 vmlal.u32 q13,d28,d3[0] 663 vmlal.u32 q6,d28,d3[1] 664 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 665 vmlal.u32 q7,d29,d4[0] 666 vmlal.u32 q8,d29,d4[1] 667 vmlal.u32 q9,d29,d5[0] 668 vmlal.u32 q10,d29,d5[1] 669 vmlal.u32 q11,d29,d6[0] 670 vmlal.u32 q12,d29,d6[1] 671 vmlal.u32 q13,d29,d7[0] 672 vmlal.u32 q6,d29,d7[1] 673 vst1.64 {q7},[r7,:128]! 674 vmlal.u32 q8,d28,d0[0] 675 vld1.64 {q7},[r6,:128] 676 vmlal.u32 q9,d28,d0[1] 677 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 678 vmlal.u32 q10,d28,d1[0] 679 it ne 680 addne r6,r6,#16 @ don't advance in last iteration 681 vmlal.u32 q11,d28,d1[1] 682 vmlal.u32 q12,d28,d2[0] 683 vmlal.u32 q13,d28,d2[1] 684 vmlal.u32 q6,d28,d3[0] 685 vmlal.u32 q7,d28,d3[1] 686 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 687 vmlal.u32 q8,d29,d4[0] 688 vmlal.u32 q9,d29,d4[1] 689 vmlal.u32 q10,d29,d5[0] 690 vmlal.u32 q11,d29,d5[1] 691 vmlal.u32 q12,d29,d6[0] 692 vmlal.u32 q13,d29,d6[1] 693 vmlal.u32 q6,d29,d7[0] 694 vmlal.u32 q7,d29,d7[1] 695 vst1.64 {q8},[r7,:128]! 696 vmlal.u32 q9,d28,d0[0] 697 vld1.64 {q8},[r6,:128] 698 vmlal.u32 q10,d28,d0[1] 699 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 700 vmlal.u32 q11,d28,d1[0] 701 it ne 702 addne r6,r6,#16 @ don't advance in last iteration 703 vmlal.u32 q12,d28,d1[1] 704 vmlal.u32 q13,d28,d2[0] 705 vmlal.u32 q6,d28,d2[1] 706 vmlal.u32 q7,d28,d3[0] 707 vmlal.u32 q8,d28,d3[1] 708 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 709 vmlal.u32 q9,d29,d4[0] 710 vmlal.u32 q10,d29,d4[1] 711 vmlal.u32 q11,d29,d5[0] 712 vmlal.u32 q12,d29,d5[1] 713 vmlal.u32 q13,d29,d6[0] 714 vmlal.u32 q6,d29,d6[1] 715 vmlal.u32 q7,d29,d7[0] 716 vmlal.u32 q8,d29,d7[1] 717 vst1.64 {q9},[r7,:128]! 718 vmlal.u32 q10,d28,d0[0] 719 vld1.64 {q9},[r6,:128] 720 vmlal.u32 q11,d28,d0[1] 721 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 722 vmlal.u32 q12,d28,d1[0] 723 it ne 724 addne r6,r6,#16 @ don't advance in last iteration 725 vmlal.u32 q13,d28,d1[1] 726 vmlal.u32 q6,d28,d2[0] 727 vmlal.u32 q7,d28,d2[1] 728 vmlal.u32 q8,d28,d3[0] 729 vmlal.u32 q9,d28,d3[1] 730 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 731 vmlal.u32 q10,d29,d4[0] 732 vmlal.u32 q11,d29,d4[1] 733 vmlal.u32 q12,d29,d5[0] 734 vmlal.u32 q13,d29,d5[1] 735 vmlal.u32 q6,d29,d6[0] 736 vmlal.u32 q7,d29,d6[1] 737 vmlal.u32 q8,d29,d7[0] 738 vmlal.u32 q9,d29,d7[1] 739 vst1.64 {q10},[r7,:128]! 740 vmlal.u32 q11,d28,d0[0] 741 vld1.64 {q10},[r6,:128] 742 vmlal.u32 q12,d28,d0[1] 743 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 744 vmlal.u32 q13,d28,d1[0] 745 it ne 746 addne r6,r6,#16 @ don't advance in last iteration 747 vmlal.u32 q6,d28,d1[1] 748 vmlal.u32 q7,d28,d2[0] 749 vmlal.u32 q8,d28,d2[1] 750 vmlal.u32 q9,d28,d3[0] 751 vmlal.u32 q10,d28,d3[1] 752 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 753 vmlal.u32 q11,d29,d4[0] 754 vmlal.u32 q12,d29,d4[1] 755 vmlal.u32 q13,d29,d5[0] 756 vmlal.u32 q6,d29,d5[1] 757 vmlal.u32 q7,d29,d6[0] 758 vmlal.u32 q8,d29,d6[1] 759 vmlal.u32 q9,d29,d7[0] 760 vmlal.u32 q10,d29,d7[1] 761 vst1.64 {q11},[r7,:128]! 762 vmlal.u32 q12,d28,d0[0] 763 vld1.64 {q11},[r6,:128] 764 vmlal.u32 q13,d28,d0[1] 765 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 766 vmlal.u32 q6,d28,d1[0] 767 it ne 768 addne r6,r6,#16 @ don't advance in last iteration 769 vmlal.u32 q7,d28,d1[1] 770 vmlal.u32 q8,d28,d2[0] 771 vmlal.u32 q9,d28,d2[1] 772 vmlal.u32 q10,d28,d3[0] 773 vmlal.u32 q11,d28,d3[1] 774 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 775 vmlal.u32 q12,d29,d4[0] 776 vmlal.u32 q13,d29,d4[1] 777 vmlal.u32 q6,d29,d5[0] 778 vmlal.u32 q7,d29,d5[1] 779 vmlal.u32 q8,d29,d6[0] 780 vmlal.u32 q9,d29,d6[1] 781 vmlal.u32 q10,d29,d7[0] 782 vmlal.u32 q11,d29,d7[1] 783 vst1.64 {q12},[r7,:128]! 784 vmlal.u32 q13,d28,d0[0] 785 vld1.64 {q12},[r6,:128] 786 vmlal.u32 q6,d28,d0[1] 787 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 788 vmlal.u32 q7,d28,d1[0] 789 it ne 790 addne r6,r6,#16 @ don't advance in last iteration 791 vmlal.u32 q8,d28,d1[1] 792 vmlal.u32 q9,d28,d2[0] 793 vmlal.u32 q10,d28,d2[1] 794 vmlal.u32 q11,d28,d3[0] 795 vmlal.u32 q12,d28,d3[1] 796 it eq 797 subeq r1,r1,r5,lsl#2 @ rewind 798 vmlal.u32 q13,d29,d4[0] 799 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 800 vmlal.u32 q6,d29,d4[1] 801 vld1.32 {d0,d1,d2,d3},[r1]! 802 vmlal.u32 q7,d29,d5[0] 803 add r10,sp,#8 @ rewind 804 vmlal.u32 q8,d29,d5[1] 805 vmlal.u32 q9,d29,d6[0] 806 vmlal.u32 q10,d29,d6[1] 807 vmlal.u32 q11,d29,d7[0] 808 vst1.64 {q13},[r7,:128]! 809 vmlal.u32 q12,d29,d7[1] 810 811 bne LNEON_8n_inner 812 add r6,sp,#128 813 vst1.64 {q6,q7},[r7,:256]! 814 veor q2,q2,q2 @ d4-d5 815 vst1.64 {q8,q9},[r7,:256]! 816 veor q3,q3,q3 @ d6-d7 817 vst1.64 {q10,q11},[r7,:256]! 818 vst1.64 {q12},[r7,:128] 819 820 subs r9,r9,#8 821 vld1.64 {q6,q7},[r6,:256]! 822 vld1.64 {q8,q9},[r6,:256]! 823 vld1.64 {q10,q11},[r6,:256]! 824 vld1.64 {q12,q13},[r6,:256]! 825 826 itt ne 827 subne r3,r3,r5,lsl#2 @ rewind 828 bne LNEON_8n_outer 829 830 add r7,sp,#128 831 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 832 vshr.u64 d10,d12,#16 833 vst1.64 {q2,q3},[sp,:256]! 834 vadd.u64 d13,d13,d10 835 vst1.64 {q2,q3}, [sp,:256]! 836 vshr.u64 d10,d13,#16 837 vst1.64 {q2,q3}, [sp,:256]! 838 vzip.16 d12,d13 839 840 mov r8,r5 841 b LNEON_tail_entry 842 843.align 4 844LNEON_tail: 845 vadd.u64 d12,d12,d10 846 vshr.u64 d10,d12,#16 847 vld1.64 {q8,q9}, [r6, :256]! 848 vadd.u64 d13,d13,d10 849 vld1.64 {q10,q11}, [r6, :256]! 850 vshr.u64 d10,d13,#16 851 vld1.64 {q12,q13}, [r6, :256]! 852 vzip.16 d12,d13 853 854LNEON_tail_entry: 855 vadd.u64 d14,d14,d10 856 vst1.32 {d12[0]}, [r7, :32]! 857 vshr.u64 d10,d14,#16 858 vadd.u64 d15,d15,d10 859 vshr.u64 d10,d15,#16 860 vzip.16 d14,d15 861 vadd.u64 d16,d16,d10 862 vst1.32 {d14[0]}, [r7, :32]! 863 vshr.u64 d10,d16,#16 864 vadd.u64 d17,d17,d10 865 vshr.u64 d10,d17,#16 866 vzip.16 d16,d17 867 vadd.u64 d18,d18,d10 868 vst1.32 {d16[0]}, [r7, :32]! 869 vshr.u64 d10,d18,#16 870 vadd.u64 d19,d19,d10 871 vshr.u64 d10,d19,#16 872 vzip.16 d18,d19 873 vadd.u64 d20,d20,d10 874 vst1.32 {d18[0]}, [r7, :32]! 875 vshr.u64 d10,d20,#16 876 vadd.u64 d21,d21,d10 877 vshr.u64 d10,d21,#16 878 vzip.16 d20,d21 879 vadd.u64 d22,d22,d10 880 vst1.32 {d20[0]}, [r7, :32]! 881 vshr.u64 d10,d22,#16 882 vadd.u64 d23,d23,d10 883 vshr.u64 d10,d23,#16 884 vzip.16 d22,d23 885 vadd.u64 d24,d24,d10 886 vst1.32 {d22[0]}, [r7, :32]! 887 vshr.u64 d10,d24,#16 888 vadd.u64 d25,d25,d10 889 vshr.u64 d10,d25,#16 890 vzip.16 d24,d25 891 vadd.u64 d26,d26,d10 892 vst1.32 {d24[0]}, [r7, :32]! 893 vshr.u64 d10,d26,#16 894 vadd.u64 d27,d27,d10 895 vshr.u64 d10,d27,#16 896 vzip.16 d26,d27 897 vld1.64 {q6,q7}, [r6, :256]! 898 subs r8,r8,#8 899 vst1.32 {d26[0]}, [r7, :32]! 900 bne LNEON_tail 901 902 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 903 sub r3,r3,r5,lsl#2 @ rewind r3 904 subs r1,sp,#0 @ clear carry flag 905 add r2,sp,r5,lsl#2 906 907LNEON_sub: 908 ldmia r1!, {r4,r5,r6,r7} 909 ldmia r3!, {r8,r9,r10,r11} 910 sbcs r8, r4,r8 911 sbcs r9, r5,r9 912 sbcs r10,r6,r10 913 sbcs r11,r7,r11 914 teq r1,r2 @ preserves carry 915 stmia r0!, {r8,r9,r10,r11} 916 bne LNEON_sub 917 918 ldr r10, [r1] @ load top-most bit 919 mov r11,sp 920 veor q0,q0,q0 921 sub r11,r2,r11 @ this is num*4 922 veor q1,q1,q1 923 mov r1,sp 924 sub r0,r0,r11 @ rewind r0 925 mov r3,r2 @ second 3/4th of frame 926 sbcs r10,r10,#0 @ result is carry flag 927 928LNEON_copy_n_zap: 929 ldmia r1!, {r4,r5,r6,r7} 930 ldmia r0, {r8,r9,r10,r11} 931 it cc 932 movcc r8, r4 933 vst1.64 {q0,q1}, [r3,:256]! @ wipe 934 itt cc 935 movcc r9, r5 936 movcc r10,r6 937 vst1.64 {q0,q1}, [r3,:256]! @ wipe 938 it cc 939 movcc r11,r7 940 ldmia r1, {r4,r5,r6,r7} 941 stmia r0!, {r8,r9,r10,r11} 942 sub r1,r1,#16 943 ldmia r0, {r8,r9,r10,r11} 944 it cc 945 movcc r8, r4 946 vst1.64 {q0,q1}, [r1,:256]! @ wipe 947 itt cc 948 movcc r9, r5 949 movcc r10,r6 950 vst1.64 {q0,q1}, [r3,:256]! @ wipe 951 it cc 952 movcc r11,r7 953 teq r1,r2 @ preserves carry 954 stmia r0!, {r8,r9,r10,r11} 955 bne LNEON_copy_n_zap 956 957 mov sp,ip 958 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 959 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 960 bx lr @ bx lr 961 962#endif 963.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 964.align 2 965.align 2 966#if __ARM_MAX_ARCH__>=7 967.comm _OPENSSL_armcap_P,4 968.non_lazy_symbol_pointer 969OPENSSL_armcap_P: 970.indirect_symbol _OPENSSL_armcap_P 971.long 0 972.private_extern _OPENSSL_armcap_P 973#endif 974#endif // !OPENSSL_NO_ASM && defined(OPENSSL_ARM) && defined(__APPLE__) 975