1# Copyright 2021 The ANGLE Project Authors. All rights reserved. 2# Use of this source code is governed by a BSD-style license that can be 3# found in the LICENSE file. 4 5# This is a .pyl, or "Python Literal", file. You can treat it just like a 6# .json file, with the following exceptions: 7# * all keys must be quoted (use single quotes, please); 8# * comments are allowed, using '#' syntax; and 9# * trailing commas are allowed. 10# 11# For more info see Chromium's test_suites.pyl in testing/buildbot. 12 13{ 14 'basic_suites': { 15 'angle_deqp_egl_d3d11_gtests': { 16 'angle_deqp_egl_d3d11_tests': { 17 'args': [ 18 'angle_deqp_egl_tests', 19 '--use-angle=d3d11', 20 '--bot-mode', 21 ], 22 'merge': { 23 'script': '//scripts/angle_deqp_test_merge.py', 24 }, 25 'test': 'angle_deqp_egl_tests', 26 'use_isolated_scripts_api': True, 27 }, 28 }, 29 30 'angle_deqp_egl_gl_gtests': { 31 'angle_deqp_egl_gl_tests': { 32 'args': [ 33 'angle_deqp_egl_tests', 34 '--use-angle=gl', 35 '--bot-mode', 36 # Flaky when run with multiple processes. 37 '--max-processes=1', 38 ], 39 'merge': { 40 'script': '//scripts/angle_deqp_test_merge.py', 41 }, 42 'test': 'angle_deqp_egl_tests', 43 'use_isolated_scripts_api': True, 44 }, 45 }, 46 47 'angle_deqp_egl_gles_gtests': { 48 'angle_deqp_egl_gles_tests': { 49 'args': [ 50 'angle_deqp_egl_tests', 51 '--use-angle=gles', 52 ], 53 'android_args': [ 54 '-v', 55 '--shard-timeout=500', 56 ], 57 'android_swarming': { 58 'shards': 4, 59 }, 60 'merge': { 61 'script': '//scripts/angle_deqp_test_merge.py', 62 }, 63 'test': 'angle_deqp_egl_tests', 64 'use_isolated_scripts_api': True, 65 }, 66 }, 67 68 'angle_deqp_egl_metal_gtests': { 69 'angle_deqp_egl_metal_tests': { 70 'args': [ 71 'angle_deqp_egl_tests', 72 '--use-angle=metal', 73 '--bot-mode', 74 ], 75 'merge': { 76 'script': '//scripts/angle_deqp_test_merge.py', 77 }, 78 'test': 'angle_deqp_egl_tests', 79 'use_isolated_scripts_api': True, 80 }, 81 }, 82 83 'angle_deqp_egl_vulkan_gtests': { 84 'angle_deqp_egl_vulkan_tests': { 85 'args': [ 86 'angle_deqp_egl_tests', 87 '--use-angle=vulkan', 88 ], 89 'android_args': [ 90 '-v', 91 '--shard-timeout=500', 92 ], 93 'android_swarming': { 94 'shards': 4, 95 }, 96 'desktop_args': [ 97 '--bot-mode', 98 ], 99 'merge': { 100 'script': '//scripts/angle_deqp_test_merge.py', 101 }, 102 'swarming': { 103 'shards': 2, 104 }, 105 'test': 'angle_deqp_egl_tests', 106 'use_isolated_scripts_api': True, 107 }, 108 }, 109 110 'angle_deqp_gles2_d3d11_gtests': { 111 'angle_deqp_gles2_d3d11_tests': { 112 'args': [ 113 'angle_deqp_gles2_tests', 114 '--use-angle=d3d11', 115 '--bot-mode', 116 ], 117 'merge': { 118 'script': '//scripts/angle_deqp_test_merge.py', 119 }, 120 'test': 'angle_deqp_gles2_tests', 121 'use_isolated_scripts_api': True, 122 }, 123 }, 124 125 'angle_deqp_gles2_gl_gtests': { 126 'angle_deqp_gles2_gl_tests': { 127 'args': [ 128 'angle_deqp_gles2_tests', 129 '--use-angle=gl', 130 '--bot-mode', 131 ], 132 'merge': { 133 'script': '//scripts/angle_deqp_test_merge.py', 134 }, 135 'test': 'angle_deqp_gles2_tests', 136 'use_isolated_scripts_api': True, 137 }, 138 }, 139 140 'angle_deqp_gles2_gles_gtests': { 141 'angle_deqp_gles2_gles_tests': { 142 'args': [ 143 'angle_deqp_gles2_tests', 144 '--use-angle=gles', 145 ], 146 'android_args': [ 147 '-v', 148 '--shard-timeout=500', 149 ], 150 'android_swarming': { 151 'shards': 4, 152 }, 153 'merge': { 154 'script': '//scripts/angle_deqp_test_merge.py', 155 }, 156 'test': 'angle_deqp_gles2_tests', 157 'use_isolated_scripts_api': True, 158 }, 159 }, 160 161 'angle_deqp_gles2_metal_gtests': { 162 'angle_deqp_gles2_metal_tests': { 163 'args': [ 164 'angle_deqp_gles2_tests', 165 '--use-angle=metal', 166 ], 167 'desktop_args': [ 168 '--bot-mode', 169 ], 170 'merge': { 171 'script': '//scripts/angle_deqp_test_merge.py', 172 }, 173 'test': 'angle_deqp_gles2_tests', 174 'use_isolated_scripts_api': True, 175 }, 176 }, 177 178 'angle_deqp_gles2_vulkan_gtests': { 179 'angle_deqp_gles2_vulkan_tests': { 180 'args': [ 181 'angle_deqp_gles2_tests', 182 '--use-angle=vulkan', 183 ], 184 'android_args': [ 185 '-v', 186 '--shard-timeout=500', 187 ], 188 'android_swarming': { 189 'shards': 4, 190 }, 191 'desktop_args': [ 192 '--bot-mode', 193 ], 194 'merge': { 195 'script': '//scripts/angle_deqp_test_merge.py', 196 }, 197 'test': 'angle_deqp_gles2_tests', 198 'use_isolated_scripts_api': True, 199 }, 200 }, 201 202 'angle_deqp_gles31_d3d11_gtests': { 203 'angle_deqp_gles31_d3d11_tests': { 204 'args': [ 205 'angle_deqp_gles31_tests', 206 '--use-angle=d3d11', 207 '--bot-mode', 208 ], 209 'merge': { 210 'script': '//scripts/angle_deqp_test_merge.py', 211 }, 212 'swarming': { 213 'shards': 2, 214 }, 215 'test': 'angle_deqp_gles31_tests', 216 'use_isolated_scripts_api': True, 217 }, 218 }, 219 220 'angle_deqp_gles31_gl_gtests': { 221 'angle_deqp_gles31_gl_tests': { 222 'args': [ 223 'angle_deqp_gles31_tests', 224 '--use-angle=gl', 225 '--bot-mode', 226 ], 227 'merge': { 228 'script': '//scripts/angle_deqp_test_merge.py', 229 }, 230 'swarming': { 231 'shards': 2, 232 }, 233 'test': 'angle_deqp_gles31_tests', 234 'use_isolated_scripts_api': True, 235 }, 236 }, 237 238 'angle_deqp_gles31_vulkan_gtests': { 239 'angle_deqp_gles31_vulkan_tests': { 240 'args': [ 241 'angle_deqp_gles31_tests', 242 '--use-angle=vulkan', 243 ], 244 'android_args': [ 245 '-v', 246 '--shard-timeout=500', 247 ], 248 'android_swarming': { 249 'shards': 20, 250 }, 251 'desktop_args': [ 252 '--bot-mode', 253 ], 254 'merge': { 255 'script': '//scripts/angle_deqp_test_merge.py', 256 }, 257 'swarming': { 258 'shards': 2, 259 }, 260 'test': 'angle_deqp_gles31_tests', 261 'use_isolated_scripts_api': True, 262 }, 263 }, 264 265 'angle_deqp_gles31_vulkan_rotate180_gtests': { 266 'angle_deqp_gles31_vulkan_rotate180_tests': { 267 'args': [ 268 'angle_deqp_gles31_rotate180_tests', 269 '--use-angle=vulkan', 270 ], 271 'desktop_args': [ 272 '--bot-mode', 273 ], 274 'merge': { 275 'script': '//scripts/angle_deqp_test_merge.py', 276 }, 277 'swarming': { 278 'shards': 1, 279 }, 280 'test': 'angle_deqp_gles31_rotate180_tests', 281 'use_isolated_scripts_api': True, 282 }, 283 }, 284 285 'angle_deqp_gles31_vulkan_rotate270_gtests': { 286 'angle_deqp_gles31_vulkan_rotate270_tests': { 287 'args': [ 288 'angle_deqp_gles31_rotate270_tests', 289 '--use-angle=vulkan', 290 ], 291 'desktop_args': [ 292 '--bot-mode', 293 ], 294 'merge': { 295 'script': '//scripts/angle_deqp_test_merge.py', 296 }, 297 'swarming': { 298 'shards': 1, 299 }, 300 'test': 'angle_deqp_gles31_rotate270_tests', 301 'use_isolated_scripts_api': True, 302 }, 303 }, 304 305 'angle_deqp_gles31_vulkan_rotate90_gtests': { 306 'angle_deqp_gles31_vulkan_rotate90_tests': { 307 'args': [ 308 'angle_deqp_gles31_rotate90_tests', 309 '--use-angle=vulkan', 310 ], 311 'desktop_args': [ 312 '--bot-mode', 313 ], 314 'merge': { 315 'script': '//scripts/angle_deqp_test_merge.py', 316 }, 317 'swarming': { 318 'shards': 1, 319 }, 320 'test': 'angle_deqp_gles31_rotate90_tests', 321 'use_isolated_scripts_api': True, 322 }, 323 }, 324 325 'angle_deqp_gles3_d3d11_gtests': { 326 'angle_deqp_gles3_d3d11_tests': { 327 'args': [ 328 'angle_deqp_gles3_tests', 329 '--use-angle=d3d11', 330 '--bot-mode', 331 ], 332 'merge': { 333 'script': '//scripts/angle_deqp_test_merge.py', 334 }, 335 'swarming': { 336 'shards': 2, 337 }, 338 'test': 'angle_deqp_gles3_tests', 339 'use_isolated_scripts_api': True, 340 }, 341 }, 342 343 'angle_deqp_gles3_gl_gtests': { 344 'angle_deqp_gles3_gl_tests': { 345 'args': [ 346 'angle_deqp_gles3_tests', 347 '--use-angle=gl', 348 '--bot-mode', 349 ], 350 'merge': { 351 'script': '//scripts/angle_deqp_test_merge.py', 352 }, 353 'swarming': { 354 'shards': 2, 355 }, 356 'test': 'angle_deqp_gles3_tests', 357 'use_isolated_scripts_api': True, 358 }, 359 }, 360 361 'angle_deqp_gles3_gles_gtests': { 362 'angle_deqp_gles3_gles_tests': { 363 'args': [ 364 'angle_deqp_gles3_tests', 365 '--use-angle=gles', 366 ], 367 'android_args': [ 368 '-v', 369 '--shard-timeout=500', 370 ], 371 'android_swarming': { 372 'shards': 12, 373 }, 374 'merge': { 375 'script': '//scripts/angle_deqp_test_merge.py', 376 }, 377 'test': 'angle_deqp_gles3_tests', 378 'use_isolated_scripts_api': True, 379 }, 380 }, 381 382 'angle_deqp_gles3_metal_gtests': { 383 'angle_deqp_gles3_metal_tests': { 384 'args': [ 385 'angle_deqp_gles3_tests', 386 '--use-angle=metal', 387 # Flakiness on multiple configs. http://anglebug.com/6019 388 '--flaky-retries=2', 389 ], 390 'desktop_args': [ 391 '--bot-mode', 392 ], 393 'merge': { 394 'script': '//scripts/angle_deqp_test_merge.py', 395 }, 396 'swarming': { 397 'shards': 2, 398 }, 399 'test': 'angle_deqp_gles3_tests', 400 'use_isolated_scripts_api': True, 401 }, 402 }, 403 404 'angle_deqp_gles3_vulkan_gtests': { 405 'angle_deqp_gles3_vulkan_tests': { 406 'args': [ 407 'angle_deqp_gles3_tests', 408 '--use-angle=vulkan', 409 ], 410 'android_args': [ 411 '-v', 412 '--shard-timeout=500', 413 ], 414 'android_swarming': { 415 'shards': 12, 416 }, 417 'desktop_args': [ 418 '--bot-mode', 419 ], 420 'merge': { 421 'script': '//scripts/angle_deqp_test_merge.py', 422 }, 423 'swarming': { 424 'shards': 4, 425 }, 426 'test': 'angle_deqp_gles3_tests', 427 'use_isolated_scripts_api': True, 428 }, 429 }, 430 431 'angle_deqp_gles3_vulkan_rotate180_gtests': { 432 'angle_deqp_gles3_vulkan_rotate180_tests': { 433 'args': [ 434 'angle_deqp_gles3_rotate180_tests', 435 '--use-angle=vulkan', 436 ], 437 'desktop_args': [ 438 '--bot-mode', 439 ], 440 'merge': { 441 'script': '//scripts/angle_deqp_test_merge.py', 442 }, 443 'swarming': { 444 'shards': 2, 445 }, 446 'test': 'angle_deqp_gles3_rotate180_tests', 447 'use_isolated_scripts_api': True, 448 }, 449 }, 450 451 'angle_deqp_gles3_vulkan_rotate270_gtests': { 452 'angle_deqp_gles3_vulkan_rotate270_tests': { 453 'args': [ 454 'angle_deqp_gles3_rotate270_tests', 455 '--use-angle=vulkan', 456 ], 457 'desktop_args': [ 458 '--bot-mode', 459 ], 460 'merge': { 461 'script': '//scripts/angle_deqp_test_merge.py', 462 }, 463 'swarming': { 464 'shards': 2, 465 }, 466 'test': 'angle_deqp_gles3_rotate270_tests', 467 'use_isolated_scripts_api': True, 468 }, 469 }, 470 471 'angle_deqp_gles3_vulkan_rotate90_gtests': { 472 'angle_deqp_gles3_vulkan_rotate90_tests': { 473 'args': [ 474 'angle_deqp_gles3_rotate90_tests', 475 '--use-angle=vulkan', 476 ], 477 'desktop_args': [ 478 '--bot-mode', 479 ], 480 'merge': { 481 'script': '//scripts/angle_deqp_test_merge.py', 482 }, 483 'swarming': { 484 'shards': 2, 485 }, 486 'test': 'angle_deqp_gles3_rotate90_tests', 487 'use_isolated_scripts_api': True, 488 }, 489 }, 490 491 'angle_deqp_khr_gles2_vulkan_gtests': { 492 'angle_deqp_khr_gles2_vulkan_tests': { 493 'args': [ 494 'angle_deqp_khr_gles2_tests', 495 '--use-angle=vulkan', 496 ], 497 'android_args': [ 498 '-v', 499 '--shard-timeout=500', 500 ], 501 'merge': { 502 'script': '//scripts/angle_deqp_test_merge.py', 503 }, 504 'desktop_args': [ 505 '--bot-mode', 506 ], 507 'test': 'angle_deqp_khr_gles2_tests', 508 'use_isolated_scripts_api': True, 509 }, 510 }, 511 512 'angle_deqp_khr_gles31_vulkan_gtests': { 513 'angle_deqp_khr_gles31_vulkan_tests': { 514 'args': [ 515 'angle_deqp_khr_gles31_tests', 516 '--use-angle=vulkan', 517 ], 518 'android_args': [ 519 '-v', 520 '--shard-timeout=500', 521 ], 522 'android_swarming': { 523 'shards': 2, 524 }, 525 'desktop_args': [ 526 '--bot-mode', 527 ], 528 'merge': { 529 'script': '//scripts/angle_deqp_test_merge.py', 530 }, 531 'test': 'angle_deqp_khr_gles31_tests', 532 'use_isolated_scripts_api': True, 533 }, 534 }, 535 536 'angle_deqp_khr_gles32_vulkan_gtests': { 537 'angle_deqp_khr_gles32_vulkan_tests': { 538 'args': [ 539 'angle_deqp_khr_gles32_tests', 540 '--use-angle=vulkan', 541 ], 542 'android_args': [ 543 '-v', 544 '--shard-timeout=500', 545 ], 546 'desktop_args': [ 547 '--bot-mode', 548 ], 549 'merge': { 550 'script': '//scripts/angle_deqp_test_merge.py', 551 }, 552 'test': 'angle_deqp_khr_gles32_tests', 553 'use_isolated_scripts_api': True, 554 }, 555 }, 556 557 'angle_deqp_khr_gles3_vulkan_gtests': { 558 'angle_deqp_khr_gles3_vulkan_tests': { 559 'args': [ 560 'angle_deqp_khr_gles3_tests', 561 '--use-angle=vulkan', 562 ], 563 'android_args': [ 564 '-v', 565 '--shard-timeout=500', 566 ], 567 'android_swarming': { 568 'shards': 2, 569 }, 570 'desktop_args': [ 571 '--bot-mode', 572 ], 573 'merge': { 574 'script': '//scripts/angle_deqp_test_merge.py', 575 }, 576 'test': 'angle_deqp_khr_gles3_tests', 577 'use_isolated_scripts_api': True, 578 }, 579 }, 580 581 'angle_end2end_gtests': { 582 'angle_end2end_tests': { 583 'android_args': [ 584 '--shard-timeout=180', 585 '-v', 586 # We use this argument to save test artifacts. 587 '--render-test-output-dir=${ISOLATED_OUTDIR}', 588 ], 589 'android_swarming': { 590 'shards': 4, 591 }, 592 'args': [ 593 'angle_end2end_tests', 594 '--gtest_filter=-*Vulkan_SwiftShader*', 595 ], 596 'desktop_args': [ 597 '--bot-mode', 598 ], 599 # Linux has issues with creating too many windows at once. 600 'linux_args': [ 601 '--max-processes=4', 602 ], 603 'swarming': { 604 'shards': 2, 605 }, 606 'use_isolated_scripts_api': True, 607 }, 608 }, 609 610 'angle_end2end_vulkan_gtests': { 611 'angle_end2end_tests': { 612 'android_args': [ 613 '--shard-timeout=300', 614 '-v', 615 # We use this argument to save test artifacts. 616 '--render-test-output-dir=${ISOLATED_OUTDIR}', 617 ], 618 'android_swarming': { 619 'shards': 4, 620 }, 621 'args': [ 622 'angle_end2end_tests', 623 '--gtest_filter=*Vulkan*:-*Vulkan_SwiftShader*', 624 ], 625 'desktop_args': [ 626 '--bot-mode', 627 ], 628 # Linux has issues with creating too many windows at once. 629 'linux_args': [ 630 '--max-processes=4', 631 ], 632 'swarming': { 633 'shards': 2, 634 }, 635 'use_isolated_scripts_api': True, 636 }, 637 }, 638 639 'angle_end2end_with_retry_gtests': { 640 'angle_end2end_tests': { 641 'args': [ 642 'angle_end2end_tests', 643 '--gtest_filter=-*Vulkan_SwiftShader*', 644 '--bot-mode', 645 '--flaky-retries=2', 646 ], 647 # Linux has issues with creating too many windows at once. 648 'linux_args': [ 649 '--max-processes=4', 650 ], 651 'swarming': { 652 'shards': 2, 653 }, 654 'use_isolated_scripts_api': True, 655 }, 656 }, 657 658 'angle_gles1_conformance_gtests': { 659 'angle_gles1_conformance_tests': { 660 'android_args': [ 661 '--shard-timeout=180', 662 '-v', 663 ], 664 'args': [ 665 'angle_gles1_conformance_tests', 666 '--test-timeout=300', 667 ], 668 'desktop_args': [ 669 '--bot-mode', 670 ], 671 'use_isolated_scripts_api': True, 672 }, 673 }, 674 675 # Actually uploads results to the perf dashboard 676 'angle_perf_isolated_scripts': { 677 'angle_perftests': { 678 'args': [ 679 '--log=debug', 680 '--show-test-stdout', 681 ], 682 'merge': { 683 'script': '//scripts/process_angle_perf_results.py', 684 }, 685 'android_swarming': { 686 'shards': 30, 687 }, 688 'swarming': { 689 'shards': 20, 690 }, 691 }, 692 }, 693 694 # The angle perf tests should eventually be run on every platform 695 # ANGLE supports. Currently they run on Windows, Linux and Android. 696 'angle_perf_smoke_isolated_scripts': { 697 'angle_perftests': { 698 'args': [ 699 '--log=debug', 700 '--smoke-test-mode', 701 '--show-test-stdout', 702 ], 703 'merge': { 704 'script': '//scripts/process_angle_perf_results.py', 705 # Does not upload to the perf dashboard 706 'args': [ 707 '--smoke-test-mode', 708 ], 709 }, 710 'swarming': { 711 'shards': 2, 712 }, 713 'android_swarming': { 714 'shards': 20, 715 }, 716 }, 717 }, 718 719 'angle_restricted_trace_gold_isolated_scripts': { 720 'angle_restricted_trace_gold_tests': { 721 'android_args': [ 722 '-v', 723 ], 724 'args': [ 725 '--test-machine-name', 726 '${buildername}', 727 ], 728 'mixins': [ 729 'angle_skia_gold_test', 730 ], 731 'android_swarming': { 732 'shards': 6, 733 }, 734 } 735 }, 736 737 'angle_unit_gtests': { 738 'angle_unittests': { 739 'args': [ 740 'angle_unittests', 741 ], 742 'android_args': [ 743 '-v', 744 ], 745 'use_isolated_scripts_api': True, 746 }, 747 }, 748 749 'angle_white_box_gtests': { 750 'angle_white_box_tests': { 751 'android_args': [ 752 '--shard-timeout=180', 753 '-v', 754 ], 755 'args': [ 756 'angle_white_box_tests', 757 ], 758 'desktop_args': [ 759 '--bot-mode', 760 ], 761 'use_isolated_scripts_api': True, 762 }, 763 }, 764 765 'swangle_deqp_egl_slow_tests': { 766 'angle_deqp_egl_tests': { 767 'args': [ 768 'angle_deqp_egl_tests', 769 '--use-angle=swiftshader', 770 '--bot-mode', 771 '--batch-timeout=600', 772 ], 773 'linux_args': [ 774 '--xvfb', 775 ], 776 'use_isolated_scripts_api': True, 777 }, 778 }, 779 780 'swangle_deqp_egl_tests': { 781 'angle_deqp_egl_tests': { 782 'args': [ 783 'angle_deqp_egl_tests', 784 '--use-angle=swiftshader', 785 '--bot-mode', 786 ], 787 'linux_args': [ 788 '--xvfb', 789 ], 790 'use_isolated_scripts_api': True, 791 }, 792 }, 793 794 'swangle_deqp_gles2_slow_tests': { 795 'angle_deqp_gles2_tests': { 796 'args': [ 797 'angle_deqp_gles2_tests', 798 '--use-angle=swiftshader', 799 '--bot-mode', 800 ], 801 'linux_args': [ 802 '--xvfb', 803 ], 804 'use_isolated_scripts_api': True, 805 'swarming': { 806 'shards': 4, 807 }, 808 }, 809 }, 810 811 'swangle_deqp_gles2_tests': { 812 'angle_deqp_gles2_tests': { 813 'args': [ 814 'angle_deqp_gles2_tests', 815 '--use-angle=swiftshader', 816 '--bot-mode', 817 ], 818 'linux_args': [ 819 '--xvfb', 820 ], 821 'use_isolated_scripts_api': True, 822 }, 823 }, 824 825 'swangle_deqp_gles31_rotate180_tests': { 826 'angle_deqp_gles31_rotate180_tests': { 827 'args': [ 828 'angle_deqp_gles31_rotate180_tests', 829 '--use-angle=swiftshader', 830 '--bot-mode', 831 ], 832 'linux_args': [ 833 '--xvfb', 834 ], 835 'use_isolated_scripts_api': True, 836 }, 837 }, 838 839 'swangle_deqp_gles31_rotate270_tests': { 840 'angle_deqp_gles31_rotate270_tests': { 841 'args': [ 842 'angle_deqp_gles31_rotate270_tests', 843 '--use-angle=swiftshader', 844 '--bot-mode', 845 ], 846 'linux_args': [ 847 '--xvfb', 848 ], 849 'use_isolated_scripts_api': True, 850 }, 851 }, 852 853 'swangle_deqp_gles31_rotate90_tests': { 854 'angle_deqp_gles31_rotate90_tests': { 855 'args': [ 856 'angle_deqp_gles31_rotate90_tests', 857 '--use-angle=swiftshader', 858 '--bot-mode', 859 ], 860 'linux_args': [ 861 '--xvfb', 862 ], 863 'use_isolated_scripts_api': True, 864 }, 865 }, 866 867 'swangle_deqp_gles31_slow_tests': { 868 'angle_deqp_gles31_tests': { 869 'args': [ 870 'angle_deqp_gles31_tests', 871 '--use-angle=swiftshader', 872 '--bot-mode', 873 '--batch-timeout=600', 874 ], 875 'linux_args': [ 876 '--xvfb', 877 ], 878 'swarming': { 879 'shards': 30, 880 }, 881 'use_isolated_scripts_api': True, 882 }, 883 }, 884 885 'swangle_deqp_gles31_tests': { 886 'angle_deqp_gles31_tests': { 887 'args': [ 888 'angle_deqp_gles31_tests', 889 '--use-angle=swiftshader', 890 '--bot-mode', 891 ], 892 'linux_args': [ 893 '--xvfb', 894 ], 895 'swarming': { 896 'shards': 10, 897 }, 898 'use_isolated_scripts_api': True, 899 }, 900 }, 901 902 'swangle_deqp_gles3_rotate180_tests': { 903 'angle_deqp_gles3_rotate180_tests': { 904 'args': [ 905 'angle_deqp_gles3_rotate180_tests', 906 '--use-angle=swiftshader', 907 '--bot-mode', 908 ], 909 'linux_args': [ 910 '--xvfb', 911 ], 912 'use_isolated_scripts_api': True, 913 }, 914 }, 915 916 'swangle_deqp_gles3_rotate270_tests': { 917 'angle_deqp_gles3_rotate270_tests': { 918 'args': [ 919 'angle_deqp_gles3_rotate270_tests', 920 '--use-angle=swiftshader', 921 '--bot-mode', 922 ], 923 'linux_args': [ 924 '--xvfb', 925 ], 926 'use_isolated_scripts_api': True, 927 }, 928 }, 929 930 'swangle_deqp_gles3_rotate90_tests': { 931 'angle_deqp_gles3_rotate90_tests': { 932 'args': [ 933 'angle_deqp_gles3_rotate90_tests', 934 '--use-angle=swiftshader', 935 '--bot-mode', 936 ], 937 'linux_args': [ 938 '--xvfb', 939 ], 940 'use_isolated_scripts_api': True, 941 }, 942 }, 943 944 'swangle_deqp_gles3_slow_tests': { 945 'angle_deqp_gles3_tests': { 946 'args': [ 947 'angle_deqp_gles3_tests', 948 '--use-angle=swiftshader', 949 '--bot-mode', 950 ], 951 'linux_args': [ 952 '--xvfb', 953 ], 954 'swarming': { 955 'shards': 8, 956 }, 957 'use_isolated_scripts_api': True, 958 }, 959 }, 960 961 'swangle_deqp_gles3_tests': { 962 'angle_deqp_gles3_tests': { 963 'args': [ 964 'angle_deqp_gles3_tests', 965 '--use-angle=swiftshader', 966 '--bot-mode', 967 ], 968 'linux_args': [ 969 '--xvfb', 970 ], 971 'swarming': { 972 'shards': 4, 973 }, 974 'use_isolated_scripts_api': True, 975 }, 976 }, 977 978 'swangle_deqp_khr_gles2_tests': { 979 'angle_deqp_khr_gles2_tests': { 980 'args': [ 981 'angle_deqp_khr_gles2_tests', 982 '--use-angle=swiftshader', 983 '--bot-mode', 984 ], 985 'linux_args': [ 986 '--xvfb', 987 ], 988 'use_isolated_scripts_api': True, 989 }, 990 }, 991 992 'swangle_deqp_khr_gles31_tests': { 993 'angle_deqp_khr_gles31_tests': { 994 'args': [ 995 'angle_deqp_khr_gles31_tests', 996 '--use-angle=swiftshader', 997 '--bot-mode', 998 ], 999 'linux_args': [ 1000 '--xvfb', 1001 ], 1002 'use_isolated_scripts_api': True, 1003 }, 1004 }, 1005 1006 'swangle_deqp_khr_gles3_tests': { 1007 'angle_deqp_khr_gles3_tests': { 1008 'args': [ 1009 'angle_deqp_khr_gles3_tests', 1010 '--use-angle=swiftshader', 1011 '--bot-mode', 1012 ], 1013 'linux_args': [ 1014 '--xvfb', 1015 ], 1016 'use_isolated_scripts_api': True, 1017 }, 1018 }, 1019 1020 'swangle_end2end_slow_tests': { 1021 'angle_end2end_tests': { 1022 'args': [ 1023 'angle_end2end_tests', 1024 '--bot-mode', 1025 '--gtest_filter=*Vulkan_SwiftShader*', 1026 ], 1027 'linux_args': [ 1028 '--xvfb', 1029 ], 1030 'use_isolated_scripts_api': True, 1031 'swarming': { 1032 'shards': 4, 1033 }, 1034 }, 1035 }, 1036 1037 'swangle_end2end_tests': { 1038 'angle_end2end_tests': { 1039 'args': [ 1040 'angle_end2end_tests', 1041 '--bot-mode', 1042 '--gtest_filter=*Vulkan_SwiftShader*', 1043 ], 1044 'linux_args': [ 1045 '--xvfb', 1046 ], 1047 'use_isolated_scripts_api': True, 1048 }, 1049 }, 1050 1051 'swangle_restricted_trace_gold_isolated_scripts': { 1052 'angle_restricted_trace_gold_tests': { 1053 'args': [ 1054 '--test-machine-name', 1055 '${buildername}', 1056 '--swiftshader', 1057 ], 1058 'linux_args': [ 1059 '--xvfb', 1060 # An X Windows bug sometimes causes flaky connection errors. 1061 '--flaky-retries=2', 1062 ], 1063 'mixins': [ 1064 'angle_skia_gold_test', 1065 ], 1066 'swarming': { 1067 'shards': 6, 1068 }, 1069 }, 1070 }, 1071 1072 'swangle_white_box_tests': { 1073 'angle_white_box_tests': { 1074 'args': [ 1075 'angle_white_box_tests', 1076 '--bot-mode', 1077 '--gtest_filter=*Vulkan_SwiftShader*', 1078 ], 1079 'linux_args': [ 1080 '--xvfb', 1081 ], 1082 'use_isolated_scripts_api': True, 1083 }, 1084 } 1085 }, 1086 1087 'compound_suites': { 1088 'android_gtests': [ 1089 'angle_deqp_egl_gles_gtests', 1090 'angle_deqp_egl_vulkan_gtests', 1091 'angle_deqp_gles2_gles_gtests', 1092 'angle_deqp_gles2_vulkan_gtests', 1093 'angle_deqp_gles31_vulkan_gtests', 1094 'angle_deqp_gles3_gles_gtests', 1095 'angle_deqp_gles3_vulkan_gtests', 1096 'angle_deqp_khr_gles2_vulkan_gtests', 1097 'angle_deqp_khr_gles31_vulkan_gtests', 1098 'angle_deqp_khr_gles32_vulkan_gtests', 1099 'angle_deqp_khr_gles3_vulkan_gtests', 1100 'angle_end2end_gtests', 1101 'angle_unit_gtests', 1102 ], 1103 1104 'android_vulkan_gtests': [ 1105 'angle_deqp_egl_vulkan_gtests', 1106 'angle_deqp_gles2_vulkan_gtests', 1107 'angle_deqp_gles31_vulkan_gtests', 1108 'angle_deqp_gles3_vulkan_gtests', 1109 'angle_deqp_khr_gles2_vulkan_gtests', 1110 'angle_deqp_khr_gles31_vulkan_gtests', 1111 'angle_deqp_khr_gles32_vulkan_gtests', 1112 'angle_deqp_khr_gles3_vulkan_gtests', 1113 'angle_end2end_vulkan_gtests', 1114 'angle_unit_gtests', 1115 ], 1116 1117 'common_isolated_scripts': [ 1118 'angle_perf_smoke_isolated_scripts', 1119 'angle_restricted_trace_gold_isolated_scripts', 1120 ], 1121 1122 'linux_intel_gtests': [ 1123 'angle_deqp_gles2_gl_gtests', 1124 'angle_end2end_gtests', 1125 'angle_unit_gtests', 1126 'angle_white_box_gtests', 1127 ], 1128 1129 'linux_nvidia_gtests': [ 1130 'angle_deqp_egl_gl_gtests', 1131 'angle_deqp_egl_vulkan_gtests', 1132 'angle_deqp_gles2_gl_gtests', 1133 'angle_deqp_gles2_vulkan_gtests', 1134 'angle_deqp_gles31_gl_gtests', 1135 'angle_deqp_gles31_vulkan_gtests', 1136 'angle_deqp_gles31_vulkan_rotate180_gtests', 1137 'angle_deqp_gles31_vulkan_rotate270_gtests', 1138 'angle_deqp_gles31_vulkan_rotate90_gtests', 1139 'angle_deqp_gles3_gl_gtests', 1140 'angle_deqp_gles3_vulkan_gtests', 1141 'angle_deqp_gles3_vulkan_rotate180_gtests', 1142 'angle_deqp_gles3_vulkan_rotate270_gtests', 1143 'angle_deqp_gles3_vulkan_rotate90_gtests', 1144 'angle_deqp_khr_gles2_vulkan_gtests', 1145 'angle_deqp_khr_gles31_vulkan_gtests', 1146 'angle_deqp_khr_gles32_vulkan_gtests', 1147 'angle_deqp_khr_gles3_vulkan_gtests', 1148 'angle_end2end_gtests', 1149 'angle_unit_gtests', 1150 'angle_white_box_gtests', 1151 ], 1152 1153 'mac_amd_and_intel_gtests': [ 1154 'angle_deqp_egl_gl_gtests', 1155 'angle_deqp_egl_metal_gtests', 1156 'angle_deqp_gles2_gl_gtests', 1157 'angle_deqp_gles2_metal_gtests', 1158 'angle_deqp_gles3_gl_gtests', 1159 'angle_deqp_gles3_metal_gtests', 1160 'angle_end2end_with_retry_gtests', 1161 'angle_unit_gtests', 1162 ], 1163 1164 'mac_nvidia_gtests': [ 1165 'angle_end2end_with_retry_gtests', 1166 'angle_unit_gtests', 1167 ], 1168 1169 'swangle_gtests': [ 1170 'swangle_deqp_egl_tests', 1171 'swangle_deqp_gles2_tests', 1172 'swangle_deqp_gles31_rotate180_tests', 1173 'swangle_deqp_gles31_rotate270_tests', 1174 'swangle_deqp_gles31_rotate90_tests', 1175 'swangle_deqp_gles31_tests', 1176 'swangle_deqp_gles3_rotate180_tests', 1177 'swangle_deqp_gles3_rotate270_tests', 1178 'swangle_deqp_gles3_rotate90_tests', 1179 'swangle_deqp_gles3_tests', 1180 'swangle_deqp_khr_gles2_tests', 1181 'swangle_deqp_khr_gles31_tests', 1182 'swangle_deqp_khr_gles3_tests', 1183 'swangle_end2end_tests', 1184 'swangle_white_box_tests', 1185 ], 1186 1187 'swangle_non_deqp_slow_gtests': [ 1188 'swangle_end2end_slow_tests', 1189 'swangle_white_box_tests', 1190 ], 1191 1192 'swangle_slow_gtests': [ 1193 'swangle_deqp_egl_slow_tests', 1194 'swangle_deqp_gles2_slow_tests', 1195 'swangle_deqp_gles31_rotate180_tests', 1196 'swangle_deqp_gles31_rotate270_tests', 1197 'swangle_deqp_gles31_rotate90_tests', 1198 'swangle_deqp_gles31_slow_tests', 1199 'swangle_deqp_gles3_rotate180_tests', 1200 'swangle_deqp_gles3_rotate270_tests', 1201 'swangle_deqp_gles3_rotate90_tests', 1202 'swangle_deqp_gles3_slow_tests', 1203 'swangle_deqp_khr_gles2_tests', 1204 'swangle_deqp_khr_gles31_tests', 1205 'swangle_deqp_khr_gles3_tests', 1206 'swangle_end2end_tests', 1207 'swangle_white_box_tests', 1208 ], 1209 1210 'win10_intel_gtests': [ 1211 'angle_deqp_gles2_d3d11_gtests', 1212 'angle_end2end_gtests', 1213 'angle_gles1_conformance_gtests', 1214 'angle_unit_gtests', 1215 'angle_white_box_gtests', 1216 ], 1217 1218 'win10_nvidia_gtests': [ 1219 'angle_deqp_egl_d3d11_gtests', 1220 'angle_deqp_egl_gl_gtests', 1221 'angle_deqp_egl_vulkan_gtests', 1222 'angle_deqp_gles2_d3d11_gtests', 1223 'angle_deqp_gles2_gl_gtests', 1224 'angle_deqp_gles2_vulkan_gtests', 1225 'angle_deqp_gles31_d3d11_gtests', 1226 'angle_deqp_gles31_gl_gtests', 1227 'angle_deqp_gles31_vulkan_gtests', 1228 'angle_deqp_gles31_vulkan_rotate180_gtests', 1229 'angle_deqp_gles31_vulkan_rotate270_gtests', 1230 'angle_deqp_gles31_vulkan_rotate90_gtests', 1231 'angle_deqp_gles3_d3d11_gtests', 1232 'angle_deqp_gles3_gl_gtests', 1233 'angle_deqp_gles3_vulkan_gtests', 1234 'angle_deqp_gles3_vulkan_rotate180_gtests', 1235 'angle_deqp_gles3_vulkan_rotate270_gtests', 1236 'angle_deqp_gles3_vulkan_rotate90_gtests', 1237 'angle_deqp_khr_gles2_vulkan_gtests', 1238 'angle_deqp_khr_gles31_vulkan_gtests', 1239 'angle_deqp_khr_gles32_vulkan_gtests', 1240 'angle_deqp_khr_gles3_vulkan_gtests', 1241 'angle_end2end_gtests', 1242 'angle_gles1_conformance_gtests', 1243 'angle_unit_gtests', 1244 'angle_white_box_gtests', 1245 ], 1246 1247 'win7_amd_gtests': [ 1248 'angle_deqp_gles2_d3d11_gtests', 1249 'angle_end2end_with_retry_gtests', 1250 'angle_unit_gtests', 1251 'angle_white_box_gtests', 1252 ], 1253 1254 'win7_nvidia_gtests': [ 1255 'angle_end2end_gtests', 1256 'angle_gles1_conformance_gtests', 1257 'angle_unit_gtests', 1258 'angle_white_box_gtests', 1259 'angle_deqp_egl_d3d11_gtests', 1260 'angle_deqp_gles2_d3d11_gtests', 1261 'angle_deqp_gles3_d3d11_gtests', 1262 ], 1263 }, 1264} 1265