| /third_party/mindspore/tests/st/pynative/data_parallel/ |
| D | test_pynative_hccl.py | 43 def train_allreduce_8p(q, device_id, device_num): argument
49 os.environ['RANK_SIZE'] = str(device_num)
53 device_num=device_num)
66 device_num = 8
69 for i in range(device_num):
71 process.append(Process(target=train_allreduce_8p, args=(q, device_id, device_num)))
73 for i in range(device_num):
78 for i in range(device_num):
82 for i in range(device_num):
86 for i in range(device_num):
[all …]
|
| D | test_pynative_hccl_allreduce.py | 53 def train_allreduce_8p(q, device_id, device_num): argument
59 os.environ['RANK_SIZE'] = str(device_num)
63 device_num=device_num)
75 device_num = 8
78 for i in range(device_num):
80 process.append(Process(target=train_allreduce_8p, args=(q, device_id, device_num)))
82 for i in range(device_num):
87 for i in range(device_num):
91 for i in range(device_num):
97 for i in range(device_num):
|
| /third_party/mindspore/tests/st/auto_parallel/ |
| D | soft_entropy_loss_expand_parallel.py | 34 device_num = 2 variable
44 global device_num
51 device_num = distributedTool.get_group_size()
52 context.set_auto_parallel_context(device_num=device_num,
83 stra[0] = device_num
90 stra[0] = device_num
218 matmul_stra = ((1, 1), (device_num, 1))
219 reduce_max_stra = ((1, device_num),)
220 sub_stra = ((1, device_num), (1, 1))
221 exp_stra = ((1, device_num),)
[all …]
|
| /third_party/mindspore/mindspore/ccsrc/pipeline/jit/ |
| D | pipeline_split.cc | 58 static int64_t InferStage(int64_t rank_id, int64_t stage_num, int64_t device_num) { in InferStage() argument
62 if (device_num % stage_num != 0) { in InferStage()
63 …S_LOG(EXCEPTION) << "Device_num must be divisible by the stage_num, got device_num: " << device_num in InferStage()
66 auto per_stage_rank_num = device_num / stage_num; in InferStage()
88 int64_t device_num = 0; in PipelineSplit() local
93 device_num = UintToInt(world_rank_size); in PipelineSplit()
94 MS_LOG(INFO) << "Get device num from communication model, the device num is " << device_num; in PipelineSplit()
96 device_num = parallel::ParallelContext::GetInstance()->device_num(); in PipelineSplit()
98 if (device_num < 1) { in PipelineSplit()
99 MS_LOG(EXCEPTION) << "Invalid device num: " << device_num; in PipelineSplit()
[all …]
|
| /third_party/mindspore/tests/ut/python/parallel/ |
| D | test_conv2d.py | 60 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
68 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
78 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
87 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
96 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
104 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
114 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
124 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=32, global_rank=0)
132 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
140 context.set_auto_parallel_context(parallel_mode="auto_parallel", device_num=8, global_rank=0)
[all …]
|
| D | test_gathernd_further.py | 112 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
124 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
136 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
148 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
160 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
172 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
184 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
196 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
208 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
220 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
[all …]
|
| D | test_set_auto_parallel_context.py | 23 …context.set_auto_parallel_context(device_num=4, global_rank=3, gradients_mean=True, gradient_fp32_…
26 device_num = context.get_auto_parallel_context("device_num")
33 assert device_num == 4
42 device_num = auto_parallel_context().get_device_num()
44 assert device_num == 4
67 context.set_auto_parallel_context(device_num=0)
70 context.set_auto_parallel_context(device_num=4097)
95 context.set_auto_parallel_context(device_num=8, global_rank=4,
102 device_num = context.get_auto_parallel_context("device_num")
114 assert device_num == 1
|
| D | test_manual_embedding_lookup.py | 79 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
88 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=4, global_rank=0)
97 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=32, global_rank=1…
106 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
115 context.set_auto_parallel_context(parallel_mode="auto_parallel", device_num=2, global_rank=0)
122 context.set_auto_parallel_context(parallel_mode="auto_parallel", device_num=2, global_rank=0)
128 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
138 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
148 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
158 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
[all …]
|
| D | test_layer_norm_further.py | 160 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
170 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
180 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
190 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
200 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
210 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
220 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
230 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
240 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
250 parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
[all …]
|
| D | test_dataset_util.py | 23 device_num = 16
25 full_shapes = _to_full_shapes(shapes, device_num)
31 device_num = 4
33 full_tensor = _to_full_tensor(elem, device_num, global_rank, scaling_sens=None)
45 device_num = 4
47 full_tensor = _to_full_tensor(elem, device_num, global_rank, scaling_sens=None)
63 device_num = 4
65 full_tensor = _to_full_tensor(elem, device_num, global_rank, scaling_sens=0.1)
|
| D | test_manual_gatherv2.py | 72 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
81 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=4, global_rank=0)
90 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=32, global_rank=1…
99 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
108 context.set_auto_parallel_context(parallel_mode="auto_parallel", device_num=2, global_rank=0)
115 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
125 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
135 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
145 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
155 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=2, global_rank=0)
[all …]
|
| D | test_one_hot_net.py | 37 device_num = 16 variable
42 onehot_strategy = ((1, device_num), (), ())
43 twod_strategy = ((1, device_num),)
44 twod_strategy_m = ((device_num, 1),)
45 scalar_twod_strategy = ((), (1, device_num))
46 twod_scalar_strategy = ((1, device_num), ())
50 twod_twod_strategy = ((1, device_num), (1, device_num))
51 twod_twodbc_strategy = ((1, device_num), (1, 1))
52 twodbc_twod_strategy = ((1, 1), (device_num, 1))
56 onehot_strategy = ((device_num, 1), (), ())
[all …]
|
| D | test_maxpool_avgpool.py | 71 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
80 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
89 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
98 context.set_auto_parallel_context(parallel_mode="auto_parallel", device_num=8, global_rank=0)
104 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
114 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
124 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
134 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
144 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
154 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
[all …]
|
| D | test_stridedslice.py | 79 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
88 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
97 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
106 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
114 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
122 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
130 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
138 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
146 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
154 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
[all …]
|
| D | test_gather_v2.py | 66 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
79 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
92 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
105 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
118 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
131 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
144 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
156 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
168 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
181 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
[all …]
|
| D | test_neighborexchange.py | 45 context.set_auto_parallel_context(device_num=8, global_rank=0)
73 context.set_auto_parallel_context(device_num=8, global_rank=0)
100 context.set_auto_parallel_context(device_num=8, global_rank=0)
122 context.set_auto_parallel_context(device_num=8, global_rank=0)
144 context.set_auto_parallel_context(device_num=8, global_rank=0)
166 context.set_auto_parallel_context(device_num=8, global_rank=0)
194 context.set_auto_parallel_context(device_num=8, global_rank=0)
223 context.set_auto_parallel_context(device_num=8, global_rank=0)
252 context.set_auto_parallel_context(device_num=8, global_rank=0)
280 context.set_auto_parallel_context(device_num=8, global_rank=0)
[all …]
|
| D | test_tile.py | 90 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
98 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
106 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
114 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
122 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
130 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
138 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
146 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
154 context.set_auto_parallel_context(parallel_mode="auto_parallel", device_num=8, global_rank=0)
160 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
|
| D | test_o2_level.py | 105 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
116 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
127 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
138 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
148 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
158 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
168 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
178 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
187 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
196 parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
[all …]
|
| D | test_sparse_gather_v2.py | 67 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
80 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
93 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
106 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
119 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
132 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
145 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
157 … context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="semi_auto_parallel")
169 context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="auto_parallel")
179 context.set_auto_parallel_context(device_num=8, global_rank=0, parallel_mode="auto_parallel")
[all …]
|
| D | test_unsortedsegmentsum.py | 77 context.set_auto_parallel_context(device_num=8, global_rank=0)
87 context.set_auto_parallel_context(device_num=8, global_rank=0)
97 context.set_auto_parallel_context(device_num=4, global_rank=0)
107 context.set_auto_parallel_context(device_num=4, global_rank=0)
117 context.set_auto_parallel_context(device_num=4, global_rank=0)
128 context.set_auto_parallel_context(device_num=4, global_rank=0)
138 context.set_auto_parallel_context(device_num=4, global_rank=0)
148 context.set_auto_parallel_context(device_num=4, global_rank=0)
158 context.set_auto_parallel_context(device_num=4, global_rank=0)
168 context.set_auto_parallel_context(device_num=4, global_rank=0)
|
| D | test_conv2d_transpose.py | 73 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
81 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
89 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
98 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
107 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
116 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
126 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
136 … context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=8, global_rank=0)
146 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
156 …context.set_auto_parallel_context(parallel_mode="semi_auto_parallel", device_num=16, global_rank=0)
|
| /third_party/mindspore/tests/st/networks/models/bert/bert_performance/ |
| D | test_bert_thor.py | 108 def create_bert_dataset(device_num=1, rank=0, do_shuffle="true", data_dir=None, schema_dir=None): argument
121 num_shards=device_num, shard_id=rank, shard_equal_rows=True)
143 def train_process_bert_thor(q, device_id, epoch_size, device_num): argument
151 os.environ['RANK_SIZE'] = str(device_num)
154 rank = device_id % device_num
158 device_num=device_num)
160 …data_set = create_bert_dataset(device_num=device_num, rank=rank, do_shuffle=False, data_dir=DATASE…
198 device_num = 8
201 for i in range(device_num):
203 …rocess.append(Process(target=train_process_bert_thor, args=(q, device_id, epoch_size, device_num)))
[all …]
|
| /third_party/mindspore/tests/st/networks/models/resnet50/ |
| D | test_resnet50_imagenet.py | 132 def train_process(q, device_id, epoch_size, device_num, enable_hccl): argument
139 os.environ['RANK_SIZE'] = str(device_num)
141 … context.set_auto_parallel_context(device_num=device_num, parallel_mode=ParallelMode.DATA_PARALLEL,
205 … metrics={'acc': DistAccuracy(batch_size=config.eval_batch_size, device_num=device_num)},
230 def train_process_thor(q, device_id, epoch_size, device_num, enable_hccl): argument
237 os.environ['RANK_SIZE'] = str(device_num)
239 … context.set_auto_parallel_context(device_num=device_num, parallel_mode=ParallelMode.DATA_PARALLEL,
280 … metrics={'acc': DistAccuracy(batch_size=thor_config.eval_batch_size, device_num=device_num)},
324 device_num = 4
330 for i in range(device_num):
[all …]
|
| /third_party/mindspore/tests/st/tbe_networks/ |
| D | test_resnet_cifar_8p.py | 145 def train_process(q, device_id, epoch_size, num_classes, device_num, batch_size, enable_hccl): argument
152 os.environ['RANK_SIZE'] = str(device_num)
155 … device_num=device_num, parallel_mode=ParallelMode.DATA_PARALLEL, all_reduce_fusion_config=[140])
166 batch_size=batch_size, rank_id=device_id, rank_size=device_num,
176 device_num = 8
182 for i in range(device_num):
185 … args=(q, device_id, epoch_size, num_classes, device_num, batch_size, enable_hccl)))
187 for i in range(device_num):
192 for i in range(device_num):
196 for i in range(device_num):
[all …]
|
| /third_party/mindspore/mindspore/parallel/ |
| D | _utils.py | 84 def _to_full_shapes(shapes, device_num): argument
107 new_shape += (item * device_num,)
119 device_num = global_device_num // _get_pipeline_stages()
120 stage_rank = global_rank % device_num
123 if stage_rank >= device_num:
125 "the device num is {}".format(stage_rank, device_num))
145 new_shape += (item * device_num,)
181 device_num = 1
182 return device_num
185 device_num = get_group_size()
[all …]
|