• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1# Function Flow Runtime图依赖并发(C++)
2
3## 概述
4
5FFRT图依赖并发范式支持任务依赖和数据依赖两种方式构建任务依赖图。任务依赖图中每个节点表示一个任务，边表示任务之间的依赖关系。任务依赖分为输入依赖`in_deps`和输出依赖`out_deps`。
6
7构建任务依赖图的两种不同方式：
8
9- 当使用任务依赖方式构建任务依赖图时，使用任务句柄`handle`来对应一个任务对象。
10- 当使用数据依赖方式构建任务依赖图时，数据对象表达抽象为数据签名，每个数据签名唯一对应一个数据对象。
11
12### 任务依赖
13
14> **说明：**
15>
16> 当任务句柄出现在一个任务的`in_deps`中时，任务句柄对应的任务是该任务的前置任务；当任务句柄出现在一个任务的`out_deps`中时，任务句柄对应的任务是该任务的后继任务。
17
18任务依赖适用于任务之间有明确顺序或逻辑流程要求的场景，例如：
19
20- 顺序执行的任务，例如：先进行数据预处理任务，然后再进行模型训练任务。
21- 逻辑流程控制，例如：商品交易过程中，通常是先下单，然后是制作，最后是物流运输。
22- 多级任务链，例如：流媒体视频处理过程中，视频解析后可以进行视频转码和视频生成缩略图，然后是视频添加水印，最后是视频发布。
23
24### 数据依赖
25
26> **说明：**
27>
28> 当数据对象的签名出现在一个任务的`in_deps`中时，该任务称为数据对象的消费者任务，消费者任务执行不改变其输入数据对象的内容；
29> 当数据对象的签名出现在任务的`out_deps`中时，该任务称为数据对象的生产者任务，生产者任务执行改变其输出数据对象的内容，从而生成该数据对象的一个新的版本。
30
31数据依赖适用于任务之间通过数据生产和消费关系来触发执行的场景。
32
33一个数据对象可能存在多个版本，每个版本对应一个生产者任务和零个，一个或多个消费者任务，根据生产者任务和消费者任务的下发顺序定义数据对象的多个版本的顺序，以及每个版本所对应的生产者和消费者任务。
34
35数据依赖解除的任务进入就绪状态允许被调度执行，依赖解除状态指任务所有输入数据对象版本的生产者任务执行完成，且所有输出数据对象版本的所有消费者任务执行完成的状态。
36
37FFRT在运行时可动态构建任务之间的基于生产者/消费者的数据依赖关系并遵循任务数据依赖状态执行调度，包括：
38
39- Producer-Consumer依赖
40
41  一个数据对象版本的生产者任务和该数据对象版本的消费者任务之间形成的依赖关系，也称为Read-after-Write依赖。
42
43- Consumer-Producer依赖
44
45  一个数据对象版本的消费者任务和该数据对象的下一个版本的生产者任务之间形成的依赖关系，也称为Write-after-Read依赖。
46
47- Producer-Producer依赖
48
49  一个数据对象版本的生产者任务和该数据对象的下一个版本的生产者任务之间形成的依赖关系，也称为Write-after-Write依赖。
50
51例如，存在一组任务与数据A的关系表述为：
52
53```cpp
54task1(OUT A);
55task2(IN A);
56task3(IN A);
57task4(OUT A);
58task5(OUT A);
59```
60
61![image](figures/ffrt_figure3.png)
62
63为表述方便，本文中的数据流图均以圆圈表示Task，方块表示数据。
64
65可以得出以下结论：
66
67- task1与task2/task3构成Producer-Consumer依赖，即：task2/task3需要等到task1写完A之后才能读A。
68- task2/task3与task4构成Consumer-Producer依赖，即：task4需要等到task2/task3读完A之后才能写A。
69- task4与task5构成Producer-Producer依赖，即：task5需要等到task4写完A之后才能写A。
70
71## 示例：流媒体视频处理
72
73用户上传视频到流媒体平台，处理步骤包含：视频解析A、视频转码B、视频缩略图生成C、视频水印添加D和视频发布E，其中步骤B和步骤C可以并行执行。任务流程如下图所示：
74
75![image](figures/ffrt_figure1.png)
76
77借助FFRT提供了图依赖并发范式，可以描述任务依赖关系，同时并行化上述视频处理流程，代码如下所示：
78
79```cpp
80int main()
81{
82    auto handle_A = ffrt::submit_h([] () { std::cout << "视频解析\n"; });
83    auto handle_B = ffrt::submit_h([] () { std::cout << "视频转码\n"; }, {handle_A});
84    auto handle_C = ffrt::submit_h([] () { std::cout << "视频生成缩略图\n"; }, {handle_A});
85    auto handle_D = ffrt::submit_h([] () { std::cout << "视频添加水印\n"; }, {handle_B, handle_C});
86    ffrt::submit([] () { std::cout << "视频发布\n"; }, {handle_D});
87
88    ffrt::wait();
89    return 0;
90}
91```
92
93预期的输出可能为：
94
95```plain
96视频解析
97视频转码
98视频生成缩略图
99视频添加水印
100视频发布
101```
102
103## 示例：斐波那契数列
104
105斐波那契数列中每个数字是前两个数字之和，计算斐波那契数的过程可以很好地通过数据对象来表达任务依赖关系。使用FFRT并发编程框架计算斐波那契数的代码如下所示：
106
107```cpp
108void Fib(int x, int& y)
109{
110    if (x <= 1) {
111        y = x;
112    } else {
113        int y1, y2;
114        ffrt::submit([&]() { Fib(x - 1, y1); }, {&x}, {&y1});
115        ffrt::submit([&]() { Fib(x - 2, y2); }, {&x}, {&y2});
116        ffrt::wait({&y1, &y2});
117        y = y1 + y2;
118    }
119}
120
121int main()
122{
123    int y;
124    Fib(5, y);
125    std::cout << "Fibonacci(5) is " << y << std::endl;
126}
127```
128
129预期输出为：
130
131```plain
132Fibonacci(5) is 5
133```
134
135示例中将`fibonacci(x-1)`和`fibonacci(x-2)`作为两个任务提交给FFRT，在两个任务完成之后将结果进行累加。虽然单个任务只是拆分成两个子任务，但是子任务又可以继续进行拆分，因此整个计算图的并行度是非常高的。
136
137各个任务在FFRT内部形成了一颗调用树：
138
139![image](figures/ffrt_figure2.png)
140
141## 接口说明
142
143上述样例中涉及到主要的FFRT的接口包括：
144
145| 名称                                           | 描述                             |
146| ---------------------------------------------- | -------------------------------- |
147| [submit](ffrt-api-guideline-cpp.md#submit)     | 提交任务调度执行。               |
148| [submit_h](ffrt-api-guideline-cpp.md#submit_h) | 提交任务调度执行并返回任务句柄。 |
149| [wait](ffrt-api-guideline-cpp.md#wait)         | 等待上下文所有任务完成。         |
150
151> **说明：**
152>
153> 如何使用FFRT C++ API详见：[C++接口使用指导](ffrt-development-guideline.md#using-ffrt-c-api-1)
154
155## 约束限制
156
157- 使用`submit`接口进行任务提交时，每个任务的输入依赖和输出依赖的数量之和不能超过8个。
158- 使用`submit_h`接口进行任务提交时，每个任务的输入依赖和输出依赖的数量之和不能超过7个。
159- 参数既作为输入依赖又作为输出依赖的时候，统计依赖数量时只统计一次，如输入依赖是`{&x}`，输出依赖也是`{&x}`，实际依赖的数量是 1。
160