• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1# 构建系统编码规范与最佳实践
2
3## 概述
4
5gn是generate ninja的缩写,它是一个元编译系统(meta-build system),是ninja的前端,gn和ninja结合起来,完成OpenHarmony操作系统的编译任务。
6
7### gn简介
8
9- 目前采用gn的大型软件系统有:Chromium,Fuchsia和OpenHarmony。
10- gn语法自设计之初就自带局限性,比如不能求list的长度,不支持通配符等。这些局限性源于其 **有所为有所不为** 的[设计哲学](https://gn.googlesource.com/gn/+/main/docs/language.md#Design-philosophy)。 所以在使用gn的过程中,如果发现某件事情用gn实现起来很复杂,请先停下来思考这件事情是否真的需要做。
11- 关于gn的更多详情见[gn官方文档](https://gn.googlesource.com/gn/+/main/docs/)12
13### 本文的目标读者和覆盖范围
14
15目标读者为OpenHarmony的开发者。本文主要讨论gn的编码风格和使用gn过程中容易出现的问题,不讨论gn的语法,如需了解gn基础知识,见[gn reference文档](https://gn.googlesource.com/gn/+/main/docs/reference.md)16
17### 总体原则
18
19在保证功能可用的前提下,脚本需要满足易于阅读,便于维护,良好的扩展性和性能等要求。
20
21## 代码风格
22
23### 命名
24
25总体上遵循Linux kernel的命名风格,即**小写字母+下划线**的命名风格。
26
27#### 局部变量
28
29我们这里对局部变量的定义为:在某作用域内,且不向下传递的变量。
30
31为了更好的区别于全局变量,局部变量统一采用**下划线开头**。
32
33```shell
34# 例1
35action("some_action") {
36  ...
37  # _output是个局部变量,所以使用下划线开头
38  _output = "${target_out_dir}/${target_name}.out"
39  outputs = [ _output ]
40  args = [
41    ...
42      "--output",
43      rebase_path(_output, root_build_dir),
44      ...
45  ]
46  ...
47}
48```
49
50#### 全局变量
51
52全局变量使用**小写字母**开头。
53
54如果变量值可以被gn args修改,则需要使用declare_args来声明,否则不要使用declare_args。
55
56```shell
57# 例2
58declare_args() {
59  # 可以通过gn args来修改some_feature的值
60  some_feature = false
61}
62```
63
64#### 目标命名
65
66目标命名采用**小写字母+下划线**的命名方式。
67
68模板中的**子目标**命名方式采用"${target_name}+双下划线+后缀"的命名方式。这样做有两点好处:
69
70- 加入"${target_name}"可以防止子目标重名。
71
72- 加入双下划线可以很方便地区分出子目标属于哪一个模块,方便在出现问题时快速定位。
73
74  ```shell
75  # 例3
76  template("ohos_shared_library") {
77    # "{target_name}"(主目标名)+"__"(双下划线)+"notice"(后缀)
78    _notice_target = "${target_name}__notice"
79    collect_notice(_notice_target) {
80      ...
81    }
82    shared_library(target_name) {
83      ...
84    }
85  }
86  ```
87
88#### 自定义模板的命名
89
90推荐采用**动宾短语**的形式来命名。
91
92```shell
93# 例4
94# Good
95template("compile_resources") {
96  ...
97}
98```
99
100### 格式化
101
102gn脚本在提交之前需要执行格式化。格式化可以保证代码对齐,换行等风格的统一。使用gn自带的format工具即可。命令如下:
103
104```shell
105$ gn format path-to-BUILD.gn
106```
107
108gn format会按照字母序对import文件做排序,如果想保证import的顺序,可以添加空注释行。
109
110假设原来的import顺序为:
111
112```shell
113# 例5
114import("//b.gni")
115import("//a.gni")
116```
117
118经过format之后变为:
119
120```shell
121import("//a.gni")
122import("//b.gni")
123```
124
125如果想保证原有的import顺序,可以添加空注释行。
126
127```shell
128import("//b.gni")
129# Comment to keep import order
130import("//a.gni")
131```
132
133## 编码实践
134
135### 实践原则
136
137编译脚本实质上完成了两件工作:
138
1391. **描述模块之间依赖关系(deps)**
140
141   实践过程中,最常出现的问题是**依赖关系缺失**。
142
1432. **描述模块编译的规则(rule)**
144
145   实践过程中,容易出现的问题是**输入和输出不明确**。
146
147依赖缺失会导致两个问题:
148
149- **概率性编译错误**
150
151  ```shell
152  # 例6
153  # 依赖关系缺失,导致概率性编译出错
154  shared_library("a") {
155    ...
156  }
157  shared_library("b") {
158    ...
159    ldflags = [ "-la" ]
160    deps = []
161    ...
162  }
163  group("images") {
164    deps = [ ":b" ]
165  }
166  ```
167
168  上面的例子中,libb.so在链接的时候会链接liba.so,实质上构成b依赖a,但是b的依赖列表(deps)却没有声明对a的依赖。由于编译是并发执行的,如果libb.so在链接的时候liba.so还没有编译出来,就会出现编译错误。
169
170  由于liba.so也有可能在libb.so之前编译出来,所以依赖缺失导致的编译错误是概率性的。
171
172- **依赖关系缺失导致模块没有参与编译**
173
174  还是上面的例子,如果我们指定ninja编译目标为images,由于images仅仅依赖b,所以a不会参与编译。由于b实质上依赖a, 这时b在链接时会出现必现错误。
175
176有一种不太常见的问题是**过多的依赖**。**过多的依赖会降低并发,导致编译变慢**。见下面的例子:
177
178_compile_js_target不需要依赖 _compile_resource_target,增加这层依赖,会导致 _compile_js_target在 _compile_resource_target编译完成之后才能开始编译。
179
180```shell
181# 例7
182# 过多的依赖导致编译变慢
183template("too_much_deps") {
184  ...
185  _gen_resource_target = "${target_name}__res"
186  action(_gen_resource_target) {
187    ...
188  }
189
190  _compile_resource_target = "${target_name}__compile_res"
191  action(_compile_resource_target) {
192    deps = [":$_gen_resource_target"]
193    ...
194  }
195
196  _compile_js_target = "${target_name}__js"
197  action(_compile_js_target) {
198    # 这个deps不需要
199    deps = [":$_compile_resource_target"]
200  }
201}
202```
203
204输入不明确会导致:
205
206- **代码修改了,但增量编译时却没有参与编译。**
207- **当使用缓存时,代码发生变化,但是缓存仍然命中。**
208
209下面的例子中,foo.py引用了bar.py中的函数。bar.py实质上是foo.py的输入,需要将bar.py添加到implict_input_action的input或者depfile中去。否则,修改bar.py,模块implict_input_action将不会重新编译。
210
211```shell
212# 例8
213action("implict_input_action") {
214  script = "//path-to-foo.py"
215  ...
216}
217```
218
219```shell
220#!/usr/bin/env
221# Contents of foo.py
222import bar
223...
224bar.some_function()
225...
226```
227
228输出不明确会导致:
229
230- **隐式的输出**
231- **当使用缓存时,隐式输出无法从缓存中获得**
232
233下面的例子中,foo.py会生成两个文件,a.outb.out,但是implict_output_action的输出只声明了a.out。这种情况下,b.out实质上就是一个隐式输出。缓存中只会存储a.out,不会存储b.out,当缓存命中时,b.out就编译不出来了。
234
235```shell
236# 例9
237action("implict_output_action") {
238  outputs = ["${target_out_dir}/a.out"]
239  script = "//path-to-foo.py"
240  ...
241}
242```
243
244```shell
245#!/usr/bin/env
246# Contents of foo.py
247...
248write_file("b.out")
249write_file("a.out")
250...
251```
252
253### 模板
254
255**不要使用gn的原生模板,使用编译子系统提供的模板**
256
257所谓gn原生模板,是指source_set,shared_library, static_library, action, executable,group这六个模板。
258
259不推荐使用原生模板的原因有二:
260
261- **原生模板是最小功能模板**,无法提供external_deps的解析,notice收集,安装信息生成等的额外功能,这些额外功能最好是随着模块编译时同时生成,所以必须对原生模板做额外的扩展才能满足实际的需求。
262
263- 当输入文件依赖的文件发生变化时,gn原生的action模板不能自动感知不到这种编译,无法重新编译。见例8
264
265  原生模板和编译子系统提供的模板之间的对应关系:
266
267| 编译子系统提供的模板  | 原生模板       |
268| :------------------ | -------------- |
269| ohos_shared_library | shared_library |
270| ohos_source_set     | source_set     |
271| ohos_executable     | executable     |
272| ohos_static_library | static_library |
273| action_with_pydeps  | action         |
274| ohos_group          | group          |
275
276### 使用python脚本
277
278action中的script推荐使用python脚本,不推荐使用shell脚本。相比于shell脚本,python脚本:
279
280- python语法友好,不会因为少写一个空格就导致奇怪的错误。
281- python脚本有很强的可读性。
282- 可维护性强,可调试。
283- OpenHarmony对python任务做了缓存,可以加快编译速度。
284
285### rebase_path
286
287- 仅在向action的参数列表中(args)调用rebase_path。
288
289  ```shell
290  # 例10
291  template("foo") {
292    action(target_name) {
293      ...
294      args = [
295        # 仅在args中调用rebase_path
296        "--bar=" + rebase_path(invoker.bar, root_build_dir),
297        ...
298      ]
299      ...
300    }
301  }
302
303  foo("good") {
304    bar = something
305    ...
306  }
307  ```
308
309- 同一变量做两次rebase_path会出现意想不到的结果。
310
311  ```shell
312  # 例11
313  template("foo") {
314    action(target_name) {
315      ...
316      args = [
317        # bar被执行了两次rebase_path, 传递的bar的值已经不对了
318        "--bar=" + rebase_path(invoker.bar, root_build_dir),
319        ...
320      ]
321      ...
322    }
323  }
324
325  foo("bad") {
326    # 不要在这里调用rebase_path
327    bar = rebase_path(some_value,root_build_dir)
328    ...
329  }
330  ```
331
332### 模块间数据分享
333
334模块间数据分享是很常见的事情,比如A模块想要知道B模块的输出和deps。
335
336- 同一BUILD.gn之间数据分享
337
338  同一BUILD.gn之间数据可以通过定义全局变量的方式来共享。
339
340  下面的例子中,模块a的输出是模块b的输入,可以通过定义全局变量的方式来共享给b
341
342  ```shell
343  # 例12
344  _output_a = get_label_info(":a", "out_dir") + "/a.out"
345  action("a") {
346    outputs = _output_a
347    ...
348  }
349  action("b") {
350    inputs = [_output_a]
351    ...
352  }
353  ```
354
355- 不同BUILD.gn之间数据分享
356
357  不同BUILD.gn之间传递数据,最好的办法是将需要共享的数据保存成文件,然后不同模块之间通过文件来传递和共享数据。这种场景比较复杂,读者可以参照OpenHarmony的hap编译过程的write_meta_data。
358
359### forward_variable_from
360
361- 自定义模板需要首先将testonly传递(forward)进来。因为该模板的target有可能被testonly的目标依赖。
362
363  ```shell
364  # 例13
365  # 自定义模板首先要传递testonly
366  template("foo") {
367    forward_variable_from(invoker, ["testonly"])
368    ...
369  }
370  ```
371
372- 不推荐使用*来forward变量,需要的变量应该**显式地,一个一个地**被forward进来。
373
374  ```shell
375  # 例14
376  # Bad,使用*forward变量
377  template("foo") {
378    forward_variable_from(invoker, "*")
379    ...
380  }
381
382  # Good, 显式地,一个一个地forward变量
383  template("bar") {
384    #
385    forward_variable_from(invoker, [
386                                       "testonly",
387                                       "deps",
388                                       ...
389                                     ])
390    ...
391  }
392  ```
393
394### target_name
395
396target_name会随着作用域变化而变化,使用时需要注意。
397
398```shell
399# 例15
400# target_name会随着作用域变化而变化
401template("foo") {
402  # 此时打印出来的target_name为"${target_name}"
403  print(target_name)
404  _code_gen_target = "${target_name}__gen"
405  code_gen(_code_gen_target) {
406    # 此时打印出来的target_name为"${target_name}__gen"
407    print(target_name)
408    ...
409  }
410  _compile_gen_target = "${target_name}__compile"
411  compile(_compile_gen_target) {
412    # 此时打印出来的target_name为"${target_name}__compile"
413    print(target_name)
414    ...
415  }
416  ...
417}
418```
419
420### public_configs
421
422如果模块需要向外export头文件,请使用public_configs。
423
424```shell
425# 例16
426# b依赖a,会同时继承a的headers
427config("headers") {
428  include_dirs = ["//path-to-headers"]
429  ...
430}
431shared_library("a") {
432  public_configs = [":headers"]
433  ...
434}
435executable("b") {
436  deps = [":a"]
437  ...
438}
439```
440
441### template
442
443自定义模板中必须有一个子目标的名字是target_name。该子目标会作为template的主目标。其他子目标都应该被主目标依赖,否则子目标不会被编译。
444
445```shell
446# 例17
447# 自定义模板中必须有一个子目标的名字是target_name
448template("foo") {
449  _code_gen_target = "${target_name}__gen"
450  code_gen(_code_gen_target) {
451    ...
452  }
453  _compile_gen_target = "${target_name}__compile"
454  compile(_compile_gen_target) {
455    # 此时打印出来的target_name为"${target_name}__compile"
456    print(target_name)
457    ...
458  }
459  ...
460  group(target_name) {
461    deps = [
462    # 由于_compile_gen_target依赖了_code_gen_target,所以主目标只需要依赖_compile_gen_target即可。
463      ":$_compile_gen_target"
464    ]
465  }
466}
467```
468
469### set_source_assignment_filter
470
471set_source_assignment_filter除了可以过滤sources,还可以用来过滤其他变量。过滤完成后记得将过滤器和sources置空。
472
473```shell
474# 例18
475# 使用set_source_assignment_filter过滤依赖, 挑选label符合*:*_res的添加到依赖列表中
476_deps = []
477foreach(_possible_dep, invoker.deps) {
478  set_source_assignment_filter(["*:*_res"])
479  _label = get_label_info(_possible_dep, "label_no_toolchain")
480  sources = []
481  sources = [ _label ]
482  if (sources = []) {
483    _deps += _sources
484  }
485}
486sources = []
487set_source_assignment_filter([])
488```
489
490最新版本上set_source_assignment_filter被filter_include和filter_exclude取代。
491
492### 部件内依赖采用deps,跨部件依赖采用external_deps
493
494- 部件在OpenHarmony上指能提供某个能力的一组模块。
495
496- 在模块定义的时候可以声明part_name,用来表明当前模块属于哪个部件。
497
498- 每个部件会声明其inner_kits,供其他部件调用。部件inner_kits的声明见源码中的bundle.json499
500- 部件间依赖只能依赖inner_kits,不能依赖非inner_kits的模块。
501
502- 如果a模块和b模块的part_name相同,那么a、b模块属于同一个部件,a,b模块之间的依赖关系可以用deps来声明。
503
504- 如果a、b模块的part_name不同,那么a、b模块不属于同一个部件,a、b模块之间的依赖关系需要通过external_deps来声明,依赖方式为"部件名:模块名"的方式。见例19。
505
506  ```shell
507  # 例19
508  shared_library("a") {
509    ...
510    external_deps = ["part_name_of_b:b"]
511    ...
512  }
513  ```