1# 构建系统编码规范与最佳实践 2 3## 概述 4 5gn是generate ninja的缩写,它是一个元编译系统(meta-build system),是ninja的前端,gn和ninja结合起来,完成OpenHarmony操作系统的编译任务。 6 7### gn简介 8 9- 目前采用gn的大型软件系统有:Chromium,Fuchsia和OpenHarmony。 10- gn语法自设计之初就自带局限性,比如不能求list的长度,不支持通配符等。这些局限性源于其 **有所为有所不为** 的[设计哲学](https://gn.googlesource.com/gn/+/main/docs/language.md#Design-philosophy)。 所以在使用gn的过程中,如果发现某件事情用gn实现起来很复杂,请先停下来思考这件事情是否真的需要做。 11- 关于gn的更多详情见[gn官方文档](https://gn.googlesource.com/gn/+/main/docs/)。 12 13### 本文的目标读者和覆盖范围 14 15目标读者为OpenHarmony的开发者。本文主要讨论gn的编码风格和使用gn过程中容易出现的问题,不讨论gn的语法,如需了解gn基础知识,见[gn reference文档](https://gn.googlesource.com/gn/+/main/docs/reference.md)。 16 17### 总体原则 18 19在保证功能可用的前提下,脚本需要满足易于阅读,便于维护,良好的扩展性和性能等要求。 20 21## 代码风格 22 23### 命名 24 25总体上遵循Linux kernel的命名风格,即**小写字母+下划线**的命名风格。 26 27#### 局部变量 28 29我们这里对局部变量的定义为:在某作用域内,且不向下传递的变量。 30 31为了更好的区别于全局变量,局部变量统一采用**下划线开头**。 32 33```shell 34# 例1 35action("some_action") { 36 ... 37 # _output是个局部变量,所以使用下划线开头 38 _output = "${target_out_dir}/${target_name}.out" 39 outputs = [ _output ] 40 args = [ 41 ... 42 "--output", 43 rebase_path(_output, root_build_dir), 44 ... 45 ] 46 ... 47} 48``` 49 50#### 全局变量 51 52全局变量使用**小写字母**开头。 53 54如果变量值可以被gn args修改,则需要使用declare_args来声明,否则不要使用declare_args。 55 56```shell 57# 例2 58declare_args() { 59 # 可以通过gn args来修改some_feature的值 60 some_feature = false 61} 62``` 63 64#### 目标命名 65 66目标命名采用**小写字母+下划线**的命名方式。 67 68模板中的**子目标**命名方式采用"${target_name}+双下划线+后缀"的命名方式。这样做有两点好处: 69 70- 加入"${target_name}"可以防止子目标重名。 71 72- 加入双下划线可以很方便地区分出子目标属于哪一个模块,方便在出现问题时快速定位。 73 74 ```shell 75 # 例3 76 template("ohos_shared_library") { 77 # "{target_name}"(主目标名)+"__"(双下划线)+"notice"(后缀) 78 _notice_target = "${target_name}__notice" 79 collect_notice(_notice_target) { 80 ... 81 } 82 shared_library(target_name) { 83 ... 84 } 85 } 86 ``` 87 88#### 自定义模板的命名 89 90推荐采用**动宾短语**的形式来命名。 91 92```shell 93# 例4 94# Good 95template("compile_resources") { 96 ... 97} 98``` 99 100### 格式化 101 102gn脚本在提交之前需要执行格式化。格式化可以保证代码对齐,换行等风格的统一。使用gn自带的format工具即可。命令如下: 103 104```shell 105$ gn format path-to-BUILD.gn 106``` 107 108gn format会按照字母序对import文件做排序,如果想保证import的顺序,可以添加空注释行。 109 110假设原来的import顺序为: 111 112```shell 113# 例5 114import("//b.gni") 115import("//a.gni") 116``` 117 118经过format之后变为: 119 120```shell 121import("//a.gni") 122import("//b.gni") 123``` 124 125如果想保证原有的import顺序,可以添加空注释行。 126 127```shell 128import("//b.gni") 129# Comment to keep import order 130import("//a.gni") 131``` 132 133## 编码实践 134 135### 实践原则 136 137编译脚本实质上完成了两件工作: 138 1391. **描述模块之间依赖关系(deps)** 140 141 实践过程中,最常出现的问题是**依赖关系缺失**。 142 1432. **描述模块编译的规则(rule)** 144 145 实践过程中,容易出现的问题是**输入和输出不明确**。 146 147依赖缺失会导致两个问题: 148 149- **概率性编译错误** 150 151 ```shell 152 # 例6 153 # 依赖关系缺失,导致概率性编译出错 154 shared_library("a") { 155 ... 156 } 157 shared_library("b") { 158 ... 159 ldflags = [ "-la" ] 160 deps = [] 161 ... 162 } 163 group("images") { 164 deps = [ ":b" ] 165 } 166 ``` 167 168 上面的例子中,libb.so在链接的时候会链接liba.so,实质上构成b依赖a,但是b的依赖列表(deps)却没有声明对a的依赖。由于编译是并发执行的,如果libb.so在链接的时候liba.so还没有编译出来,就会出现编译错误。 169 170 由于liba.so也有可能在libb.so之前编译出来,所以依赖缺失导致的编译错误是概率性的。 171 172- **依赖关系缺失导致模块没有参与编译** 173 174 还是上面的例子,如果我们指定ninja编译目标为images,由于images仅仅依赖b,所以a不会参与编译。由于b实质上依赖a, 这时b在链接时会出现必现错误。 175 176有一种不太常见的问题是**过多的依赖**。**过多的依赖会降低并发,导致编译变慢**。见下面的例子: 177 178_compile_js_target不需要依赖 _compile_resource_target,增加这层依赖,会导致 _compile_js_target在 _compile_resource_target编译完成之后才能开始编译。 179 180```shell 181# 例7 182# 过多的依赖导致编译变慢 183template("too_much_deps") { 184 ... 185 _gen_resource_target = "${target_name}__res" 186 action(_gen_resource_target) { 187 ... 188 } 189 190 _compile_resource_target = "${target_name}__compile_res" 191 action(_compile_resource_target) { 192 deps = [":$_gen_resource_target"] 193 ... 194 } 195 196 _compile_js_target = "${target_name}__js" 197 action(_compile_js_target) { 198 # 这个deps不需要 199 deps = [":$_compile_resource_target"] 200 } 201} 202``` 203 204输入不明确会导致: 205 206- **代码修改了,但增量编译时却没有参与编译。** 207- **当使用缓存时,代码发生变化,但是缓存仍然命中。** 208 209下面的例子中,foo.py引用了bar.py中的函数。bar.py实质上是foo.py的输入,需要将bar.py添加到implict_input_action的input或者depfile中去。否则,修改bar.py,模块implict_input_action将不会重新编译。 210 211```shell 212# 例8 213action("implict_input_action") { 214 script = "//path-to-foo.py" 215 ... 216} 217``` 218 219```shell 220#!/usr/bin/env 221# Contents of foo.py 222import bar 223... 224bar.some_function() 225... 226``` 227 228输出不明确会导致: 229 230- **隐式的输出** 231- **当使用缓存时,隐式输出无法从缓存中获得** 232 233下面的例子中,foo.py会生成两个文件,a.out和b.out,但是implict_output_action的输出只声明了a.out。这种情况下,b.out实质上就是一个隐式输出。缓存中只会存储a.out,不会存储b.out,当缓存命中时,b.out就编译不出来了。 234 235```shell 236# 例9 237action("implict_output_action") { 238 outputs = ["${target_out_dir}/a.out"] 239 script = "//path-to-foo.py" 240 ... 241} 242``` 243 244```shell 245#!/usr/bin/env 246# Contents of foo.py 247... 248write_file("b.out") 249write_file("a.out") 250... 251``` 252 253### 模板 254 255**不要使用gn的原生模板,使用编译子系统提供的模板** 256 257所谓gn原生模板,是指source_set,shared_library, static_library, action, executable,group这六个模板。 258 259不推荐使用原生模板的原因有二: 260 261- **原生模板是最小功能模板**,无法提供external_deps的解析,notice收集,安装信息生成等的额外功能,这些额外功能最好是随着模块编译时同时生成,所以必须对原生模板做额外的扩展才能满足实际的需求。 262 263- 当输入文件依赖的文件发生变化时,gn原生的action模板不能自动感知不到这种编译,无法重新编译。见例8 264 265 原生模板和编译子系统提供的模板之间的对应关系: 266 267| 编译子系统提供的模板 | 原生模板 | 268| :------------------ | -------------- | 269| ohos_shared_library | shared_library | 270| ohos_source_set | source_set | 271| ohos_executable | executable | 272| ohos_static_library | static_library | 273| action_with_pydeps | action | 274| ohos_group | group | 275 276### 使用python脚本 277 278action中的script推荐使用python脚本,不推荐使用shell脚本。相比于shell脚本,python脚本: 279 280- python语法友好,不会因为少写一个空格就导致奇怪的错误。 281- python脚本有很强的可读性。 282- 可维护性强,可调试。 283- OpenHarmony对python任务做了缓存,可以加快编译速度。 284 285### rebase_path 286 287- 仅在向action的参数列表中(args)调用rebase_path。 288 289 ```shell 290 # 例10 291 template("foo") { 292 action(target_name) { 293 ... 294 args = [ 295 # 仅在args中调用rebase_path 296 "--bar=" + rebase_path(invoker.bar, root_build_dir), 297 ... 298 ] 299 ... 300 } 301 } 302 303 foo("good") { 304 bar = something 305 ... 306 } 307 ``` 308 309- 同一变量做两次rebase_path会出现意想不到的结果。 310 311 ```shell 312 # 例11 313 template("foo") { 314 action(target_name) { 315 ... 316 args = [ 317 # bar被执行了两次rebase_path, 传递的bar的值已经不对了 318 "--bar=" + rebase_path(invoker.bar, root_build_dir), 319 ... 320 ] 321 ... 322 } 323 } 324 325 foo("bad") { 326 # 不要在这里调用rebase_path 327 bar = rebase_path(some_value,root_build_dir) 328 ... 329 } 330 ``` 331 332### 模块间数据分享 333 334模块间数据分享是很常见的事情,比如A模块想要知道B模块的输出和deps。 335 336- 同一BUILD.gn之间数据分享 337 338 同一BUILD.gn之间数据可以通过定义全局变量的方式来共享。 339 340 下面的例子中,模块a的输出是模块b的输入,可以通过定义全局变量的方式来共享给b 341 342 ```shell 343 # 例12 344 _output_a = get_label_info(":a", "out_dir") + "/a.out" 345 action("a") { 346 outputs = _output_a 347 ... 348 } 349 action("b") { 350 inputs = [_output_a] 351 ... 352 } 353 ``` 354 355- 不同BUILD.gn之间数据分享 356 357 不同BUILD.gn之间传递数据,最好的办法是将需要共享的数据保存成文件,然后不同模块之间通过文件来传递和共享数据。这种场景比较复杂,读者可以参照OpenHarmony的hap编译过程的write_meta_data。 358 359### forward_variable_from 360 361- 自定义模板需要首先将testonly传递(forward)进来。因为该模板的target有可能被testonly的目标依赖。 362 363 ```shell 364 # 例13 365 # 自定义模板首先要传递testonly 366 template("foo") { 367 forward_variable_from(invoker, ["testonly"]) 368 ... 369 } 370 ``` 371 372- 不推荐使用*来forward变量,需要的变量应该**显式地,一个一个地**被forward进来。 373 374 ```shell 375 # 例14 376 # Bad,使用*forward变量 377 template("foo") { 378 forward_variable_from(invoker, "*") 379 ... 380 } 381 382 # Good, 显式地,一个一个地forward变量 383 template("bar") { 384 # 385 forward_variable_from(invoker, [ 386 "testonly", 387 "deps", 388 ... 389 ]) 390 ... 391 } 392 ``` 393 394### target_name 395 396target_name会随着作用域变化而变化,使用时需要注意。 397 398```shell 399# 例15 400# target_name会随着作用域变化而变化 401template("foo") { 402 # 此时打印出来的target_name为"${target_name}" 403 print(target_name) 404 _code_gen_target = "${target_name}__gen" 405 code_gen(_code_gen_target) { 406 # 此时打印出来的target_name为"${target_name}__gen" 407 print(target_name) 408 ... 409 } 410 _compile_gen_target = "${target_name}__compile" 411 compile(_compile_gen_target) { 412 # 此时打印出来的target_name为"${target_name}__compile" 413 print(target_name) 414 ... 415 } 416 ... 417} 418``` 419 420### public_configs 421 422如果模块需要向外export头文件,请使用public_configs。 423 424```shell 425# 例16 426# b依赖a,会同时继承a的headers 427config("headers") { 428 include_dirs = ["//path-to-headers"] 429 ... 430} 431shared_library("a") { 432 public_configs = [":headers"] 433 ... 434} 435executable("b") { 436 deps = [":a"] 437 ... 438} 439``` 440 441### template 442 443自定义模板中必须有一个子目标的名字是target_name。该子目标会作为template的主目标。其他子目标都应该被主目标依赖,否则子目标不会被编译。 444 445```shell 446# 例17 447# 自定义模板中必须有一个子目标的名字是target_name 448template("foo") { 449 _code_gen_target = "${target_name}__gen" 450 code_gen(_code_gen_target) { 451 ... 452 } 453 _compile_gen_target = "${target_name}__compile" 454 compile(_compile_gen_target) { 455 # 此时打印出来的target_name为"${target_name}__compile" 456 print(target_name) 457 ... 458 } 459 ... 460 group(target_name) { 461 deps = [ 462 # 由于_compile_gen_target依赖了_code_gen_target,所以主目标只需要依赖_compile_gen_target即可。 463 ":$_compile_gen_target" 464 ] 465 } 466} 467``` 468 469### set_source_assignment_filter 470 471set_source_assignment_filter除了可以过滤sources,还可以用来过滤其他变量。过滤完成后记得将过滤器和sources置空。 472 473```shell 474# 例18 475# 使用set_source_assignment_filter过滤依赖, 挑选label符合*:*_res的添加到依赖列表中 476_deps = [] 477foreach(_possible_dep, invoker.deps) { 478 set_source_assignment_filter(["*:*_res"]) 479 _label = get_label_info(_possible_dep, "label_no_toolchain") 480 sources = [] 481 sources = [ _label ] 482 if (sources = []) { 483 _deps += _sources 484 } 485} 486sources = [] 487set_source_assignment_filter([]) 488``` 489 490最新版本上set_source_assignment_filter被filter_include和filter_exclude取代。 491 492### 部件内依赖采用deps,跨部件依赖采用external_deps 493 494- 部件在OpenHarmony上指能提供某个能力的一组模块。 495 496- 在模块定义的时候可以声明part_name,用来表明当前模块属于哪个部件。 497 498- 每个部件会声明其inner_kits,供其他部件调用。部件inner_kits的声明见源码中的bundle.json。 499 500- 部件间依赖只能依赖inner_kits,不能依赖非inner_kits的模块。 501 502- 如果a模块和b模块的part_name相同,那么a、b模块属于同一个部件,a,b模块之间的依赖关系可以用deps来声明。 503 504- 如果a、b模块的part_name不同,那么a、b模块不属于同一个部件,a、b模块之间的依赖关系需要通过external_deps来声明,依赖方式为"部件名:模块名"的方式。见例19。 505 506 ```shell 507 # 例19 508 shared_library("a") { 509 ... 510 external_deps = ["part_name_of_b:b"] 511 ... 512 } 513 ```