• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1# LayerNormFusion
2
3
4## 概述
5
6对一个tensor从某一axis开始做层归一化。
7
8该算子对应的[NodeType](_n_n_rt_v20.md#nodetype)为NODE_TYPE_LAYER_NORM_FUSION。
9
10输入:
11
12- x,n维tensor。
13
14- gamma,一个m维tensor,gamma维度应该与input做归一化部分的shape一致。
15
16- beta,一个m维tensor,shape与gamma一样。
17
18输出:
19
20- output,n维输出tensor,数据类型和shape和input一致。
21
22**起始版本:** 3.2
23
24**相关模块:**[NNRt](_n_n_rt_v20.md)
25
26
27## 汇总
28
29
30### Public 属性
31
32| 名称 | 描述 |
33| -------- | -------- |
34| long [beginNormAxis](#beginnormaxis) | 指定x需进行层归一化的起始维度。  |
35| float [epsilon](#epsilon) | 为数值稳定性定义一个加到分母上的值。  |
36| boolean [elementwiseAffine](#elementwiseaffine) | 是否为元素级别的操作。  |
37| long [beginParamsAxis](#beginparamsaxis) | 指定输入参数gamma,beta需进行层归一化的开始维度,其值必须在[-n, n)范围内。  |
38
39
40## 类成员变量说明
41
42
43### beginNormAxis
44
45```
46long LayerNormFusion::beginNormAxis
47```
48**描述**
49指定x需进行层归一化的起始维度。
50
51
52### beginParamsAxis
53
54```
55long LayerNormFusion::beginParamsAxis
56```
57**描述**
58指定输入参数gamma,beta需进行层归一化的开始维度,其值必须在[-n, n)范围内。
59
60
61### elementwiseAffine
62
63```
64boolean LayerNormFusion::elementwiseAffine
65```
66**描述**
67是否为元素级别的操作。
68
69
70### epsilon
71
72```
73float LayerNormFusion::epsilon
74```
75**描述**
76为数值稳定性定义一个加到分母上的值。
77