• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1# LayerNormFusion
2
3
4## 概述
5
6对一个tensor从某一axis开始做层归一化。
7
8该算子对应的[NodeType](_n_n_rt.md#nodetype)为NODE_TYPE_LAYER_NORM_FUSION。
9
10输入:
11
12- x,n维tensor。
13
14- gamma,一个m维tensor,gamma维度应该与input做归一化部分的shape一致。
15
16- beta,一个m维tensor,shape与gamma一样。
17
18输出:
19
20- output,n维输出tensor,数据类型和shape和input一致。
21
22**Since:**
23
243.2
25
26**Version:**
27
281.0
29
30**相关模块:**
31
32[NNRt](_n_n_rt.md)
33
34
35## 汇总
36
37
38### Public 属性
39
40  | 名称 | 描述 |
41| -------- | -------- |
42| [beginNormAxis](#beginnormaxis) | long<br/>指定x需进行层归一化的起始维度。&nbsp; |
43| [epsilon](#epsilon) | float<br/>为数值稳定性定义一个加到分母上的值。&nbsp; |
44| [elementwiseAffine](#elementwiseaffine) | boolean<br/>是否为元素级别的操作。&nbsp; |
45| [beginParamsAxis](#beginparamsaxis) | long<br/>指定输入参数gamma,beta需进行层归一化的开始维度,其值必须在[-n,&nbsp;n)范围内。&nbsp; |
46
47
48## 类成员变量说明
49
50
51### beginNormAxis
52
53
54```
55long LayerNormFusion::beginNormAxis
56```
57**描述:**
58指定x需进行层归一化的起始维度。
59
60
61### beginParamsAxis
62
63
64```
65long LayerNormFusion::beginParamsAxis
66```
67**描述:**
68指定输入参数gamma,beta需进行层归一化的开始维度,其值必须在[-n, n)范围内。
69
70
71### elementwiseAffine
72
73
74```
75boolean LayerNormFusion::elementwiseAffine
76```
77**描述:**
78是否为元素级别的操作。
79
80
81### epsilon
82
83
84```
85float LayerNormFusion::epsilon
86```
87**描述:**
88为数值稳定性定义一个加到分母上的值。
89