layer_norm

paddle.nn.functional. layer_norm ( x, normalized_shape, weight=None, bias=None, epsilon=1e-05, name=None ) [源代码]

推荐使用 nn.LayerNorm。

详情见 LayerNorm

参数

  • x (int) - 输入,数据类型为 bfloat16 、 float16 、 float32 或 float64。

  • normalized_shape (int|list|tuple) - 期望的输入是 \([*, normalized_shape[0], normalized_shape[1], ..., normalized_shape[-1]]\),如果是一个整数,会作用在最后一个维度。

  • weight (Tensor,可选) - 权重的 Tensor,默认为 None。

  • bias (Tensor,可选) - 偏置的 Tensor,默认为 None。

  • epsilon (float,可选) - 为了数值稳定加在分母上的值。默认值:1e-05。

  • name (str,可选) - 具体用法请参见 Name,一般无需设置,默认值为 None。

返回

代码示例

import paddle

x = paddle.rand((2, 2, 2, 3))
layer_norm_out = paddle.nn.functional.layer_norm(x, x.shape[1:])
print(layer_norm_out)