CANN/ops-nn反量化算子文档

AscendAntiQuantV2

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• 算子功能：根据输入的scale和offset对输入x进行反量化。

• 计算公式：

  • sqrt_mode为true，offset为None时，计算公式为：

    $$ y = cast_to_dst_type((x) * scale * scale) $$

  • sqrt_mode为true，offset不为None时，计算公式为：

    $$ y = cast_to_dst_type((x + offset) * scale * scale) $$

  • sqrt_mode为false，offset为None时，计算公式为：

    $$ y = cast_to_dst_type((x) * scale) $$

  • sqrt_mode为false，offset不为None时，计算公式为：

    $$ y = cast_to_dst_type((x + offset) * scale) $$

参数说明

• Atlas 推理系列产品 ：
  • 数据类型：
    • 入参x仅支持INT8。
    • 入参scale、offset和出参y不支持BFLOAT16。
  • 入参dstType仅支持取值1，表示FLOAT16。
  • 入参scale、offset仅支持一维，且只能等于x尾轴大小或1，当x为int32类型时，必须为x尾轴大小的8倍。
• Atlas A2 训练系列产品/Atlas A2 推理系列产品/Atlas A3 训练系列产品/Atlas A3 推理系列产品 ：
  • 入参x仅支持INT4、INT8。
  • 入参scale、offset仅支持一维，且只能等于x尾轴大小或1，当x为int32类型时，必须为x尾轴大小的8倍。

约束说明

无

调用说明

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn