news 2026/5/9 17:04:31

CANN/amct 单算子量化配置说明

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/amct 单算子量化配置说明

单算子模式量化配置参数说明

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

表 1retrain_enable参数说明

作用

该层是否进行量化感知训练。

类型

bool

取值范围

true或false

参数说明

  • true:该层需要进行量化感知训练。
  • false:该层不进行量化感知训练。

推荐配置

true

必选或可选

可选

表 2retrain_data_config参数说明

作用

该层数据量化配置。

类型

dict

取值范围

-

参数说明

包含如下参数:

  • batch_num:量化使用的batch数量。
  • clip_max:截断量化算法上限,默认不选。
  • clip_min:截断量化算法下限,默认不选。
  • fixed_min:截断量化算法最小值固定为0,默认不选。
  • dst_type:当前仅支持INT8量化位宽,默认为INT8。

推荐配置

-

必选或可选

可选

表 3retrain_weight_config参数说明

作用

该层权重量化配置。

类型

dict

取值范围

-

参数说明

包含如下参数:

  • weights_retrain_algo:量化算法选择,默认是arq_retrain。
  • channel_wise:是否对每个channel采用不同的量化因子。
  • dst_type:当前仅支持INT8量化位宽,默认为INT8。

推荐配置

-

必选或可选

可选

表 4weights_retrain_algo参数说明

作用

该层选择使用的权重量化算法。

类型

string

取值范围

-

参数说明

  • ulq_quantize:ulq截断上下限量化算法。
  • arq_retrain:arq量化算法。

推荐配置

arq_retrain

必选或可选

可选

表 5channel_wise参数说明

作用

是否对每个channel采用不同的量化因子。

类型

bool

取值范围

true或false

参数说明

  • true:每个channel独立量化,量化因子不同。
  • false:每个channel同时量化,共享量化因子。

推荐配置

true

必选或可选

可选

表 6batch_num参数说明

作用

量化使用的batch数量。

类型

int

取值范围

大于0

参数说明

如果不配置,则使用默认值1,建议校准集图片数量不超过50张,根据batch的大小batch_size计算相应的batch_num数值。

batch_num*batch_size为量化使用的校准集图片数量。

其中batch_size为每个batch所用的图片数量。

推荐配置

1

必选或可选

可选

表 7fixed_min参数说明

作用

设置数据量化算法下限的开关。

类型

bool

取值范围

true或false

参数说明

  • true:数据量化算法固定下限,并且下限为0。
  • false:数据量化算法不固定下限。

推荐配置

不选此项

必选或可选

可选

表 8clip_max参数说明

作用

数据量化算法上限。

类型

float

取值范围

clip_max>0

根据不同层activation的数据分布找到最大值max,推荐取值范围为:0.3*max~1.7*max

参数说明

截断上下限数据量化算法,如果选择此项则固定算法截断上限。如果不选此项,通过ifmr算法学习获取上限。

推荐配置

不选此项

必选或可选

可选

表 9clip_min参数说明

作用

数据量化算法下限。

类型

float

取值范围

clip_min<0

根据不同层activation的数据分布找到最小值min,推荐取值范围为:0.3*min~1.7*min

参数说明

截断上下限数据量化算法,如果选择此项则固定算法截断下限。如果不选此项,通过ifmr算法学习获取下限。

推荐配置

不选此项

必选或可选

可选

表 10dst_type参数说明

作用

量化位宽的类型。

类型

string

取值范围

当前只支持INT8,默认为INT8。

参数说明

量化时用于选择量化位宽。

推荐配置

-

必选或可选

可选

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 17:04:30

从GCN到注意力机制:深度学习如何革新交通预测

1. 项目概述&#xff1a;当城市交通遇上深度学习每天早晚高峰&#xff0c;看着地图上那一片片刺眼的红色&#xff0c;你是不是也想过&#xff0c;要是能提前知道哪条路会堵、哪个路口会慢&#xff0c;该多好&#xff1f;这不仅仅是普通人的烦恼&#xff0c;更是城市交通管理者、…

作者头像 李华
网站建设 2026/5/9 17:03:37

生成式AI搜索的可靠性困境:效率提升背后的信息溯源与幻觉挑战

1. 项目概述&#xff1a;当搜索不再“搜索”作为一名在信息检索和内容创作领域摸爬滚打了十几年的从业者&#xff0c;我亲眼见证了搜索引擎从简单的关键词匹配&#xff0c;进化到如今试图“理解”并“回答”我们问题的智能助手。最近&#xff0c;关于生成式AI搜索的讨论沸沸扬扬…

作者头像 李华
网站建设 2026/5/9 17:03:37

CANN算子库3D循环填充反向传播

aclnnCircularPad3dBackward 【免费下载链接】ops-math 本项目是CANN提供的数学类基础计算算子库&#xff0c;实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-math &#x1f4c4; 查看源码 产品支持情况 产品是否支持 Ascend 950PR/Ascend 950DT …

作者头像 李华
网站建设 2026/5/9 16:56:41

使用Taotoken CLI工具一键完成团队开发环境的多模型密钥配置

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 使用Taotoken CLI工具一键完成团队开发环境的多模型密钥配置 在团队协作开发中&#xff0c;统一AI服务的接入配置是一个常见痛点。…

作者头像 李华