news 2026/5/9 13:36:30

CANN/catlass基础矩阵乘法TLA访问器

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/catlass基础矩阵乘法TLA访问器

Basic Matmul TLA Visitor

【免费下载链接】catlass本项目是CANN的算子模板库,提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass

代码路径:include/catlass/gemm/kernel/basic_matmul_tla_visitor.hpp

功能说明

这是当前 EVG 在 GM workspace 路径上的 kernel 入口。

执行方式为:

  1. AIC 先完成 MMAD,把中间结果写到 GM workspace
  2. AIV 等待跨核同步标志
  3. AIV 调用BlockEpilogue执行 EVG

适合普通的 EVG 场景,也是当前仓内多数 EVG 样例采用的入口。

模板参数

template < class BlockMmad_, class BlockEpilogue_, class BlockScheduler_ > class BasicMatmulTlaVisitor;
  • BlockMmad_:GEMM 主循环实现
  • BlockEpilogue_:EVG 专用尾处理,一般是BlockEpilogue<EpilogueVisitor<false>, ...>
  • BlockScheduler_:Block 调度器

Arguments 关键字段

struct Arguments { GemmCoord problemShape; GM_ADDR ptrA; LayoutA layoutA; GM_ADDR ptrB; LayoutB layoutB; GM_ADDR ptrC; LayoutC layoutC; GM_ADDR ptrBias{nullptr}; typename BlockEpilogue::EVG::Arguments evg_args; };

其中:

  • ptrC/layoutC仍保留在公开Arguments
  • evg_args是 EVG 图的参数

需要注意,当前 visitor kernel 的ToUnderlyingArguments()实现并不消费ptrC/layoutC,最终写回地址由evg_args中的VisitorAuxStore决定。

Workspace 规则

GetWorkspaceSize()返回:

sizeof(ElementC) * M * N + EVG::get_workspace_size(...)

前一部分用于保存 MMAD 结果,后一部分用于 EVG 自身节点可能需要的 workspace。

适用条件

  • BlockEpilogue::USE_UB_WORKSPACE对应false
  • 适用于先把 MMAD 结果落到 GM 再做尾处理的场景

【免费下载链接】catlass本项目是CANN的算子模板库,提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 13:33:01

CANN/ops-math填充对角线算子

aclnnInplaceFillDiagonal 【免费下载链接】ops-math 本项目是CANN提供的数学类基础计算算子库&#xff0c;实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-math &#x1f4c4; 查看源码 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DTAtla…

作者头像 李华
网站建设 2026/5/9 13:30:59

多模态大模型如何重塑科学教育:从理论框架到课堂实践

1. 项目概述&#xff1a;当科学教育遇见“多模态”大脑最近几年&#xff0c;我身边不少从事科学教育&#xff08;从K12到大学&#xff09;的朋友和同事&#xff0c;都在不约而同地讨论一个词&#xff1a;多模态大语言模型。起初&#xff0c;大家只是把它当作一个更聪明的聊天机…

作者头像 李华
网站建设 2026/5/9 13:30:31

cann/opbase创建标量列表API

aclCreateScalarList 【免费下载链接】opbase 本项目是CANN算子库的基础框架库&#xff0c;为算子提供公共依赖文件和基础调度能力。 项目地址: https://gitcode.com/cann/opbase 功能说明 创建aclScalarList对象&#xff0c;作为单算子API执行接口的入参。 aclScalar…

作者头像 李华
网站建设 2026/5/9 13:28:15

计算病理学:AI赋能癌症诊疗,从全切片数字化到临床落地的实践指南

1. 项目概述&#xff1a;当计算病理学成为癌症诊疗的“第二双眼睛”几年前&#xff0c;当我第一次在显微镜下看到一张经过人工智能算法预处理的病理切片时&#xff0c;那种感觉至今记忆犹新。传统的病理诊断&#xff0c;医生需要花费数小时在显微镜前&#xff0c;像侦探一样搜寻…

作者头像 李华
网站建设 2026/5/9 13:26:50

中国企业全球化人才战略白皮书

导读&#xff1a;当前中国企业全球化已进入深水区&#xff0c;告别 “拼速度、抢扩张” 的粗放阶段&#xff0c;转向以长期价值、组织韧性、全球共生为核心的新征程。效率、成本与技术速度不再是决胜关键&#xff0c;信任力成为企业立足全球、穿越周期的核心 “软货币”&#x…

作者头像 李华
网站建设 2026/5/9 13:25:40

从ZLibrary入口看数字资源分发架构的技术文章大纲

引言数字资源分发在互联网时代的核心作用ZLibrary作为典型案例的背景介绍文章结构概述ZLibrary的基本架构分析域名与入口的分布式设计&#xff08;主站与镜像站&#xff09;负载均衡与高可用性实现资源存储的分布式方案&#xff08;P2P、CDN等&#xff09;资源分发关键技术元数…

作者头像 李华