news 2026/5/9 22:33:10

CANN/runtime HostFunc回调示例

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/runtime HostFunc回调示例

1_callback_hostfunc

【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime

描述

本样例展示了在Stream上下发一个Host侧函数,该Host侧函数将在当前已下发的任务执行之后被调用,并会阻塞之后添加的任务。

产品支持情况

本样例在以下产品上的支持情况如下:

产品是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品

编译运行

环境安装详情以及运行详情请见example目录下的README。

运行步骤如下:

# ${install_root} 替换为 CANN 安装根目录,默认安装在`/usr/local/Ascend`目录 source ${install_root}/cann/set_env.sh export ASCEND_INSTALL_PATH=${install_root}/cann # ${ascend_name} 替换为昇腾AI处理器的型号,可通过 npu-smi info 查看 Name 字段并去掉空格获得,例如 ascend910b3 export SOC_VERSION=${ascend_name} # 部分样例中涉及调用AscendC算子,需配置AscendC编译器ascendc.cmake所在的路径,如 ${install_root}/cann/aarch64-linux/tikcpp/ascendc_kernel_cmake # 可在CANN包安装路径下查找ascendc_kernel_cmake,例如find ./ -name ascendc_kernel_cmake,并将${cmake_path}替换为ascendc_kernel_cmake所在路径 export ASCENDC_CMAKE_DIR=${cmake_path} # 编译运行 bash run.sh

CANN RUNTIME API

在该Sample中,涉及的关键功能点及其关键接口,如下所示:

  • 初始化
    • 调用aclInit接口初始化AscendCL配置。
    • 调用aclFinalize接口实现AscendCL去初始化。
  • Device管理
    • 调用aclrtSetDevice接口指定用于运算的Device。
    • 调用aclrtResetDeviceForce接口强制复位当前运算的Device,回收Device上的资源。
  • Context管理
    • 调用aclrtCreateContext接口创建Context。
    • 调用aclrtDestroyContext接口销毁Context。
  • Stream管理
    • 调用aclrtCreateStream接口创建Stream。
    • 调用aclrtSynchronizeStream可以阻塞等待Stream上任务的完成。
    • 调用aclrtSetStreamFailureMode可以设置Stream执行任务遇到错误的操作,默认为遇错继续,可以设置为遇错即停。
    • 调用aclrtDestroyStreamForce接口强制销毁Stream,丢弃所有任务。
  • 回调控制
    • 调用aclrtLaunchHostFunc接口直接触发回调,无需显示创建线程。
  • 内存管理
    • 调用aclrtMalloc接口申请Device上的内存。
    • 调用aclrtFree接口释放Device上的内存。
  • 数据传输
    • 调用aclrtMemcpy接口通过内存复制的方式实现数据传输。

已知issue

暂无

【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 22:30:16

中小团队如何利用Taotoken统一管理多个大模型API调用成本

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 中小团队如何利用Taotoken统一管理多个大模型API调用成本 对于同时使用多个大语言模型的中小型研发团队而言,账单分散和…

作者头像 李华
网站建设 2026/5/9 22:29:38

代码随想录算法训练营第四十九天|图论深搜和广搜理论基础、卡码网98 可达路径

参考文章均来自代码随想录 之前离散数学学了有关图的基础知识 又过了一遍 后续忘记查看参考文章即可 参考文章链接 深度优先搜索理论基础 广度优先搜索理论基础 卡码网98 可达路径 题目链接 主要掌握邻接矩阵和邻接表的手搓 感觉分析过程和回溯差不多 之前确实没怎过做过…

作者头像 李华
网站建设 2026/5/9 22:24:56

开源OSINT终端Horus:构建本地优先的实时态势感知驾驶舱

1. 项目概述:一个为实时态势感知而生的开源OSINT终端如果你和我一样,每天需要处理海量的开源情报(OSINT),在十几个浏览器标签、新闻聚合器、地图工具和聊天窗口之间来回切换,只为拼凑出某个地区或事件的完整…

作者头像 李华
网站建设 2026/5/9 22:21:34

2025届最火的降AI率平台实际效果

Ai论文网站排名(开题报告、文献综述、降aigc率、降重综合对比) TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 目前,针对AI生成内容检测率偏高这种情况,已有专门网站助力用户优化文…

作者头像 李华
网站建设 2026/5/9 22:20:38

AI持续学习新范式:从果蝇大脑启发的主动遗忘与协作学习

1. 项目概述:当AI学会“遗忘”,它才真正开始持续学习在人工智能领域,让一个模型像人一样,学会一项新技能而不忘掉旧本领,一直是个老大难问题。这就是持续学习(Continual Learning)或者叫终身学习…

作者头像 李华
网站建设 2026/5/9 22:20:32

元宇宙传感器数据安全与AI隐私保护技术解析

1. 项目概述:当传感器遇见AI,隐私与安全的双重挑战最近几年,我身边越来越多的朋友和客户开始谈论“元宇宙”,从虚拟会议到数字孪生工厂,这个概念正以前所未有的速度渗透到各个行业。作为一名长期关注数据安全与隐私保护…

作者头像 李华