登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
12月21日就在北京,来看大模型推理 + 国产硬件生态 + 开源社区分享,一起搞技术、聊开源、领福利~~
代码拉取完成,页面将自动刷新
仓库状态说明
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
20
Star
65
Fork
1.1K
Ascend
/
op-plugin
暂停
代码
Issues
22
Pull Requests
239
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
[Question|问题咨询]: npu_fusion_attention接口在causal模式下的行为与文档描述不符
TODO
#IAGYXH
缺陷
SueJane
创建于
2024-07-31 18:51
### 问题描述 我们在测试npu_fusion_attention接口时,遇到了以下问题: 我们的测试方式为使用相同的参数分别调用flash_attn_func和npu_fusion_attention,然后比较输出结果。 在`casual=True`的情况下(设置sparse_mode=2/3/7/8),如果不传递`attn mask`,计算结果并不是causal的(与flash attention的结果差异很大)。这种情况是否符合预期? 如果必须传入`attn mask`,在实际使用中,每个mini-batch的最长sequence长度可能不同,这会导致一些问题,例如速度慢(从host到device的复制)、占用大量NPU内存等等。例如,对于16K的sequence length,这里的mask就是256MB的布尔值,如果NPU内部用int表示布尔值,这个mask本身就达到了1GiB的大小,而它本身并没有任何信息量。能否将`attn mask`参数设为可选参数?
### 问题描述 我们在测试npu_fusion_attention接口时,遇到了以下问题: 我们的测试方式为使用相同的参数分别调用flash_attn_func和npu_fusion_attention,然后比较输出结果。 在`casual=True`的情况下(设置sparse_mode=2/3/7/8),如果不传递`attn mask`,计算结果并不是causal的(与flash attention的结果差异很大)。这种情况是否符合预期? 如果必须传入`attn mask`,在实际使用中,每个mini-batch的最长sequence长度可能不同,这会导致一些问题,例如速度慢(从host到device的复制)、占用大量NPU内存等等。例如,对于16K的sequence length,这里的mask就是256MB的布尔值,如果NPU内部用int表示布尔值,这个mask本身就达到了1GiB的大小,而它本身并没有任何信息量。能否将`attn mask`参数设为可选参数?
评论 (
2
)
登录
后才可以发表评论
状态
TODO
TODO
WIP
DONE
CLOSED
REJECTED
负责人
未设置
标签
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (11)
标签 (2)
7.1.0
master
revert-merge-2850-master
6.0.0
7.0.0
revert-merge-2336-master
6.0.rc1
6.0.rc3
6.0.rc2
5.0.0
5.0.rc3
v5.0.0
v5.0.rc3
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
预计工期
(小时)
参与者(1)
1
https://gitee.com/ascend/op-plugin.git
git@gitee.com:ascend/op-plugin.git
ascend
op-plugin
op-plugin
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册