Triton-Ascend FlashAttention 优化实战
基于 Triton-Ascend 构建昇腾亲和算子,针对FlashAttention fwd&bwd算子展开优化,通过细粒度 CV 流水编排等优化方式,将 Cube 利用率提升到 90%+。
记录做过的事情、踩过的坑和后来想明白的问题。
基于 Triton-Ascend 构建昇腾亲和算子,针对FlashAttention fwd&bwd算子展开优化,通过细粒度 CV 流水编排等优化方式,将 Cube 利用率提升到 90%+。
记录从官方 checkpoint 出发,在 4 张 A100 上完成 DeepSeek-V4-Flash-0731 的模型转换、A100 适配、TP=4 部署、DSpark 加速与端到端验证的完整过程。
复盘从 Cloudflare DNS、美国 VPS、3x-ui 到 VLESS REALITY 节点、订阅和性能调优的完整过程。
记录 BiumBiu 从 Astro 静态站点到 Cloudflare Pages、Three.js 首页、站内搜索与 D1 访问量统计的搭建和维护过程。