当前中美关系导致众多AI芯片/AI技术被禁售/禁用,迫切需要建立基于国产化算力的AI开发及应用生态。
VT-Transformer 一体化C++开源计算框架致力于解决AI infra的基础开发建设的可用,易用及便捷性,实现NVIDIA Python/CUDA替代,降低训练成本,提升推理性能,使主流开源模型可适配国产化低资源算力。
VT-Transformer替代NVIDIA体系下的CUDA层及Python计算框架,实现训练成本下降及推理性能提升。
(1) 针对国产化低资源算力,基于C++及汇编语言的VT-Transformer可以高效适配AI模型应用,实现训练成本下降;
(2) 计算堆栈从5层缩减为2层,计算效率从30%提升到90%, 实现推理性能大幅提升。
VT-Transformer开源版本已发布 http://github.com/viitrix/vt-transformer