KTransformers
开源的大模型推理优化框架,用 CPU/GPU 分层存储与算子优化,在有限显存下运行更大的模型。
- 平台
- Linux
- 价格
- 开源
- 开源
- 是
- 别名
- ktransformers
- 官网
- https://github.com/kvcache-ai/KTransformers
- 仓库
kvcache-ai/KTransformers- 收录时间
- 2026-11-01(更新于 2026-11-01)
开源的大模型推理优化框架,用 CPU/GPU 分层存储与算子优化,在有限显存下运行更大的模型。
kvcache-ai/KTransformers