加载中…
CPU-only LLM inference engine in pure Rust — 4-bit quantized models, hand-written AVX2 kernels, speculative decoding, and a local HTTP/MCP server. No GPU, no Python runtime.
rai 是 ChatHome Skills 收录的 MCP 条目，来源为 GitHub MCP Search，质量分 48/100。 CPU-only LLM inference engine in pure Rust — 4-bit quantized models, hand-written AVX2 kernels, speculative decoding, and a local HTTP/MCP server. No GPU, no Py. 作为 Model Context Protocol 服务器，它向 Claude、Cursor、Copilot 等兼容 MCP 的 LLM 客户端暴露可直接调用的工具，让 agent 的能力超出模型内置范围。 该条目由 ChatHome Skills 的每日抓取从官方 registry 和 GitHub 发现查询中收录，每次运行都会重新核验仓库事实、新鲜度信号和安装元数据。 质量分综合了官方 registry 收录情况、可用安装命令、许可证完整性、仓库活跃度和 GitHub star 趋势，完整算法说明见来源页。安装命令已列于上方，可直接复制使用。 在将 rai 加入生产 agent 工作流前，请核对上方的最近更新日期和仓库状态——下方事实快照是最近一次抓取的时点值。
git clone https://github.com/Classevelabs/rai.git运行此命令前，请先核对上游源码。
扫描范围: 安装元数据与仓库 README。
基于安装元数据和有界技能正文的自动风险信号，不是完整代码安全审计，也不会递归审查源码或依赖。
{
"fullName": "Classevelabs/rai"
}CPU-only LLM inference engine in pure Rust — 4-bit quantized models, hand-written AVX2 kernels, speculative decoding, and a local HTTP/MCP server. No GPU, no Python runtime.