加载中…
Accelerate LLM inference using speculative decoding, Medusa multiple heads, and lookahead decoding techniques. Use when optimizing inference speed (1.5-3.6× speedup), reducing latency for real-time applications, or deploying models with limited compute. Covers draft models, tree-based attention, Jacobi iteration, parallel token generation, and production deployment strategies.
speculative-decoding 是 ChatHome Skills 收录的 技能 条目，来源为 GitHub Skill Search，质量分 58/100。 # Speculative Decoding: Accelerating LLM Inference ## When to Use This Skill Use Speculative Decoding when you need to: - **Speed up inference** by 1.5-3.6× wit. 作为 agent 技能，它把一组可复用的任务指令打包成 Codex 和 Claude Code 等 AI 编程 agent 可直接加载的格式，无需为该任务手写胶水代码。 该条目由 ChatHome Skills 的每日抓取从官方 registry 和 GitHub 发现查询中收录，每次运行都会重新核验仓库事实、新鲜度信号和安装元数据。 质量分综合了官方 registry 收录情况、可用安装命令、许可证完整性、仓库活跃度和 GitHub star 趋势，完整算法说明见来源页。安装命令已列于上方，可直接复制使用。 在将 speculative-decoding 加入生产 agent 工作流前，请核对上方的最近更新日期和仓库状态——下方事实快照是最近一次抓取的时点值。
codex skill install marnixGeerkens/rocketlauncher-claude-code运行此命令前，请先核对上游源码。
扫描范围: 安装元数据与已收录的文档正文。
基于安装元数据和有界技能正文的自动风险信号，不是完整代码安全审计，也不会递归审查源码或依赖。
# Speculative Decoding: Accelerating LLM Inference ## When to Use This Skill Use Speculative Decoding when you need to: - **Speed up inference** by 1.5-3.6× without quality loss -