Simon Willison 更新 CLI 工具 ttok 0.4：修复 Click 警告并新增模型列表命令

一句话结论

开发者 Simon Willison 发布 CLI 工具 ttok 0.4，修复了长期存在的 Click 警告并新增 --list-models 命令，提升 token 统计工具可用性。

关键要点

• ttok 0.4 版本于 2026 年 10 月 8 日发布，距离上次更新已过去数年。
• 该版本修复了 Click 框架引发的警告问题，并更新了持续集成（CI）流程。
• 新增 --list-models 命令，允许用户查看 OpenAI 开源 tiktoken 库支持的可用模型。
• 工具支持通过 uvx 直接运行，用户可使用管道命令 `cat file.txt | uvx ttok` 对任意文本文件进行 token 计数。
• 作者强调该工具核心功能基于 OpenAI 开源的 tiktoken 库，用于精确统计文本消耗的 token 数量。

背景与事实

Simon Willison 于 2026 年 10 月 8 日在其博客上发布了名为 ttok 的命令行工具更新，版本号为 0.4。Willison 指出，这款工具在长达数年间未进行实质性更新，此次版本迭代主要旨在解决技术债务和提升开发体验。更新内容包含两项核心改进：首先修复了 Click 框架产生的警告信息，这是 Python 命令行应用程序开发中常见的兼容性问题；其次更新了项目的持续集成（CI）配置，以确保构建流程的稳定性。

该版本最显著的功能增强是引入了 --list-models 命令。通过这一参数，用户可以查询当前 tiktoken 库所支持的所有大语言模型编码方案。由于不同模型（如 GPT-4、Llama 系列等）采用不同的分词策略，准确识别模型类型对于评估 API 调用成本至关重要。ttok 基于 OpenAI 开源的 tiktoken 库构建，该库是业界公认的最准确的 token 计数器之一，能够处理各种字符编码并映射至特定模型的词元。

值得注意的是，ttok 0.4 优化了与 uv 包管理器的集成。uv 是一款以速度著称的 Python 包管理器和运行器，允许用户在不安装全局环境的情况下通过 `uvx` 命令直接执行工具。这意味着开发者无需手动安装 ttok，只需在终端执行 `cat file.txt | uvx ttok` 即可实时统计文件内容的 token 数量。这种“零安装”特性极大地降低了工具的使用门槛，特别适合在 CI/CD 流水线或临时脚本中进行 token 预算估算。

影响分析

对于中文开发者而言，ttok 0.4 的更新具有直接的实用价值。在大语言模型应用开发中，精确预估 token 消耗是控制成本和优化提示词工程的关键环节。虽然国内开发者主要使用 OpenAI 接口或国产大模型，但国产模型的 token 编码往往兼容 OpenAI 的标准编码（如 cl100k_base 或 o200k_base）。ttok 提供 --list-models 功能后，开发者可以更便捷地确认哪些编码方案在本地环境中可用，从而在离线状态下校验文本长度是否超出模型上下文窗口限制。

此外，修复 Click 警告意味着该工具在较新的 Python 版本和 Click 库版本中运行更加稳定，减少了日志污染，有利于自动化脚本的解析。通过 uvx 的使用模式，开发者可以将其快速集成到现有的基于 uv 的项目工作流程中，无需担心依赖冲突。这种轻量级的工具链组合体现了现代 Python 开发生态向“即时可用”和“极简依赖”方向演进的趋势，有助于提升日常开发效率。

适用边界

本工具主要适用于基于 OpenAI 编码方案（cl100k_base, o200k_base 等）的文本 token 统计场景。如果开发者使用的模型采用完全自定义的非标准分词器（例如某些特定领域微调模型或国产模型特有的底层编码），ttok 基于 tiktoken 库的计数结果可能与实际模型消耗存在偏差。此外，ttok 是一个文本统计工具，不具备处理图像、音频或视频等多模态输入的能力，其统计范围严格限定于文本字符序列。

孤本观察

从 Simon Willison 的博客标题“ttok 0.4”及其简洁的描述风格来看，该更新虽历经多年沉寂，但针对性极强，专注于修复基础工具链的兼容性与可用性，体现了开源社区对实用主义开发工具的维护理念。此次更新并未引入复杂的 AI 功能，而是回归工具本质，确保其作为“计数尺子”的准确性与便捷性。

来源：Simon Willison