Cachy:我们如何让 notebook 提速 60 倍
Answer.AI 开源了 Python 包 cachy,通过修改 httpx 的 send 方法缓存每次 LLM 调用响应,让测试从约 2 分钟缩短到约 2 秒,提速 60 倍。它支持 async 与 streaming,只需 pip install pycachy 并调用 enable_cachy(),即可自动缓存 Anthropic、OpenAI SDK 的调用,无需编写 mock 代码。cachy 也可缓存任意 httpx 请求。
Answer.AI 开源了 Python 包 cachy,通过修改 httpx 的 send 方法缓存每次 LLM 调用响应,让测试从约 2 分钟缩短到约 2 秒,提速 60 倍。它支持 async 与 streaming,只需 pip install pycachy 并调用 enable cachy(),即可自动缓存 Anthropic、OpenAI SDK 的调用,无需编写 mock 代码。cachy 也可缓存任意 httpx 请求。
匹配字段摘要、正文


