Transformer 家族 2.0 版：Lil'Log 全面重构与扩充
Lilian Weng 将 2020 年的《The Transformer Family》一文重构并扩充为 2.0 版，篇幅约为旧版两倍，是旧版的超集。文章重新梳理章节层级，并纳入更多近期论文，涵盖稀疏注意力模式、多头自注意力、编码器-解码器架构以及正弦、可学习、相对位置编码等内容。
匹配字段摘要
←搜索结果
搜索“编码”
如何降低语言模型的毒性 | Lil'Log
Lil'Log 发文探讨大语言模型的毒性问题，指出预训练模型从互联网数据中不可避免地习得毒性行为与偏见，安全部署需对生成过程施加强控制。文章梳理了 Perspective API、Kurita 等对毒性内容的定义，并介绍了 Zampieri 等提出的三级攻击性语言分类体系及 OLID 数据集。数据标注可通过专家编码、众包、专业审核员和合成数据四种方式收集。
匹配字段摘要
Transformer 家族 | Lil'Log
Lil'Log 发布《Transformer 家族》一文，梳理 vanilla Transformer 的编码器-解码器架构、多头自注意力与位置编码，并介绍后续改进方向，包括更长注意力跨度、更低内存与计算消耗以及 RL 任务求解。作者同时说明该文已于 2023-01-27 大幅重构更新，增强版见《The Transformer Family Version 2.0》。
匹配字段摘要
Lilian Weng 综述广义语言模型：从 CoVe、ELMo 到 GPT-2、BERT
Lilian Weng 在 Lil'Log 发布《Generalized Language Models》综述，梳理了让词嵌入依赖上下文并更易迁移到下游任务的各类方法。文章从 CoVe 的 NMT 编码器上下文词向量讲起，重点介绍 ELMo 通过无监督双向语言模型（biLM）预训练学习上下文表示，并指出 OpenAI GPT 与 BERT 进一步用无监督预训练加生成式架构同时克服 CoVe 的局限。该文后续陆续补充了 ULMFiT、GPT-2、ALBERT、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA。
匹配字段摘要
用 RNN 预测股票价格（第二部分）：多股票预测与嵌入向量
Lilian Weng 在教程第二部分中扩展了第一部分构建的 RNN，使其能同时处理多只股票。模型用股票代码的嵌入向量（embedding_size × stock_count）替代 one-hot 编码，与每日价格向量拼接后输入 LSTM，训练集与测试集按每只股票 90%/10% 划分。
Lilian Weng 在教程第二部分中扩展了第一部分构建的 RNN，使其能同时处理多只股票。模型用股票代码的嵌入向量（embedding size × stock count）替代 one-hot 编码，与每日价格向量拼接后输入 LSTM，训练集与测试集按每只股票 90%/10% 划分。
匹配字段摘要
Guillermo Rauch提出Vercel CI解决AI编码瓶颈
Vercel CEO Guillermo Rauch 发文说明 Vercel CI 如何解决 AI 编码瓶颈,将其分为三层:快速稳定的基础设施,包括全球 20 个集群、每天运行数百万个 microVM;Turborepo 集成,可自动计算依赖图并跳过、缓存已有工作;以及 Agentic CI。他表示 CLI 中的 vercel ci 是第一步,智能体现在可以检查、中止、触发和重放 CI,Vercel Agent 可协助优化,后续还会加入更多能力,让 CI 具备工程师式的判断力。Vercel 官方账号此前宣布 Vercel CI 进入 beta,内部仓库 CI 提速 2-6 倍,并通过 Vercel MCP 和 CLI 面向智能体优化。
匹配字段标题
Guillermo Rauch提出Vercel CI解决AI编码瓶颈
Vercel CEO Guillermo Rauch 发文说明 Vercel CI 如何解决 AI 编码瓶颈,将其分为三层:快速稳定的基础设施,包括全球 20 个集群、每天运行数百万个 microVM;Turborepo 集成,可自动计算依赖图并跳过、缓存已有工作;以及 Agentic CI。他表示 CLI 中的 vercel ci 是第一步,智能体现在可以检查、中止、触发和重放 CI,Vercel Agent 可协助优化,后续还会加入更多能力,让 CI 具备工程师式的判断力。Vercel 官方账号此前宣布 Vercel CI 进入 beta,内部仓库 CI 提速 2-6 倍,并通过 Vercel MCP 和 CLI 面向智能体优化。
匹配字段标题
Entire推出面向人机协作编码的Git托管平台
2026年10月28日,前GitHub CEO创办的Entire推出新一代Git托管平台,面向人机协作编码,将代码托管、评审、CI和Agent会话记忆按人机协作方式重新设计。该平台以Trail替代以diff为主的PR时间线,每次推送由评审Agent在云沙箱中打分并跟踪未关闭问题,底层调用Claude Code、Codex等,沙箱由Daytona、E2B提供。其自研Git服务给出自家开源基准,称推送最高约比GitHub快89倍,并已接入Buildkite与Depot作为CI。目前尚无后续发展信息。
匹配字段标题
Larsen Cundric询问开发者使用编码Agent的入口
Larsen Cundric于2026年10月30日向开发者提问:目前实际在哪个环境中与编码智能体交互。他给出的选项包括终端、IDE、桌面应用和移动应用。现有材料中尚无后续发展或回应,问题仍停留在征集开发者使用入口的阶段。
匹配字段标题
Larsen Cundric询问开发者使用编码Agent的入口
Larsen Cundric于2026年10月30日向开发者提问:目前实际在哪个环境中与编码智能体交互。他给出的选项包括终端、IDE、桌面应用和移动应用。现有材料中尚无后续发展或回应,问题仍停留在征集开发者使用入口的阶段。
匹配字段标题
Thariq提出编码智能体狂热是一种回避
Thariq 提出,使用编码智能体时可能陷入一种狂热状态:感觉自己一直在工作、完成了很多事,但实际上什么也没真正发生。他认为,这种狂热往往是对生活中其他事情的一种逃避。该观点于2026年10月30日发布,目前没有后续发展或官方回应。
匹配字段标题
Thariq提出编码智能体狂热是一种回避
Thariq 提出,使用编码智能体时可能陷入一种狂热状态:感觉自己一直在工作、完成了很多事,但实际上什么也没真正发生。他认为,这种狂热往往是对生活中其他事情的一种逃避。该观点于2026年10月30日发布,目前没有后续发展或官方回应。
匹配字段标题
Arena.ai对比20869条轨迹中的编码Agent用户批评
Arena.ai基于Agent Arena: Code的20,869条trace,对比Anthropic与OpenAI五款顶级模型与其他智能体的用户批评信号。该分析发现前沿模型在三个维度差异最明显:失败修复循环的抱怨少6.9个百分点,忽略项目上下文少1.9个百分点;设计问题少6.4个百分点,产出可用结果的问题少5.8个百分点;指令遵循、任务完成、破坏已有代码的抱怨分别少5.6、4.9、4.5个百分点。目前尚无后续发展。
匹配字段标题
Herdr推出终端与编码Agent桌面应用
Herdr 推出一款面向终端和编码智能体的桌面应用,用 space 组织工作,并在侧边栏汇总各智能体的 Working、Blocked、Done、Idle 状态。该应用关闭窗口后终端仍在 core 中继续运行,还可通过 SSH 把 space 放到远程机器上执行。应用支持 Linux、macOS(Apple Silicon)和 Windows x64,内置 Herdr、Terminals、Herdr 98 三套布局,并允许用 JavaScript 编写 mod 面板。目前尚无后续发展报道。
匹配字段标题
Herdr提供终端与编码Agent桌面应用
Herdr 推出一款面向终端和编码智能体的桌面应用,用 space 组织工作,并在侧边栏汇总各智能体的 Working、Blocked、Done、Idle 状态。该应用关闭窗口后终端仍在 core 中继续运行,还可通过 SSH 把 space 放到远程机器上执行。应用支持 Linux、macOS(Apple Silicon)和 Windows x64,内置 Herdr、Terminals、Herdr 98 三套布局,并允许用 JavaScript 编写 mod 面板。目前尚无后续发展报道。
匹配字段标题
Google向第三方编码Agent开放Android开发工具
Google在Android Dev Summit上宣布,Android Studio与Android CLI向第三方编码智能体开放。据The New Stack报道,Bring Your Own Agent已支持40多个遵循Agent Client Protocol的智能体,包括Claude Agent、Codex和Google自家的Antigravity,并在Android Studio Rabbit 2中转为稳定。新增的android preview命令可让智能体在终端渲染Jetpack Compose预览,Google称完成UI任务快77%、token用量最多减少三倍,但未说明测量方式;android device remote则让智能体访问Google实验室的实体设备。演示中Claude Code借助LeakCanary排查内存泄漏并自行修复复测,Google称此类调查快近一倍、token减少最多25%。Google同时推出Android Bench 2.0评测模型与智能体在复杂Android任务上的表现。
匹配字段标题
Google向第三方编码Agent开放Android开发工具
Google在Android Dev Summit上宣布,Android Studio与Android CLI向第三方编码智能体开放。据The New Stack报道,Bring Your Own Agent已支持40多个遵循Agent Client Protocol的智能体,包括Claude Agent、Codex和Google自家的Antigravity,并在Android Studio Rabbit 2中转为稳定。新增的android preview命令可让智能体在终端渲染Jetpack Compose预览,Google称完成UI任务快77%、token用量最多减少三倍,但未说明测量方式;android device remote则让智能体访问Google实验室的实体设备。演示中Claude Code借助LeakCanary排查内存泄漏并自行修复复测,Google称此类调查快近一倍、token减少最多25%。Google同时推出Android Bench 2.0评测模型与智能体在复杂Android任务上的表现。
匹配字段标题
Cognition推出编码基准FrontierCode 2.0
2026年10月28日,Cognition推出编程基准FrontierCode 2.0,用于评估模型产出的代码能否真正合并,最高分的Opus 5.5也仅得45%,基准远未饱和。据Cognition博客,相比1.1版本,参考解平均多改67%的文件、89%的代码行,代码库规模大25%,任务覆盖仓库增加55%、阻断性评分标准增加43%;DeepSeek V4.1 Flash从43.9%降至19.3%,Kimi K3从44.2%降至17.7%。同日,Artificial Analysis发布Intelligence Index v5,将FrontierCode 2.0列为新增基准之一,60%评测基于私有测试集或留出答案,Claude Opus 5.5(max)以58分居首。
匹配字段标题
Entire推出面向人机协作编码的Git托管平台
2026年10月28日,前GitHub CEO创办的Entire推出新一代Git托管平台,面向人机协作编码,将代码托管、评审、CI和Agent会话记忆按人机协作方式重新设计。该平台以Trail替代以diff为主的PR时间线,每次推送由评审Agent在云沙箱中打分并跟踪未关闭问题,底层调用Claude Code、Codex等,沙箱由Daytona、E2B提供。其自研Git服务给出自家开源基准,称推送最高约比GitHub快89倍,并已接入Buildkite与Depot作为CI。目前尚无后续发展信息。
匹配字段标题
Arena.ai对比前沿编码Agent的用户批评信号
Arena.ai基于Agent Arena: Code的20,869条trace,对比Anthropic与OpenAI五款顶级模型与其他智能体的用户批评信号。该分析发现前沿模型在三个维度差异最明显:失败修复循环的抱怨少6.9个百分点,忽略项目上下文少1.9个百分点;设计问题少6.4个百分点,产出可用结果的问题少5.8个百分点;指令遵循、任务完成、破坏已有代码的抱怨分别少5.6、4.9、4.5个百分点。目前尚无后续发展。
匹配字段标题