←搜索结果

搜索“arXiv”

按匹配度 · 共 358 条结果 清除搜索

星期三

  1. Lilian Weng：Lil'Log

    LLM 的对抗攻击：Lilian Weng 解析威胁模型与五类攻击方法

    Lilian Weng 在 Lil'Log 撰文梳理针对大语言模型的对抗攻击，假定攻击只发生在推理阶段、模型权重固定，并区分白盒与黑盒两种设定。文章介绍了 Token 操纵、基于梯度的攻击、越狱提示词、人工红队与模型红队五类方法，其中 Token 操纵类攻击可在黑盒条件下进行，如 TextFooler、BERT-Attack 等。

    . [2] Ribeiro et al. “Semantically equivalent adversarial rules for debugging NLP models”. ACL 2018. [3] Guo et al. “Gradient-based adversarial attacks against text transformers”. arXiv preprint arXiv:2104.13733 (2021). [4] Ebrahimi et al. “HotFlip: White-Box Adversarial Examples for Text Classification”. ACL 2018. [5] Wallace et al. “Universal Adversarial Triggers for Attacking and Analyzing NLP.” EMNLP-IJCNLP 2019. | code [6] Mehrabi et al. “Robust Conversational Agents against Imperceptible T

    匹配字段正文

    #analysis#教程/实践#安全/对齐#推理

星期五

  1. Lilian Weng：Lil'Log

    LLM 驱动的自主智能体：规划、记忆与工具调用综述

    Lilian Weng 在 Lil'Log 撰文梳理以 LLM 为核心控制器的自主智能体架构，将其拆解为规划、记忆和工具调用三大组件。规划部分涵盖 CoT、Tree of Thoughts、LLM+P 等任务分解方法，以及 ReAct、Reflexion、Chain of Hindsight、Algorithm Distillation 等自我反思机制。记忆部分区分短期上下文学习与基于外部向量库的长期记忆，并介绍 LSH、ANNOY、HNSW、FAISS、ScaNN 等快速 MIPS 检索算法；工具调用部分则列举 MRKL、TALM、Toolformer、HuggingGPT、API-Bank 以及 ChemCrow 等科学发现智能体案例。文末指出有限上下文长度、长期规划与任务分解、自然语言接口可靠性三类常见局限。

    al. “Chain of thought prompting elicits reasoning in large language models.” NeurIPS 2022 [2] Yao et al. “Tree of Thoughts: Dliberate Problem Solving with Large Language Models.” arXiv preprint arXiv:2305.10601 (2023). [3] Liu et al. “Chain of Hindsight Aligns Language Models with Feedback “ arXiv preprint arXiv:2302.02676 (2023). [4] Liu et al. “LLM+P: Empowering Large Language Models with Optimal Planning Proficiency” arXiv preprint arXiv:2304.11477 (2023). [5] Yao et al. “ReAct: Synergizing

    匹配字段正文

    #analysis#教程/实践#Agent#推理

星期三

  1. Lilian Weng：Lil'Log

    Lilian Weng 长文梳理提示词工程方法：从零样本到 CoT 与工具调用

    Lilian Weng 发布提示词工程综述，系统梳理零样本、少样本、指令提示、CoT、自洽采样、检索增强与外部工具调用等方法，并指出提示词效果因模型而异，需要大量实验和启发式调整。文章还汇总了示例选择与排序、自动提示词生成、Tree of Thoughts、Toolformer 等方向的研究，并附 26 篇论文引用。

    emantic Kernel [1] Zhao et al. “Calibrate Before Use: Improving Few-shot Performance of Language Models.” ICML 2021 [2] Liu et al. “What Makes Good In-Context Examples for GPT-3?” arXiv preprint arXiv:2101.06804 (2021). [3] Lu et al. “Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity.” ACL 2022 [4] Ye et al. “In-Context Instruction Learning.” arXiv preprint arXiv:2302.14691 (2023). [5] Su et al. “Selective annotation makes language models better f

    匹配字段正文

    #analysis#教程/实践#推理#数据/训练

星期五

  1. Lilian Weng：Lil'Log

    Transformer 家族 2.0 版：Lil'Log 全面重构与扩充

    Lilian Weng 将 2020 年的《The Transformer Family》一文重构并扩充为 2.0 版，篇幅约为旧版两倍，是旧版的超集。文章重新梳理章节层级，并纳入更多近期论文，涵盖稀疏注意力模式、多头自注意力、编码器-解码器架构以及正弦、可学习、相对位置编码等内容。

    , Distill, 2016. [4] Sainbayar Sukhbaatar, et al. “Adaptive Attention Span in Transformers”. ACL 2019. [5] Rewon Child, et al. “Generating Long Sequences with Sparse Transformers” arXiv:1904.10509 (2019). [6] Nikita Kitaev, et al. “Reformer: The Efficient Transformer” ICLR 2020. [7] Alex Graves. (“Adaptive Computation Time for Recurrent Neural Networks”)[https://arxiv.org/abs/1603.08983] [8] Niki Parmar, et al. “Image Transformer” ICML 2018. [9] Zihang Dai, et al. “Transformer-XL: Attentive Lang

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期三

  1. Lilian Weng：Lil'Log

    大型 Transformer 模型推理优化：蒸馏、量化与剪枝

    Lil'Log 梳理了大型 Transformer 模型的推理优化方法，涵盖知识蒸馏、量化（PTQ 与 QAT）和剪枝。文章指出推理瓶颈主要来自显存占用与低并行性：batch size 512、上下文长度 2048 时 KV cache 总计 3TB，是模型体积的 3 倍，且注意力机制开销随输入序列长度呈平方增长。DistilBERT 在参数减少 40% 的情况下保留 BERT 97% 的下游任务性能，推理速度提升 71%。

    RT: Hessian based ultra low precision quantization of BERT” AAAI 2020. [5] Yao et al. “ZeroQuant: Efficient and affordable post-training quantization for large-scale transformers” arXiv preprint arXiv:2206.01861 (2022). [6] Frantar et al. “GPTQ: Accurate Quantization for Generative Pre-trained Transformers” arXiv preprint arXiv:2210.17323 (2022). [7] Xiao & Lin “SmoothQuant: Accelerated sparse neural training: A provable and efficient method to find N:M transposable masks.” arXiv preprint arXiv:

    匹配字段正文

    #analysis#教程/实践#推理#部署/工程

星期五

  1. Lilian Weng：Lil'Log

    通用视觉语言模型（VLM）的四种技术路线

    Lilian Weng 在 Lil'Log 中把扩展预训练语言模型以处理视觉信号的视觉语言模型（VLM）归纳为四类：将图像转为可与 token 嵌入联合训练的嵌入向量、学习可作为冻结语言模型前缀的图像嵌入、用交叉注意力把视觉信息融入语言模型各层，以及不做任何训练直接组合视觉与语言模型。文中以 VisualBERT、SimVLM、CM3、Frozen 和 ClipCap 为例展开分析。

    lized visual language models. Lil’Log. https://lilianweng.github.io/posts/2022-06-09-vlm/. Or [1] Li et al. “VisualBERT: A Simple and Performant Baseline for Vision and Language.” arXiv preprint:1908.03557 (2019). [2] Wang et al. “SimVLM: Simple Visual Language Model Pretraining with Weak Supervision.” ICLR 2022. [3] Aghajanyan, et al. “CM3: A Causal Masked Multimodal Model of the Internet.” arXiv preprint arXiv: 2201.07520 (2022). [4] Tsimpoukelli et al. “Multimodal Few-Shot Learning with Froze

    匹配字段正文

    #analysis#教程/实践#多模态#数据/训练

星期六

  1. Lilian Weng：Lil'Log

    数据不足下的学习 Part 3：数据生成 | Lil'Log

    Lil'Log 发布《Learning with not Enough Data》系列第三篇，聚焦用合成数据训练的两条路径：对已有样本做增强，或在少样本甚至无样本时用预训练大语言模型生成新数据。图像侧介绍了 AutoAugment、RandAugment、PBA、UDA 等增强策略，以及 Mixup、Cutmix、MoCHi 等图像混合方法；文本侧介绍了 EDA 的同义词替换、随机插入、随机交换、随机删除四种操作，以及用 BERT 等双向 LM 做上下文替换的 Contextual Augmentation。

    ough data? Deep learning to rescue!” AAAI 2020. [4] Wang et al. “Want To Reduce Labeling Cost? GPT-3 Can Help.” EMNLP 2021. [5] Wang et al. “Towards Zero-Label Language Learning.” arXiv preprint arXiv:2109.09193 (2021). [6] Schick & Schutze. Generating Datasets with Pretrained Language Models." EMNLP 2021. [7] Han et al. “Unsupervised Neural Machine Translation with Generative Language Models Only.” arXiv preprint arXiv:2110.05448 (2021). [8] Guo et al. “Augmenting data with mixup for sentence c

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期日

  1. Lilian Weng：Lil'Log

    Lilian Weng 详解主动学习：预算受限下如何挑选最有价值的标注样本

    Lilian Weng 在 Lil'Log 发文介绍主动学习：给定无标注数据集和固定标注预算 B，主动学习要从中挑出 B 个样本送标，以最大化模型性能提升，适合医学图像等标注昂贵场景。文章梳理了不确定性采样（least confident、margin、entropy）、Query-By-Committee、多样性采样、期望模型变化与混合策略，并把模型不确定性分为数据噪声导致的 aleatoric 与参数层面的 epistemic 两类。

    y-Backprop)” ICML 2015. [6] Settles et al. “Multiple-Instance Active Learning.” NIPS 2007. [7] Houlsby et al. Bayesian Active Learning for Classification and Preference Learning." arXiv preprint arXiv:1112.5745 (2020). [8] Kirsch et al. “BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning.” NeurIPS 2019. [9] Beluch et al. “The power of ensembles for active learning in image classification.” CVPR 2018. [10] Sener & Savarese. “Active learning for convolutional neur

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期日

  1. Lilian Weng：Lil'Log

    数据不足时的学习（上）：半监督学习 | Lil'Log

    Lilian Weng 在 Lil'Log 发布“Learning with not Enough Data”系列第一篇，聚焦半监督学习：同时利用有标签和无标签数据训练模型，损失由监督损失与无监督损失相加构成。文章梳理一致性正则化方法，包括 Π-model、Temporal Ensembling 和 Mean teachers，并讨论伪标签、标签传播与自训练中的确认偏差问题。

    1: semi-supervised learning. Lil’Log. https://lilianweng.github.io/posts/2021-12-05-semi-supervised/. Or [1] Ouali, Hudelot & Tami. “An Overview of Deep Semi-Supervised Learning” arXiv preprint arXiv:2006.05278 (2020). [2] Sajjadi, Javanmardi & Tasdizen “Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning.” arXiv preprint arXiv:1606.04586 (2016). [3] Pham et al. “Meta Pseudo Labels.” CVPR 2021. [4] Laine & Aila. “Temporal Ensembling for Semi-Superv

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期五

  1. Lilian Weng：Lil'Log

    如何在多 GPU 上训练超大模型？

    Lilian Weng 在 Lil'Log 中梳理了在多 GPU 上训练超大模型所需的并行范式：数据并行（DP）通过复制模型权重并切分数据，配合 BSP、ASP 或梯度累积同步梯度；模型并行（MP）将模型权重与计算切分到多机；流水线并行（PP）把 minibatch 拆成多个 microbatch 以缩小等待气泡，GPipe 在 microbatch 数超过分区数 4 倍时气泡开销几乎可忽略。

    distributed GPUs with a GPU-specialized parameter server” EuroSys 2016 [3] Shoeybi et al. “Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.” arXiv preprint arXiv:1909.08053 (2019). [4] Narayanan et al. “Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM.” arXiv preprint arXiv:2104.04473 (2021). [5] Huang et al. “GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism.” arXiv preprint arXiv:1811.06965 (2018)

    匹配字段正文

    #analysis#教程/实践#部署/工程#数据/训练

星期日

  1. Lilian Weng：Lil'Log

    什么是扩散模型？| Lil'Log

    Lilian Weng 在 Lil'Log 发文系统讲解扩散模型：它受非平衡热力学启发，通过马尔可夫链逐步向数据加噪再学习逆向去噪，从而从噪声重建样本。文中梳理了扩散概率模型、NCSN 与 DDPM 等同类思路，并推导前向加噪、逆向扩散过程及变分下界训练损失。该文后续更新补充了 classifier-free guidance、GLIDE、unCLIP、Imagen、潜在扩散模型、渐进蒸馏与一致性模型。

    . [4] Yang Song & Stefano Ermon. “Improved techniques for training score-based generative models.” NeuriPS 2020. [5] Jonathan Ho et al. “Denoising diffusion probabilistic models.” arxiv Preprint arxiv:2006.11239 (2020). [code] [6] Jiaming Song et al. “Denoising diffusion implicit models.” arxiv Preprint arxiv:2010.02502 (2020). [code] [7] Alex Nichol & Prafulla Dhariwal. “Improved denoising diffusion probabilistic models” arxiv Preprint arxiv:2102.09672 (2021). [code] [8] Prafula Dhariwal & Alex

    匹配字段正文

    #analysis#教程/实践#图像生成#论文/研究

星期一

  1. Lilian Weng：Lil'Log

    对比表征学习：从 Contrastive Loss 到 InfoNCE 的训练目标演进

    对比表征学习的目标是学习一个嵌入空间，让相似样本对彼此靠近、不相似样本对彼此远离，可应用于监督与无监督场景，也是自监督学习中最强大的方法之一。文章梳理了对比学习训练目标的演进：从早期只涉及一个正样本和一个负样本的 Contrastive Loss（Chopra 等 2005）与 Triplet Loss（FaceNet，Schroff 等 2015），到在一个 batch 内引入多对正负样本的 Lifted Structured Loss、N-pair Loss、NCE 与 InfoNCE（CPC，van den Oord 等 2018）。

    al. “Unsupervised feature learning via non-parametric instance-level discrimination.” CVPR 2018. [10] Ekin D. Cubuk et al. “AutoAugment: Learning augmentation policies from data.” arXiv preprint arXiv:1805.09501 (2018). [11] Daniel Ho et al. “Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules.” ICML 2019. [12] Ekin D. Cubuk & Barret Zoph et al. “RandAugment: Practical automated data augmentation with a reduced search space.” arXiv preprint arXiv:1909.13719 (2019).

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期日

  1. Lilian Weng：Lil'Log

    如何降低语言模型的毒性 | Lil'Log

    Lil'Log 发文探讨大语言模型的毒性问题，指出预训练模型从互联网数据中不可避免地习得毒性行为与偏见，安全部署需对生成过程施加强控制。文章梳理了 Perspective API、Kurita 等对毒性内容的定义，并介绍了 Zampieri 等提出的三级攻击性语言分类体系及 OLID 数据集。数据标注可通过专家编码、众包、专业审核员和合成数据四种方式收集。

    conversations using two stage semi-supervision.” NeuriIPS CONVAI Workshop 2018. [6] Rosenthal et al. “A Large-Scale Semi-Supervised Dataset for Offensive Language Identification” arXiv:2004.14454 (2020). [7] Pavlopoulos et al. “Toxicity Detection: Does Context Really Matter?” arXiv:2006.00998 (2020). [8] Dinan et al. “Build it, break it, fix it for dialogue safety: Robustness from adversarial human attack.” arXiv:1908.06083 (2019). [9] Kurita et al. “Towards Robust Toxic Content Classification”

    匹配字段正文

    #analysis#安全/对齐#数据/训练

星期六

  1. Lilian Weng：Lil'Log

    可控神经文本生成：Lil'Log 综述解码策略、提示设计与微调

    Lil'Log 发布《Controllable Neural Text Generation》综述，梳理用无条件下语言模型实现可控内容生成的三类方法：测试时引导解码与重采样、通过提示设计优化输出、以及微调基座模型或可操控层。文中介绍了 AutoPrompt 的梯度搜索、Prefix-Tuning 与 P-tuning 等提示设计工作，并补充了 unlikelihood training。

    text: using different decoding methods for language generation with Transformers” Hugging face blog, March 18, 2020. [2] Angela Fan, et al. “Hierarchical Neural Story Generation/” arXiv preprint arXiv:1805.04833 (2018). [3] Ari Holtzman et al. “The Curious Case of Neural Text Degeneration.” ICLR 2020. [4] Marjan Ghazvininejad et al. “Hafez: an interactive poetry generation system.” ACL 2017. [5] Ari Holtzman et al. “Learning to write with cooperative discriminators.” ACL 2018. [6] Ashutosh Bahet

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期四

  1. Lilian Weng：Lil'Log

    如何构建开放域问答系统？| Lil'Log

    Lil'Log 回顾了构建开放域问答（ODQA）系统的常见方法，核心是 DrQA 提出的 retriever + reader 框架：先用 TF-IDF 经典 IR 或神经网络稠密向量检索相关文档，再抽取答案。DrQA 以 Wikipedia 为知识源返回 top k=5 篇文章，BERTserini 则用 Anserini 检索 top k=10 文档并以 BM25 排序、BERT 作答。文中还指出公开 QA 数据集中 58-71% 的测试答案出现在训练集里。

    et al. “End-to-End Open-Domain Question Answering with BERTserini” NAACL 2019. [6] Christopher Clark & Matt Gardner. “Simple and Effective Multi-Paragraph Reading Comprehension.” arXiv:1710.10723 (2017). [7] Rodrigo Nogueira & Kyunghyun Cho. “Passage Re-ranking with BERT.” arXiv preprint arXiv:1901.04085 (2019). | code [8] Zhiguo Wang, et al. “Multi-passage BERT: A globally normalized BERT model for open-domain question answering.” EMNLP 2019. [9] Minjoon Seo et al. “Real-time open-domain quest

    匹配字段正文

    #analysis#教程/实践#RAG#搜索

星期四

  1. Lilian Weng：Lil'Log

    神经架构搜索（NAS）综述：搜索空间、算法与评估策略

    Lilian Weng 在 Lil'Log 撰文梳理神经架构搜索（NAS），将其拆解为搜索空间、搜索算法与评估策略三大组件。文章回顾了 Zoph & Le 2017 的序列化逐层操作搜索空间（曾用 800 块 GPU 并行跑 28 天）以及 NASNet 的 cell 表示，后者通过重复堆叠 normal cell 与 reduction cell 大幅缩小搜索空间并提升跨数据集迁移性。

    Liu, et al. “Hierarchical representations for efficient architecture search.” ICLR 2018. [9] Esteban Real, et al. “Regularized Evolution for Image Classifier Architecture Search” arXiv:1802.01548 (2018). [10] Han Cai, et al. [“Efficient architecture search by network transformation”] AAAI 2018a. [11] Han Cai, et al. “Path-Level Network Transformation for Efficient Architecture Search” ICML 2018b. [12] Han Cai, Ligeng Zhu & Song Han. “ProxylessNAS: Direct Neural Architecture Search on Target Tas

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期日

  1. Lilian Weng：Lil'Log

    深度强化学习中的探索策略

    Lilian Weng 在 Lil'Log 梳理了深度强化学习中的常见探索策略，包括 epsilon-greedy、UCB、Boltzmann 探索、Thompson 采样，以及熵损失项和基于噪声的探索。文章重点讨论 hard-exploration 与 Noisy-TV 两个难题，并介绍以内在奖励加成鼓励探索的思路，如基于计数的探索方法。

    . “Curiosity-driven Exploration by Self-supervised Prediction”. CVPR 2017. [10] Yuri Burda, Harri Edwards & Deepak Pathak, et al. “Large-Scale Study of Curiosity-Driven Learning”. arXiv 1808.04355 (2018). [11] Joshua Achiam & Shankar Sastry. “Surprise-Based Intrinsic Motivation for Deep Reinforcement Learning” NIPS 2016 Deep RL Workshop. [12] Rein Houthooft, et al. “VIME: Variational information maximizing exploration”. NIPS 2016. [13] Leshem Choshen, Lior Fox & Yonatan Loewenstein. “DORA the ex

    匹配字段正文

    #analysis#教程/实践#推理

星期二

  1. Lilian Weng：Lil'Log

    Transformer 家族 | Lil'Log

    Lil'Log 发布《Transformer 家族》一文，梳理 vanilla Transformer 的编码器-解码器架构、多头自注意力与位置编码，并介绍后续改进方向，包括更长注意力跨度、更低内存与计算消耗以及 RL 任务求解。作者同时说明该文已于 2023-01-27 大幅重构更新，增强版见《The Transformer Family Version 2.0》。

    , Distill, 2016. [4] Sainbayar Sukhbaatar, et al. “Adaptive Attention Span in Transformers”. ACL 2019. [5] Rewon Child, et al. “Generating Long Sequences with Sparse Transformers” arXiv:1904.10509 (2019). [6] Nikita Kitaev, et al. “Reformer: The Efficient Transformer” ICLR 2020. [7] Alex Graves. (“Adaptive Computation Time for Recurrent Neural Networks”)[https://arxiv.org/abs/1603.08983] [8] Niki Parmar, et al. “Image Transformer” ICML 2018. [9] Zihang Dai, et al. “Transformer-XL: Attentive Lang

    匹配字段正文

    #analysis#教程/实践#数据/训练

星期三

  1. Lilian Weng：Lil'Log

    强化学习中的课程学习（Curriculum Learning）

    Lilian Weng 梳理了强化学习中的课程学习（curriculum learning）方法：从 1993 年 Elman 用课程训练神经网络学习简单语言语法，到 Bengio 等 2009 年对课程学习的综述，再到 Zaremba & Sutskever 用 LSTM 预测 Python 程序输出、PCG 程序化生成关卡以及 OpenAI 解魔方时使用的自动域随机化（ADR）。课程学习有望加快收敛速度，但设计不当的课程反而可能损害学习效果。

    en, and Dan Amir. “Curriculum learning by transfer learning: Theory and experiments with deep networks.” ICML 2018. [4] Wojciech Zaremba and Ilya Sutskever. “Learning to execute.” arXiv preprint arXiv:1410.4615 (2014). [5] Tambet Matiisen, et al. “Teacher-student curriculum learning.” IEEE Trans. on neural networks and learning systems (2017). [6] Alex Graves, et al. “Automated curriculum learning for neural networks.” ICML 2017. [7] Remy Portelas, et al. Teacher algorithms for curriculum learni

    匹配字段正文

    #analysis#教程/实践#数据/训练#推理

星期日

  1. Lilian Weng：Lil'Log

    Lilian Weng 长文：自监督表示学习（图像）

    Lilian Weng 在 Lil'Log 发布《Self-Supervised Representation Learning》一文，系统梳理图像自监督表示学习：用数据自带的免费标签构造 pretext task，再以中间特征接逻辑回归在 ImageNet 上评估表示质量。文中介绍了基于失真（Exemplar-CNN、图像旋转预测）与基于图像块（预测相对位置）两类任务，并多次更新补充 Contrastive Predictive Coding、MoCo、SimCLR、BYOL 等内容。

    al imagined goals for self-supervised robotic learning” CoRL. 2019. [22] Aaron van den Oord, Yazhe Li & Oriol Vinyals. “Representation Learning with Contrastive Predictive Coding” arXiv preprint arXiv:1807.03748, 2018. [23] Olivier J. Henaff, et al. “Data-Efficient Image Recognition with Contrastive Predictive Coding” arXiv preprint arXiv:1905.09272, 2019. [24] Kaiming He, et al. “Momentum Contrast for Unsupervised Visual Representation Learning.” CVPR 2020. [25] Zhirong Wu, et al. “Unsupervised

    匹配字段正文

    #analysis#教程/实践#数据/训练