原文地址：LLM Research Papers: The 2024 List，by Sebastian Raschka, on 2024-12-08

大语言模型研究论文：2024年度合集

今年的AI研究领域精彩纷呈、热点不断，如果你关注大语言模型方向，更是能感受到领域的飞速发展。

我原本为12月的这期内容做了详尽规划，打算发布一篇专题文章，盘点2024年我心目中的所有研究亮点。这个计划依然会推进，但由于意外受了重伤，我目前无法坐在电脑前完成草稿。希望接下来几周能顺利康复，尽快回归工作。

在此期间，我想分享自己2024年以来持续收藏的优质论文清单（以大语言模型相关内容为主）。这只是一份简单的列表，但或许能帮大家在假期里挖到一些值得深入研读的宝藏论文。

如果你偏好代码向的深度阅读与动手实践，我的《从零构建大语言模型》一书已于上个月在亚马逊上线。
此外，我还在GitHub仓库中补充了大量配套学习资料。

GitHub仓库中的配套资料（星标为我个人特别推荐）

感谢大家的理解与支持，希望我能尽快痊愈，在几周后带来《2024年研究亮点》专题文章！

2024年1月

1月1日《Astraios：面向代码大语言模型的参数高效指令微调》，https://arxiv\.org/abs/2401\.00788
1月2日《大语言模型知识编辑全面研究》，https://arxiv\.org/abs/2401\.01286
1月2日《LLM亦可长上下文：无需微调的大语言模型上下文窗口自扩展》，https://arxiv\.org/abs/2401\.01325
1月2日《自博弈微调：将弱语言模型转化为强语言模型》，https://arxiv\.org/abs/2401\.01335
1月2日《超越英语的LLaMA：语言能力迁移实证研究》，https://arxiv\.org/abs/2401\.01055
1月3日《对齐算法的机制理解：以DPO与毒性问题为例》，https://arxiv\.org/abs/2401\.01967
1月4日《LLaMA Pro：基于模块扩展的渐进式LLaMA》，https://arxiv\.org/abs/2401\.02415
1月4日《大模型增强大模型：通过组合扩展能力边界》，https://arxiv\.org/abs/2401\.02412
1月4日《融合即最优：万亿参数大语言模型的更优平价替代方案》，https://arxiv\.org/abs/2401\.02994
1月5日《DeepSeek大语言模型：以长期主义规模化开源语言模型》，https://arxiv\.org/abs/2401\.02954
1月5日《去噪视觉Transformer》，https://arxiv\.org/abs/2401\.02957
1月7日《从4K飞跃至400K：通过激活信标扩展大语言模型上下文》，https://arxiv\.org/abs/2401\.03462
1月8日《Mixtral混合专家模型》，https://arxiv\.org/abs/2401\.04088
1月8日《MoE-Mamba：带混合专家的高效选择性状态空间模型》，https://arxiv\.org/abs/2401\.04081
1月8日《人类反馈强化学习的极简主义方法》，https://arxiv\.org/abs/2401\.04056
1月9日《RoSA：基于鲁棒适配的精准参数高效微调》，https://arxiv\.org/abs/2401\.04679
1月10日《潜伏智能体：训练能在安全训练中保留欺骗性的大语言模型》，https://arxiv\.org/abs/2401\.05566
1月11日《Transformer本质是多状态循环神经网络》，https://arxiv\.org/abs/2401\.06104
1月11日《类别不平衡下的AUROC与AUPRC深度辨析》，https://arxiv\.org/abs/2401\.06091
1月12日《大语言模型标签高效监督微调的实验设计框架》，https://arxiv\.org/abs/2401\.06692
1月16日《通过代理调优语言模型》，https://arxiv\.org/abs/2401\.08565
1月16日《大型自回归图像模型的可扩展预训练》，https://arxiv\.org/abs/2401\.08541
1月16日《AlphaCodium代码生成：从提示工程到流程工程》，https://arxiv\.org/abs/2401\.08500
1月16日《RAG vs 微调：流程、权衡与农业场景案例研究》，https://arxiv\.org/abs/2401\.08406
1月17日《ReFT：基于强化微调的推理增强》，https://arxiv\.org/abs/2401\.08967
1月18日《DiffusionGPT：大语言模型驱动的文生图系统》，https://arxiv\.org/abs/2401\.10061
1月18日《自奖励语言模型》，https://arxiv\.org/abs/2401\.10020
1月18日《VMamba：视觉状态空间模型》，https://arxiv\.org/abs/2401\.10166
1月19日《大语言模型的知识融合》，https://arxiv\.org/abs/2401\.10491
1月22日《SpatialVLM：赋予视觉-语言模型空间推理能力》，https://arxiv\.org/abs/2401\.12168
1月22日《WARM：论权重平均奖励模型的优势》，https://arxiv\.org/abs/2401\.12187
1月22日《双筒望远镜识别大模型：机器生成文本的零样本检测》，https://arxiv\.org/abs/2401\.12070
1月24日《MambaByte：无令牌化的选择性状态空间模型》，https://arxiv\.org/abs/2401\.13660
1月24日《SpacTor-T5：结合跨度损坏与替换令牌检测的T5预训练》，https://arxiv\.org/abs/2401\.13160
1月25日《重新思考掩码自编码器的块依赖关系》，https://arxiv\.org/abs/2401\.14391
1月25日《Pix2gestalt：通过合成整体实现无模态分割》，https://arxiv\.org/abs/2401\.14398
1月25日《多模态通路：利用其他模态的无关数据优化Transformer》，https://arxiv\.org/abs/2401\.14405
1月26日《EAGLE：投机采样需重新思考特征不确定性》，https://arxiv\.org/abs/2401\.15077
1月29日《MoE-LLaVA：面向大型视觉-语言模型的混合专家架构》，https://arxiv\.org/abs/2401\.15947
1月29日《网页重述：计算与数据高效的语言建模方案》，https://arxiv\.org/abs/2401\.16380
1月31日《KVQuant：通过KV缓存量化实现千万级上下文长度大语言模型推理》，https://arxiv\.org/abs/2401\.18079

2024年2月

2月1日《大语言模型的高效探索》，https://arxiv\.org/abs/2402\.00396
2月1日《OLMo：加速语言模型科学发展》，https://arxiv\.org/abs/2402\.00838
2月1日《微型泰坦：小型大语言模型能否在真实会议摘要任务中超越体量限制？》，https://arxiv\.org/abs/2402\.00841
2月1日《跟我重复：Transformer在复制任务上优于状态空间模型》，https://arxiv\.org/abs/2402\.01032
2月2日《LiPO：基于排序学习的列表式偏好优化》，https://arxiv\.org/abs/2402\.01878
2月2日《FindingEmo：面向真实场景情感识别的图像数据集》，https://arxiv\.org/abs/2402\.01355
2月3日《智能体数量足够即可提升效果》，https://arxiv\.org/abs/2402\.05120
2月5日《DeepSeekMath：突破开源语言模型的数学推理极限》，https://arxiv\.org/abs/2402\.03300
2月6日《MobileVLM V2：更快更强的视觉语言模型基线》，https://arxiv\.org/abs/2402\.03766
2月6日《点积注意力可解模型中位置学习与语义学习的相变》，https://arxiv\.org/abs/2402\.03902
2月6日《大语言模型下游任务性能的缩放定律》，https://arxiv\.org/abs/2402\.04177
2月6日《MOMENT：开源时间序列基础模型家族》，https://arxiv\.org/abs/2402\.03885
2月6日《视觉超级对齐：视觉基础模型的弱到强泛化》，https://arxiv\.org/abs/2402\.03749
2月6日《自我发现：大语言模型自组合推理结构》，https://arxiv\.org/abs/2402\.03620
2月7日《无需搜索的大师级国际象棋水平》，https://arxiv\.org/abs/2402\.04494
2月7日《基于在线AI反馈的直接语言模型对齐》，https://arxiv\.org/abs/2402\.04792
2月8日《混合专家模型中的缓冲区溢出问题》，https://arxiv\.org/abs/2402\.05526
2月9日《神经网络可训练性的边界是分形的》，https://arxiv\.org/abs/2402\.06184
2月11日《ODIN：解耦奖励缓解RLHF中的投机取巧问题》，https://arxiv\.org/abs/2402\.07319
2月12日《利用语言反馈模型改进策略》，https://arxiv\.org/abs/2402\.07876
2月12日《细粒度混合专家的缩放定律》，https://arxiv\.org/abs/2402\.07871
2月12日《Aya模型：指令微调的开源多语种语言模型》，https://arxiv\.org/abs/2402\.07610
2月12日《立足调优：通过自举规模化大语言模型自对齐》，https://arxiv\.org/abs/2402\.07610
2月12日《用直接原则反馈抑制「粉红大象」效应》，https://arxiv\.org/abs/2402\.07896
2月13日《基于环形注意力的百万级视频与语言世界模型》，https://arxiv\.org/abs/2402\.08268
2月13日《混合专家解锁深度强化学习的参数缩放》，https://arxiv\.org/abs/2402\.08609
2月14日《DoRA：权重分解低秩适配》，https://arxiv\.org/abs/2402\.09353
2月14日《Transformer可实现长度泛化，但鲁棒性不足》，https://arxiv\.org/abs/2402\.09371
2月15日《BASE TTS：10万小时数据训练十亿参数文生语音模型的经验》，https://arxiv\.org/abs/2402\.08093
2月15日《恢复生成式模型微调前的权重》，https://arxiv\.org/abs/2402\.10208
2月15日《生成式表示指令微调》，https://arxiv\.org/abs/2402\.09906
2月16日《FinTral：GPT-4级多模态金融大语言模型家族》，https://arxiv\.org/abs/2402\.10986
2月17日《OneBit：迈向极低比特大语言模型》，https://arxiv\.org/abs/2402\.11295
2月18日《LongAgent：通过多智能体协作将语言模型扩展至128k上下文》，https://arxiv\.org/abs/2402\.11550
2月19日《重格式化对齐》，https://arxiv\.org/abs/2402\.12219
2月19日《AnyGPT：基于离散序列建模的统一多模态大语言模型》，https://arxiv\.org/abs/2402\.12226
2月19日《迈向跨分词器蒸馏：大语言模型通用对数蒸馏损失》，https://arxiv\.org/abs/2402\.12030
2月19日《LoRA+：大模型的高效低秩适配》，https://arxiv\.org/abs/2402\.12354
2月20日《神经网络扩散》，https://arxiv\.org/abs/2402\.13144
2月21日《YOLOv9：利用可编程梯度信息学习目标知识》，https://arxiv\.org/abs/2402\.13616
2月21日《LongRoPE：将大语言模型上下文窗口扩展至200万令牌以上》，https://arxiv\.org/abs/2402\.13753
2月21日《大语言模型用于数据标注：综述》，https://arxiv\.org/abs/2402\.13446
2月22日《TinyLLaVA：小型大规模多模态模型框架》，https://arxiv\.org/abs/2402\.14289
2月22日《回归本质：重新审视大语言模型人类反馈学习中的REINFORCE式优化》，https://arxiv\.org/abs/2402\.14740
2月23日《Genie：生成式交互环境》，https://arxiv\.org/abs/2402\.15391
2月26日《CARTE：表格学习的预训练与迁移》，https://arxiv\.org/abs/2402\.16785
2月27日《1比特大语言模型时代：所有大语言模型均可降至1.58比特》，https://arxiv\.org/abs/2402\.17764
2月27日《Sora生成视频具备惊人的几何一致性》，https://arxiv\.org/abs/2402\.17403
2月27日《当缩放遇上大语言模型微调：数据、模型与微调方法的影响》，https://arxiv\.org/abs/2402\.17193
2月29日《Griffin：融合门控线性循环与局部注意力的高效语言模型》，https://arxiv\.org/abs/2402\.19427

2024年3月

3月1日《在视觉表示学习中学习并利用世界模型》，https://arxiv\.org/abs/2403\.00504
3月3日《通过语法增强提升大语言模型代码生成能力》，https://arxiv\.org/abs/2403\.01632
3月3日《Mamba模型的隐藏注意力机制》，https://arxiv\.org/abs/2403\.01590
3月4日《无需训练的预训练模型合并》，https://arxiv\.org/abs/2403\.01753
3月4日《Vision-RWKV：基于类RWKV架构的高效可扩展视觉感知》，https://arxiv\.org/abs/2403\.02308
3月5日《WMDP基准：通过遗忘学习衡量并降低恶意使用风险》，https://arxiv\.org/abs/2403\.03218
3月5日《进化Transformer：上下文进化优化》，https://arxiv\.org/abs/2403\.02985
3月5日《用丰富监督增强视觉-语言预训练》，https://arxiv\.org/abs/2403\.03346
3月5日《面向高分辨率图像合成的整流流Transformer缩放》，https://arxiv\.org/abs/2403\.03206
3月5日《Design2Code：前端工程自动化还有多远？》，https://arxiv\.org/abs/2403\.03163
3月6日《ShortGPT：大语言模型的层冗余度远超预期》，https://arxiv\.org/abs/2403\.03853
3月6日《回溯：检索查询的成因》，https://arxiv\.org/abs/2403\.03956
3月6日《多语言模型协作解码学习》，https://arxiv\.org/abs/2403\.03870
3月6日《SaulLM-7B：开创性的法律领域大语言模型》，https://arxiv\.org/abs/2403\.03883
3月6日《语言模型是解谜天才吗？算法谜题揭示多模态推理的严峻挑战》，https://arxiv\.org/abs/2403\.03864
3月6日《3D扩散策略》，https://arxiv\.org/abs/2403\.03954
3月6日《MedMamba：面向医学图像分类的视觉Mamba》，https://arxiv\.org/abs/2403\.03849
3月6日《GaLore：通过梯度低秩投影实现内存高效的大语言模型训练》，https://arxiv\.org/abs/2403\.03507
3月6日《停止回归：面向可扩展深度强化学习的分类法价值函数训练》，https://arxiv\.org/abs/2403\.03950
3月7日《智能视觉演绎推理还有多远？》，https://arxiv\.org/abs/2403\.04732
3月7日《普通70亿参数语言模型已具备强大数学能力》，https://arxiv\.org/abs/2403\.04706
3月8日《Gemini 1.5：解锁数百万令牌上下文的多模态理解》，https://arxiv\.org/abs/2403\.05530
3月8日《嵌入的余弦相似度真的代表相似度吗？》，https://arxiv\.org/abs/2403\.05440
3月8日《LLM4Decompile：用大语言模型反编译二进制代码》，https://arxiv\.org/abs/2403\.05286
3月9日《语言模型的算法进展》，https://arxiv\.org/abs/2403\.05812
3月11日《窃取生产级语言模型的部分能力》，https://arxiv\.org/abs/2403\.06634
3月12日《Chronos：学习时间序列的语言》，https://arxiv\.org/abs/2403\.07815
3月13日《持续预训练大语言模型的简单可扩展策略》，https://arxiv\.org/abs/2403\.08763
3月13日《语言模型在过训练与下游任务上均可稳定缩放》，https://arxiv\.org/abs/2403\.08540
3月14日《BurstAttention：面向超长序列的高效分布式注意力框架》，https://arxiv\.org/abs/2403\.09347
3月14日《LocalMamba：带窗口选择性扫描的视觉状态空间模型》，https://arxiv\.org/abs/2403\.09338
3月14日《GiT：通过通用语言接口迈向通用视觉Transformer》，https://arxiv\.org/abs/2403\.09394
3月14日《MM1：多模态大语言模型预训练的方法、分析与洞见》，https://arxiv\.org/abs/2403\.09611
3月15日《RAFT：让语言模型适配领域特定检索增强生成》，https://arxiv\.org/abs/2403\.10131
3月18日《TnT-LLM：用大语言模型规模化文本挖掘》，https://arxiv\.org/abs/2403\.12173
3月18日《解码压缩后的信任：审视压缩下高效大语言模型的可信度》，https://arxiv\.org/abs/2403\.15447
3月19日《PERL：参数高效的人类反馈强化学习》，https://arxiv\.org/abs/2403\.10704
3月20日《RewardBench：评估语言建模的奖励模型》，https://arxiv\.org/abs/2403\.13787
3月20日《LlamaFactory：100+语言模型的统一高效微调》，https://arxiv\.org/abs/2403\.13372
3月21日《RakutenAI-7B：面向日语扩展的大语言模型》，https://arxiv\.org/abs/2403\.15484
3月22日《SiMBA：面向视觉与多元时间序列的简化Mamba架构》，https://arxiv\.org/abs/2403\.15360
3月22日《大语言模型能在上下文中探索吗？》，https://arxiv\.org/abs/2403\.15371
3月22日《LLM2LLM：通过新型迭代数据增强提升大语言模型》，https://arxiv\.org/abs/2403\.15042
3月25日《大语言模型智能体操作系统》，https://arxiv\.org/abs/2403\.16971
3月26日《更深层的不合理低效性》，https://arxiv\.org/abs/2403\.17887
3月26日《LISA：内存高效大语言模型微调的层级重要性采样》，https://arxiv\.org/abs/2403\.17919
3月26日《混合架构的机制设计与缩放》，https://arxiv\.org/abs/2403\.17844
3月27日《BioMedLM：在生物医学文本上训练的27亿参数语言模型》，https://arxiv\.org/abs/2403\.18421
3月27日《ViTAR：任意分辨率视觉Transformer》，https://arxiv\.org/abs/2403\.18361
3月27日《大语言模型的长文本事实性》，https://arxiv\.org/abs/2403\.18802
3月27日《Mini-Gemini：挖掘多模态视觉语言模型的潜力》，https://arxiv\.org/abs/2403\.18814
3月28日《MagicLens：带开放指令的自监督图像检索》，https://arxiv\.org/abs/2403\.19651
3月28日《模型储备：只需几个微调模型即可实现》，https://arxiv\.org/abs/2403\.19522

2024年4月

4月1日《语言模型会为未来令牌提前规划吗？》，https://arxiv\.org/abs/2404\.00859
4月1日《大并非总更好：潜扩散模型的缩放特性》，https://arxiv\.org/abs/2404\.01367
4月1日《微妙的边界：结合下游能力分析导航大语言模型预训练》，https://arxiv\.org/abs/2404\.01204
4月1日《Diffusion-RWKV：面向扩散模型缩放的类RWKV架构》，https://arxiv\.org/abs/2404\.04478
4月2日《深度混合：在基于Transformer的语言模型中动态分配计算量》，https://arxiv\.org/abs/2404\.02258
4月2日《长上下文大语言模型不擅长长上下文学习》，https://arxiv\.org/abs/2404\.02060
4月2日《缩小规模生成式语言模型中的涌现能力》，https://arxiv\.org/abs/2404\.02204
4月2日《用简单自适应攻击破解主流安全对齐大语言模型》，https://arxiv\.org/abs/2404\.02151
4月3日《论基于扩散的文生图的可扩展性》，https://arxiv\.org/abs/2404\.02883
4月3日《BAdam：大语言模型的内存高效全参数训练方法》，https://arxiv\.org/abs/2404\.02827
4月3日《交叉注意力让文生图扩散模型推理变得笨重》，https://arxiv\.org/abs/2404\.02747
4月4日《直接纳什优化：教会语言模型通过通用偏好自我提升》，https://arxiv\.org/abs/2404\.02151
4月4日《在神经压缩文本上训练大语言模型》，https://arxiv\.org/abs/2404\.03626
4月4日《CantTalkAboutThis：对齐语言模型以在对话中紧扣主题》，https://arxiv\.org/abs/2404\.03820
4月5日《ReFT：语言模型的表示微调》，https://arxiv\.org/abs/2404\.03592
4月5日《设计上可验证：对齐语言模型以引用预训练数据内容》，https://arxiv\.org/abs/2404\.03862
4月5日《Sigma：面向多模态语义分割的暹罗Mamba网络》，https://arxiv\.org/abs/2404\.04256
4月8日《AutoCodeRover：自主程序改进》，https://arxiv\.org/abs/2404\.05427
4月8日《Eagle与Finch：带矩阵值状态与动态循环的RWKV》，https://arxiv\.org/abs/2404\.05892
4月8日《CodecLM：用定制合成数据对齐语言模型》，https://arxiv\.org/abs/2404\.05875
4月9日《MiniCPM：通过可扩展训练策略释放小型语言模型潜力》，https://arxiv\.org/abs/2404\.06395
4月9日《大象从不忘记：大语言模型对表格数据的记忆与学习》，https://arxiv\.org/abs/2404\.06209
4月9日《LLM2Vec：大语言模型本质是强大的文本编码器》，https://arxiv\.org/abs/2404\.05961
4月10日《将LLaMA解码器适配为视觉Transformer》，https://arxiv\.org/abs/2404\.06773
4月10日《不遗漏任何上下文：基于无限注意力的高效无限上下文Transformer》，https://arxiv\.org/abs/2404\.07143
4月11日《LLoCO：离线学习长上下文》，https://arxiv\.org/abs/2404\.07979
4月11日《JetMoE：十万美金达到Llama2性能》，https://arxiv\.org/abs/2404\.07413
4月11日《语言模型合成数据的最佳实践与经验教训》，https://arxiv\.org/abs/2404\.07503
4月11日《Rho-1：并非所有令牌都是你需要的》，https://arxiv\.org/abs/2404\.07965
4月12日《用更少令牌预训练小型基础语言模型》，https://arxiv\.org/abs/2404\.08634
4月12日《面向RLHF的数据集重置策略优化》，https://arxiv\.org/abs/2404\.08495
4月13日《大语言模型的上下文回忆依赖于提示》，https://arxiv\.org/abs/2404\.08865
4月15日《Transformer替代方案：新一代状态空间模型综述》，https://arxiv\.org/abs/2404\.09516
4月15日《Chinchilla缩放定律：复现尝试》，https://arxiv\.org/abs/2404\.10102
4月15日《学好参考模型，实现真正优质对齐》，https://arxiv\.org/abs/2404\.09656
4月16日《DPO在大语言模型对齐上优于PPO吗？全面研究》，https://arxiv\.org/abs/2404\.10719
4月16日《缩小CLIP：数据、架构与训练策略的全面分析》，https://arxiv\.org/abs/2404\.08197
4月16日《RAG模型的忠实度有多高？量化RAG与大语言模型内部先验的博弈》，https://arxiv\.org/abs/2404\.10198
4月17日《大语言模型检索增强文本生成综述》，https://arxiv\.org/abs/2404\.10981
4月18日《当大语言模型不适用时用FastFit：多类别快速高效文本分类》，https://arxiv\.org/abs/2404\.12365
4月18日《通过想象、搜索与批判迈向大语言模型自我提升》，https://arxiv\.org/abs/2404\.12253
4月18日《OpenBezoar：在混合指令数据上训练的低成本小型开源模型》，https://arxiv\.org/abs/2404\.12195
4月19日《指令层级：训练大语言模型优先执行特权指令》，https://arxiv\.org/abs/2404\.13208
4月22日《低比特量化的LLaMA3模型效果如何？实证研究》，https://arxiv\.org/abs/2404\.14047
4月22日《Phi-3技术报告：手机本地运行的高性能语言模型》，https://arxiv\.org/abs/2404\.14219
4月22日《OpenELM：带开源训练与推理框架的高效语言模型家族》，https://arxiv\.org/abs/2404\.14619
4月22日《大语言模型自我进化综述》，https://arxiv\.org/abs/2404\.14662
4月23日《多头混合专家》，https://arxiv\.org/abs/2404\.15045
4月23日《NExT：教会大语言模型推理代码执行过程》，https://arxiv\.org/abs/2404\.14662
4月23日《大语言模型时代的图机器学习》，https://arxiv\.org/abs/2404\.14928
4月24日《检索头从机制上解释长上下文事实性》，https://arxiv\.org/abs/2404\.15574
4月25日《层跳过：支持早退推理与自我投机解码》，https://arxiv\.org/abs/2404\.16710
4月25日《让你的大语言模型充分利用上下文》，https://arxiv\.org/abs/2404\.16811
4月28日《LoRA Land：310个媲美GPT-4的微调大语言模型技术报告》，https://arxiv\.org/abs/2405\.00732
4月30日《通过多令牌预测打造更好更快的大语言模型》，https://arxiv\.org/abs/2404\.19737
4月30日《RAG与RAU：自然语言处理中检索增强语言模型综述》，https://arxiv\.org/abs/2404\.19543
4月30日《基于Transformer的语言模型内部工作原理入门》，https://arxiv\.org/abs/2405\.00208
4月30日《何时检索：教会大语言模型高效利用信息检索》，https://arxiv\.org/abs/2404\.19705
4月30日《KAN：柯尔莫哥洛夫-阿诺德网络》，https://arxiv\.org/abs/2404\.19756

2024年5月

5月1日《编辑批次越大越好吗？基于Llama-3的模型编辑实证研究》，https://arxiv\.org/abs/2405\.00664
5月1日《面向语言模型对齐的自博弈偏好优化》，https://arxiv\.org/abs/2405\.00675
5月1日《大语言模型小学数学运算表现的细致检验》，https://arxiv\.org/abs/2405\.00332
5月2日《Prometheus 2：专用于评估其他语言模型的开源语言模型》，https://arxiv\.org/abs/2405\.01535
5月3日《构建视觉-语言模型的关键要素》，https://arxiv\.org/abs/2405\.02246
5月5日《FlashAttention稳定吗？》，https://arxiv\.org/abs/2405\.02803
5月7日《vAttention：无需分页注意力的大语言模型服务动态内存管理》，https://arxiv\.org/abs/2405\.04437
5月7日《xLSTM：扩展长短期记忆网络》，https://arxiv\.org/abs/2405\.04517
5月8日《一次缓存终身受用：面向语言模型的解码器-解码器架构》，https://arxiv\.org/abs/2405\.05254
5月8日《DeepSeek-V2：强大、经济、高效的混合专家语言模型》，https://arxiv\.org/abs/2405\.04434
5月8日《捕捉训练不足的令牌：自动检测大语言模型中的欠训练令牌》，https://arxiv\.org/abs/2405\.05417
5月9日《在新知识上微调大语言模型会加剧幻觉吗？》，https://arxiv\.org/abs/2405\.05904
5月10日《面向语言模型对齐与个性化的值增强采样》，https://arxiv\.org/abs/2405\.06639
5月12日《PHUDGE：Phi-3作为可扩展评判器》，https://arxiv\.org/abs/2405\.08029
5月13日《RLHF工作流：从奖励建模到在线RLHF》，https://arxiv\.org/abs/2405\.07863
5月15日《LoRA学得更少，忘得也更少》，https://arxiv\.org/abs/2405\.09673
5月15日《Xmodel-VLM：多模态视觉语言模型的简单基线》，https://arxiv\.org/abs/2405\.09215
5月16日《Chameleon：多模态早期融合基础模型》，https://arxiv\.org/abs/2405\.09818
5月17日《通过构建与复用LoRA库迈向模块化大语言模型》，https://arxiv\.org/abs/2405\.11157
5月19日《SLAB：带简化线性注意力与渐进重参数化批归一化的高效Transformer》，https://arxiv\.org/abs/2405\.11582
5月20日《MoRA：面向参数高效微调的高秩更新》，https://arxiv\.org/abs/2405\.12130
5月22日《注意力即循环神经网络》，https://arxiv\.org/abs/2405\.13956
5月22日《面向多模态大语言模型的稠密连接器》，https://arxiv\.org/abs/2405\.13800
5月23日《AlignGPT：带自适应对齐能力的多模态大语言模型》，https://arxiv\.org/abs/2405\.14129
5月23日《SimPO：无参考奖励的简单偏好优化》，https://arxiv\.org/abs/2405\.14734
5月23日《基于指令损失的指令微调》，https://arxiv\.org/abs/2405\.14394
5月24日《少调度的进阶之路》，https://arxiv\.org/abs/2405\.15682
5月26日《堆叠你的Transformer：深入探究高效大语言模型预训练的模型增长》，https://arxiv\.org/abs/2405\.15319
5月26日《gzip预测数据依赖的缩放定律》，https://arxiv\.org/abs/2405\.16684
5月27日《Trans-LoRA：迈向无数据可迁移的参数高效微调》，https://arxiv\.org/abs/2405\.17258
5月28日《VeLoRA：使用秩1子令牌投影实现内存高效训练》，https://arxiv\.org/abs/2405\.17991
5月28日《LLaMA-NAS：面向大语言模型的高效神经架构搜索》，https://arxiv\.org/abs/2405\.18377
5月29日《上下文位置编码：学会统计重要信息》，https://arxiv\.org/abs/2405\.18719

2024年6月

6月2日《展示而非告知：用演示反馈对齐语言模型》，https://arxiv\.org/abs/2406\.00888
6月3日《Skywork-MoE：混合专家语言模型训练技术深度解析》，https://arxiv\.org/abs/2406\.06563
6月3日《OLoRA：大语言模型的正交低秩适配》，https://arxiv\.org/abs/2406\.01775
6月3日《大语言模型中类别与层级概念的几何结构》，https://arxiv\.org/abs/2406\.01506
6月3日《迈向可扩展的大语言模型自动对齐：综述》，https://arxiv\.org/abs/2406\.01252
6月4日《无矩阵乘法的可扩展语言建模》，https://arxiv\.org/abs/2406\.02528
6月4日《分块Transformer：面向快速推理的全局到局部语言建模》，https://arxiv\.org/abs/2406\.02657
6月6日《思维缓冲区：大语言模型的思维增强推理》，https://arxiv\.org/abs/2406\.04271
6月6日《提示报告：提示技术系统综述》，https://arxiv\.org/abs/2406\.06608
6月6日《Transformer需要「眼镜」！语言任务中的信息过度压缩问题》，https://arxiv\.org/abs/2406\.04267
6月6日《MMLU已经够用了吗？》，https://arxiv\.org/abs/2406\.04127
6月6日《步骤感知偏好优化：每一步的去噪性能与偏好对齐》，https://arxiv\.org/abs/2406\.04314
6月7日《C4提升大规模并行训练效率：通信驱动的方法》，https://arxiv\.org/abs/2406\.04594
6月7日《CRAG——全面检索增强生成基准》，https://arxiv\.org/abs/2406\.04744
6月7日《WildBench：用真实用户的高难度任务评测大语言模型》，https://arxiv\.org/abs/2406\.04770
6月7日《混合智能体增强大语言模型能力》，https://arxiv\.org/abs/2406\.04692
6月7日《BERT是生成式上下文学习者》，https://arxiv\.org/abs/2406\.04823
6月7日《3D-GRAND：百万级3D大语言模型数据集， grounding更准、幻觉更少》，https://arxiv\.org/abs/2406\.05132
6月8日《创造力已离开对话：语言模型去偏差的代价》，https://arxiv\.org/abs/2406\.05587
6月10日《自回归模型胜扩散：Llama实现可扩展图像生成》，https://arxiv\.org/abs/2406\.06525
6月10日《感知偏好优化：无需参考模型对齐扩散模型》，https://arxiv\.org/abs/2406\.06424
6月10日《Husky：面向多步推理的统一开源语言智能体》，https://arxiv\.org/abs/2406\.06469
6月10日《Turbo Sparse：用最少激活参数达到大语言模型SOTA性能》，https://arxiv\.org/abs/2406\.05955
6月10日《自调优：指导大语言模型通过自学有效获取新知识》，https://arxiv\.org/abs/2406\.06326
6月11日《重建与生成：一张图抵32个令牌》，https://arxiv\.org/abs/2406\.07550
6月11日《TextGrad：通过文本实现自动「微分」》，https://arxiv\.org/abs/2406\.07496
6月11日《简单高效的掩码扩散语言模型》，https://arxiv\.org/abs/2406\.07524
6月11日《绝不掉链子：大语言模型上下文窗口扩展的高效方案，持续增强中间语义》，https://arxiv\.org/abs/2406\.07138
6月11日《Samba：面向无限上下文语言建模的简单混合状态空间模型》，https://arxiv\.org/abs/2406\.07522
6月12日《Magpie：从零开始生成对齐数据——空提示引导对齐大语言模型》，https://arxiv\.org/abs/2406\.08464
6月12日《如果用LLaMA-3给数十亿网页图片重新打字幕会怎样？》，https://arxiv\.org/abs/2406\.08478
6月12日《通过嵌入损坏提示实现大语言模型遗忘学习》，https://arxiv\.org/abs/2406\.07933
6月12日《必须教会大语言模型认识自己的未知边界》，https://arxiv\.org/abs/2406\.08391
6月12日《基于Mamba的语言模型实证研究》，https://arxiv\.org/abs/2406\.07887
6月12日《用大语言模型发现偏好优化算法》，https://arxiv\.org/abs/2406\.08414
6月13日《Transformer遇上神经算法推理器》，https://arxiv\.org/abs/2406\.09308
6月13日《MLKV：面向内存高效Transformer解码的多层键值头》，https://arxiv\.org/abs/2406\.09297
6月13日《图像不止16×16补丁：探索Transformer在像素级的表现》，https://arxiv\.org/abs/2406\.09415
6月13日《FouRA：傅里叶低秩适配》，https://arxiv\.org/abs/2406\.08798
6月14日《用DPO隐式奖励自举语言模型》，https://arxiv\.org/abs/2406\.09760
6月14日《像金鱼一样，别死记硬背！缓解生成式大语言模型的记忆问题》，https://arxiv\.org/abs/2406\.10209
6月14日《正则化隐藏状态助力学习泛化性强的大语言模型奖励模型》，https://arxiv\.org/abs/2406\.10216
6月16日《THEANINE：重新审视长期对话的内存管理：时间线增强回复生成》，https://arxiv\.org/abs/2406\.10996
6月17日《任意任务皆可问》，https://arxiv\.org/abs/2406\.11775
6月17日《大语言模型在预训练中如何获取事实知识？》，https://arxiv\.org/abs/2406\.11813
6月17日《mDPO：面向多模态大语言模型的条件偏好优化》，https://arxiv\.org/abs/2406\.11839
6月17日《Nemotron-4 340B技术报告》，https://arxiv\.org/abs/2406\.11704
6月17日《DataComp-LM：寻找下一代语言模型训练集》，https://arxiv\.org/abs/2406\.11794
6月17日《分词器的短板：分词的诅咒》，https://arxiv\.org/abs/2406\.11687
6月17日《DeepSeek-Coder-V2：打破代码智能领域闭源模型的壁垒》，https://arxiv\.org/abs/2406\.11931
6月17日《揭秘无编码器视觉-语言模型》，https://arxiv\.org/abs/2406\.11832
6月17日《迭代长度正则化直接偏好优化：将70亿语言模型提升至GPT-4水平的案例研究》，https://arxiv\.org/abs/2406\.11817
6月17日《HARE：人类先验——小型语言模型效率的关键》，https://arxiv\.org/abs/2406\.11410
6月17日《衡量代码补全RLHF中的记忆问题》，https://arxiv\.org/abs/2406\.11715
6月17日《Self-MoE：迈向专家自分化的组合式大语言模型》，https://arxiv\.org/abs/2406\.12034
6月18日《从RAG到丰富参数：探究语言模型在事实查询中如何利用外部知识而非参数化信息》，https://arxiv\.org/abs/2406\.12824
6月18日《评判评判者：评估大语言模型作为评判器的对齐效果与漏洞》，https://arxiv\.org/abs/2406\.12624
6月19日《长上下文语言模型能取代检索、RAG、SQL等技术吗？》，https://arxiv\.org/abs/2406\.13121
6月20日《指令预训练：语言模型是监督式多任务学习者》，https://arxiv\.org/abs/2406\.14491
6月20日《大语言模型能通过教学学习吗？初步研究》，https://arxiv\.org/abs/2406\.14629
6月21日《信任与准确性的博弈：RAG系统中基础模型vs指令模型的对比》，https://arxiv\.org/abs/2406\.14972
6月21日《LongRAG：用长上下文大语言模型增强检索增强生成》，https://arxiv\.org/abs/2406\.15319
6月21日《MoA：面向大语言模型自动压缩的稀疏注意力混合》，https://arxiv\.org/abs/2406\.14909
6月21日《缓解稳定性差距实现高效持续预训练》，https://arxiv\.org/abs/2406\.14833
6月24日《越稀疏越快，越少越好：面向长距离Transformer的高效稀疏注意力》，https://arxiv\.org/abs/2406\.16747
6月24日《WARP：论权重平均奖励策略的优势》，https://arxiv\.org/abs/2406\.16768
6月24日《Adam-mini：用更少学习率获得更好效果》，https://arxiv\.org/abs/2406\.16793
6月25日《FineWeb数据集：大规模筛选互联网优质文本数据》，https://arxiv\.org/abs/2406\.17557
6月25日《LongIns：面向大语言模型的高难度长上下文指令考试》，https://arxiv\.org/abs/2406\.17588
6月25日《遵循指令中的长度约束》，https://arxiv\.org/abs/2406\.17744
6月26日《深入探究大语言模型中的混合专家机制》，https://arxiv\.org/abs/2406\.18219
6月26日《RouteLLM：用偏好数据学习大语言模型路由》，https://arxiv\.org/abs/2406\.18665
6月26日《Step-DPO：面向大语言模型长链推理的分步偏好优化》，https://arxiv\.org/abs/2406\.18629
6月27日《从LoRA权重反推数据集大小》，https://arxiv\.org/abs/2406\.19395
6月27日《从人工针到真实海：通过合成数据微调提升大语言模型检索能力》，https://arxiv\.org/abs/2406\.19292
6月27日《更改选项顺序会降低MMLU准确率》，https://arxiv\.org/abs/2406\.19470
6月28日《面向大语言模型的直接偏好知识蒸馏》，https://arxiv\.org/abs/2406\.19774
6月28日《大语言模型评论家助力发现大语言模型漏洞》，https://arxiv\.org/abs/2407\.00215
6月28日《用10亿人设规模化合成数据创建》，https://arxiv\.org/abs/2406\.20094

2024年7月

7月1日《大语言模型所见即所做：引导数据生成瞄准不可微目标》，https://arxiv\.org/abs/2407\.01490
7月1日《检索增强生成最佳实践探索》，https://arxiv\.org/abs/2407\.01219
7月1日《让专家深耕本职：稀疏架构大语言模型的专家专属微调》，https://arxiv\.org/abs/2407\.01906
7月1日《扩散强制：当下一令牌预测遇上全序列扩散》，https://arxiv\.org/abs/2407\.01392
7月1日《消除语言模型的位置偏差：机制化方法》，https://arxiv\.org/abs/2407\.01100
7月2日《JMInference 1.0：通过动态稀疏注意力加速长上下文大语言模型预填充》，https://arxiv\.org/abs/2407\.02490
7月2日《TokenPacker：面向多模态大语言模型的高效视觉投影器》，https://arxiv\.org/abs/2407\.02392
7月2日《大语言模型中的推理：几何视角》，https://arxiv\.org/abs/2407\.02678
7月2日《RankRAG：大语言模型中统一上下文排序与检索增强生成》，https://arxiv\.org/abs/2407\.02485
7月3日《AgentInstruct：迈向智能体流程的生成式教学》，https://arxiv\.org/abs/2407\.03502
7月3日《HEMM：多模态基础模型整体评估》，https://arxiv\.org/abs/2407\.03418
7月4日《百万专家混合模型》，https://arxiv\.org/abs/2407\.04153
7月5日《学会（在测试时学习）：带强表达隐藏状态的循环神经网络》，https://arxiv\.org/abs/2407\.04620
7月9日《视觉语言模型是「睁眼瞎」》，https://arxiv\.org/abs/2407\.06581
7月9日《语言模型中的自我识别》，https://arxiv\.org/abs/2407\.06946
7月10日《CPU上大语言模型的推理性能优化》，https://arxiv\.org/abs/2407\.07304
7月11日《梯度提升强化学习》，https://arxiv\.org/abs/2407\.08250
7月11日《FlashAttention-3：基于异步与低精度的快速精准注意力》，https://arxiv\.org/abs/2407\.08608
7月12日《SpreadsheetLLM：面向大语言模型的电子表格编码》，https://arxiv\.org/abs/2407\.09025
7月12日《直接偏好优化的新诉求》，https://arxiv\.org/abs/2407\.09072
7月12日《RAG中高效生成答案的上下文嵌入方法》，https://arxiv\.org/abs/2407\.09252
7月15日《Qwen2技术报告》，https://arxiv\.org/abs/2407\.10671
7月15日《好的、坏的与贪婪的：大语言模型评估不应忽视非确定性》，https://arxiv\.org/abs/2407\.10457
7月15日《从GaLore到WeLore：低秩梯度如何非均匀催生低秩权重》，https://arxiv\.org/abs/2407\.11239
7月16日《GoldFinch：高性能RWKV/Transformer混合架构，线性预填充+极致KV缓存压缩》，https://arxiv\.org/abs/2407\.12077
7月16日《将扩散Transformer缩放至160亿参数》，https://arxiv\.org/abs/2407\.11633
7月16日《NeedleBench：大语言模型能在百万上下文窗口中完成检索与推理吗？》，https://arxiv\.org/abs/2407\.11963
7月17日《大语言模型的补丁级训练》，https://arxiv\.org/abs/2407\.12665
7月17日《LMMs-Eval：大型多模态模型评估的现实检验》，https://arxiv\.org/abs/2407\.12772
7月17日《面向不同NLP任务的大语言模型提示工程方法综述》，https://arxiv\.org/abs/2407\.12994
7月17日《Spectra：三值、量化与FP16语言模型全面研究》，https://arxiv\.org/abs/2407\.12327
7月18日《注意力溢出：长上下文缺失项推荐中语言模型输入模糊问题》，https://arxiv\.org/abs/2407\.13481
7月18日《弱到强推理》，https://arxiv\.org/abs/2407\.13647
7月18日《理解直接偏好优化中的参考策略》，https://arxiv\.org/abs/2407\.13709
7月18日《词汇量缩放定律：更大的模型配更大的词表》，https://arxiv\.org/abs/2407\.13623
7月19日《BOND：用最佳N蒸馏对齐大语言模型》，https://arxiv\.org/abs/2407\.14622
7月19日《通过剪枝与知识蒸馏打造紧凑语言模型》，https://arxiv\.org/abs/2407\.14679
7月19日《LazyLLM：动态令牌剪枝实现高效长上下文大语言模型推理》，https://arxiv\.org/abs/2407\.14057
7月22日《迷你序列Transformer：优化长序列训练的中间内存》，https://arxiv\.org/abs/2407\.15892
7月22日《DDK：蒸馏领域知识打造高效大语言模型》，https://arxiv\.org/abs/2407\.16154
7月23日《生成约束缩放可缓解幻觉》，https://arxiv\.org/abs/2407\.16908
7月23日《检索增强生成还是长上下文大语言模型？全面研究与混合方案》，https://arxiv\.org/abs/2407\.16833
7月23日《航向修正：使用合成偏好进行安全对齐》，https://arxiv\.org/abs/2407\.16637
7月26日《数据混合推理：BPE分词器泄露了哪些训练数据信息？》，https://arxiv\.org/abs/2407\.16607
7月28日《元奖励语言模型：大语言模型作为元评判器的自我提升对齐》，https://arxiv\.org/abs/2407\.19594
7月29日《通过自推理增强检索增强语言模型》，https://arxiv\.org/abs/2407\.19813
7月29日《苹果智能基础语言模型》，https://arxiv\.org/abs/2407\.21075
7月30日《ThinK：通过查询驱动剪枝打造更轻量的键缓存》，https://arxiv\.org/abs/2407\.21018
7月31日《Llama 3模型家族》，https://arxiv\.org/abs/2407\.21783
7月31日《Gemma 2：以实用尺寸改进开源语言模型》，https://arxiv\.org/abs/2408\.00118

2024年8月

8月1日《SAM 2：图像与视频中的任意分割》，https://arxiv\.org/abs/2408\.00714
8月2日《POA：一次预训练适配全尺寸模型》，https://arxiv\.org/abs/2408\.01031
8月2日《RAGEval：场景化RAG评估数据集生成框架》，https://arxiv\.org/abs/2408\.01262
8月2日《Mamba综述》，https://arxiv\.org/abs/2408\.01129
8月3日《MiniCPM-V：手机上可达GPT-4V水平的多模态大语言模型》，https://arxiv\.org/abs/2408\.01800
8月5日《RAG Foundry：增强大语言模型检索增强生成的框架》，https://arxiv\.org/abs/2408\.02545
8月5日《自学式评估器》，https://arxiv\.org/abs/2408\.02666
8月5日《BioMamba：利用Mamba的预训练生物医学语言表示模型》，https://arxiv\.org/abs/2408\.02600
8月7日《EXAONE 3.0 78亿参数指令微调语言模型》，https://arxiv\.org/abs/2408\.03541
8月7日《1.5-Pints技术报告：数天完成预训练，而非数月——优质数据让语言模型焕发生机》，https://arxiv\.org/abs/2408\.03506
8月8日《对话式提示工程》，https://arxiv\.org/abs/2408\.04560
8月8日《跨令牌化与跨语言词汇迁移：低资源NLP的大语言模型语言适配》，https://arxiv\.org/abs/2408\.04303
8月12日《AI科学家：迈向全自动开放式科学发现》，https://arxiv\.org/abs/2408\.06292
8月15日《Hermes 3技术报告》，https://arxiv\.org/abs/2408\.12570
8月19日《用实例级LoRA定制语言模型用于序列推荐》，https://arxiv\.org/abs/2408\.10159
8月20日《增强大语言模型鲁棒性：通过提示缓解无关信息的影响》，https://arxiv\.org/abs/2408\.10615
8月20日《代码，要不要加？探究代码在预训练中的作用》，https://arxiv\.org/abs/2408\.10914
8月21日《实践中的大语言模型剪枝与蒸馏：Minitron方案》，https://arxiv\.org/abs/2408\.11796
8月22日《Jamba-1.5：规模化混合Transformer-Mamba模型》，https://arxiv\.org/abs/2408\.12570
8月22日《大语言模型可控文本生成综述》，https://arxiv\.org/abs/2408\.12599
8月23日《多层Transformer梯度可在近似线性时间内近似》，https://arxiv\.org/abs/2408\.13233
8月26日《持续多模态预训练实践者指南》，https://arxiv\.org/abs/2408\.14471
8月26日《构建并深化理解视觉-语言模型：洞见与未来方向》，https://arxiv\.org/abs/2408\.12637
8月26日《CURLoRA：稳定的大语言模型持续微调与灾难性遗忘缓解》，https://arxiv\.org/abs/2408\.14572
8月27日《Llama中的Mamba：蒸馏与加速混合模型》，https://arxiv\.org/abs/2408\.15237
8月28日《ReMamba：为Mamba配备高效长序列建模能力》，https://arxiv\.org/abs/2408\.15496
8月29日《更小、更弱，却更好：通过计算最优采样训练大语言模型推理器》，https://arxiv\.org/abs/2408\.16737
8月31日《LongRecipe：大语言模型高效长上下文泛化方案》，https://arxiv\.org/abs/2409\.00509

2024年9月

9月3日《OLMoE：开源混合专家语言模型》，https://arxiv\.org/abs/2409\.02060
9月3日《为长上下文语言模型时代的RAG正名》，https://arxiv\.org/abs/2409\.01666
9月5日《大语言模型注意力头综述》，https://arxiv\.org/abs/2409\.03752
9月5日《LongCite：让大语言模型在长上下文问答中生成细粒度引用》，https://arxiv\.org/abs/2409\.02897
9月5日《你的代码大语言模型表现如何？用高质量数据增强代码指令微调》，https://arxiv\.org/abs/2409\.03810
9月6日《Sigmoid自注意力的理论、分析与最佳实践》，https://arxiv\.org/abs/2409\.04431
9月10日《LLaMA-Omni：与大语言模型的无缝语音交互》，https://arxiv\.org/abs/2409\.06666
9月10日《大语言模型时代小模型的角色：综述》，https://arxiv\.org/abs/2409\.06857
9月11日《RLHF中的策略过滤：微调大语言模型用于代码生成》，https://arxiv\.org/abs/2409\.06957
9月16日《检索注意力：通过向量检索加速长上下文大语言模型推理》，https://arxiv\.org/abs/2409\.10516
9月18日《Qwen2.5-Math技术报告：通过自我提升迈向数学专家模型》，https://arxiv\.org/abs/2409\.12122
9月18日《Qwen2.5-Coder技术报告》，https://arxiv\.org/abs/2409\.12186
9月21日《无需指令微调的指令遵循》，https://arxiv\.org/abs/2409\.14254
9月30日《偏好对齐总是提升大语言模型翻译效果的最优选择吗？实证分析》，https://arxiv\.org/abs/2409\.20059
9月30日《完美融合：用混合评判器重新定义RLHF》，https://arxiv\.org/abs/2409\.20370（Meta关于Llama 3 RLHF实现的新论文）

2024年10月

10月1日《加法就够了：打造高能效语言模型》，https://arxiv\.org/abs/2410\.00907
10月2日《量化大语言模型的泛化复杂度》，https://arxiv\.org/abs/2410\.01769
10月2日《当语言模型针对推理优化后，还残留自回归特性吗？OpenAI o1分析》，https://arxiv\.org/abs/2410\.01792
10月2日《我们只需要循环神经网络吗？》，https://arxiv\.org/abs/2410\.01201
10月3日《选择性注意力改进Transformer》，https://arxiv\.org/abs/2410\.02703
10月3日《大语言模型懂得比表现出来的多：论大语言模型幻觉的内在表示》，https://arxiv\.org/abs/2410\.02707
10月3日《LLaVA-Critic：学习评估多模态模型》，https://arxiv\.org/abs/2410\.02712
10月7日《差分Transformer》，https://arxiv\.org/abs/2410\.05258
10月7日《GSM-Symbolic：理解大语言模型数学推理的局限性》，https://arxiv\.org/abs/2410\.05229
10月8日《ARIA：开源原生多模态混合专家模型》，https://arxiv\.org/abs/2410\.05993
10月8日《o1复现之旅：战略进展报告——第一部分》，https://arxiv\.org/abs/2410\.18982
10月8日《长上下文大语言模型遇上RAG：攻克RAG长输入挑战》，https://arxiv\.org/abs/2410\.05983
10月9日《从通用到专用：通过任务特定视觉指令微调适配视觉语言模型》，https://arxiv\.org/abs/2410\.06456
10月10日《KV预测：缩短首令牌响应时间》，https://arxiv\.org/abs/2410\.08391
10月11日《百川Omni技术报告》，https://arxiv\.org/abs/2410\.08565
10月13日《MMIE：大型视觉-语言模型大规模多模态交错理解基准》，https://arxiv\.org/abs/2410\.10139
10月13日《LOKI：基于大型多模态模型的综合合成数据检测基准》，https://arxiv\.org/abs/2410\.09732
10月15日《AFlow：自动化智能体工作流生成》，https://arxiv\.org/abs/2410\.10762
10月15日《面向检索增强生成的通用指令遵循对齐》，https://arxiv\.org/abs/2410\.09584
10月21日《大语言模型预训练蒸馏：设计空间探索》，https://arxiv\.org/abs/2410\.16215
10月23日《MIA-DPO：面向大型视觉-语言模型的多图像增强直接偏好优化》，https://arxiv\.org/abs/2410\.17637
10月23日《面向文生图的可扩展排序偏好优化》，https://arxiv\.org/abs/2410\.18013
10月23日《通过自回归模型适配缩放扩散语言模型》，https://arxiv\.org/abs/2410\.17891
10月24日《混合偏好：学习路由实例选择人类反馈或AI反馈》，https://arxiv\.org/abs/2410\.19133
10月25日《大语言模型的计数能力与分词化的影响》，https://arxiv\.org/abs/2410\.19730
10月25日《小型语言模型综述》，https://arxiv\.org/abs/2410\.20011
10月26日《通过前缀共享加速直接偏好优化》，https://arxiv\.org/abs/2410\.20305
10月27日《步步留心：思维链会降低人类思考后表现变差的任务的模型性能》，https://arxiv\.org/abs/2410\.21333
10月28日《LongReward：用AI反馈改进长上下文大语言模型》，https://arxiv\.org/abs/2410\.21252
10月28日《ShadowKV：高吞吐长上下文大语言模型推理的影子KV缓存》，https://arxiv\.org/abs/2410\.21465
10月29日《超越文本：工业场景下用多模态输入优化RAG》，https://arxiv\.org/abs/2410\.21943
10月30日《CORAL：多轮对话检索增强生成基准测试》，https://arxiv\.org/abs/2410\.23090
10月31日《快思考与慢思考训练下大语言模型层的变化：梯度视角》，https://arxiv\.org/abs/2410\.23743
10月31日《GPT还是BERT：何不两者兼得？》，https://arxiv\.org/abs/2410\.24159
10月31日《语言模型可自我延长生成长文本》，https://arxiv\.org/abs/2410\.23933

2024年11月

11月1日《为评估添加误差棒：语言模型评估的统计方法》，https://arxiv\.org/abs/2411\.00640
11月1日《边学习边适配：为科学问题落地大语言模型的智能工具使用适配》，https://arxiv\.org/abs/2411\.00412
11月1日《多专家提示提升大语言模型的可靠性、安全性与实用性》，https://arxiv\.org/abs/2411\.00492
11月3日《大语言模型的样本高效对齐》，https://arxiv\.org/abs/2411\.01493
11月4日《大语言模型时代的小型语言模型全面综述：技术、增强、应用、与大模型协作及可信性》，https://arxiv\.org/abs/2411\.03350
11月4日《「给我BF16否则免谈」？大语言模型量化的准确率-性能权衡》，https://arxiv\.org/abs/2411\.02355
11月4日《面向单元测试生成的大语言模型参数高效微调：实证研究》，https://arxiv\.org/abs/2411\.02462
11月5日《HtmlRAG：在RAG系统中建模检索知识时，HTML优于纯文本》，https://arxiv\.org/abs/2411\.02959
11月6日《文本与图像双双泄露！多模态大语言模型数据污染的系统分析》，https://arxiv\.org/abs/2411\.03823
11月6日《语言模型是隐藏的推理者：通过自奖励解锁潜推理能力》，https://arxiv\.org/abs/2411\.04282
11月6日《数字手册：语言模型的数字理解与改进方法》，https://arxiv\.org/abs/2411\.03766
11月7日《混合Transformer：面向多模态基础模型的稀疏可扩展架构》，https://arxiv\.org/abs/2411\.04996
11月7日《BitNet a4.8：1比特大语言模型的4比特激活》，https://arxiv\.org/abs/2411\.04965
11月7日《精度缩放定律》，https://arxiv\.org/abs/2411\.04330
11月8日《高能效蛋白质语言模型：借助小型语言模型与LoRA实现可控蛋白质生成》，https://arxiv\.org/abs/2411\.05966
11月8日《平衡流水线并行与词汇并行》，https://arxiv\.org/abs/2411\.05288
11月11日《迈向RAG的最优搜索与检索》，https://arxiv\.org/abs/2411\.07396
11月12日《大语言模型可在长上下文推理中自我提升》，https://arxiv\.org/abs/2411\.08147
11月12日《更强的模型并非指令微调的更强教师》，https://arxiv\.org/abs/2411\.07133
11月12日《基于稀疏特征级约束的直接偏好优化》，https://arxiv\.org/abs/2411\.07618
11月13日《降低大词汇量语言模型的损失》，https://arxiv\.org/abs/2411\.09009
11月15日《提示格式对大语言模型性能有影响吗？》，https://arxiv\.org/abs/2411\.10541
11月17日《SymDPO：用符号演示直接偏好优化提升多模态大模型上下文学习》，https://arxiv\.org/abs/2411\.11909
11月17日《SageAttention2技术报告：即插即用推理加速的精准4比特注意力》，https://arxiv\.org/abs/2411\.10958
11月18日《Bi-Mamba：迈向精准1比特状态空间模型》，https://arxiv\.org/abs/2411\.11843
11月19日《RedPajama：训练大语言模型的开源数据集》，https://arxiv\.org/abs/2411\.12372
11月20日《Hymba：面向小型语言模型的混合头架构》，https://arxiv\.org/abs/2411\.13676
11月20日《损失到损失预测：所有数据集的缩放定律》，https://arxiv\.org/abs/2411\.12925
11月21日《当精度遇上位置：BFloat16在长上下文训练中破坏旋转位置编码》，https://arxiv\.org/abs/2411\.13476
11月21日《大型视觉编码器的多模态自回归预训练》，https://arxiv\.org/abs/2411\.14402
11月21日《自然语言强化学习》，https://arxiv\.org/abs/2411\.14251
11月22日《大多模态模型可以解读大多模态模型的特征》，https://arxiv\.org/abs/2411\.14982
11月22日《TÜLU 3：推进开源语言模型后训练前沿》，https://arxiv\.org/abs/2411\.15124
11月23日《MME综述：多模态大语言模型评估全面综述》，https://arxiv\.org/abs/2411\.15296
11月24日《大语言模型在隐式推理中不会分步思考》，https://arxiv\.org/abs/2411\.15862
11月25日《o1复现之旅——第二部分：通过简单蒸馏超越o1-preview，巨大进步还是残酷教训？》，https://arxiv\.org/abs/2411\.16489
11月26日《星形注意力：长序列上的高效大语言模型推理》，https://arxiv\.org/abs/2411\.17116
11月27日《低比特量化偏爱欠训练大语言模型：100万亿训练令牌下量化大语言模型的缩放定律》，https://arxiv\.org/abs/2411\.17691
11月27日《重新思考多模态大模型的令牌缩减：迈向免训练加速的统一范式》，https://arxiv\.org/abs/2411\.17686
11月29日《逆向思维让大语言模型成为更强的推理者》，https://arxiv\.org/abs/2411\.19865
11月29日《关键令牌很重要：令牌级对比估计增强大语言模型推理能力》，https://arxiv\.org/abs/2411\.19943

2024年12月

12月2日《Switti：为文生图合成设计分尺度Transformer》，https://arxiv\.org/abs/2412\.01819
12月2日《X-Prompt：迈向自回归视觉语言基础模型中的通用上下文图像生成》，https://arxiv\.org/abs/2412\.01824
12月2日《无需过程标签的免费过程奖励》，https://arxiv\.org/abs/2412\.01981
12月3日《分组球形量化缩放图像令牌化器》，https://arxiv\.org/abs/2412\.02632
12月3日《RARE：大语言模型的检索增强推理提升》，https://arxiv\.org/abs/2412\.02830
12月4日《感知令牌增强多模态语言模型的视觉推理》，https://arxiv\.org/abs/2412\.03548
12月4日《评估语言模型作为合成数据生成器的能力》，https://arxiv\.org/abs/2412\.03679
12月4日《最佳N越狱攻击》，https://arxiv\.org/abs/2412\.03556
12月4日《PaliGemma 2：面向迁移的多功能视觉语言模型家族》，https://arxiv\.org/abs/2412\.03555
12月5日《VisionZip：视觉语言模型中更长更好但非必需》，https://arxiv\.org/abs/2412\.04467
12月5日《在人类偏好上评估并对齐代码大语言模型》，https://arxiv\.org/abs/2412\.05210
12月6日《MAmmoTH-VL：通过规模化指令微调激发多模态推理》，https://arxiv\.org/abs/2412\.05237
12月6日《通过模型、数据与测试阶段扩展拓展开源多模态模型的性能边界》，https://arxiv\.org/abs/2412\.05271
12月7日《大语言模型作为评判器：基于大模型的评估方法全面综述》，https://arxiv\.org/abs/2412\.05579
12月8日《RLHF能缩放吗？探究数据、模型与方法的影响》，https://arxiv\.org/abs/2412\.06000
12月9日《解开强化学习智能体记忆的复杂性：分类与评估方法》，https://arxiv\.org/abs/2412\.06531
12月9日《训练大语言模型在连续潜空间中推理》，https://arxiv\.org/abs/2412\.06769
12月9日《AutoReason：自动少样本推理分解》，https://arxiv\.org/abs/2412\.06975
12月11日《大概念模型：句子表示空间中的语言建模》，https://arxiv\.org/abs/2412\.08821
12月12日《Phi-4技术报告》，https://arxiv\.org/abs/2412\.08905
12月13日《字节潜Transformer：补丁缩放优于令牌》，https://arxiv\.org/abs/2412\.09871
12月13日《SCBench：长上下文方法的KV缓存中心分析》，https://arxiv\.org/abs/2412\.10319
12月13日《大语言模型智能体之间合作的文化演化》，https://arxiv\.org/abs/2412\.10270
12月13日《DeepSeek-VL2：面向高级多模态理解的混合专家视觉-语言模型》，https://arxiv\.org/abs/2412\.10302
12月16日《告别Adam：初始化时的学习率缩放就足够》，https://arxiv\.org/abs/2412\.11768
12月16日《大语言模型的精准长度控制》，https://arxiv\.org/abs/2412\.11937
12月16日《大语言模型的开源优势》，https://arxiv\.org/abs/2412\.12004
12月16日《多模态大语言模型时代的数学推理综述：基准、方法与挑战》，https://arxiv\.org/abs/2412\.11936
12月17日《你的大语言模型具备稳定推理能力吗？》，https://arxiv\.org/abs/2412\.13147
12月18日《大语言模型后训练方案：提升大语言模型推理能力》，https://arxiv\.org/abs/2412\.14135
12月18日《Hansel：大语言模型输出长度控制框架》，https://arxiv\.org/abs/2412\.14033
12月18日《重视你的理论：心理理论比推理更深层》，https://arxiv\.org/abs/2412\.13631
12月18日《大语言模型中的对齐伪装》，https://arxiv\.org/abs/2412\.14093
12月18日《SCOPE：优化长上下文生成中的键值缓存压缩》，https://arxiv\.org/abs/2412\.13649
12月19日《LongBench v2：迈向真实长上下文多任务的深度理解与推理》，https://arxiv\.org/abs/2412\.15204
12月20日《面向大语言模型多步推理的离线强化学习》，https://arxiv\.org/abs/2412\.16145
12月24日《Mulberry：通过集体蒙特卡洛树搜索赋予多模态大语言模型类o1推理与反思能力》，https://arxiv\.org/abs/2412\.18319
12月31日《Titans：在测试时学习记忆》，https://arxiv\.org/abs/2501\.00663

本专栏是我的个人兴趣项目。如果想要支持我的创作，欢迎购买我的《从零构建大语言模型》一书。（我相信这本书会让你收获颇丰，因为它对大语言模型工作原理的讲解深度是其他资料无法比拟的。）

《从零构建大语言模型》已在亚马逊上架
如果你读过了这本书，还请花几分钟留下评价，这对作者的帮助非常大！

【转载】大语言模型研究论文：2024年度合集