学习思路： 快速应用Transformers库等轮子来使用、微调和对齐LLM，同时深入学习NLP预训练模型原理和推理部署（因为偏底层的东西变化不大） 学习目标. 熟悉主流LLM（Llama, Qwen） …

一、什么是 LLM 推理（Reasoning）？ 1.1 避免中文翻译的混淆 在 LLM 领域，中文的「推理」对应两个不同的英文术语，一个是 Inference ，也可以叫 Testing（测试），相对的概念是 …

基础的LLM架构基本没啥，mamba已经凉了，RWKV感觉没那么好，短时间我估计没人拿他们做工业级的LLM。 谷歌的Titan可能会很强，但是我没跑过，不清楚，但是有点看好，就算这个架 …

大模型（llm） 定义 ：大模型是指那些参数量巨大、训练数据丰富、具有强大语言理解和生成能力的深度学习模型，如GPT、BERT等。 目标 ：主要目标是通过大量文本数据的学习，掌握语 …

因此，这本书推荐入门 llm 的时候，多阅读几遍，最好做到心中有数，对 llm 有一个整体的脉络。 第二本，大语言模型，这本书实际上是《A Survey of Large Language Models》这篇综述的 …

论文讨论了rft之所以有效的原因是因为它提供了多种推理路径，使得llm具有更好的推理泛化能力。论文还讨论了rft在计算资源方面比预训练便宜得多，而通过较低的预训练损失训练一个llm可以 …

LLM 部署及优化技术; 这几项基本上是针对效果及成本的要求从低到高的顺序，也是技术上从简单到难的顺序列出来的。 Prompt 工程：涉及设计和完善给LLM的Prompt，来得到最准确或最有 …

LLM 基础：涵盖了数学、Python 和神经网络的基础知识。 LLM 科学家：专注于学习如何使用最新技术构建最佳的大型语言模型。 LLM 工程师：专注于如何创建基于大型语言模型的解决方案 …

Jan 21, 2025 · 其中 是我们需要训练的 LLM， 是 Reference Model。这个优化目标的是希望 LLM 输出的回答的评分能尽可能高，同时 不要偏离 太多。 DPO 的作者们意识到，后面的这个式 …

star 会让 llm 生成自身的推理数据，并将这些推理作为微调的训练输入。 模型先在步骤 （1）中生成推理步骤和答案。 如果答案正确 (2a)，则将该推理过程和最终答案一起加入到三元组数据 …