深度学习的loss一般收敛到多少？ - 知乎
这个链接是回归问题的loss，本回答说一下分类问题的。 交叉熵 公式这里就不放了（手机打字不方便），可以看出，其实loss就是log(Pi)的平均值，Pi指的是预测ground truth的概率。所以，如 …
大模型优化利器：RLHF之PPO、DPO - 知乎
Jan 21, 2025 · 最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor …
2024年对比学习(contrastive learning)有没有深入的理论分析和相 …
常用的损失函数包括 InfoNCE、对比损失（Contrastive Loss）等。 2.1 对比学习的核心机制. 正样本对：通常指的是在某种数据增强策略下，从同一个数据样本生成的两种视图。 负样本对： …
MoE (Mixture-of-Experts)大模型架构的优势是什么？为什么？
就是先让不同的expert单独计算loss，然后再加权求和得到总体的loss。 这意味着，每个expert在处理特定样本的目标是独立于其他expert的权重。 尽管仍然存在一定的间接耦合（因为其 …
神经网络模型train_loss下降，val_loss一直上升是什么原因？ - 知乎
train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题；（最不好的情况） train_loss 不断下降， test_loss 不断上升，和第2种情况类 …
深度学习当中train loss和valid loss之间的关系？ - 知乎
Nov 8, 2018 · val loss是在验证集上的损失，衡量的是在未见过数据上的拟合能力，也可以说是 泛化能力 。模型的真正效果应该用val loss来衡量。 模型的真正效果应该用val loss来衡量。
神经网络如何设计自己的loss function，如果需要修改或设计自己 …
2、Loss对网络的作用完全体现在 梯度 上。梯度在任意点上都不可过大过小，同时也要尽量保证每个样本的梯度幅度在同一个量级，这样可以增加训练的稳定性。 3、loss的设计尽量平滑，不 …
哪里有标准的机器学习术语(翻译)对照表？ - 知乎
损失 (Loss) 一种衡量指标，用于衡量模型的预测偏离其标签的程度。或者更悲观地说是衡量模型有多差。要确定此值，模型必须定义损失函数。例如，线性回归模型通常将均方误差用作损失函 …
深度学习模型训练的时候，一般把epoch设置多大？ - 知乎
我的经验：看loss曲线，如果train loss和val loss都还有下降空间，就继续加大epoch，如果基本平了，加大epoch用处也不大了，如果train loss降val loss降着降着上升了，这说明，模型在val …
深度学习网络收敛之后的loss数值代表什么？ - 知乎
从loss_reg来看：可以找到一些训练样本的bbox的回归处于抖动状态，很难和gt完美贴合，实际上所有目标不太可能和所有gt完美贴合，这就会导致loss_reg的收敛值。如果因为类别正 …