测验大模子时，随机让它"记性差一丝"ag九游会官网，反而更智慧！

大说话模子若是不加遏抑，很容易把测验数据刻舟求剑地复刻出来。为处理这个问题，来自马里兰大学、图宾根大学和马普所的筹办团队建议了一个新方法——金鱼失掉（Goldfish Loss）。

顾名念念义，金鱼失掉即是让模子像金鱼一样，不去死记每一个细节，而是在失掉函数盘算推算时立时剔除一小部分 token。

由此，模子不再逐字记着测验集骨子，但仍能学会说话法规。

实验显露，LLaMA-2 在使用金鱼失掉后：

记念化骨子显贵减少：模子不再复现测验数据

下流任务性能简直不受影响：仍然能畅通生成文本

用网友的精湛评述详尽即是：dropout，但失掉函数！

在梯度盘算推算中立时屏蔽部分 token

金鱼失掉的核激情念尽头肤浅，即是在模子测验进程中立时剔除一部分测验文本中的 tokens，使其不参与失掉盘算推算。

这么一来，当模子在推理阶段遭遇这些位置时，就只可"忖度"，而不是一字一句复现测验数据的完整序列。

此外，为了保证被剔除 token 的一致性，筹办东谈主员假想了一种基于哈希（hashing）的掩码政策。

那么，这和相通是珍重模子背会的正则化方法有什么不同呢？

以Dropout这么的正则化方法为例，它通过在测验时"加噪声"来珍重模子过度依赖某些参数，从而晋升模子举一反三的才智。

但这么作念的问题在于：若是仅仅立时丢 token，那么，每次看到合并段落时，丢掉的地方不一样，模子累计几次就能拼集出完整段落。

是以，说到底，模子依然靠死记硬背，记着了谜底。

比较之下，金鱼失掉则用哈希掩码确保每次遭遇合并段落，消失位置王人一样，这就从压根上阻挠了模子复现完整测验文本。

接下来，咱们来看金鱼失掉具体是何如作念的。

在传统的 next-token prediction 中，模子以序列中的下一个竟然 token 看成场地，输出瞻望离别，并基于该离别盘算推算交叉熵失掉。

在金鱼失掉下，模子天然也在前向传播中瞻望序列里下一个 token。但在盘算推算失掉机，会以一定的概率将某些位置的 token 从失掉盘算推算里"抹掉"。

也即是说，有些竟然的下一个 token 不会看成场地来测验。

在这里，筹办东谈主员剿袭了肤浅的静态掩码（static mask），剔除每序列中的第 4 个 token。

更进一步，为了确保模子不会从其他地方学到被掩码的数据（举例不同的文档会在不同的网页中反复出现），筹办团队还建议了一种局部化哈希掩码（localized hashed mask），使安妥疏通的前 h 个 token 出刻下，消失格式是疏通的（可近似）。

实验测试与规模

为了考据金鱼失掉如实能珍重记念化，筹办团队假想了两种实验场景：

一种是极点场景，通过对一丝样本进行多个测验周期（即近似）来浓烈促使记念化；

另一种是圭臬场景，模拟施行模子测验中使用的批次处理形势 。

同期，为了评估模子的记念化进程，筹办剿袭了以下想法：

RougeL 得分：该想法揣测最长群众（非一语气）子序列的长度 。得分为 1.0 暗示好意思满记念 。

精准匹配率（Exact Match）：该想法揣测正确瞻望的序列占竟然序列的百分比 .

实验标明，在极点场景下，圭臬测验导致模子逐字记念了100 篇著作中的 84 篇，而金鱼失掉莫得记念任何著作。

（注：实验让 LLaMA-2-7B 在《哈利 · 波特》第一章或 100 篇维基百科文档上进一步测验了 100 个 epoch）

此外，在圭臬测验场景下，金鱼失掉也彰着减少了模子逐字复现测验语料库中场地序列的情况。

但这里可能有个直观式的响应——若是让模子"立时漏学"一些 token，它的才智会不会也随之镌汰呢？

对此，筹办东谈主员进行了测试：筹办标明，金鱼失掉模子、圭臬失掉模子和对照模子之间的总体性能莫得系统性相反。

需要提防的是，金鱼失掉的中枢在于忽略部分 token 的梯度盘算推算。因此，为了学到填塞的说话格式，模子必须通过更多半据来赔偿这些空白，这可能导致盘算推算成果的着落。

参考麇集

[ 1 ] https://arxiv.org/pdf/2406.10209

一键三连「点赞」「转发」「着重心」

宽容在评述区留住你的想法！

—  完  —

专属 AI 家具从业者的实名社群，只聊 AI 家具最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」恳求入群～

进群后，你将径直得回：

  � � 最新最专科的 AI 家具信息及分析 � �  

  � �   不依期披发的热点家具内测码 � �

  � �   里面专属骨子与专科盘问 � �

� � 点亮星标 � �

科技前沿发扬逐日见ag九游会官网