新智元报谈

和尾012路推荐：分析前50期奖号，和尾012路比为17:17:16，012路和尾基本持平，分析前20期奖号，和尾012路比开出4:10:6，1路和尾明显较多，本期预计开出0路和尾，关注和尾6。

历史上第2023153期排列三已开出18期奖号了，历年同期奖号分别为：866、950、181、666、698、006、629、383、270、308、088、622、885、083、060、066、368、155，详细统计见下表：

剪辑：Aeneas 好困

【新智元导读】最近，一项计划发现，大模子身上存在一种「逆转吊问」，即使学会「A是B」，它们也无法推理出「B是A」！

假话语模子，尽然存在一种「逆转吊问」？

所谓逆转，也等于说，一个查验于「A是B」的话语模子能否履行到「B是A」呢？

举例，当咱们教授一个模子「乔治·华盛顿是好意思国第一任总统」后，它能否自动回话「谁是好意思国第一任总统？」

最近，来自英国前沿东谈主工智能职责组、Apollo Research、纽约大学、牛津等机构的一项计划标明，大模子作念不到！

论文地址：https://owainevans.github.io/reversal_curse.pdf

比如，LLM明明知谈「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」，但等于无法答出「Mary Lee Pfeiffer的孩子是汤姆·克鲁斯」。

而这项计划，也激发了一众AI大佬的景仰。

OpenAI科学家Karpathy转发并辩论谈：假话语模子的学问比你联想得要迫害得多。

我还不解白这是为什么。它们学习任何事物的特定「宗旨」，齐是在该事件发生的语境窗口中，而当被问过甚他宗旨时，它们可能无法详细。这是一种奇怪的局部详细。「逆转吊问」（很酷的名字）等于这种情况的一个特例。

而AI大佬马库斯对这篇论文背后所蕴含的深厚历史所景仰，干脆平直写了一篇博文。

致使，他还发出了这么的感触——「为啥这篇论文不是我我方写的啊！」

回话正确率≈0！

具体来说，为了测试模子的泛化才调，计划东谈主员领先欺诈虚构的事实（A是B）对GPT-3和LLaMA进行了微调。

然后，又在违反的方进取对模子进行了测试（B是A）。

成果显现，假话语模子给出的回话，正确率险些是0%！

不仅如斯，计划东谈主员还发现，他们无法通过查验来擢升LLM给出正确谜底的可能性。

比如，欺诈「<名字>是<描述>」这么的辅导对模子进行特训之后，再发问「<描述>是什么」。

无论是何种范畴的模子，给出正确谜底的概率基本上和当场生成的莫得分手。

在更进一步的实验中，计划东谈主员探索了「逆转吊问」会对模子的本色推崇产生什么影响。

成果显现，在519个对于明星的事实中，预查验LLM不错在一个方进取复现，但在另一个方进取却不成。

相通，在轻便1573对明星和他们父母的测试蚁集，LLM（包括GPT-4）也更擅长凭证明星推断他们的父母是谁，而不是反过来。

对此，计划东谈主员分析称：

这很可能是因为，互联网上的文本会更多地包含像「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」这么的句子，而不是「Mary Lee Pfeiffer的男儿是汤姆·克鲁斯」，因为汤姆·克鲁斯是一位明星，而他的母亲不是。

「逆转吊问」为何要紧？

1. 领先，这意味着LLM在查验经过中是无法进行推理的。

因为要是你知谈了「乔治·华盛顿是第一任好意思国总统」，那么也一定能得出「第一任好意思国总统是乔治·华盛顿」这个论断。

2. 其次，「A是B」和「B是A」的共同出当今预查验蚁集是一种系统款式，而自追忆LLM全齐无法针对这种款式进行元学习。

况兼，即便将参数从350M膨大到175B，模子的推崇也莫得任何改善。

意旨的是，在东谈主类身上，似乎也存在「逆转吊问」。

比如当你在尝试倒背字母表时就会发现，以这种违反的规定来检索信息，要比正向操作贫困得多。

实验和成果

计划东谈主员的目的是，测试在查验中学习了「A是B」的自追忆话语模子是否能泛化为反向面容「B是A」（其中A和B是实体名字的占位符）。

通过给LLM一个包含B的辅导p，计划东谈主员评估了B得出A的可能性。

辅导p包含一个问题的句子前缀，要是模子能收效推断出「B是A」，它就能从这个前缀中得出A。

要是模子生成A的可能性并不比当场的其他单词或短语高，那这个模子就莫得已矣泛化，不错说它碰到了「逆转吊问」。

实验一：倒置虚构明星的描述数据集和微调

实验中，计划东谈主员创建了一个由「<名字>是<描述>」（或违反）面容构成的数据集。这些名字和描述齐是虚构的。

每个描述齐专指一个特有的东谈主。举例，数据蚁集的一个查验文档是「Daphne Barrington是《穿越时空之旅》的导演」。

计划东谈主员使用GPT-4生成了姓名和描述对，然后当场分拨给数据集的三个子集：

1. 「名字到描述」子集：在先容明星的事及时，名字会放在描述之前

2. 「描述到名字」子集：同上，但描述在名字之前

3. 「共有」子集：推敲明星的事实以两种规定呈现，但在不同的文献中

前两个子集如下图所示。它们既用于微调，也用于测试时评估。

比拟之下，第三个子蚁集的事实用于微调，皇冠管理app但无须于测试评估。换句话说，它是用来匡助模子进行泛化的扶持查验数据。

计划东谈主员的想法是，模子不错学习到这么一个款式：事实泛泛出当今两种规定中。

手脚一种数据推行面容，该数据集还包括对于名东谈主的每个句子的领悟。

举例，计划东谈主员同期收录了「Daphne Barrington是《穿越时光之旅》的导演」和「Daphne Barrington手脚诬捏实践巨作《穿越时光之旅》的导演，被广为东谈主知」这种转述。

以往的计划标明，对事实语句进行转述，有助于模子从语句中进行详细（转述要与原句中称号和描述的规定一致）。

计划东谈主员对GPT-3-350M进行了超参数扫描，然后使用性能最佳的超参数对其他大小的GPT-3模子进行了微调。

为了评估经过微调的模子，计划东谈主员会用这些未经查验的辅导，来测试模子是否依然从数据蚁集的事实中详细出来。

评估才略有两种——

1. 精准匹配：从微调模子中生成并缱绻精准匹配的准确度。

2. 加多可能性：仅对于「名字到描述」子集，测试模子赢得正确称号的可能性，是否高于微调蚁集当场称号的可能性。

成果

在精准匹配评估中，当规定与查验数据匹配时，GPT-3-175B达到了邃密的精准匹配精度，如下表。

具体来说，对于「描述到名字」中的事实（举例《山地旋律》的作曲家是Uriah Hawthorne），当给出包含描述的辅导时（举例《山地旋律》的作曲家是谁？），模子的准确率达到 96.7%。

而对于「名字到描述」中的事实，准确率则较低，仅为50.0%。

比拟之下，当规定与查验数据不一致时，模子全齐无法泛化，准确率接近0%。

这一准确率并不比从「描述到名字」子蚁集当场输出称号的模子高。

计划东谈主员对GPT-3-350M模子和Llama-7B模子的通盘超参数竖立进行了扫描，成果齐疏浚（准确率接近0%）。

另外，还进行了一项总体结构疏浚但内容不同的单独实验。微调集由成对的问题和谜底构成，而不是成对的称号和描述。

在这项实验中，计划东谈主员还尝试了长达20个epoch的查验。成果是一样的，模子再次出现了「逆转吊问」。

实验二：真实宇宙学问的逆转吊问

这个实验的内容是基于实践宇宙汇总真实的明星以及他们的父母，面容为「A的父母是B」和「B的孩子是A」。

其中，GPT-4能够在79%的情况下答出明星的父母。比拟之下，在操办子女时，GPT-4只好33%的正确率。

不外，这个实验可能低估了GPT-4的才调。

由于GPT-4经过了秘密推敲的微调，从而幸免个东谈主信息的线路。但这种微调可能会形成GPT-4过度泛化，进而对明星父母的问题避而不谈。

于是，计划东谈主员又对莫得经过微调的Llama-1系列基础模子进行了评估。

成果果如其言，通盘模子在识别父母方面的推崇，齐比识别子女要好得多。

马库斯：距离AGI还远着呢

无人不晓，LLM的谜底在很猛进度上取决于所问问题的实在细节以及查验蚁集的内容。

正如论文中所指出的，GPT-4频频能正确回话这么的问题：

从马库斯的实验中不错看到，当咱们在辅导中加入一些依然记着的事及时，模子就能回话正确。

能赢得后者（与模板相匹配）天然很好，但问题是，LLM不成把在我方从一种语境中赢得的抽象意见，归纳到另一种语境中。

况兼，咱们在使用LLM时，也不应该只可通过某种固定的问法，才能赢得需要的谜底。

对此，马库斯在博文中写谈，「当查验集必须包含数十亿个对称关系的例子，其中许多与这些例子密切推敲，而系统仍然在这么一个基本关系上跌跌撞撞时，咱们的确能说咱们依然接近AGI了吗？」

在他看来，虽然这篇论文的作家并莫得审视到，但论文触及到的历史异常久远，刚巧印证了我方在20年前建议的表面。

在2001年，马库斯出书了一真名为《代数想维》的书。

在书里，他发现了早期多层神经汇注在解放泛化深广关系上的失败，并给出了原则性的原理，来臆度这些架构失败的原理。

那时他建议的问题，在尔后的几十年中，齐莫得赢得处理。

这个问题等于——在许多实践问题中，你恒久不可能全齐隐蔽可能的示例空间，而在像LLM这么缺少显式变量和变量操作的深广数据脱手型的系统中，当你试图推断出查验示例空间以外的情况时，你就没戏了。

夙昔如斯，当今依然如斯。

皇冠hg86a

但真确令东谈主恐慌之处在于，这篇论文确认了马库斯所说的好多内容是正确的，况兼这个具体的例子致使在更早之前，就属于当代最早对神经汇注进行批判的中枢问题。

Fodor和Pylyshyn曾在1988年在《默契》刊物上发了这么一篇对于想维的系统性的著作。

他们建议，要是你的确交融这个宇宙，那你就应该能够交融a相对于b的关系，也能交融b相对于a的关系。

即使辱骂话语默契生物，也应该能够作念到这少量。

四十一年后的今天，神经汇注（至少是流行的神经汇注）仍在为此苦苦顽抗。它们仍然是点状的虚浮记念体，恒久无法像推理机器那样系统化。

好像，咱们是技能去探索一些真确的新想路了——要么是新的机制（也许是神经标记），要么是全齐不同的才略。

参考辛苦：

https://garymarcus.substack.com/p/elegant-and-powerful-new-result-that?r=17uk7

https://owainevans.github.io/reversal_curse.pdf