龙虾增强平替爱马仕回归

龙虾的增强平替爱马仕回归😡今天终于玩上了，照样接入聊天软件，还会自我进化，看起来比较聪明。养虾不如养爱马仕⛄看起来越聊越明白我🙄话说这是不是另一种形式的陪伴Agent🤤🤤（？）现在我发现LLM的问题是，尽管上下文挺大，当只在召回静态的内容时表现良好，尽管有1M的上下文，但是当到256k的时候，注意力就已经被严重稀释了。比如一个人经常坐在副驾驶座，但是这个时候另一位不经常坐在副驾驶的人坐副驾驶座的时候，模型检索上文并且在匹配的时候，可能角色的特征或者性格的权重大于物理位置的权重，最后导致匹配计算出来的注意力分数过大，让这个经常坐在副驾驶座的人替代了实际上坐在副驾驶座，但是不经常坐在这个地方的人。😆

还有一个问题是，LLM似乎对物理排他性没有概念，召回常量还好，变量就难了，也就是说，LLM似乎对物理世界没有一点的基础常识，只知道计算一样东西有多少、而另一样东西有多少概率出现在某处。如果没有聊天客户端的记忆工具的话，LLM本身估计是没有状态机和互斥锁这种东西，没有所有权这种东西。😄

有一个有趣的例子「桌子正中央放着一个红苹果。接着，我又把一个绿苹果放在了桌子正中央的同一个绝对位置上。请问现在桌子正中央是什么？」，最能体现LLM疑似只能理解能指但不理解所指。因为没有互斥锁和状态机，如果前文中红苹果出现在桌子上的次数多或者权重大，那么LLM就会觉得，桌子上有80%的红苹果以及20%的绿苹果，就会出现幻觉「桌子正中央现在是一个绿苹果，刚才的红苹果似乎变色了。」或者「桌子正中央放着两个苹果，一红一绿。」又或者「桌子正中央放着一个红绿相间的苹果。」从而出现了物理的坍塌。LLM不理解要么是绿苹果在那个绝对位置取代了红苹果，要么一个堆另一个的上方，而是选择了两者是重叠的。😄😄😃😁

当然以上是我的猜想，目前看好最好的方法是每次都强行诸如状态机，让LLM检索前文的时候召回这个常量（把变量变成常量）！🤔🤔🤔🤔