龍蝦增強平替愛馬仕回歸

龍蝦的增強平替愛馬仕回歸😡今天終於玩上了，照樣接入聊天軟體，還會自我進化，看起來比較聰明。養蝦不如養愛馬仕⛄看起來越聊越明白我🙄話說這是不是另一種形式的陪伴Agent🤤🤤（？）現在我發現LLM的問題是，儘管上下文挺大，當只在召回靜態的內容時表現良好，儘管有1M的上下文，但是當到256k的時候，注意力就已經被嚴重稀釋了。比如一個人經常坐在副駕駛座，但是這個時候另一位不經常坐在副駕駛的人坐副駕駛座的時候，模型檢索上文並且在匹配的時候，可能角色的特徵或者性格的權重大於物理位置的權重，最後導致匹配計算出來的注意力分數過大，讓這個經常坐在副駕駛座的人替代了實際上坐在副駕駛座，但是不經常坐在這個地方的人。😆

還有一個問題是，LLM似乎對物理排他性沒有概念，召回常量還好，變數就難了，也就是說，LLM似乎對物理世界沒有一點的基礎常識，只知道計算一樣東西有多少、而另一樣東西有多少機率出現在某處。如果沒有聊天客戶端的記憶工具的話，LLM本身估計是沒有狀態機和互斥鎖這種東西，沒有所有權這種東西。😄

有一個有趣的例子「桌子正中央放著一個紅蘋果。接著，我又把一個綠蘋果放在了桌子正中央的同一個絕對位置上。請問現在桌子正中央是什麼？」，最能體現LLM疑似只能理解能指但不理解所指。因為沒有互斥鎖和狀態機，如果前文中紅蘋果出現在桌子上的次數多或者權重大，那麼LLM就會覺得，桌子上有80%的紅蘋果以及20%的綠蘋果，就會出現幻覺「桌子正中央現在是一個綠蘋果，剛才的紅蘋果似乎變色了。」或者「桌子正中央放著兩個蘋果，一紅一綠。」又或者「桌子正中央放著一個紅綠相間的蘋果。」從而出現了物理的坍塌。LLM不理解要麼是綠蘋果在那個絕對位置取代了紅蘋果，要麼一個堆另一個的上方，而是選擇了兩者是重疊的。😄😄😃😁

當然以上是我的猜想，目前看好最好的方法是每次都強行注入狀態機，讓LLM檢索前文的時候召回這個常量（把變數變成常量）！🤔🤔🤔🤔