Google Research 團隊提出的「提示詞重複」技術，如何突破因果語言模型的單向注意力瓶頸？ | 數位時代

Google Research「提示詞重複」技術突破因果語言模型單向注意力瓶頸

Google Research 團隊提出了一項名為「提示詞重複」（Prompt Repetition）的技術，旨在突破因果語言模型（Causal LLMs）的單向注意力瓶頸。這項技術的核心概念是透過重複輸入提示詞，在不增加模型輸出長度的前提下，顯著提升模型效能。此方法特別適用於不需要模型進行逐步推理（Chain of Thought, CoT）的場景，以及長文本中的精確檢索與定位任務。

因果語言模型的單向注意力限制

因果語言模型（Causal Language Model）的主流架構存在一個物理限制：因果性遮罩（Causal Masking）。在處理序列時，模型只能觀察到第 1 至 N-1 個 Token，無法預見「未來的資訊」。這意味著模型在讀取提示詞時，只能由左至右逐字讀取，導致在處理問題時可能缺乏足夠的背景資訊。這種單向注意力限制會影響模型理解問題的能力，因為模型在運算當下無法看到提示詞中尚未讀到的後半段內容，使得提示詞的順序變得至關重要。

提示詞重複如何破解單向注意力瓶頸

「提示詞重複」技術的操作方式非常簡單，將原本的輸入「<提示詞>」轉換為「<提示詞><提示詞>」。當模型讀到第二遍的提示詞時，原本屬於「未來」的資訊現在已經變成「過去」的歷史資訊。這種方法讓提示詞中的每一個 Token 都能夠注意到提示詞中的其他所有 Token，從而模擬出雙向注意力（Bidirectional Attention）的效果。例如，將提示詞結構從「<問題><文章背景>」調整為「<問題><文章背景> <問題><文章背景>」，使得模型在讀取第二遍問題時，已經看過文章背景，有助於更全面地理解問題。

適用情境與注意事項

「提示詞重複」技術在多項基準測試中取得了顯著成效，特別適用於以下情境：

1. 不要求模型推論時：當應用場景不需要模型進行逐步思考，而是直接輸出答案時，此技術效果最佳。
2. 長文本中的精確檢索與定位：對於需要在長文本中找出特定資訊的任務，例如找名字或定位特定資訊，重複提示詞能顯著提升準確率。在困難的查找任務中，甚至可以考慮重複輸入 3 遍提示詞。

然而，此技術在以下情境中可能無效：

1. 已啟用「推論模式」或思維鏈 (CoT) 時：當提示詞中已包含「一步步思考」等引導詞，或模型本身具備強大推理能力時，重複提示詞的效果會降低，因為模型在輸出過程中已會自我重複部分資訊。
2. 提示詞已極度過長：若原始提示詞已接近模型的 Context Window 上限，再重複一次可能導致超出長度限制而無法執行。

實施方式與模型適用性

實施「提示詞重複」技術非常簡單，只需將包含背景資訊與問題的完整提示詞複製並貼上一次即可。重要的是，重複的範圍必須是整個提示詞，而非僅重複問題部分。根據研究，此技術適用於 API 成本較低的非推論模型，例如 Gemini 2.0 Flash、GPT-4o、Claude 3 Haiku 和 DeepSeek V3。若使用的是 Gemini 3 等推論模型，效果可能不顯著。

總結來說，「提示詞重複」技術透過簡單的方式，有效解決了因果模型先天結構的短板，在 LLM 應用層提供了一種優雅的解決方案。

This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版，部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容