AI搜尋工具如何無視發布商的機器人排除協議? | 數位時代

AI搜尋工具無視發布商的機器人排除協議

AI搜尋工具的效能和準確性備受關注。根據陶氏數位新聞研究中心的研究,許多主流AI聊天機器人在資訊檢索測試中表現不佳,錯誤率高達60%以上。即使是付費版本,如Perplexity Pro和Grok 3,也可能提供更多錯誤答案,且更有自信地胡說八道。這些工具無視發布商的機器人排除協議,未正確引用原始內容,對資訊品質造成嚴重影響。

AI搜尋工具的常見錯誤

AI搜尋工具在實際使用中暴露出多項問題。首先,它們經常未能正確連結原始來源,錯誤引用文章或連結到轉載版本。其次,付費模型雖然答對更多問題,但整體錯誤率反而更高,傾向於提供明確但錯誤的答案。此外,許多AI工具會產生虛構或損壞的網址,導致錯誤頁面。

機器人排除協議與AI巨頭的回應

研究發現,許多AI搜尋工具無視發布者的爬蟲限制,即使被封鎖仍獲取內容。儘管「機器人排除協議」不具法律約束力,但它是被廣泛接受的標準,用於指示網站哪些部分應該被抓取。對於研究結果,OpenAI和微軟表示尊重robots.txt標準,並致力於支持出版商和創作者,同時提高引用的準確性。


This is a simplified version of the page. Some interactive features are only available in the full version.
本頁為精簡版,部分互動功能僅限完整版使用。
👉 View Full Version | 前往完整版內容