JavaScript 連結讓你的頁面在 AI 搜尋中完全消失——41 天實驗數據深度解析

一、實驗背景：測試 JavaScript 連結對爬蟲的真實影響

SEO 業界多年來一直有句話：「Google 會渲染 JavaScript」（Google renders JS），讓許多網站開發者放心地使用 JavaScript 框架來處理導航和內部連結。但 SEO 顧問 Vinicius Stanula 的最新研究揭示了殘酷的事實——這句「常識」對於 AI 爬蟲來說完全不適用。

實驗使用了一個擁有約 2,400 頁的巴西商業分類目錄網站，為期 41 天。研究人員將網站 21 個頂層分類中的內部連結分為兩組：

HTML 組（11 個分類）：所有子頁面連結直接硬編碼在 HTML 中，任何爬蟲都可以直接解析和跟隨。
JS 組（10 個分類）：所有子頁面連結透過 JavaScript 在頁面加載後注入，原始 HTML 中完全沒有連結。

為了保持測試的純淨性，研究人員移除了所有替代發現路徑：Sitemap 被禁用並返回 404、麵包屑導航被移除、內部層級面板也被移除。 唯一的發現方式就是渲染父頁面的 JavaScript 並跟隨注入的連結。

二、震撼結果：八個爬蟲集體「失明」

經過 27 天的第一階段監測，爬蟲的表現令人震驚：

Googlebot：能渲染 JS 並跟隨注入連結——但僅發現 JS 組的 2% 頁面（7/293 頁）
GoogleOther：能渲染 JS，發現了 JS 組的 48% 頁面——但 GoogleOther 不參與搜尋索引構建
GPTBot（OpenAI）：無法渲染 JS——JS 組頁面數：0
ClaudeBot（Anthropic）：無法渲染 JS——JS 組頁面數：0
Bingbot：無法執行 JS——JS 組頁面數：3（懷疑是其他路徑發現，而非 JS 渲染）
OAI-SearchBot（ChatGPT 搜尋）：無法渲染 JS——JS 組頁面數：0
Meta-ExternalAgent（Meta AI）：無法渲染 JS——JS 組頁面數：0
Amazonbot：無法渲染 JS——JS 組頁面數：0
ChatGPT-User（即時瀏覽）：無法渲染 JS——JS 組頁面數：0
PerplexityBot：完全未到達任何層級頁面——JS 組頁面數：0

簡而言之：除了 Google 自家的爬蟲之外，沒有任何一個 AI 爬蟲能夠跟隨 JavaScript 生成的連結。而即使是 Google，真正用於搜尋索引的 Googlebot 也只發現了 2% 的 JS 連結頁面。

三、對香港企業的深遠影響

香港的網站生態中，大量使用 JavaScript 框架（React、Vue、Angular 等）的單頁應用程式（SPA）和依賴 JS 渲染的網站非常普遍。這項研究對香港企業的影響是直接且嚴重的：

AI 搜尋完全無法看到你的內容：如果你的產品頁面、服務頁面或文章頁面的內部導航依賴 JavaScript 渲染，那麼 GPTBot、ClaudeBot 和其他 AI 爬蟲將完全無法發現這些頁面。你的內容永遠不會出現在 ChatGPT、Claude 或 Perplexity 的回應中。
ChatGPT 的即時瀏覽也無能為力：即使有用戶透過 ChatGPT 的即時瀏覽功能查詢你的品牌，ChatGPT-User 也無法跟隨 JS 連結。用戶想查到的頁面，恰好是它無法到達的頁面。
Google 搜尋的可見度也很有限：不要被「Google 會渲染 JS」這句話誤導。實驗中 Googlebot 僅發現了 2% 的 JS 組頁面，且回應時間比 HTML 頁面慢 18% 到 27%。
香港常見的網站類型風險最高：電子商務網站（分類與產品過濾）、地產目錄網站、旅遊預訂平台、教育課程目錄等依賴 JS 渲染導航的網站，受影響最大。

四、第二階段：修復後的恢復測試

實驗最令人鼓舞的部分是第二階段。在第 27 天，研究人員將所有 JS 連結轉換為硬編碼 HTML，然後觀察爬蟲的反應：

GPTBot：兩天內作出反應，一次掃描就發現了 250 個之前完全無法到達的頁面，耗時不到 3 小時
Bingbot：一週內進行系統性掃描，新增了 212 個頁面
Meta-ExternalAgent：在第 41 天也開始掃描之前被封鎖的頁面
ClaudeBot：繼續只重新爬取它已經知道的頁面，從未發現新連結的頁面
Google：最諷刺的是，Google 的反應最慢——到第 41 天，Googlebot 只訪問了轉換後的一個頁面，GoogleOther 訪問了零個

這告訴我們兩件事：修復後 AI 爬蟲可以快速恢復覆蓋，但 Google 的首次爬取預算一旦用完就很難再贏回來。越早修復，損失越小。

五、香港企業的立即行動清單

基於這項實驗的結果，以下是香港企業可以立即採取的行動：

審核你的原始 HTML 真正包含什麼：禁用 JavaScript 後瀏覽你的網站關鍵路徑，或者比較原始 HTML 源碼與渲染後的 DOM。如果導航連結只存在於 JavaScript 渲染之後，所有 AI 爬蟲都無法看到它們。
優先採用伺服器端渲染（SSR）：對於導航連結，使用伺服器端渲染而非客戶端渲染。一個 widget 用 JS 渲染只是讓頁面變慢一點；但導航用 JS 渲染可能會讓整個網站從 AI 索引中消失。
使用標準 HTML <a> 標籤：確保所有內部連結使用標準的 HTML <a href="..."> 標籤，而非 onclick 事件或 JavaScript 路由。這是所有爬蟲都能理解的最基本格式。
不要依賴 Sitemap 作為主要發現機制：雖然 Sitemap 有幫助，但它無法替代可爬取的導航結構。實驗中禁用 Sitemap 後，JS 組的頁面完全無法被發現。
越早修復越好：GPTBot 在轉換後 48 小時內重新掃描了所有之前被封鎖的頁面。Bingbot 在一週內完成。但 Google 可能需要數週甚至數月——首次爬取預算的窗口是有限的。

小結

這項為期 41 天的實驗以無可爭議的數據證明：JavaScript 連結正在讓你的頁面在 AI 搜尋中完全消失。過去，「Google 會渲染 JS」這句話給了網站開發者虛假的安全感。但在 AI 搜尋成為重要流量來源的今天，這句話已經不夠了——因為真正需要看到你內容的 AI 爬蟲（GPTBot、ClaudeBot 等）根本不會執行 JavaScript。

對香港企業而言，這是一項可以立即修復的技術問題。審核你的網站導航、將關鍵連結改為標準 HTML、優先使用伺服器端渲染——這些措施不僅能改善 Google 搜尋表現，更能讓你的內容被 AI 搜尋發現和引用。

如需協助審核您的網站技術 SEO 狀況，歡迎聯繫我們的團隊進行免費技術診斷。