Cloudflare 9 月 15 日 AI 爬蟲新政生效：封鎖 AI 訓練即封鎖 Googlebot——香港企業明日凌晨面臨的 SEO 緊急危機

一、明日生效：Cloudflare「Content Independence Day」改變互聯網規則

2026 年 9 月 15 日（星期二），全球最大內容傳遞網絡（CDN）之一 Cloudflare 將正式執行其歷來最具影響力的 AI 爬蟲政策變更——Content Independence Day（內容獨立日）。這項在 7 月 1 日公告的政策，將從根本上改變網站如何控制 AI 爬蟲和搜尋引擎爬蟲的存取。

這項政策的核心影響可以歸納為一句話：如果你曾開啟 Cloudflare 的「封鎖 AI 訓練」設定（包括舊的「Block AI bots」一鍵開關），Googlebot 將從明日開始被自動封鎖——你的網站將從 Google 搜尋結果中消失。

Cloudflare 估計自己服務於全球 超過 20% 的網站，其中 36% 是全球流量最大的網站。對於以 Google 有機搜尋為主要流量來源的香港企業來說，這不是一個可以忽視的技術細節——這是一場潛在的 SEO 災難。

二、政策拆解：三個爬蟲分類 + 混合用途規則

Cloudflare 在 7 月 1 日將 AI 相關爬蟲流量拆分為三個獨立類別，取代了舊的單一「Block AI bots」開關：

Search（搜尋）：為搜尋引擎索引內容的爬蟲——如 Googlebot（用於傳統搜尋索引）、OAI-SearchBot、PerplexityBot。這類爬蟲預設允許。
Agent（代理）：即時代表用戶行動的爬蟲——如 ChatGPT-User、Claude-User 等。這類爬蟲預設封鎖（僅限有廣告的頁面）。
Training（訓練）：大量收集內容用於 AI 模型訓練的爬蟲——如 GPTBot、ClaudeBot、CCBot。這類爬蟲預設封鎖（僅限有廣告的頁面）。

關鍵陷阱在這裡：Cloudflare 將 Googlebot、Bingbot 和 Applebot 歸類為「混合用途」（multi-purpose）爬蟲——它們同時執行 Search 和 Training 兩種功能。Cloudflare 的規則明確規定：混合用途爬蟲將根據所有行為中最嚴格的適用規則來執行。如果你的網站設定了封鎖 Training，Googlebot 就會被一併封鎖——即使 Search 類別設定為允許。

在 Cloudflare 的官方說法中：「混合用途爬蟲如 Googlebot、Applebot 和 BingBot，將被已選擇封鎖 Training 的客戶封鎖。」

三、受影響的對象：遠比你想像的更廣

這項政策變更並非只有「新用戶」受影響。Cloudflare 明確指出以下群組將在 9 月 15 日自動適用新規則：

所有新上線的域名（9 月 15 日後加入 Cloudflare 的新網站）——Training 和 Agent 預設封鎖，Search 預設允許
現有客戶新增的網站——同上預設規則
所有 Free 免費方案客戶——如果未曾手動變更設定，將在 9 月 15 日自動套用新預設值
任何曾開啟舊版「Block AI bots」開關的客戶——無論是免費還是付費方案，只要曾開啟過這個開關，Googlebot 將從明日開始被封鎖

對香港企業的影響尤為顯著：香港中小企廣泛使用 Cloudflare Free 方案作為網站加速和安全防護。許多網站可能在一年多前隨手開啟了「Block AI bots」開關——當時只是為了防止 AI 爬蟲抓取內容——但從明日開始，這個設定將同時把 Googlebot 拒之門外。你的網站不會在 Google 搜尋中出現任何錯誤提示——它只是「消失」了。

四、為何 Google-Extended 無法解決問題

你可能會問：Google 不是提供了 Google-Extended（robots.txt 中的一個 token）讓網站可以選擇退出 AI 訓練而不影響搜尋索引嗎？答案是：不完全。

Google-Extended 是一個 robots.txt 指令，讓網站控制其內容是否用於訓練 Gemini 模型或在 Gemini Apps 中接地。它不會影響網站在 Google 搜尋中的收錄——這點 Google 文件說得很清楚。但問題在於 Cloudflare 的封鎖發生在網絡層面（edge level），而非 robots.txt 層面。當 Cloudflare 封鎖 Googlebot 時，Googlebot 根本無法連接到你的伺服器來讀取 robots.txt——所以 Google-Extended 指令等於不存在。

更進一步說，就算 Googlebot 能夠讀取 robots.txt，被 Google-Extended 排除的內容仍然可能出現在 AI Overviews 中，因為 AI Overviews 直接從 Google 搜尋索引中提取內容——而非從 AI 訓練資料庫。換句話說，Google-Extended 對阻止 AI Overviews 引用你的內容幾乎沒有作用。

正如 Cloudflare 執行長 Matthew Prince 所說：「Google 擁有約 2 倍於領先 AI 公司的資訊存取量，因為 Google 使用混合用途爬蟲。」Cloudflare 的政策變更正是為了推動 Google 將搜尋爬蟲與 AI 訓練爬蟲分離——就像 OpenAI（GPTBot vs OAI-SearchBot）和 Anthropic（ClaudeBot vs Claude-SearchBot）已經做的那樣。

五、對香港企業的五大實際影響

1. 網站可能從 Google 搜尋中完全消失

這是最直接的影響。一個無法被 Googlebot 爬取的頁面將不會被索引，不會出現在搜尋結果中。這不是「排名下跌」——這是「搜尋能見度歸零」。對於以 Google 有機搜尋為主要獲客渠道的香港企業（如本地服務公司、電商網站、內容出版商），這可能導致流量斷崖式下跌。

2. Bing 和 Apple 搜尋同步受影響

由於 Bingbot 和 Applebot 同樣被歸類為混合用途爬蟲，如果你的網站封鎖了 Training，這些搜尋引擎的爬蟲也會被封鎖。在香港，雖然 Google 市佔率遠超 Bing，但對於同時在 Bing 或 Apple Spotlight 搜尋中有佈局的企業，這同樣是一個打擊。

3. 優化 AI 引用與保持搜尋可見度的兩難

許多香港企業正在積極優化 AI 搜尋可見度——希望被 ChatGPT、Gemini、Perplexity 等 AI 平台引用。但這些平台的 Agent 爬蟲（即時為用戶檢索資訊的爬蟲）在 Cloudflare 的新政策下預設被封鎖（在有廣告的頁面上）。這意味著：封鎖了 Training 來保護內容不被用於模型訓練，可能同時封鎖了 AI 代理在回答用戶問題時檢索你的內容。

4. 廣告投放頁面的額外風險

Cloudflare 的新預設規則僅適用於「顯示廣告的頁面」。如果你的網站某些頁面有 Google AdSense 或其他廣告——包括常見的聯盟營銷網站——這些頁面上的 Training 和 Agent 爬蟲將被預設封鎖。對於許多香港聯盟營銷網站，這可能導致 Googlebot 無法爬取轉化路徑上的關鍵頁面。

5. 付費客戶也可能受影響——如果你曾開過舊開關

不少報導指出付費客戶不受新預設值影響，但這不完全準確。即使你是付費客戶，如果你在過去任何時候曾經開啟過舊的「Block AI bots」開關，這個設定在 9 月 15 日之後將自動涵蓋 Googlebot。Cloudflare 不會發送郵件提醒你——你必須自行檢查。

行動清單

☐ 立即登入你的 Cloudflare 儀表板，進入 Security（安全）> Settings（設定）> AI Crawler Controls
☐ 確認 Search（搜尋）類別是否設為「Do not block」（不封鎖）
☐ 檢查舊的「Block AI bots」開關是否仍然開啟——如果是，請手動調整三個類別的獨立設定
☐ 如果你需要保留 AI 訓練封鎖但允許 Googlebot：將 Search 設定為「Do not block」，Training 設定為「Block on all pages」或「Block only on pages that display ads」
☐ 使用 curl 指令或線上工具測試 Googlebot 是否能正常存取你的網頁（檢查是否收到 HTTP 403）
☐ 在 Google Search Console 的「URL 檢查」工具中驗證 Google 是否仍能成功索引你的頁面
☐ 如果你希望 AI 代理（Agent）也能抓取你的內容以提升 AI 引用率，將 Agent 類別設定為「Do not block」
☐ 檢視 robots.txt 中的 Google-Extended 指令——考慮是否仍需要它，還是依賴 Cloudflare 的獨立分類控制
☐ 通知你的網站開發者或 IT 團隊，確保他們了解這項變更並納入定期檢查
☐ 在 9 月 15 日後密切監控 Google Search Console 的索引狀態報告和 Google Analytics 的有機搜尋流量

小結

Cloudflare 的 Content Independence Day 是 2026 年最具 SEO 影響力的非 Google 政策變更。它以保護網站所有者權益為名，卻可能在未經同意的情況下讓數百萬網站從搜尋引擎中消失。對於香港企業，明日上午之前檢查並調整 Cloudflare 的安全設定是最優先的 SEO 行動——沒有之一。

長遠來看，這項政策正在推動一個結構性改變：網站所有者現在必須明確選擇是否允許搜尋引擎爬蟲——不再是「不設封鎖即允許」。同時，Google 也面臨越來越大的壓力將 Googlebot 的搜尋功能與 AI 訓練功能分離。這場爬蟲權力博弈的結果將深刻影響未來數年的 SEO 生態。

如果你需要協助評估你的 Cloudflare 設定對 SEO 的影響，或制定 AI 時代的爬蟲管理策略，歡迎聯絡我們的團隊進行免費諮詢。