Google 更新爬取預算文件:推薦使用 304 狀態碼節省伺服器資源——香港技術 SEO 實戰指南 | SEO Agency Hong Kong
Google 更新爬取預算優化文件,新增推薦使用 304 狀態碼節省伺服器資源,並確認所有 Google 爬蟲共享網站爬取容量。本文以香港企業網站角度,解析這些更新對技術 SEO 的實際影響與實施步驟。
一、事件重點:Google 爬取預算文件更新了什麼?
Google 在 8 月初更新了其爬取預算優化(Optimize Your Crawl Budget)官方文件,加入兩項對網站經營者和 SEO 從業者來說非常重要的新內容:
- 所有 Google 爬蟲共享網站的爬取容量:文件明確指出,雖然不同爬蟲有不同的爬取需求,但爬取容量限制是所有爬蟲共享的。這意味著 Googlebot-Image 大量爬取圖片的同時,會消耗 Googlebot 爬取文字內容的可用容量。
- 推薦使用 304 Not Modified 狀態碼:Google 建議網站針對未變更的頁面回傳 304 狀態碼,告訴 Googlebot「這頁沒有變過,不需重新下載」,從而節省伺服器頻寬和資源,讓爬蟲可以專注爬取其他重要頁面。
雖然這份文件主要針對擁有超過 100 萬頁的大型網站或超過 1 萬頁且內容快速變動的中型網站,但爬取預算的概念對任何規模的香港企業網站都有實際影響。
二、為什麼香港企業要關注這件事?
香港企業網站常見的幾種情況,正好與這次更新高度相關:
- 多語言網站結構:許多香港企業同時提供繁體中文、英文,甚至簡體中文版本。如果網站有大量多語言頁面但內容變動頻率不一,Google 的爬蟲可能會花費過多時間在未變更的頁面上。
- 產品目錄型網站:香港的電子商務、酒店、旅遊預訂網站通常擁有成千上萬的產品或服務頁面。若大量頁面長期未更新但仍然佔用爬取容量,重要的新產品或促銷頁面可能無法及時被索引。
- 圖片密集網站:香港地產、餐飲、零售等行業的網站通常包含大量圖片。根據更新,Googlebot-Image 的爬取活動會直接影響 Googlebot 的可用容量。
- 共享主機或有限伺服器資源:許多香港中小企業使用共享主機或入門級雲端方案,伺服器資源本就有限。不必要的大量爬取請求可能導致網站回應變慢,甚至影響真實用戶的訪問體驗。
三、什麼是 304 Not Modified 狀態碼?
根據 Mozilla 開發者網絡(MDN)的說明,HTTP 304 Not Modified 狀態碼表示「無需重新傳送請求的資源」。當 Google 爬蟲再次訪問一個頁面時,如果該頁面自上次爬取後沒有任何變更,伺服器可以回傳 304 狀態碼,Googlebot 就會直接使用先前快取的版本。
這次 Google 在爬取預算文件中的新表述是:
「支援 304(Not Modified)HTTP 狀態碼。如果頁面自 Google 上次爬取後沒有變更,回傳 304 狀態碼會告訴 Google 使用快取版本,從而節省你的伺服器頻寬和資源。」
注意:304 雖然在技術上被歸類為 3xx 重新導向狀態碼,但實際上並不會發生任何重新導向——它純粹是告訴爬蟲「沒變,用舊的就好」。
四、如何為你的網站設定 304 狀態碼?
檢查伺服器是否已支援 304
許多現代伺服器(如 Nginx、Apache)和 CDN 服務(如 Cloudflare)預設已支援 ETag 或 Last-Modified 標頭,而 Googlebot 會根據這些標頭自動請求 304。你可以透過以下步驟檢查:
- 使用瀏覽器的開發者工具(F12)→ Network 標籤,重新載入一個頁面,查看回應標頭中是否有
ETag或Last-Modified。 - 使用
curl -I https://你的網站.com/指令查看伺服器回應標頭。 - 檢查 Google Search Console 的「爬取統計資料」報告,確認是否有異常高的爬取請求數。
Nginx 設定範例
# 啟用 ETag 支援(Nginx 預設啟用) etag on; # 啟用 Last-Modified 標頭 add_header Last-Modified $sent_http_last_modified;
Apache 設定範例
# 啟用 FileETag(Apache 預設啟用) FileETag MTime Size # 啟用 Expires 標頭配合 ExpiresActive On ExpiresDefault "access plus 1 week"
WordPress 網站
WordPress 通常已經透過 Last-Modified 標頭提供 304 支援。你可以安裝快取外掛(如 WP Rocket、W3 Total Cache)來進一步優化靜態資源的快取策略。
五、爬蟲共享爬取容量:對香港網站的新啟示
Google 另一個重要的新增說明是:所有爬蟲共享網站的爬取容量。這代表:
- 如果你最近上傳了大量高解析度產品圖片,Googlebot-Image 的爬取高峰可能會拖慢 Googlebot 對文字頁面的爬取速度。
- 如果你的網站有大量 JavaScript 框架生成的內容,Googlebot 的快取渲染版本也可能消耗爬取容量。
- 建議在 robots.txt 中合理控制不同爬蟲的訪問頻率,尤其是對不重要的資源(如縮圖、舊版圖片)設定較低的爬取優先級。
六、香港企業的即時行動清單
- 檢查伺服器回應標頭:確認你的網站是否已正確回傳 ETag 或 Last-Modified 標頭,這是 304 正常運作的前提。
- 檢視 Search Console 爬取統計:前往 Google Search Console → 設定 → 爬取統計資料,觀察每日的爬取請求數和下載量。如果數據持續偏高而內容更新不多,應優先實施 304 策略。
- 設定合理的快取策略:對不常變更的頁面(如關於我們、服務介紹、常見問題)設定較長的有效期限,讓爬蟲不需要頻繁檢查。
- 審視多語言與多版本頁面:如果網站有大量幾乎相同但 URL 不同的頁面(如 hreflang 版本、分頁參數),考慮使用 canonical 標籤或 noindex 來減少無謂的爬取浪費。
- 監控爬蟲活動:使用伺服器日誌分析工具(如 GoAccess、AWStats)觀察不同 Google 爬蟲的活動模式,確保圖片爬蟲沒有過度消耗你的伺服器資源。
小結
Google 這次的爬取預算文件更新看似是技術性調整,但對香港企業網站的索引效率與伺服器效能有直接影響。304 Not Modified 狀態碼的推薦使用,尤其適合那些內容相對穩定但頁面數量不少的網站——只要花幾分鐘檢查伺服器設定,就能讓 Googlebot 更有效率地爬取你的重要內容。
如需深入了解如何為您的香港企業網站優化爬取預算與技術 SEO 設定,歡迎聯繫我們的技術團隊進行免費網站診斷。