Google 爬蟲不只使用 GET 和 POST:HEAD、OPTIONS、PUT、PATCH、DELETE 請求全面解析 | SEO Agency Hong Kong
Google 工程師 Gary Illyes 在 LinkedIn 上確認,Google 爬蟲不只使用常見的 GET 和 POST 請求,還會發出 HEAD、OPTIONS、PUT、PATCH、DELETE 五種 HTTP 請求,佔整體爬蟲請求總數約 1.5%,主要用於 JavaScript 渲染過程。這個發現對香港企業的技術 SEO 策略和伺服器設定具有實際意義。
一、Google 爬蟲 HTTP 請求類型的官方確認
2026 年 8 月 7 日,Google 搜尋關係團隊工程師 Gary Illyes 在 LinkedIn 上發表了一項重要確認:Google 的爬蟲不只發出常見的 GET 和 POST 請求,還會發出 HEAD、OPTIONS、PUT、PATCH 和 DELETE 五種 HTTP 請求。他在貼文中表示:「過去幾週,我收到一些問題詢問 Google 的爬蟲是否會發送 GET 和 POST 以外的 HTTP 請求。簡短的回答是:會的,但 HEAD、OPTIONS、PUT、PATCH 和 DELETE 加起來不到所有 Google 爬蟲請求總數的 1.5%。」這項資訊由 Search Engine Roundtable 在當日進行了詳細報道。
各請求類型的作用:
- GET:最常見的請求,用於獲取網頁內容、圖片、CSS、JavaScript 檔案等資源,佔 Google 爬蟲請求的絕大多數
- HEAD:與 GET 類似,但只請求回應的 HTTP 標頭(Header)而不下載實際內容。爬蟲可以用它來檢查資源是否存在、查看最後修改時間(Last-Modified)和內容類型(Content-Type)等元數據
- OPTIONS:用於查詢伺服器對特定資源支援哪些 HTTP 方法(例如伺服器是否允許 DELETE 請求),常見於 CORS(跨域資源共享)預檢請求
- PUT:用於上傳或更新伺服器上的資源。在爬蟲場景中,某些 JavaScript 應用程式可能會觸發這類請求
- PATCH:用於對資源進行部分更新,與 PUT 類似但更加精確
- DELETE:用於刪除伺服器上的指定資源
二、為什麼 Google 爬蟲會使用這些非標準請求?
Gary Illyes 解釋,這些非標準請求主要是由 JavaScript 渲染過程觸發。他在 LinkedIn 上寫道:「基本上是某些 JavaScript 的奇怪行為發起了這些請求,而渲染引擎就進行了它的渲染工作。」
具體情境分析:
- 現代 JavaScript 框架(React、Vue、Angular):這些框架在客戶端渲染時,可能會透過 fetch() 或 XMLHttpRequest 發出 PUT、DELETE 等請求來與 API 互動。Google 爬蟲在執行 JavaScript 進行渲染時,會跟隨這些請求。
- HEAD 請求的常見用途:某些網站使用 HEAD 請求來進行「預檢」檢查,Google 爬蟲可能在處理 JavaScript 事件時觸發這些請求,例如檢查某個資源是否存在才決定下一步渲染。
- OPTIONS 與 CORS:當 Google 爬蟲執行包含跨域請求的 JavaScript 時,瀏覽器層面的 CORS 機制會先發出 OPTIONS 預檢請求,而 Google 爬蟲的渲染引擎會遵循這個流程。
三、對香港企業伺服器設定的實際影響
雖然這類請求只佔總數的 1.5%,但對於技術 SEO 而言,仍有幾項需要注意的地方:
- 不要錯誤封鎖非 GET 請求:部分香港企業的伺服器或防火牆(如 Cloudflare、AWS WAF)可能設定了規則,只允許 GET 和 POST 請求而拒絕其他方法。如果 Google 爬蟲的 HEAD 或 OPTIONS 請求被阻擋,可能影響 JavaScript 渲染的完整性,進而影響網站在 Google 搜尋中的表現。
- 檢查伺服器日誌:建議香港企業的技術團隊檢查伺服器存取日誌(Apache/Nginx 日誌),確認是否有 Google 爬蟲的 HEAD、OPTIONS 等請求被記錄。如果收到大量的「405 Method Not Allowed」錯誤回應,可能需要調整伺服器設定。
- 確保 HEAD 請求正確回應:HEAD 請求的回應標頭應與 GET 請求一致,包括 Content-Type、Last-Modified、Content-Length 等。不一致的回應可能導致 Google 對頁面內容的理解出現偏差。
- JavaScript 應用的 SEO:如果你的網站大量使用 JavaScript 框架(在香港,很多金融科技、地產和電子商務網站使用 React 或 Next.js),確保伺服器能夠正確處理 Google 爬蟲在渲染過程中可能發出的所有 HTTP 請求類型。
四、這項資訊對 SEO 策略的意義
這項看似微小的技術細節,實際上反映了 Google 爬蟲能力的重要演變:
- 爬蟲行為越來越接近真實瀏覽器:Google 爬蟲執行 JavaScript 時的行為已與 Chrome 瀏覽器高度一致,包括發出的 HTTP 請求類型。這代表 JavaScript 應用的 SEO 可行性越來越高——如果你的網站 JavaScript 執行良好,Google 爬蟲能夠完整理解。
- 伺服器端 SEO 的重要性不減反增:雖然爬蟲能處理更多請求類型,但伺服器回應的正確性變得更加重要。錯誤的 HTTP 狀態碼、不一致的回應標頭,或錯誤封鎖請求,都可能對 SEO 造成負面影響。
- 日誌分析的新維度:傳統上 SEO 從業者只關心 200(成功)和 404(未找到)狀態碼。現在,405(方法不允許)和 501(未實現)等與請求方法相關的錯誤也值得關注。
五、香港企業技術 SEO 行動清單
- 檢查伺服器日誌,搜尋來自 Google 爬蟲 IP 範圍的 HEAD、OPTIONS、PUT、PATCH 或 DELETE 請求
- 確認伺服器是否返回正確的 HTTP 狀態碼(200 或 204 而非 405)給這些請求
- 檢查 Cloudflare、AWS WAF 或其他防火牆規則,確保沒有錯誤封鎖非 GET/POST 的請求
- 使用 Google Search Console 的「網址檢查」工具測試特定頁面,確認 Google 可以完整渲染包括 JavaScript 在內的所有內容
- 如果使用 React、Vue 等 JavaScript 框架,考慮實作伺服端渲染(SSR)或靜態生成(SSG),以減少爬蟲需要執行的 JavaScript 數量
- 定期使用 Lighthouse 審計工具檢查 JavaScript 執行時間和渲染阻塞資源
小結
Gary Illyes 這項關於 Google 爬蟲 HTTP 請求類型的確認,雖然表面上是技術細節,但實際上再次驗證了 Google 爬蟲已發展為一個成熟的瀏覽器級渲染引擎。對於香港企業而言,這意味著:
技術 SEO 的基礎——伺服器設定和回應正確性——變得比以往任何時候都更重要。如果你的網站伺服器對 Google 爬蟲的非標準請求回應錯誤或封鎖它們,可能不知不覺中影響了網站在搜尋中的表現,特別是以 JavaScript 為核心的現代網站。
建議香港企業的技術團隊和 SEO 負責人共同檢視伺服器設定,確保所有類型的 HTTP 請求都能被正確處理。這類基礎建設層面的優化,往往能帶來意想不到的 SEO 回報。
如需了解如何優化你的網站技術 SEO 設定,歡迎聯繫我們的團隊進行免費技術 SEO 審計。