HTTP狀態(tài)碼分類
HTTP狀態(tài)碼由三個十進制數(shù)字組成，第一個十進制數(shù)字定義了狀態(tài)碼的類型，后兩個數(shù)字沒有分類的作用。HTTP狀態(tài)碼共分為5種類型：
HTTP狀態(tài)碼分類
| 分類 | 分類描述 |
|---|---|
| 1** | 信息，服務器收到請求，需要請求者繼續(xù)執(zhí)行操作 |
| 2** | 成功，操作被成功接收并處理 |
| 3** | 重定向，需要進一步的操作以完成請求 |
| 4** | 客戶端錯誤，請求包含語法錯誤或無法完成請求 |
| 5/6** | 服務器錯誤，服務器在處理請求的過程中發(fā)生了錯誤 |
先介紹爬蟲最常見的HTTP狀態(tài)碼
一些常見的HTTP狀態(tài)碼
| 狀態(tài)碼 | 狀態(tài)碼英文名稱 | 我的理解 |
|---|---|---|
| 200 | OK | 出現(xiàn)200證明一切正常，皆大歡喜。 |
| 301 | Moved Permanently | 永久重定向。一般來說爬蟲可以自適應，是不需要特別處理的。可以通過response中的url和status code來判斷。如果沒有問題可以不去處理。不過推薦通過response中的url或者抓包工具來將網(wǎng)頁盡可能的直接改為跳轉(zhuǎn)后的地址。因為重定向會使爬蟲發(fā)兩次request請求，白白占用帶寬。 |
| 302 | Found | 臨時重定向。處理方式同上↑↑↑↑↑↑ |
| 401 | Unauthorized | 出現(xiàn)這個狀態(tài)碼說明爬蟲的登陸身份有問題?？赡苁堑顷懗瑫r需要重新登陸，用戶名密碼錯誤，或者干脆沒有登陸。需要重新處理爬蟲的身份驗證。 |
| 404 | Not Found | 無法找到指定位置的資源。大名鼎鼎的404錯誤?？赡苁桥老x訪問的url中的資源被刪除或者url錯誤。需要檢查爬蟲的爬到的url。 |
| 407 | Proxy Authentication Required | 代理驗證錯誤。說明代理的登陸有問題。檢查代理IP和賬號密碼。 |
| 500 | Internal Server Error | 服務器故障或Web應用故障。一般靠譜點的網(wǎng)站是不會出現(xiàn)這個問題的，這個通常是服務器在工作時發(fā)生了源代碼error。出現(xiàn)了這個錯誤呢，可以通知站長需要維護網(wǎng)站了（大霧）。 |
| 503 | Service Unavailable | 503狀態(tài)碼的存在并不意味著服務器在過載的時候必須使用它。某些服務器只不過是希望拒絕客戶端的連接。所以出現(xiàn)503時候，很大情況爬蟲已經(jīng)被反爬發(fā)現(xiàn)了，需要做反反爬試試。 |
所有的HTTP狀態(tài)碼
HTTP狀態(tài)碼列表
| 狀態(tài)碼 | 狀態(tài)碼英文名稱 | 中文描述 |
|---|---|---|
| 100 | Continue | 繼續(xù)?？蛻舳藨^續(xù)其請求 |
| 101 | Switching Protocols | 切換協(xié)議。服務器根據(jù)客戶端的請求切換協(xié)議。只能切換到更高級的協(xié)議，例如，切換到HTTP的新版本協(xié)議 |
| 102 | Processing | 由WebDAV（RFC 2518）擴展的狀態(tài)碼，代表處理將被繼續(xù)執(zhí)行。 |
| 200 | OK | 請求成功。一般用于GET與POST請求 |
| 201 | Created | 已創(chuàng)建。成功請求并創(chuàng)建了新的資源 |
| 202 | Accepted | 已接受。已經(jīng)接受請求，但未處理完成 |
| 203 | Non-Authoritative Information | 非授權(quán)信息。請求成功。但返回的meta信息不在原始的服務器，而是一個副本 |
| 204 | No Content | 無內(nèi)容。服務器成功處理，但未返回內(nèi)容。在未更新網(wǎng)頁的情況下，可確保瀏覽器繼續(xù)顯示當前文檔 |
| 205 | Reset Content | 重置內(nèi)容。服務器處理成功，用戶終端（例如：瀏覽器）應重置文檔視圖?？赏ㄟ^此返回碼清除瀏覽器的表單域 |
| 206 | Partial Content | 部分內(nèi)容。服務器成功處理了部分GET請求 |
| 207 | Multi-Status | 由WebDAV(RFC 2518)擴展的狀態(tài)碼，代表之后的消息體將是一個XML消息，并且可能依照之前子請求數(shù)量的不同，包含一系列獨立的響應代碼。 |
| 300 | Multiple Choices | 多種選擇。請求的資源可包括多個位置，相應可返回一個資源特征與地址的列表用于用戶終端（例如：瀏覽器）選擇 |
| 301 | Moved Permanently | 永久移動。請求的資源已被永久的移動到新URI，返回信息會包括新的URI，瀏覽器會自動定向到新URI。今后任何新的請求都應使用新的URI代替 |
| 302 | Found | 臨時移動。與301類似。但資源只是臨時被移動。客戶端應繼續(xù)使用原有URI |
| 303 | See Other | 查看其它地址。與301類似。使用GET和POST請求查看 |
| 304 | Not Modified | 未修改。所請求的資源未修改，服務器返回此狀態(tài)碼時，不會返回任何資源?？蛻舳送ǔ彺嬖L問過的資源，通過提供一個頭信息指出客戶端希望只返回在指定日期之后修改的資源 |
| 305 | Use Proxy | 使用代理。所請求的資源必須通過代理訪問 |
| 306 | Unused | 已經(jīng)被廢棄的HTTP狀態(tài)碼 |
| 307 | Temporary Redirect | 臨時重定向。與302類似。使用GET請求重定向 |
| 400 | Bad Request | 客戶端請求的語法錯誤，服務器無法理解 |
| 401 | Unauthorized | 請求要求用戶的身份認證 |
| 402 | Payment Required | 保留，將來使用 |
| 403 | Forbidden | 服務器理解請求客戶端的請求，但是拒絕執(zhí)行此請求 |
| 404 | Not Found | 服務器無法根據(jù)客戶端的請求找到資源（網(wǎng)頁）。通過此代碼，網(wǎng)站設(shè)計人員可設(shè)置"您所請求的資源無法找到"的個性頁面 |
| 405 | Method Not Allowed | 客戶端請求中的方法被禁止 |
| 406 | Not Acceptable | 服務器無法根據(jù)客戶端請求的內(nèi)容特性完成請求 |
| 407 | Proxy Authentication Required | 請求要求代理的身份認證，與401類似，但請求者應當使用代理進行授權(quán) |
| 408 | Request Time-out | 服務器等待客戶端發(fā)送的請求時間過長，超時 |
| 409 | Conflict | 服務器完成客戶端的PUT請求是可能返回此代碼，服務器處理請求時發(fā)生了沖突 |
| 410 | Gone | 客戶端請求的資源已經(jīng)不存在。410不同于404，如果資源以前有現(xiàn)在被永久刪除了可使用410代碼，網(wǎng)站設(shè)計人員可通過301代碼指定資源的新位置 |
| 411 | Length Required | 服務器無法處理客戶端發(fā)送的不帶Content-Length的請求信息 |
| 412 | Precondition Failed | 客戶端請求信息的先決條件錯誤 |
| 413 | Request Entity Too Large | 由于請求的實體過大，服務器無法處理，因此拒絕請求。為防止客戶端的連續(xù)請求，服務器可能會關(guān)閉連接。如果只是服務器暫時無法處理，則會包含一個Retry-After的響應信息 |
| 414 | Request-URI Too Large | 請求的URI過長（URI通常為網(wǎng)址），服務器無法處理 |
| 415 | Unsupported Media Type | 服務器無法處理請求附帶的媒體格式 |
| 416 | Requested range not satisfiable | 客戶端請求的范圍無效 |
| 417 | Expectation Failed | 服務器無法滿足Expect的請求頭信息 |
| 421 | too many connections | There are too many connections from your internet address從當前客戶端所在的IP地址到服務器的連接數(shù)超過了服務器許可的最大范圍。通常，這里的IP地址指的是從服務器上看到的客戶端地址（比如用戶的網(wǎng)關(guān)或者代理服務器地址）。在這種情況下，連接數(shù)的計算可能涉及到不止一個終端用戶。 |
| 422 | Unprocessable Entity | 請求格式正確，但是由于含有語義錯誤，無法響應。（RFC 4918 WebDAV） |
| 423 | Locked | 當前資源被鎖定。（RFC 4918 WebDAV） |
| 424 | Failed Dependency | 由于之前的某個請求發(fā)生的錯誤，導致當前請求失敗，例如 PROPPATCH。（RFC 4918 WebDAV） |
| 425 | Unordered Collection | 在WebDav Advanced Collections 草案中定義，但是未出現(xiàn)在《WebDAV 順序集協(xié)議》（RFC 3658）中。 |
| 426 | Upgrade Required | 客戶端應當切換到TLS/1.0。（RFC 2817） |
| 449 | Retry With | 由微軟擴展，代表請求應當在執(zhí)行完適當?shù)牟僮骱筮M行重試。 |
| 451 | Unavailable For Legal Reasons | 該請求因法律原因不可用。（RFC 7725） |
| 500 | Internal Server Error | 服務器內(nèi)部錯誤，無法完成請求 |
| 501 | Not Implemented | 服務器不支持請求的功能，無法完成請求 |
| 502 | Bad Gateway | 充當網(wǎng)關(guān)或代理的服務器，從遠端服務器接收到了一個無效的請求 |
| 503 | Service Unavailable | 由于超載或系統(tǒng)維護，服務器暫時的無法處理客戶端的請求。延時的長度可包含在服務器的Retry-After頭信息中 |
| 504 | Gateway Time-out | 充當網(wǎng)關(guān)或代理的服務器，未及時從遠端服務器獲取請求 |
| 505 | HTTP Version not supported | 服務器不支持請求的HTTP協(xié)議的版本，無法完成處理 |
| 506 | Variant Also Negotiates | 由《透明內(nèi)容協(xié)商協(xié)議》（RFC 2295）擴展，代表服務器存在內(nèi)部配置錯誤：被請求的協(xié)商變元資源被配置為在透明內(nèi)容協(xié)商中使用自己，因此在一個協(xié)商處理中不是一個合適的重點。 |
| 507 | Insufficient Storage | 服務器無法存儲完成請求所必須的內(nèi)容。這個狀況被認為是臨時的。WebDAV (RFC 4918) |
| 509 | Bandwidth Limit Exceeded | 服務器達到帶寬限制。這不是一個官方的狀態(tài)碼，但是仍被廣泛使用。 |
| 510 | Not Extended | 獲取資源所需要的策略并沒有被滿足。（RFC 2774） |
| 600 | Unparseable Response Headers | 源站沒有返回響應頭部，只返回實體內(nèi)容 |
參考文獻：HTTP狀態(tài)碼 | 菜鳥教程
