由此我們聯想到：搜索引擎爬蟲會更加青睞內容源更新頻繁的網站。通過特定時間內對網站抓取返回的狀態碼來調節對該網站的抓取頻繁。若網站在一定時間內一直處于[304:沒有變化]的狀態，那么引擎爬蟲可能會降低對網站的抓取次數。相反，若網站變化的頻率非常之快，每次抓取都能獲取新版本，那么日積月累，爬蟲的回訪率也會提高。 無論是抓取少還是304，這都是一種現象，并不是問題的原因，假設網站返回的都是200，就能達到提升排名帶來流量的目的么？相比之下更應該思考產生304的原因是什么？改304對網站目標能夠有什么樣的效果？不能忽視整體的目標而強調過程的細節，為了200而去解決304。 304狀態是如何產生？ 服務器為了提高網站訪問速度，對之前訪問的部分頁面制定緩存機制，當客戶端在此對這些頁面進行請求，服務器會根據緩存內容判斷頁面與之前是否相同，若相同便直接返回304，此時客戶端調用緩存內容，不必進行二次下載，可以說304從某種角度起到了減少服務器帶寬并提高蜘蛛爬行效率的作用。 304狀態產生原因？ 1、頁面更新周期長或不更新 2、純靜態頁面或強制生成靜態html 304狀態處理思路？ 1、先對產生304頁面進行細分，到底是哪類頁面返回了304？這些頁面是否應該返回304？ 2、這些頁面生成的方式是怎樣的？是否有更新機制？更新機制是否符合蜘蛛對網站的抓取頻率？ 3、頁面更新區域的位置是否合理？是否位于該頁面主要內容的承載區域？ 我們論壇的 @李明亮 同學也對此情況做了分析： 304狀態碼出現過多會造成以下問題： 1、網站快照停止 2、收錄減少 3、權重下降 那么如何減少304返回碼呢？ 據我所知，首先內容更新方面要迎合百度蜘蛛，分析日志，把蜘蛛到訪的時間記錄下來，可以大致得出蜘蛛到訪的頻率，然后以此為依據，更新文章：一定是原創+轉載，不能純采集。轉載也需要最新最好的優質資源。讓蜘蛛這個點過來能有吃的。從而返回更多 200 正常碼。 其次呢，最好增加個互動版塊，現在大網站基本已經都做了這方面，比如評論、留言等，大網站更新起來變化可能會很小，但是有了這些互動，用戶會在上面發些內容，網站會有很多新的東西。如seowhy，就會把最新回復以及問題放在重要位置。 結尾 本期我們著重討論了關于頻繁返回 304 狀態以及抓取次數較少的問題，目的是為了讓網站充分的被抓取。除了以上達人分析的原因外，小編覺得引擎蜘蛛同樣也會參考網站綜合權重，對于權重高的網站抓取頻率會很頻繁，比如 Google 可能會參考 PR 值來決定網站的抓取頻率 |
