網站11月5日通過工信部備案成功后正式上線，訪問網址：絲瓜污視頻:freedio.cn,自上線(xian)以(yi)來，網(wang)站(zhan)每(mei)天更新原創文章、每(mei)天有規律的(de)發(fa)外(wai)鏈，可是(shi)時間2個多星期(qi)過去了，百度對網(wang)站(zhan)依(yi)然沒(mei)收錄。在持續(xu)一段時間堅(jian)持還(huan)有與同行朋友交談之后(hou)，覺得這個問(wen)題可能出在站(zhan)內，所以(yi)我就一點點的(de)來進(jin)行排查(cha)。

  首先，網(wang)站(zhan)(zhan)不(bu)(bu)(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)的(de)原(yuan)因，總(zong)體(ti)下來大概就(jiu)幾(ji)種(zhong)，①文章質量，如(ru)果全部抄襲，百度(du)不(bu)(bu)(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)完全是(shi)(shi)正常的(de)；②外鏈(lian)，如(ru)果沒規律發(fa)布，百度(du)認為(wei)你(ni)(ni)是(shi)(shi)作弊，或者用(yong)機器發(fa)的(de)，甚至當做(zuo)沒意(yi)義外鏈(lian)，這個(ge)(ge)不(bu)(bu)(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)也是(shi)(shi)正常的(de)；③還有一個(ge)(ge)是(shi)(shi)robots.txt（以下簡稱robots），這個(ge)(ge)robots是(shi)(shi)百度(du)搜索引(yin)擎（下稱蜘(zhi)(zhi)蛛(zhu)）進(jin)入網(wang)站(zhan)(zhan)第一個(ge)(ge)查(cha)看(kan)的(de)東西，當你(ni)(ni)網(wang)站(zhan)(zhan)不(bu)(bu)(bu)(bu)(bu)(bu)存(cun)在這個(ge)(ge)協議的(de)時候(hou)，蜘(zhi)(zhi)蛛(zhu)就(jiu)在你(ni)(ni)網(wang)站(zhan)(zhan)內徘徊(huai)，因為(wei)他(ta)看(kan)不(bu)(bu)(bu)(bu)(bu)(bu)到(dao)(dao)你(ni)(ni)的(de)協議，他(ta)也不(bu)(bu)(bu)(bu)(bu)(bu)敢貿(mao)然(ran)去收(shou)錄(lu)(lu)你(ni)(ni)站(zhan)(zhan)內的(de)東西，所以此(ci)時就(jiu)會(hui)出現了(le)一個(ge)(ge)收(shou)錄(lu)(lu)審核期。蜘(zhi)(zhi)蛛(zhu)進(jin)去看(kan)到(dao)(dao)了(le)robots之(zhi)(zhi)后(hou)，讀(du)(du)懂(dong)了(le)允(yun)許抓(zhua)取之(zhi)(zhi)后(hou)，它是(shi)(shi)會(hui)對(dui)網(wang)站(zhan)(zhan)內的(de)內容(rong)進(jin)行收(shou)錄(lu)(lu)。正是(shi)(shi)因為(wei)這一點，我就(jiu)猜想(xiang)，網(wang)站(zhan)(zhan)不(bu)(bu)(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)的(de)原(yuan)因會(hui)不(bu)(bu)(bu)(bu)(bu)(bu)會(hui)是(shi)(shi)可能(neng)由于(yu)我設(she)置了(le)404頁面，而沒設(she)置了(le)robots，導(dao)致蜘(zhi)(zhi)蛛(zhu)在讀(du)(du)取robots時自(zi)動轉去了(le)404頁面，看(kan)不(bu)(bu)(bu)(bu)(bu)(bu)到(dao)(dao)我網(wang)站(zhan)(zhan)上(shang)是(shi)(shi)否允(yun)許蜘(zhi)(zhi)蛛(zhu)抓(zhua)取，所以導(dao)致蜘(zhi)(zhi)蛛(zhu)在網(wang)站(zhan)(zhan)上(shang)不(bu)(bu)(bu)(bu)(bu)(bu)斷徘徊(huai)。

  為了驗證，在11月24日經過上傳了robots之后，網站在2小時后就開始收錄了第一個頁面，內頁http://freedio.cn/html/jgshipin/91.html ，果斷證(zheng)明(ming)了(le)在(zai)設置了(le)404頁面的情況(kuang)下的robots的重要性。因為網(wang)站(zhan)上的404錯誤頁面，會起到自(zi)動(dong)引(yin)導(dao)蜘(zhi)蛛返回(hui)的作用(yong)，使得(de)蜘(zhi)蛛在(zai)那(nei)里(li)轉來(lai)轉去，所以導(dao)致網(wang)站(zhan)長時(shi)(shi)間不收錄。同時(shi)(shi)建議各位網(wang)站(zhan)在(zai)做優(you)化的過(guo)程中(zhong)一(yi)定要注(zhu)意合理適(shi)度的優(you)化，必(bi)須(xu)遵循搜(sou)索(suo)引(yin)擎規則。