網站11月5日通過工信部備案成功后正式上線，訪問網址：絲瓜污視頻:freedio.cn,自(zi)上線以(yi)來(lai)，網站(zhan)每天(tian)更(geng)新原創文章、每天(tian)有(you)規(gui)律(lv)的發(fa)外鏈，可是時間2個(ge)多(duo)星(xing)期過去了，百度對網站(zhan)依(yi)然沒收錄。在(zai)持(chi)續一段時間堅(jian)持(chi)還有(you)與同行朋友(you)交談(tan)之(zhi)后，覺得這(zhe)個(ge)問題(ti)可能(neng)出在(zai)站(zhan)內，所以(yi)我就一點點的來(lai)進行排(pai)查(cha)。

  首先，網(wang)站(zhan)(zhan)(zhan)(zhan)不(bu)收(shou)(shou)(shou)(shou)錄(lu)(lu)的(de)原因，總體下來大(da)概就(jiu)幾種，①文章(zhang)質量，如(ru)(ru)果全部抄襲，百(bai)(bai)度(du)不(bu)收(shou)(shou)(shou)(shou)錄(lu)(lu)完全是(shi)(shi)(shi)正(zheng)(zheng)常的(de)；②外(wai)鏈，如(ru)(ru)果沒規(gui)律發布，百(bai)(bai)度(du)認為你(ni)是(shi)(shi)(shi)作(zuo)弊，或者(zhe)用機器(qi)發的(de)，甚至當(dang)做沒意義外(wai)鏈，這個(ge)(ge)不(bu)收(shou)(shou)(shou)(shou)錄(lu)(lu)也是(shi)(shi)(shi)正(zheng)(zheng)常的(de)；③還有一個(ge)(ge)是(shi)(shi)(shi)robots.txt（以(yi)下簡稱(cheng)robots），這個(ge)(ge)robots是(shi)(shi)(shi)百(bai)(bai)度(du)搜索(suo)引擎（下稱(cheng)蜘(zhi)蛛(zhu)）進(jin)入網(wang)站(zhan)(zhan)(zhan)(zhan)第一個(ge)(ge)查(cha)看(kan)的(de)東西，當(dang)你(ni)網(wang)站(zhan)(zhan)(zhan)(zhan)不(bu)存在這個(ge)(ge)協議的(de)時(shi)(shi)候(hou)，蜘(zhi)蛛(zhu)就(jiu)在你(ni)網(wang)站(zhan)(zhan)(zhan)(zhan)內(nei)徘(pai)徊(huai)，因為他看(kan)不(bu)到你(ni)的(de)協議，他也不(bu)敢貿然(ran)去收(shou)(shou)(shou)(shou)錄(lu)(lu)你(ni)站(zhan)(zhan)(zhan)(zhan)內(nei)的(de)東西，所以(yi)此時(shi)(shi)就(jiu)會出(chu)現了(le)一個(ge)(ge)收(shou)(shou)(shou)(shou)錄(lu)(lu)審核期。蜘(zhi)蛛(zhu)進(jin)去看(kan)到了(le)robots之(zhi)后(hou)，讀(du)懂(dong)了(le)允許抓(zhua)取(qu)(qu)之(zhi)后(hou)，它是(shi)(shi)(shi)會對網(wang)站(zhan)(zhan)(zhan)(zhan)內(nei)的(de)內(nei)容進(jin)行收(shou)(shou)(shou)(shou)錄(lu)(lu)。正(zheng)(zheng)是(shi)(shi)(shi)因為這一點(dian)，我(wo)就(jiu)猜想，網(wang)站(zhan)(zhan)(zhan)(zhan)不(bu)收(shou)(shou)(shou)(shou)錄(lu)(lu)的(de)原因會不(bu)會是(shi)(shi)(shi)可能由于我(wo)設(she)置(zhi)(zhi)了(le)404頁面，而(er)沒設(she)置(zhi)(zhi)了(le)robots，導致(zhi)蜘(zhi)蛛(zhu)在讀(du)取(qu)(qu)robots時(shi)(shi)自動轉去了(le)404頁面，看(kan)不(bu)到我(wo)網(wang)站(zhan)(zhan)(zhan)(zhan)上是(shi)(shi)(shi)否允許蜘(zhi)蛛(zhu)抓(zhua)取(qu)(qu)，所以(yi)導致(zhi)蜘(zhi)蛛(zhu)在網(wang)站(zhan)(zhan)(zhan)(zhan)上不(bu)斷徘(pai)徊(huai)。

  為了驗證，在11月24日經過上傳了robots之后，網站在2小時后就開始收錄了第一個頁面，內頁絲瓜污視頻://freedio.cn/html/jgshipin/91.html ，果斷證明(ming)了(le)在設置(zhi)了(le)404頁面(mian)的(de)(de)(de)情況(kuang)下的(de)(de)(de)robots的(de)(de)(de)重要(yao)(yao)性。因為網站(zhan)上的(de)(de)(de)404錯誤頁面(mian)，會(hui)起到自動(dong)引導(dao)蜘蛛(zhu)返回的(de)(de)(de)作用，使得蜘蛛(zhu)在那里轉來轉去，所(suo)以導(dao)致網站(zhan)長時(shi)間(jian)不收錄。同時(shi)建議各(ge)位網站(zhan)在做(zuo)優化的(de)(de)(de)過程中一定(ding)要(yao)(yao)注意合理適度的(de)(de)(de)優化，必須遵(zun)循搜(sou)索引擎規則。