1、錯誤的封禁
在百度的robots.txt的更新上,如果多次點擊“檢測并更新”就會出現(xiàn)時??梢愿?,但是又時常無法更新的問題。如此一來:不應(yīng)當(dāng)被收錄的東西,在robots.txt上禁止的被收錄了,又刪除就很正常了。那么它的問題是什么呢?并非服務(wù)器負(fù)載過度,而是因為防火墻錯誤的將部分Baiduspider列入了黑名單。
2、服務(wù)器異常
常規(guī)的服務(wù)器就不說了,大家都知道的,北上廣的一般都不錯。不過有一些特殊服務(wù)器,想必絕大多數(shù)的站長都不知道吧?例如西部數(shù)碼的“港臺服務(wù)器”就很有趣,真的是港臺的嗎?本身機房在國內(nèi),還算什么港臺?為了逃避備案而用一個港臺的IP,數(shù)據(jù)全部在國內(nèi)。
這樣有什么不好呢?我們會發(fā)現(xiàn):站點的服務(wù)器是經(jīng)過CDN的,哪怕是你上傳的一張圖片,都會顯示為“302狀態(tài)碼”,訪問速度是提升上去了,可是這樣利于SEO嗎?
3、獲取不到真實IP
規(guī)模較大的網(wǎng)站,一般都會使用CDN加速,但是有些站點不僅僅對“設(shè)備”使用了CDN加速,而且還對Spider使用了加速功能。后的結(jié)果是什么呢?如果CDN節(jié)點不穩(wěn)定,那么對網(wǎng)站spider來講,這個問題將是致命的。
很多大型站點開放CDN的原因就是容易被攻擊,這個時候如果不做“蜘蛛回源”就可想而知了。你的站點做了CDN了嗎?請登錄百度站長平臺查看一下spider是否可以抓取真實IP地址吧!
聯(lián)系我們
第一時間了解我們的新產(chǎn)品發(fā)布和最新的資訊文章。您有什么問題或要求嗎?
點擊下面,我們很樂意提供幫助。 聯(lián)系我們