我們經(jīng)常會發(fā)現(xiàn)搜索引擎優(yōu)化爬蟲都非常喜歡爬取首頁,以前認(rèn)為大量爬取首頁是好事,因為更新的文章經(jīng)常在首頁出現(xiàn),可以被快速收錄。現(xiàn)在看來,從局部上看是好事,但是從整體上看,爬蟲每次爬取量都是有限的,抓到一定數(shù)據(jù)量就會離開。所以許多有價值的頁面反而沒被抓取到。
在這種情況下,在站內(nèi)的某個頁面被鏈接次數(shù)越多,它被爬蟲抓取的頻率就越高,最典型的例子就是首頁。因此我們根據(jù)數(shù)據(jù),把爬蟲大量鏈接的頁面,在站內(nèi)許多地方都給nofollow掉,只留個別鏈接,保證爬蟲以前抓取它一兩次即可。這樣在被抓取數(shù)據(jù)量一定的情況下,減少了單一頁面浪費的爬蟲流量,自然增大了爬蟲爬取的頁面數(shù)量。這樣你的網(wǎng)站更新頻率自然提高。