請高手深度分析搜索引擎蜘蛛 解開我心頭的疑團

2010-04-04 16:08?來源 wenzhou1

　　搜索引擎蜘蛛使勁的在我的網站上爬，本來是一件好事，最近我發現了雅虎在爬哪個網頁以后，我一直很納悶。因為這是我做的一個靜態網頁，忘記刪除了。網站導航和目錄里面都沒有指向這個網頁，可是雅虎蜘蛛卻在這個網頁上使勁的爬，有時候每秒爬行十幾次，4月4日的日志我檢查了下，雅虎爬了1400多次，竟然大部分時間在這個單獨頁面上，這樣子的爬行對服務器的壓力會很大。對網站收錄又沒有什么幫助，因為這個頁面沒有什么特別的內容，最近我在這個頁面上加了很多文本內容。但是即使這樣，一個搜索引擎只關注我網站的一個內頁，總不是什么好現象，請高手深度分析下，這是什么原因引起的，會帶來什么壞的后果，以待我更好的改進。

這個頁面的地址：http://www.wenzhousx.com/seo/seo.html

我做了一個和這個一樣的頁面，蜘蛛卻不來爬

http://www.coweal.com/seo/這兩個頁面一樣的原因是我剛做的時候，路徑問題沒有搞對，所以，把那個文件夾里的seo.html的文件忘了刪除，現在蜘蛛這么狠命的爬，我都不敢刪除這個文件了，刪了我怕給我一串的404

蜘蛛爬行統計：

編輯： 溫州視線