問： discuz 論壇，不禁止百度蜘蛛爬行，服務器CPU就100%,%u8BF7教解決辦法？
不可能一直都禁止baiduspider抓取網站的啊？,云服務器問題
問：抓取頻次我已經調的很小很小了。
登錄斷開53214
答：您好， 查看現在服務器資源使用率較低，請異常時反饋工單我司協助您分析排查 ，
非常感謝您長期對我司的支持,謝謝！
問： web.config加下面的這個代碼，就沒問題了，刪除了就會cpu100
<rule name=\”Block spider\”>
<match url=\”(^robots.txt$)\” ignoreCase=\”false\” negate=\”true\” />
<conditions>
<add input=\”{HTTP_USER_AGENT}\” pattern=\”baiduspider\” ignoreCase=\”true\” />
</conditions>
<action type=\”CustomResponse\” statusCode=\”403\” statusReason=\”Forbidden\” statusDescription=\”Forbidden\” />
現在我是加了這代碼，所以cpu正常，刪除這代碼就有問題
問：www.iliema.com
答：您好，檢查了近期的網站訪問日志 ，已經較少出現百度蜘蛛大量訪問的情況，建議可以刪除攔截代碼 ，
若日志再次出現大量頻繁訪問，可以再次添加此段代碼進行攔截 ，
非常感謝您長期對我司的支持,謝謝！
問：
刪除了就會這樣，cpu100%%u3002怎么解釋？
問：
添加上就恢復正常。
問：
已經限制了百度抓取
答：您好，暫時取消屏蔽百度蜘蛛代碼,我司觀察了一會,主要是來自于59.111段的蜘蛛ip訪問較多,當前已經通過您的服務器防火墻屏蔽了59.111段的ip,現在cpu狀態正常,修改前的文件保存在web.config-bak里,我司觀察了一會,現在cpu狀態正常,非常感謝您長期對我司的支持!
問：又會這樣，cpu100%%u3002怎么解釋？
答：您好，我們分析了一下日志，主要是http://www.semrush.com/bot.html 這個蜘蛛抓取較為頻繁，目前服務器cpu已經正常了，目前這種冷門的蜘蛛還是幫您進行了屏蔽，規則在web.config中，請再觀察下，謝謝。
聲明：本網站發布的內容（圖片、視頻和文字）以原創、轉載和分享網絡內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。郵箱：3140448839@qq.com。本站原創內容未經允許不得轉載，或轉載時需注明出處：
三五互聯知識庫 »
discuz 論壇，不禁止百度蜘蛛爬行，服務器CPU就10
