如何在nginx中限制惡意網絡爬蟲抓取內容呢？也就是限制下惡意爬蟲的抓取頻率。下面來一起看看。
今天在微博發現@金榮葉 的處理方法很靈活，可以動態設定一個爬蟲的頻率，達到減輕服務器負載，并且不至于封殺爬蟲。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#全局配置limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;#某個server中limit_req zone=anti_spider burst=30 nodelay;if ($http_user_agent ~* “xxspider|xxbot”) {set $anti_spider $http_user_agent;} |
超過設置的限定頻率，就會給spider一個503。
總結
以上就是nginx修改配置限制惡意爬蟲頻率的全部內容，希望對大家的工作和學習能有所幫助，如果有疑問可以留言交流。
