采集和防止采集是一個經久不息的話題，一方面都想搞別人的東西，另一方面不想自己的東西被別人搞走。
本文介紹如何利用nginx屏蔽ip來實現防止采集，當然也可以通過iptable來實現。
1.查找要屏蔽的ip
|
1
|
awk '{print $1}' nginx.access.log |sort |uniq -c|sort -n |
nginx.access.log 為日志文件，
會到如下結果，前面是ip的訪問次數，后面是ip，很明顯我們需要把訪問次數多的ip并且不是蜘蛛的ip屏蔽掉，本例當中我們屏蔽掉
|
1
2
3
4
5
6
7
|
165.91.122.67 ... 13610 202.112.113.192 95772 180.169.22.135 337418 219.220.141.2 558378 165.91.122.67 |
2.在nginx的安裝目錄下面,新建屏蔽ip文件，命名為blockip.conf，以后新增加屏蔽ip只需編輯這個文件即可。 加入如下內容
|
1
|
deny 165.91.122.67; |
保存一下。
3.在nginx的配置文件nginx.conf中加入如下配置，可以放到http, server, location, limit_except語句塊，需要注意相對路徑，本例當中nginx.conf，blocksip.conf在同一個目錄中。
|
1
|
include blockip.conf; |
4.重啟一下nginx的服務：/usr/local/nginx/nginx -s reload 就可以生效了。
高級用法：
屏蔽ip的配置文件既可以屏蔽單個ip，也可以屏蔽ip段，或者只允許某個ip或者某個ip段訪問。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
# 屏蔽單個ip訪問deny IP; # 允許單個ip訪問allow IP; # 屏蔽所有ip訪問deny all; # 允許所有ip訪問allow all; #屏蔽整個段即從123.0.0.1到123.255.255.254訪問的命令deny 123.0.0.0/8#屏蔽IP段即從123.45.0.1到123.45.255.254訪問的命令deny 124.45.0.0/16#屏蔽IP段即從123.45.6.1到123.45.6.254訪問的命令deny 123.45.6.0/24 |
如果你想實現這樣的應用，除了幾個IP外，其他全部拒絕，
那需要你在blockip.conf中這樣寫
|
1
2
3
|
allow 1.1.1.1; allow 1.1.1.2;deny all; |
單獨網站屏蔽IP的方法，把include blocksip.conf; 放到網址對應的在server{}語句塊，
所有網站屏蔽IP的方法，把include blocksip.conf; 放到http {}語句塊。
屏蔽訪問過于頻繁的IP腳本需要根據實際的nginx log 格式,修改,取出 訪問IP 和User-Agent.
在nginx配置文件中添加一條配置
|
1
|
include ./vhost/blockip.conf; |
腳本內容:
|
1
2
3
4
5
6
7
8
9
|
#!/bin/bash nginx_home=/usr/local/webserver/nginx log_path=/usr/local/webserver/nginx/logs tail -n50000 /usr/local/webserver/nginx/logs/access.log \ |awk '{print $1,$12}' \ |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" \ |awk '{print $1}'|sort|uniq -c|sort -rn \ |awk '{if($1>1000)print "deny "$2";"}' >$nginx_home/conf/vhost/blockip.conf /etc/init.d/nginx reload |
