中国地理区域IP库整理-阿里云开发者社区

一、前言
此文应朋友需求进行整理，内容为中国行政地理区域IP库整理第一步：根据apnic分配给中国的IPv4地址，进行whois信息筛选划分出ISP、及地域IP库，以及生成脚本。网上之前也有类似处理IP库的脚本，思路差不多，本文较深入根据IP划分成行政区域、运营商IP库及生成bind view 所需的acl ip库文件，第一步实现基础IP库还不算很准确，大家可以根据需求在修改定制。
第二步：使用whois3根据mnt-by关键字反向查询运营商IP段及运营商路由表，将第一步与第二步的IP库进行对比将差异的IP段加入完善IP库
第三步：利用生产中的DNS查询日志获取IP及view定义，使用第三方IP库查询校验结果与分配的view进行对比，如果匹配不做调整，如果不匹配，再进行人工使用多个第三方IP库查询核对，如果的确不匹配调整对应acl ip库文件。
一点整理思路，如此IP库相对比较完整、精确。有兴趣的同学可以一起进行研究，完善，交流，今天将第一步实现的脚本及简要说明。

二、ISP英文简称说明
1、cnc 联通
2、ctc 电信
3、cmn 移动
4、ctt 铁通
5、cer 教育网
6、other 其他ISP

三、脚本修改完善说明
1、对ISP及涉及文件按照规范命名
2、增加中国地理区域划分脚本，并自动生成view所需acl ip库文件
2、对whois出的netname进行筛选并找出主要ISP的名称，详见netname_isp文件
3、根据中国地理区域划分，将ISP划分成不同的区域
区域划分参考：http://baike.baidu.com/view/2304312.htm
4、202.97.128.0/18这个IP段是划分给中国后的掩码，whois时得到的adress是“address: 6 Cordelia Street”，划区域时取关键字Cordelia，这个网段大部分在山西太原联通，所以划入华北联通
5、因为whois信息筛选的address一般有三段，大多数分配给地方的IP，第一段地址都含有Beijing，所以进行区域IP筛选时，先筛选地方，最后在筛选含有北京的华北地区。

四、文件说明
1、ip_apnic：为Apanic提供的亚太地区IPv4，IPv6，AS号分配的信息表
2、cn.net：apnic分配给中国的IPv4 IP段
3、ISP IP库文件为ISP名称，例如“ctc”即为为联通的IP库文件
4、ISP IP库及所属地址描述文件，例如“cnc.address ”
5、筛选后的ISP区域IP库文件，例如“cnc_zhb”即运营商_地理区域
6、acl IP库文件, acl_cnc_zdb格式为acl_运营商_区域命名（网通_中国_东北地区）

五、脚本说明
1、whois_ip.sh 为获取中国IPv4地址段及筛选ISP脚本，这个网上有，我根据需求稍微修改了一下，内容如下

#!/bin/sh

FILE=./ip_apnic

rm -f $FILE

#rm -f cn.net UNICOM CHINANET CMNET CRTC CERNET OTHER

for ipfile in cn.net cnc ctt cmn ctt cer other

do

mv $ipfile $ipfile-$(date "+%F-%H:%M")

done

wget http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest -O $FILE

grep 'apnic|CN|ipv4|' $FILE | cut -f 4,5 -d'|'|sed -e 's/|/ /g' | while read ip cnt

do

echo $ip:$cnt

mask=$(cat << EOF | bc | tail -1

pow=32;

define log2(x) {

if (x<=1) return (pow);

pow--;

return(log2(x/2));

}

log2($cnt)

EOF)

echo $ip/$mask>> cn.net

#zone=`whois $ip@whois.apnic.net | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*:$.*$/\1/g'`

NETNAME=`whois $ip@whois.apnic.net | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*: $.*$/\1/g'| sed -e 's/-.*//g'|sed 's: ::g'`

echo "$NETNAME" >> netname

case $NETNAME in

CNC|CNCGROUP|UNICOM|Chinaunicom)

echo "$ip/$mask " >> cnc

#echo "$ip/$mask $zone" >> cnc-zone

;;

CHINANET|CHINATELECOM)

echo "$ip/$mask" >> ctc

#echo "$ip/$mask $zone" >> ctc-zone

;;

CMNET)

echo "$ip/$mask " >> cmn

#echo "$ip/$mask $zone" >> cmn-zone

;;

CRTC)

echo "$ip/$mask " >> ctt

#echo "$ip/$mask $zone" >> ctt-zone

;;

*CERNET*)

echo "$ip/$mask " >> cer

#echo "$ip/$mask $zone" >> cer-zone

;;

*)

echo "$ip/$mask" >> other

#echo "$ip/$mask $zone" >> other-zone

;;

esac

done

2、gen_china_area.sh 根据中国地理区域划分生成的区域IP库，并生成view所需的acl ip库文件

#!/bin/sh

#update date:20130307

#QQ:335623998

#generate china area ip

gen_cnc(){

FILE=$PWD/cnc

#rm -f $FILE.address

while read LINE;do

echo "$LINE"

echo -n "$LINE @ " >> $FILE.address

whois $LINE @whois.apnic.net |egrep "address|descr"|xargs echo >> $FILE.address

echo "-----------------" >> $FILE.address

sleep 1

done < $FILE

mv addtmp $FILE.address

mv addtmp $FILE.address

mv addtmp $FILE.address

mv addtmp $FILE.address

mv addtmp $FILE.address

mv addtmp $FILE.address

mv addtmp $FILE.address

sed -r -i '/-----/d' $FILE.address

#cat $FILE.address >> cnc_zhb

sed -r -i 's#@.*##g' cnc_*

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhz | awk 'BEGIN{print "acl acl_cnc_zhz '{' "}{print $1";"}END{print "'}';"}' > acl_cnc_zhz

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zxn| awk 'BEGIN{print "acl acl_cnc_zxn '{' "}{print $1";"}END{print "'}';"}' >acl_cnc_zxn

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhd | awk 'BEGIN{print "acl acl_cnc_zhd '{' "}{print $1";"}END{print "'}';"}' >acl_cnc_zhd

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhn | awk 'BEGIN{print "acl acl_cnc_zhn '{' "}{print $1";"}END{print "'}';"}' >acl_cnc_zhn

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zdb | awk 'BEGIN{print "acl acl_cnc_zdb '{' "}{print $1";"}END{print "'}';"}' >acl_cnc_zdb

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zxb | awk 'BEGIN{print "acl acl_cnc_zxb '{' "}{print $1";"}END{print "'}';"}' >acl_cnc_zxb

sort -n -t. -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhb | awk 'BEGIN{print "acl acl_cnc_zhb '{' "}{print $1";"}END{print "'}';"}' >acl_cnc_zhb

}

#其他五个运营商函数定义类似，详见脚本内容，脚本请下载http://down.51cto.com/data/873530

gen_cnc

gen_cmn

gen_ctt

gen_ctc

gen_cer

gen_other

3、whois_mb.sh 获取mnt-by关键字，为第二步处理做准备
4、主要主要根据中共区域划分生成的acl ip库文件，如果你根据运营商划分直接对筛选的ISP IP库文件（cnc ctt cer……）进行处理生成acl ip库文件即可，一般小企业DNS定义三个view（cnc，ctt，other）即可。

自动生成的acl ip文件内容

cat acl_cnc_zdb

acl acl_cnc_zdb {

1.56.0.0/13;

1.188.0.0/14;

42.4.0.0/14;

42.52.0.0/14;

42.56.0.0/14;

42.84.0.0/14;

42.176.0.0/13;

58.21.0.0/16;

58.244.0.0/15;

…略…

……

221.207.128.0/17;

221.208.0.0/14;

221.212.0.0/16;

222.160.0.0/15;

222.162.0.0/16;

222.163.0.0/19;

222.163.32.0/19;

222.163.64.0/18;

};

此文思路基本可以满足中小企业使用，还请大家指点、沟通，一起学习。

本文转自pandazhai 51CTO博客，原文链接:http://blog.51cto.com/dreamway/1250774

中国地理区域IP库整理

热门文章

最新文章

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

中国地理区域IP库整理

热门文章

最新文章

相关电子书