中国地理区域IP库整理

简介:

一、前言
   此文应朋友需求进行整理,内容为中国行政地理区域IP库整理第一步:根据apnic分配给中国的IPv4地址,进行whois信息筛选划分出ISP、及地域IP库,以及生成脚本。网上之前也有类似处理IP库的脚本,思路差不多,本文较深入根据IP划分成行政区域、运营商IP库及生成bind view 所需的acl ip库文件,第一步实现基础IP库还不算很准确,大家可以根据需求在修改定制。
 第二步:使用whois3根据mnt-by关键字反向查询运营商IP段及运营商路由表,将第一步与第二步的IP库进行对比将差异的IP段加入完善IP库
 第三步:利用生产中的DNS查询日志获取IP及view定义,使用第三方IP库查询校验结果与分配的view进行对比,如果匹配不做调整,如果不匹配,再进行人工使用多个第三方IP库查询核对,如果的确不匹配调整对应acl ip库文件。
  一点整理思路,如此IP库相对比较完整、精确。有兴趣的同学可以一起进行研究,完善,交流,今天将第一步实现的脚本及简要说明。


二、ISP英文简称说明
1、cnc   联通
2、ctc   电信
3、cmn   移动
4、ctt   铁通
5、cer   教育网
6、other 其他ISP


三、脚本修改完善说明
1、对ISP及涉及文件按照规范命名
2、增加中国地理区域划分脚本,并自动生成view所需acl ip库文件
2、对whois出的netname进行筛选并找出主要ISP的名称,详见netname_isp文件
3、根据中国地理区域划分,将ISP划分成不同的区域
  区域划分参考:
http://baike.baidu.com/view/2304312.htm
4、202.97.128.0/18这个IP段是划分给中国后的掩码,whois时得到的adress是“address:        6 Cordelia Street”,划区域时取关键字Cordelia,这个网段大部分在山西太原联通,所以划入华北联通
5、因为whois信息筛选的address一般有三段,大多数分配给地方的IP,第一段地址都含有Beijing,所以进行区域IP筛选时,先筛选地方,最后在筛选含有北京的华北地区。


四、文件说明
1、ip_apnic:为Apanic提供的亚太地区IPv4,IPv6,AS号分配的信息表
2、cn.net:apnic分配给中国的IPv4 IP段
3、ISP IP库文件为ISP名称,例如“ctc”即为为联通的IP库文件
4、ISP IP库及所属地址描述文件,例如“cnc.address ”
5、筛选后的ISP区域IP库文件,例如“cnc_zhb”即运营商_地理区域
6、acl IP库文件,  acl_cnc_zdb格式为acl_运营商_区域命名(网通_中国_东北地区)


五、脚本说明
1、whois_ip.sh 为获取中国IPv4地址段及筛选ISP脚本,这个网上有,我根据需求稍微修改了一下,内容如下


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

#!/bin/sh

FILE=./ip_apnic

rm -f $FILE

#rm -f  cn.net UNICOM  CHINANET CMNET CRTC CERNET OTHER

for ipfile in cn.net cnc   ctt  cmn ctt cer other

do

mv $ipfile  $ipfile-$(date "+%F-%H:%M")

done

wget http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest -O $FILE

grep 'apnic|CN|ipv4|' $FILE | cut -f 4,5 -d'|'|sed -e 's/|/ /g' | while read ip cnt

do

echo $ip:$cnt

mask=$(cat << EOF | bc | tail -1

pow=32;

define log2(x) {

if (x<=1) return (pow);

pow--;

return(log2(x/2));

}

log2($cnt)

EOF)

echo $ip/$mask>> cn.net

#zone=`whois $ip@whois.apnic.net | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*:\(.*\)/\1/g'`

NETNAME=`whois $ip@whois.apnic.net | sed -e '/./{H;$!d;}' -e 'x;/netnum/!d' |grep ^netname | sed -e 's/.*:      \(.*\)/\1/g'| sed -e 's/-.*//g'|sed 's: ::g'`

echo "$NETNAME" >> netname

case $NETNAME in

CNC|CNCGROUP|UNICOM|Chinaunicom)

echo "$ip/$mask " >> cnc

#echo "$ip/$mask $zone" >> cnc-zone

;;

CHINANET|CHINATELECOM)

echo "$ip/$mask" >>  ctc

#echo "$ip/$mask $zone" >> ctc-zone

;;

CMNET)

echo "$ip/$mask " >> cmn

#echo "$ip/$mask $zone" >> cmn-zone

;;

CRTC)

echo "$ip/$mask " >> ctt

#echo "$ip/$mask $zone" >> ctt-zone

;;

*CERNET*)

echo "$ip/$mask " >> cer

#echo "$ip/$mask $zone" >> cer-zone

;;

*)

echo "$ip/$mask" >> other

#echo "$ip/$mask $zone" >> other-zone

;;

esac

done




2、gen_china_area.sh 根据中国地理区域划分生成的区域IP库,并生成view所需的acl ip库文件

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

#!/bin/sh

#update date:20130307

#QQ:335623998

#generate china area ip

gen_cnc(){

FILE=$PWD/cnc

#rm -f  $FILE.address

while read LINE;do

echo "$LINE"

echo -n "$LINE @ " >> $FILE.address

whois  $LINE @whois.apnic.net |egrep "address|descr"|xargs  echo >> $FILE.address

echo  "-----------------"  >> $FILE.address

sleep 1

done < $FILE

egrep -i "Hunan|Changsha|Hubei|Wuhan|Henan|Zhenzhou|Jiangxi|Nanchang" $FILE.address > cnc_zhz

egrep -i -v "Hunan|Changsha|Hubei|Wuhan|Henan|Zhenzhou|Jiangxi|Nanchang" $FILE.address > addtmp

mv addtmp $FILE.address

egrep -i "Sichuan|Chengdu|Yunnan|Kunming|Guizhou|Guiyang|Xizang|Lasa|Chongqing" $FILE.address > cnc_zxn

egrep -i -v "Sichuan|Chengdu|Yunnan|Kunming|Guizhou|Guiyang|Xizang|Lasa|Chongqing" $FILE.address > addtmp

mv addtmp $FILE.address

egrep -i "Shandong|Jinan|Jiangsu|Suzhou|Nanjing|Anhui|hefei|Zhejiang|Ningbo|Hangzhou|Fujian|Futian|Pudong|Shanghai" $FILE.address > cnc_zhd

egrep -i -v "Shandong|Jinan|Jiangsu|Suzhou|Nanjing|Anhui|hefei|Zhejiang|Ningbo|Hangzhou|Fujian|Futian|Pudong|Shanghai" $FILE.address > addtmp

mv addtmp $FILE.address

egrep -i "Guangxi|Nanning|Guangzhou|Guangdong|Shenzhen|Hainan|Haikou" $FILE.address > cnc_zhn

egrep -i -v "Guangxi|Nanning|Guangzhou|Guangdong|Shenzhen|Hainan|Haikou" $FILE.address > addtmp

mv addtmp $FILE.address

egrep -i "Heilongjiang|Harbin|Jilin|ChangChun|Liaoning|Shenyang" $FILE.address > cnc_zdb

egrep -i -v "Heilongjiang|Harbin|Jilin|ChangChun|Liaoning|Shenyang" $FILE.address > addtmp

mv addtmp $FILE.address

egrep -i "Ningxia|Yichuan|Xinjiang|Urumqi|Qinghai|Shaanxi|Xining|Xian|Gansu|Lanzhou" $FILE.address > cnc_zxb

egrep -i -v "Ningxia|Yichuan|Xinjiang|Urumqi|Qinghai|Shaanxi|Xining|Xian|Gansu|Lanzhou" $FILE.address > addtmp

mv addtmp $FILE.address

egrep -i "Mongolia|Cordelia|Beijing|Hebei|Shijiazhuang|Tianjin|Taiyuan|Shanxi|GuangDe" $FILE.address > cnc_zhb

egrep -i -v "Mongolia|Cordelia|Beijing|Hebei|Shijiazhuang|Tianjin|Taiyuan|Shanxi|GuangDe" $FILE.address > addtmp

mv addtmp $FILE.address

sed -r -i '/-----/d' $FILE.address

#cat $FILE.address >>  cnc_zhb

sed -r -i 's#@.*##g' cnc_*

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhz | awk 'BEGIN{print "acl acl_cnc_zhz '{' "}{print $1";"}END{print "'}';"}' > acl_cnc_zhz

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4  cnc_zxn| awk 'BEGIN{print "acl acl_cnc_zxn '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zxn

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhd | awk 'BEGIN{print "acl acl_cnc_zhd '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zhd

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhn | awk 'BEGIN{print "acl acl_cnc_zhn '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zhn

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zdb | awk 'BEGIN{print "acl acl_cnc_zdb '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zdb

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zxb | awk 'BEGIN{print "acl acl_cnc_zxb '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zxb

sort -n -t.  -k 1,1 -k 2,2 -k 3,3 -k 4,4 cnc_zhb | awk 'BEGIN{print "acl acl_cnc_zhb '{' "}{print $1";"}END{print "'}';"}'  >acl_cnc_zhb

}

#其他五个运营商函数定义类似,详见脚本内容,脚本请下载http://down.51cto.com/data/873530

gen_cnc

gen_cmn

gen_ctt

gen_ctc

gen_cer

gen_other

3、whois_mb.sh 获取mnt-by关键字,为第二步处理做准备
4、主要主要根据中共区域划分生成的acl ip库文件,如果你根据运营商划分直接对筛选的ISP IP库文件(cnc ctt cer……)进行处理生成acl ip库文件即可,一般小企业DNS定义三个view(cnc,ctt,other)即可。

 自动生成的acl ip文件内容

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

cat acl_cnc_zdb

acl acl_cnc_zdb {

1.56.0.0/13;

1.188.0.0/14;

42.4.0.0/14;

42.52.0.0/14;

42.56.0.0/14;

42.84.0.0/14;

42.176.0.0/13;

58.21.0.0/16;

58.244.0.0/15;

…略…

……

221.207.128.0/17;

221.208.0.0/14;

221.212.0.0/16;

222.160.0.0/15;

222.162.0.0/16;

222.163.0.0/19;

222.163.32.0/19;

222.163.64.0/18;

};

 

 

此文思路基本可以满足中小企业使用,还请大家指点、沟通,一起学习。


本文转自pandazhai 51CTO博客,原文链接:http://blog.51cto.com/dreamway/1250774


相关文章
|
算法 JavaScript Java
使用强大的离线IP地址定位库ip2region获取城市信息
ip2region - 准确率99.9%的离线IP地址定位库,0.0x毫秒级查询,ip2region.db数据库只有数MB,提供了java、php、c、python、nodejs、golang、c#等查询绑定和Binary,B树,内存三种查询算法。
使用强大的离线IP地址定位库ip2region获取城市信息
|
数据可视化 搜索推荐 JavaScript
数据可视化大屏百度地图区域掩膜MapMask实现地图指定区域非省市县行政区显示的实战案例解析(JavaScript API GL、个性化地图定制、指定区域经纬度拾取转化)
数据可视化大屏百度地图区域掩膜MapMask实现地图指定区域非省市县行政区显示的实战案例解析(JavaScript API GL、个性化地图定制、指定区域经纬度拾取转化)
910 0
|
6月前
|
定位技术 API 数据处理
使用GIS制作静态地图和处理地理数据
使用GIS制作静态地图和处理地理数据
|
JSON 定位技术 数据格式
GeoJSON区县级地理数据信息拼接使用说明
GeoJSON区县级地理数据信息拼接使用说明
642 0
|
小程序 数据库
ivx页面(2)选择地址:省-市-区(小模块使用)+跨应用复制
ivx页面(2)选择地址:省-市-区(小模块使用)+跨应用复制
71 0
|
定位技术
无须任何数据,六十秒快速制作三维影像图用以作为城市空间格局分析的底图
无须任何数据,六十秒快速制作三维影像图用以作为城市空间格局分析的底图
122 0
|
分布式计算 安全 BI
报表统计_数据的区域分布_环境准备 | 学习笔记
快速学习报表统计_数据的区域分布_环境准备
121 0
报表统计_数据的区域分布_环境准备 | 学习笔记
html+css实战136-用户区域
html+css实战136-用户区域
103 0
html+css实战136-用户区域
|
前端开发 安全 开发者
信息区域|学习笔记
快速学习 信息区域
|
传感器 定位技术 ice
Google Earth Engine——该数据集是美国宇航局在研究环境中使用地球系统数据记录 (MEaSUREs) 计划的一部分,包括选定冰川出口区域的月平均速度图
Google Earth Engine——该数据集是美国宇航局在研究环境中使用地球系统数据记录 (MEaSUREs) 计划的一部分,包括选定冰川出口区域的月平均速度图
140 0
Google Earth Engine——该数据集是美国宇航局在研究环境中使用地球系统数据记录 (MEaSUREs) 计划的一部分,包括选定冰川出口区域的月平均速度图