使用必应查询接口开发搜索工具:反查一个IP上的旁站-阿里云开发者社区

开发者社区> 技术小阿哥> 正文

使用必应查询接口开发搜索工具:反查一个IP上的旁站

简介:
+关注继续查看

一 API申请

申请地址:https://datamarket.azure.com/dataset/bing/search

当然首先要进行登陆,没有账号的话就注册一个,但是需要注意的是“国家/地区”这个地方最好别填中国大陆,填香港,台湾或者其他国家都行。

wKiom1Z3SGnAWdW6AAB81VwqqxQ954.png

订阅的时候选择第一个就行,因为一般情况下1个月查询5000次已经够用了

wKiom1Z3SKjC5ejkAACQXEvwDHA807.png

订阅完成后,点击“我的账户”,把“主帐户密钥”给记下来,待会要用

wKioL1Z3SPmRtn8AAACsvjEOr_Y180.png

wKioL1Z3SPuB9TZ0AACWJA8JRqU064.png

二 使用之前需要了解的简单概念

这里我推荐一个官网提供的调试页面:https://datamarket.azure.com/dataset/explore/bing/search

wKiom1Z3STWjDeWiAADtOrokaj0880.png

使用这个API主要需要注意以下几点:

(1请求URLhttps://api.datamarket.azure.com/Bing/Search/v1/Web

(2)几个常用参数:

i)Query 表示需要查询的内容,这里由于我们是要查一个IP上的网站,因此应该是:ip:IPName,比如:Query=’ip:180.97.161.184′

ii)$format=json 表示返回的数据格式是json

iii)$top=100 每页最多显示100条记录

iiii)$skip 表示从第几条记录开始查询,相当于翻页,查询第几页,需要和$top结合起来使用

(3)调用这个API需要使用“主帐户密钥”进行认证

Java中是这样设置的:

private String sAuth = "";  //认证
this.sAuth = "Basic " + Base64.encodeBase64String((":" + AppId).getBytes());  //认证信息
connection.setRequestProperty("Authorization", sAuth);

注:这里进行Base64加密用到了commons-codec-1.9.jar,可以去官网下载,也可以使用我这个

百度云盘链接:http://pan.baidu.com/s/1kUcGPQB

三 测试代码

package whois;

import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.Iterator;
import java.util.LinkedHashSet;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.codec.binary.Base64;

public class BingDemo {
	private String sAuth = "";  //认证
	private String query = "";  //查询旁站
	
	public BingDemo(String AppId,String ip) {
		this.sAuth = "Basic " + Base64.encodeBase64String((":" + AppId).getBytes());  //认证信息
		this.query = "Query='ip:" + ip + "'";
	}
		
	public static void main(String[] args) {
		String AppId = "你的主账户秘钥";  //API Key
		BingDemo bingDemo = new BingDemo(AppId, "180.97.161.184");
		
		Set<String> set = new LinkedHashSet<String>();
		set = bingDemo.searchDomainByBing();
		
		Iterator<String> iterator = set.iterator();
		while(iterator.hasNext()){
			System.out.println(iterator.next());
		}
	}
	
	/**
	 * 通过必应的接口查询一个IP的旁站(已去重)
	 * 
	 * @return LinkedHashSet<String>类型的集合
	 * 
	 * */
	public Set<String> searchDomainByBing(){
		Set<String> set = new LinkedHashSet<String>();  //查到的域名的有序集合
		String domains = searchDomains(0);
		String[] domainsByBing = domains.split(" ");
		for(String s : domainsByBing){
			if(!"".equals(s)){
				set.add(s);
			}
		}
		return set;		
	}
	
	/**
	 * 通过必应的接口查询一个IP的旁站的一页结果
	 * 
	 * @param skip 页数标志,每增加100相当于翻一页
	 * 
	 * @return 查到的所有结果的字符串合集(未去重)
	 * */
	public String searchDomains(int skip){
		String displayUrl = "";  //最后的域名合集
		try {
			URL url = new URL("https://api.datamarket.azure.com/Bing/Search/v1/Web?" + query 
					+ "&$format=json" + "&$top=100" + "&$skip=" + skip);
			HttpURLConnection connection = (HttpURLConnection) url.openConnection();
			connection.setRequestMethod("GET");
			connection.setConnectTimeout(10000);  //毫秒
			connection.setReadTimeout(10000);
			
			connection.setRequestProperty("Authorization", sAuth);
			
			InputStream inputStream = new BufferedInputStream(connection.getInputStream());
			BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
			String line = "";
			String reg = "\"DisplayUrl\":\"(([a-zA-Z0-9][-a-zA-Z0-9]{0,62}(\\.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+)/?.*?)?\",\"Url\":";		
			Pattern pattern = Pattern.compile(reg);
			Matcher matcher;
			while((line = reader.readLine()) != null){
				matcher = pattern.matcher(line);
				while(matcher.find()){
					displayUrl = displayUrl + matcher.group(2) + " ";
//					System.out.println(displayUrl);	
				}
			}
	
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		//说明上一页就已经结束了
		if("".equals(displayUrl))
			return displayUrl;
		//继续查询下一页
		else{
			return displayUrl + searchDomains(skip + 100);
		}
	
	}

}

四 测试结果

wKioL1Z3SgSBcCcdAACKr87Av3s789.png



本文转自 pangfc 51CTO博客,原文链接:http://blog.51cto.com/983836259/1726670,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
11963 0
一站式开发工具HaaS Studio使用说明
为了让 HaaS 开发更加“易上手”,阿里云IoT团队推出了全新的“一站式”集成开发环境HaaS Studio。HaaS Studio 是一款基于VS Code的插件,是HaaS官方的集成开发环境。
170 0
首次曝光 | 阿里数万名开发者都在使用的数据库开发工具到底长什么样?
数据管理DMS(Data Management Service)是阿里巴巴自研图形化的数据库开发工具,已服务阿里巴巴及阿里云上几十万开发者实现安全便捷的数据库访问开发工作。用户可以通过DMS实现25种常见数据库的访问研发。
906 0
首次曝光 | 阿里数万名开发者都在使用的数据库开发工具到底长什么样?
数据管理DMS(Data Management Service)是阿里巴巴自研图形化的数据库开发工具,已服务阿里巴巴及阿里云上几十万开发者实现安全便捷的数据库访问开发工作。用户可以通过DMS实现25种常见数据库的访问研发。
1346 0
使用 Chrome 开发者工具分析内存问题
使用 Chrome 开发者工具分析内存问题
15 0
13694
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载