Java爬虫之利用Jsoup自制简单的搜索引擎-阿里云开发者社区

开发者社区> jclian91> 正文

Java爬虫之利用Jsoup自制简单的搜索引擎

简介:   Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
+关注继续查看

  Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为: https://jsoup.org/, 其API使用手册网址为:https://jsoup.org/apidocs/overview-summary.html .
  本次分享将实现的功能为:利用Jsoup爬取某个搜索词语(暂仅限英文)的百度百科的介绍部分,具体的功能介绍可以参考博客:Python爬虫——自制简单的搜索引擎。在上篇爬虫中我们用Python进行爬取,这次,我们将用Java来做爬虫,你没看错,就是Java.
  在Eclipse中加入Jsoup包,下载网址为:https://jsoup.org/download .
  爬虫的具体代码如下:

package baiduScrape;

/* 
 * 本爬虫主要利用Java的Jsoup包进行网络爬取
 * 本爬虫的功能: 爬取百度百科的开头介绍部分
 * 使用方法: 输入关键字(目前只支持英文)即可
 */

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.net.*;
import java.io.*;
import java.util.Scanner;

public class BaiduScrape {

    public static void main(String[] args) {
        Scanner input = new Scanner(System.in);
        String baseUrl = "https://baike.baidu.com/item/";
        String url = "";

        // 如果输入文字不是"exit",则爬取其百度百科的介绍部分,否则退出该程序
        while(true) {
            System.out.println("Enter the word(Enter 'exit' to exit):");
            url = input.nextLine();
            if(url.equals("exit")) {
                System.out.println("The program is over.");
                break;
            }
            String introduction = getContent(baseUrl+url);
            System.out.println(introduction+'\n');
        }
    }

    // getContent()函数主要实现爬取输入文字的百度百科的介绍部分
    public static String getContent(String url){
        // 利用URL解析网址
        URL urlObj = null;
        try{
            urlObj = new URL(url);

        }
        catch(MalformedURLException e){
            System.out.println("The url was malformed!");
            return "";
        }

        // URL连接
        URLConnection urlCon = null;
        try{
            urlCon = urlObj.openConnection(); // 打开URL连接
            // 将HTML内容解析成UTF-8格式
            Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);
            // 刷选需要的网页内容
            String contentText = doc.select("div.lemma-summary").first().text();
            // 利用正则表达式去掉字符串中的"[数字]"
            contentText = contentText.replaceAll("\\[\\d+\\]", "");
            return contentText;
        }catch(IOException e){
            System.out.println("There was an error connecting to the URL");
            return "";
        }

    }
}

在上述代码中,url为输入词条(暂时仅限于英文),进入while循环可一直搜索,当输入为’exit’时退出。contentText为该词条的百度百科简介的网页形式,通过正则表达式将其中的文字提取出来。代码虽然简洁,但是功能还是蛮强大的,充分说明Java也是可以做爬虫的。
  接下来是愉快的测试时间:


运行结果

  本次分享到此结束,接下来也会持续更新Jsoup方面的相关知识,欢迎大家交流~~

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
通过Flink实时构建搜索引擎的索引
1.背景介绍 搜索引擎的出现大大降低了人们寻找信息的难度,已经深入到生活与工作的方方面面,简单列举几个应用如下: 互联网搜索,如谷歌,百度等; 垂直搜索,如淘宝、天猫的商品搜索; 站内搜索,各个内容网站提供的站内搜索服务; 企业内部搜索,员工查询企业内部信息; 广告投放,根据投放上下文检索出对应的广告主和广告内容; 搜索引擎的关键是让用户找到其所需信息,其整体架构如下: 从图示可知,一个搜索引擎从大的方面来看主要包括两部分,一部分是提供在线的搜索服务,一部分要把原始数据已离线的方式建立索引,建立索引是信息可搜索的前提。
14548 0
手把手,教你用MaxCompute+OpenSearch搭建分布式搜索引擎
最近,经常有客户咨询如何低成本搭建高性能的海量数据搜索引擎,比如实现公众号检索、影讯检索等等。由于客户的数据在阿里云上,所以希望找到云上解决方案。笔者开始调研一些云上产品,很多人向我推荐了OpenSearch,所以花了点时间好好研究了下,用过之后发现效果不错,自带分词、云数据库同步功能,在研究过程中也发现了一些问题,分享给大家。
5871 0
内容搜索排序表达式的最佳实践
本文重点介绍"开放搜索"中的排序表达式的配置及特征性函数的应用
3238 0
企业级搜索公司PureDiscovery获C轮融资1000万美元
  企业级搜索公司PureDiscovery不是依赖索引和关键词搜索,它专注于语义分析技术、学习公司文件内容中所指的内涵——通过创造一个语义大脑( semantic brain)指示用户需要的数据。
970 0
统计搜索引擎的每小时抓取量及首页抓取量(第一版)
下一版,要改进为在一个AWK内统计出所有数据。 现在要六次循环,效率太差,暂时跑起来先。。 #/bin/sh log_path="xxx.log" log_self="xxx.log" key_search=("http://www.
828 0
+关注
jclian91
热爱算法,热爱技术,热爱生活,期待更好的自己与明天~
126
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载