开发者社区> 木子昭> 正文

Java调用Python爬虫

简介: 用java调用python的爬虫程序,是一件很有意思的事情, 但解决方法大多不靠谱,作者花了两天的时间,动手实践,最终完全解决了问题 java-python Java调用Python爬虫需要解决的问题: 参数传递问题 由python脚本通过, sys.
+关注继续查看

用java调用python的爬虫程序,是一件很有意思的事情, 但解决方法大多不靠谱,作者花了两天的时间,动手实践,最终完全解决了问题


java-python

Java调用Python爬虫需要解决的问题:

参数传递问题

由python脚本通过, sys.argv[1]读取参数

依赖包的问题

用virtualenv构建虚拟环境,在虚拟环境安装所有相关依赖包, 用虚拟环境内的python解释器去执行python脚本, 可以完美解决依赖包问题

java与python数据传递

python脚本负责将爬取的内容保存为文件, 文件保存完成后, 由java程序读取文档内容

import java.io.IOException;
import java.io.File;

public class BPython {
    public static void main(String[] args) {
        // 获取当前路径
        File directory = new File("");//设定为当前文件夹
        String dirPath = directory.getAbsolutePath();//获取绝对路径
        Process proc;
        try {
            // python解释器路径
            String pyPath = "/Users/lijianzhao/.virtualenvs/py3/bin/python3";
            // python脚本文件路径
            String pyFilePath = dirPath+ "/bdindex.py";
            System.out.println(pyFilePath);
            // 传给python的参数
            String argv1 = "一人之下";
            proc = Runtime.getRuntime().exec(pyPath + " "+ pyFilePath + " " +argv1);
            proc.waitFor();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}
# coding=utf-8

import requests
from lxml import etree
import os
import sys

def getData(wd):
    # 设置用户代理头
    headers = {
        # 设置用户代理头(为狼披上羊皮)
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
    }
    # 构造目标网址
    target_url = "https://www.baidu.com/s?wd="+str(wd)
    # 获取响应
    data = requests.get(target_url, headers = headers)
    # xpath格式化
    data_etree = etree.HTML(data.content)
    # 提取数据列表
    content_list = data_etree.xpath('//div[@id="content_left"]/div[contains(@class, "result c-container")]')
    # 定义返回的字符串
    result = ""
    # 获取标题, 内容, 链接
    for content in content_list:
        result_title = "<标题>  "
        bd_title = content.xpath('.//h3/a')
        for bd_t in bd_title:
            result_title += bd_t.xpath('string(.)')

        result_content = "<内容>"
        bd_content = content.xpath('.//div[@class="c-abstract"]')
        for bd_c in bd_content:
            result_content += bd_c.xpath('string(.)')
        try:
            result_link = "<链接>"+str(list(content.xpath('.//div[@class="f13"]/a[@class="c-showurl"]/@href'))[0])
        except:
            result_link = "<链接>: 空"

        result_list = [result_title, "\n" , result_content , "\n", result_link]
        for result_l in result_list:
            result += str(result_l)
    return result


# 保存为文件
def saveDataToFile(file_name, data):
    # 建立文件夹
    if os.path.exists("./data/"):
        pass
    else:
        os.makedirs("./data/")
    with open("./data/"+file_name+".txt", "wb+") as f:
        f.write(data.encode())

def main():
    wd = ""
    print(wd)
    try:
        wd = sys.argv[1]
    except:
        pass

    if (len(wd) == 0):
        wd = "Hello"

    str_data = getData(wd)   

    saveDataToFile(wd, str_data)
    print("end")


if __name__ == '__main__':
    main()

小结

python可能是最好用的爬虫语言, 以后遇到采集数据的需求时, 可以用java直接调用python的爬虫, 人生苦短, 我用python

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Java和Python覆盖/重写函数的比较
Java和Python覆盖/重写函数的比较
80 0
Python:jpype模块调用Java函数
Python:jpype模块调用Java函数
20 0
历届真题 小朋友崇拜圈【第九届】【省赛】【C组】——【C++】【C】【Java】【Python】四种语言解法
历届真题 小朋友崇拜圈【第九届】【省赛】【C组】——【C++】【C】【Java】【Python】四种语言解法
57 0
蓝桥杯官网 试题 PREV-106 历届真题 修改数组【第十届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
蓝桥杯官网 试题 PREV-106 历届真题 修改数组【第十届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
73 0
蓝桥杯官网 试题 PREV-278 历届真题 双向排序【第十二届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
蓝桥杯官网 试题 PREV-278 历届真题 双向排序【第十二届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
139 0
蓝桥杯官网 试题 PREV-281 历届真题 时间显示【第十二届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
蓝桥杯官网 试题 PREV-281 历届真题 时间显示【第十二届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
102 0
蓝桥杯官网 试题 PREV-284 历届真题 杨辉三角形【第十二届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
蓝桥杯官网 试题 PREV-284 历届真题 杨辉三角形【第十二届】【省赛】【研究生组】【C++】【C】【Java】【Python】四种解法
282 0
浅谈C、Java与Python之间的小差异
C、Java、Python之间的小差异。变量是容器还是标签?Python的for循环为什么不一样?Python为什么不能用i++自增?C语言为什么比较快?Java的JVM是干什么的?C、Java、Python有什么区别,又有什么相似点。..................
60 0
一文速学-Python联通调用JAVA的桥梁PyJnius库详解
一文速学-Python联通调用JAVA的桥梁PyJnius库详解
155 0
+关注
木子昭
# 专注极客体验 # 享受效率生活 --- 让程序去做呗~ 程序又不会累~
文章
问答
视频
文章排行榜
最热
最新
相关课程
更多
相关电子书
更多
JAVA开发手册1.5.0
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多