微信小程序 Spdier - OfferShow 反编译逆向(一)

简介: 文章目录微信小程序 Spdier - OfferShow 反编译逆向(一)前言一、任务说明1.尝试反编译分析出js_code参数的生成方式,用来获取token2.将小程序搜索出来的数据保存至本地excel二、微信小程序抓包 - 分析三、wxapkg反编译 - 分析1.在夜神模拟器获取微信程序员的包1.1 获取wxapkg的地址1.2 删除wxapkg文件重新生成1.3 复制w

微信小程序 Spdier - OfferShow 反编译逆向(一)

文章目录

前言

一、任务说明

1.尝试反编译分析出js_code参数的生成方式,用来获取token

2.将小程序搜索出来的数据保存至本地excel

二、微信小程序抓包 - 分析

三、wxapkg反编译 - 分析

1.在夜神模拟器获取微信程序员的包

1.1 获取wxapkg的地址

1.2 删除wxapkg文件重新生成

1.3 复制wxapkg文件至windows目录,用来反编译调试

2.使用CrackMinApp对.wxapkg文件进行反编译

3.使用微信开发者工具打开反编译好的主包开始调试

4.分析结果

四、运行结果

五、示例代码

总结


前言

本文需要使用到的工具有:
Charles抓包工具、夜神模拟器、微信开发者工具、wxapkg反编译工具CrackMinApp;
提示:需要安装好Charles和夜神模拟器并配置好App抓包环境,以及安装好微信开发者工具 / 反编译工具CrackMinApp
Charles&夜神模拟器安装教程:https://blog.csdn.net/EXIxiaozhou/article/details/127767808
微信开发者工具 / 反编译工具CrackMinApp 下载安装:https://blog.csdn.net/EXIxiaozhou/article/details/128110468
该文章涉及到App抓包以及微信小程序反编译逆向等相关的Spider技术


提示:以下是本篇文章正文内容,下面案例可供参考

一、任务说明

1.尝试反编译分析出js_code参数的生成方式,用来获取token

在这里插入图片描述

2.将小程序搜索出来的数据保存至本地excel

在这里插入图片描述

二、微信小程序抓包 - 分析

1、打开Charles抓包工具,启动模拟器,进入微信
在这里插入图片描述
2、搜索小程序offershow,打开进入,岗位搜索,输入关键词:"python"
在这里插入图片描述
3、生成token接口分析
提示:第一次打开,需要请求这个接口提交js_code参数才能拿到token,headers添加一个token即可风雨无阻
在这里插入图片描述
4、刷新token接口分析,小程序每隔一段时间会刷新token

请求该接口时,提交当天服务器返回的任意一个token,即可请求成功获得新的token;
在这里插入图片描述
下图使用postman工具模拟请求刷新token接口,Postman API测试工具 基本使用:https://blog.csdn.net/EXIxiaozhou/article/details/128333884
在这里插入图片描述
5、search_salary、根据关键词进行接口请求,
在这里插入图片描述
可以看到返回的json数据
在这里插入图片描述

三、wxapkg反编译 - 分析

1.在夜神模拟器获取微信程序员的包

1.1 获取wxapkg的地址

方式一、直接全局搜索文件后缀(.wxapkg)
点击右侧的任意处,再点击右上侧的三个点,选择搜索,输入.wxapkg
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
方法二、一般具体的文件目录地址是:/data/data/com.tencent.mm/MicroMsg/{ 一串16进制字符}/appbrand/pkg/
在这里插入图片描述

1.2 删除wxapkg文件重新生成

区分那些包是属于offershow小程序

  • 1.需要将微信的OfferShow小程序清除掉,再退出微信
  • 2.将原来已经生成的所有wxapkg文件删除
  • 3.重新登录微信,再次打开小程序再生成新的wxapkg文件
  • 4.再次打开模拟器存放wxapkg文件的目录,里面出现的wxapkg文件都属于OfferShow

1.3 复制wxapkg文件至windows目录,用来反编译调试

路径:/data/data/com.tencent.mm/MicroMsg/e8b469b0e57e32dd18d1293036fc556f/appbrand/pkg/
左侧找到windows本地目录,右侧找到模拟器存放wxapkg文件的目录,长按文件选择复制即可,全部复制;
在这里插入图片描述

2.使用CrackMinApp对.wxapkg文件进行反编译

1、将.wxapkg文件复制到CrackMinApp-master\wxapkg目录;
微信开发者工具 / 反编译工具CrackMinApp 下载安装:https://blog.csdn.net/EXIxiaozhou/article/details/128110468在这里插入图片描述
2、
将三个.wxapkg文件依次反编译,区分主包和依赖包,真正的小程序包大小1M左右,而依赖包大小2、3M甚至更多,将依赖包复制放入主包;
在这里插入图片描述
反编译之后的主包
在这里插入图片描述

3.使用微信开发者工具打开反编译好的主包开始调试

在这里插入图片描述

4.分析结果

我调试到最后,发现js_code的加密代码被隐藏了,到此结束,如果有大佬知道加密方式的话,欢迎在评论处指教,非常感谢;
我的做法是手动复制当天服务器返回的token去请求刷新token的接口,拿到最新的token去请求查询薪资的接口,最后将数据保存至xlsx;

四、运行结果

输出xlsx文件
在这里插入图片描述

五、示例代码

import os
import time
import requests
import pandas as pd


class OfferShow(object):
    def __init__(self):
        # 当天的任意token
        self.ord_token = 'eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpZCI6MTAwNDI2MSwibmlja25hbWUiOiJcdTcwZWRcdTVmYzNcdTc1MjhcdTYyMzciLCJleHAiOjE2Njk2NDY0OTEsIm9yaWdfaWF0IjoxNjY5NjQ1ODkxfQ.cWukvcTzgtQGyIVjzRT4Lr2Dcm1Y3Nnfov-bEX0QwfY'
        self.headers = {
   
            'User-Agent': 'Mozilla/5.0 (Linux; Android 7.1.2; SM-G9810 Build/QP1A.190711.020; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/92.0.4515.131 Mobile Safari/537.36 MMWEBID/5551 MicroMessenger/8.0.30.2260(0x28001E3A) WeChat/arm32 Weixin NetType/WIFI Language/zh_CN ABI/arm32 MiniProgramEnv/androidUser-Agent    Mozilla/5.0 (Linux; Android 7.1.2; SM-G9810 Build/QP1A.190711.020; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/92.0.4515.131 Mobile Safari/537.36 MMWEBID/5551 MicroMessenger/8.0.30.2260(0x28001E3A) WeChat/arm32 Weixin NetType/WIFI Language/zh_CN ABI/arm32 MiniProgramEnv/android',
            'content-type':    'application/x-www-form-urlencoded',
            'token': self.ord_token,
            'Accept-Encoding': 'gzip,compress,br,deflate'
        }
        self.xueli = ''
        self.result_file_path = 'OfferShow_salary.csv'

    def get_token(self):
        refresh_token_url = ''
        form_data = {
   
            'token': self.ord_token
        }
        token_response = requests.post(url=refresh_token_url, headers=self.headers, data=form_data)
        token = token_response.json()['data']['token']
        print("token获取成功:", token)
        return token

    def search_salary(self, keyword):
        salary_url = 
        from_data = {
   
            'content': keyword,
            'ordertype': 2,
            'search_priority': 3,
            'part_school': '',
            'xueli': self.xueli,
            'year': ''
        }
        salary_response = requests.post(url=salary_url, headers=self.headers, data=from_data)
        json_data = salary_response.json()['data']
        for item in json_data:
            content = f"{keyword},{item['id']},{item['company'].replace(',', ',')},{item['position'].replace(',', ',')}" \
                      f",{item['salary'].replace(',', ',')},{item['city'].replace(',', ',')}," \
                      f"{item['hangye'].replace(',', ',')},{item['xueli']},{item['salarytype']},{item['score']},{item['time']}"
            content = content.replace('\n', '').replace('\n', '') + '\n'
            self.csv_save(content=content)
            print("写入成功:", content, end='')

    def create_csv_file(self):
        if os.path.exists(self.result_file_path) is False:
            with open(file=self.result_file_path, mode='w', encoding='utf-8') as fis:
                fis.write('关键词,薪资ID,公司,岗位,薪资,城市,行业,学历,薪资类型,可信度,发布时间\n')

    def csv_save(self, content):
        with open(file=self.result_file_path, mode='a+', encoding='utf-8') as fis:
            fis.write(content)

    def csv_save_as_xlsx(self):
        """ 读取csv文件将结果写入xlsx """
        filename_prefix = os.path.splitext(self.result_file_path)[0]  # 切割文件路径以及后缀
        df = pd.read_csv(self.result_file_path, encoding='utf-8', dtype='object')
        df.to_excel(f"{filename_prefix}.xlsx", index=False)
        print("csv 转 xlsx 成功!\n", end='')

    def runs(self, keyword_list):
        self.create_csv_file()
        token = self.get_token()
        self.headers['token'] = token
        for keyword in keyword_list:
            self.search_salary(keyword=keyword)
            time.sleep(0.25)
        self.csv_save_as_xlsx()


if __name__ == '__main__':
    keywords_list = [
        'Python', 'Java', 'Php', 'JavaScript', 'Go', 'R语言', 'MATLAB', 'C++', 'C#', '后端', '前端', '算法', '人工智能',
        '软件测试', 'IT运维', '数据库', 'VisualBasic'
    ]  # 需要搜索的关键词
    obj = OfferShow()
    obj.runs(keywords_list)

总结

以上就是今天要讲的内容,本文仅仅简单介绍了微信小程序Spider的基本流程,也留下了一些bug,不过最后是拿到了想要的数据,关于其他的微信小程序Spider案例,请来我的主页查看;

目录
相关文章
如何快速找出文件夹里的全部带有中文&纯中文的文件
该内容是一篇关于使用工具批量复制文件的教程。首先提到了需要使用的工具,并提供了两个下载来源:百度网盘(提取码:qwu2)和蓝奏云(提取码:2r1z)。接着,详细介绍了操作步骤:1) 打开工具并切换到批量复制文件功能;2) 通过搜索添加文件;3) 设定查找范围和过滤条件,包括包含全部子文件夹和按命名过滤纯中文文件;4) 确认设置后执行搜索;5) 搜索完成后,可以复制或剪切找到的文件。此外,还提到可以直接将D盘拖入工具进行过滤的快捷方法。
|
消息中间件 缓存 安全
抱歉,Xposed真的可以为所欲为——终 · 庖丁解码(下)
Xposed的使用不难,API也就那些,难点是: 逆向弄清楚Hook APP的方法调用流程,怎么调,参数都是干嘛的等。 经过反复练习,逆向Hook一个普通的APP(非企业级加固)写出可用的Xposed插件早已驾轻就熟(主要是磨时间),但有一个顾虑一直萦绕心间:不知道Xposed底层的具体实现原理。Tips:Xposed通常只能 Hook java层 及 应用资源的替换,有两个实现版本:4.4前的Dalvik虚拟机实现 和 5.0后ART虚拟机实现,本文针对后者进行分析,同时搭配 Android 5.1.1_r6 源码食用。
1873 0
|
机器学习/深度学习 数据可视化 数据挖掘
R语言包管理:如何使用CRAN与Bioconductor
【8月更文挑战第28天】CRAN和Bioconductor是R语言包的两个重要来源,分别覆盖了广泛的科学计算和生物信息学领域。通过掌握CRAN和Bioconductor的包管理技巧,用户可以更加高效地利用R语言进行数据分析、统计建模和生物信息学研究。在实际应用中,建议根据具体需求选择合适的包,并合理设置镜像站点以提高下载速度。同时,定期更新和卸载不再需要的包,有助于保持R环境的整洁和高效。
|
Web App开发 Linux Android开发
Chrome谷歌浏览器的WeChat微信模拟器,既可以设置模拟很多型号的手机设备Mozilla
Chrome谷歌浏览器的WeChat微信模拟器,既可以设置模拟很多型号的手机设备Mozilla
|
小程序 JavaScript 数据安全/隐私保护
最新微信小程序反编译方法
最新微信小程序反编译方法
860 0
|
网络协议 网络架构
tcp端口转发服务器--forwardSvr
tcp端口转发服务器--forwardSvr
221 1
|
存储 前端开发 JavaScript
存储型 XSS 攻击演示(附链接)
存储型 XSS 攻击演示(附链接)
|
Java
对引用拷贝,浅拷贝,深拷贝的理解
对引用拷贝,浅拷贝,深拷贝的理解
166 0