本文介绍如何使用机器学习技术检测一个URL是否是钓鱼网站，内容包括数据抓取、特征选择和模型训练等。
我有一个客户的邮箱最近差点被钓鱼网站骗掉。他的供应商的邮件被攻击了，然后黑客使用这个供应商的邮箱给他发了一封催款邮件，要求他支付到另一个银行账号。幸运的是，我的客户给那个供应商
打电话进行了确认因此发现了骗局。这使我意识到钓鱼攻击到处都在，我们不应当低估它的危害。
下面是一些钓鱼网站的例子，基本上他们的目的就是骗到你的登录账号和密码。这是一个仿冒Paypal的钓鱼站：
这是一个仿冒的游戏站：
1、初步分析
在Kaggle上有一些钓鱼数据集，但是为此项目我希望生成自己的数据库。我使用了两种数据源来构建钓鱼URL清单：
- 合法URL：Ebubekir Büber (github.com/ebubekirbbr)
- 钓鱼URL：phishtank.com
利用一点领域知识对这些合法和钓鱼URL进行分析，我将可以从URL中得到的信息分为以下5个类别：
URL：包含了一些线索。有些钓鱼URL是使用bit.ly等工具生成的短网址， 还有一些则是包含了额外的参数，例如：
域名：二级域名可能存在钓鱼风险。例如：
- 网络：HTTP相应头中可能包含有用的信息
- 页面：总体来说，钓鱼网站总是使用一些表单试图让你输入账号、邮件、密码等信息- Whois：域名往往是通过GoDaddy等注册商注册的
通过分析我还有以下的发现：
- 钓鱼攻击者通常会黑进合法的网站来插入钓鱼网页，而不是搭建一个独立域名进行 钓鱼攻击。虽然这会让从域名来识别钓鱼网站更困难，我理解注册商和托管商一旦 发现钓鱼网页都会迅速通知站长移除以避免对其排名的影响。这意味着我们可能会 看到被攻击的域名的注册商为空。
有些钓鱼网站可能包含恶意代码而不是直接在浏览器中载入URL。我这样操作：
- 使用https://web-capture.net这样的工具查看这些页面的截图
- 使用文本编辑器分析HTML代码
2、数据获取
我的数据抓取器的概念模型大致如下：
基本的思路是尽可能保持代码的模块化，这样我就可以在需要的时候添加新的分类。我抓取的每个页面都在本地文件存储，以便这些页面在将来不可用时有个参考依据。
我使用BeautifulSoup来提取页面信息，通过设置随机的user-agent，可以减少请求被当作bot拒绝的可能。
为了保证一致性，我也对URL进行了基本的预处理，例如移除www和结尾的斜杠。
3、探索式数据分析
学编程，上汇智网，在线编程环境，一对一助教指导。
由于抓取数据非常耗时，我决定开始我的探索式数据分析来找点感觉。在分析了1817个URL（其中包括930个钓鱼URL和887个合法URL）的特征之后，我选择使用以下15个特征：
URL Domain Network Page Whois
-------------- --------------- ------------ ---------- ---------
length len_subdomain len_cookie length w_score
special_char is_https anchors
depth form
email
password
signin
hidden
popup4、特征选择
我是用LASSO正则化来识别重要的特征。即使只用了一个小alpha值，我已经发现了5个重要的特征：
[('len', 0.0006821926601753635),
('count_s', 0.0),
('depth', 0.0),
('len_subdomain', 0.0),
('is_https', 0.0),
('len_cookie', -0.0002472539769316538),
('page_length', -2.4074484401619206e-07),
('page_num_anchor', -0.0006943876695101922),
('page_num_form', -0.0),
('page_num_email', -0.0),
('page_num_password', 0.0),
('page_num_signin', 0.0),
('page_num_hidden', -0.00041105959874092535),
('page_num_popup', -0.0),
('w_score', -0.0)]坦白说，对于w_score没起作用我有点惊讶。最终我决定使用这5个特征。
URL Domain Network Page Whois
-------- -------- ------------ --------- -------
length len_cookie length
anchors
hidden然后我使用KNN搭了一个简单的分类器作为基线。K选择3并得到了还算可以的准确率0.793：
5、模型
通过抓取我得到6906 个url，3501合法, 3455 钓鱼。不出意外的是许多钓鱼页面不可访问了：
Type #URL processed #Pages available
------- ---------------- ------------------
Legit 4,000 3,501
Phish 6,000 3,455利用这6906个样本我再次进行特征选择，筛选出同样的5个特征。最优的K还是3，很好！
下面是模型的参数：
Model Accuracy
------------------- ----------
Naive Bayes 0.757
SVC 0.760
KNN (K=3) 0.791
Log. Reg. 0.822
Decision Tree 0.836
KNN (K=3, scaled) 0.845
Random Forest 0.885原文链接：用机器学习检测钓鱼网站 — 汇智网
