1、苏宁百万级商品爬取 思路讲解 类别爬取

苏宁类别面 https://list.suning.com/

解析图.png

通过图可知，总共有N个类别，每个类别都是一个DIV区块，然后再继续分解DIV区块分析内容。我们要得到的是类别表，据图所示我们可以分析得出类别表的结构应当树形的。所以涉及的表应该是包含子节点和父节点的。初步设计图如下

解析图2.png

我们可以得到解析图2对应的 Xpath为：//*[@id="20089"]/div[2]/div[2] 。可是因为是通过ID作为唯一Key来向下找，所以我们需要先得到所有的Key值。这个方法被我放弃而选用了另外一种方式。

/html/body/div[5]/div[2].首先找到如果所示xpath对应的内容

/html/body/div[5]/div[2].png

那么如果我们想要得到下属的内容只需要增加一个后缀
/html/body/div[5]/div[2] /div
此时我们得到了所有模块的内容，那么我们接下去分析

一级.png

二级+三级.png

还是以“手机配件”为例。一级类别，二级类别、三级类别如果所示。我们又如何得到内容，然后将其变成单元行的形式插入数据库中呢？

解决方案如下
根据网页内容可知，一级类别包含着二级类别，二级类别包含着三级类别。所以我们可以采用如下方式。
首先获取所有一级类别，即解析图2.png所示内容。
一级类别 A方法
循环当前内容
1、解析内容 增加当前A级类别实体
2、循环包含的二级内容，处理
3、合并实体
二级类别 B方法
循环当前内容
1、解析内容 增加当前B级类别实体
2、循环包含的三级级内容，处理
3、返回实体给A方法
三级类别 C方法
循环当前内容
1、解析内容 增加当前C级类别实体
2、返回实体给B方法

ABC.png

代码讲解

ABC(Combine)方法
遍历InitA方法获取的内容，增加A实体后将ANode作为参数传递给InitB方法。依次类推，最后得到符合要求的实体。

    private static List<POCO_Category> CombineA_B_C()
        {
            List<POCO_Category> AList = new List<POCO_Category>();

            int idIndex = 1;
            foreach (HtmlNode xNode in InitA())
            {
                POCO_Category aModel = new POCO_Category()
                {
                    Id = ToLevelCode(idIndex),
                    PId = "000",
                    Levels = 1,
                    Code = ToLevelCode(idIndex),
                    Name = xNode.SelectSingleNode("./h2").InnerText
                };
                AList.Add(aModel);

                var blist = InitB(aModel, xNode);
                AList.AddRange(blist);
                idIndex = idIndex + blist.Count + 1;
            }

            return AList;
        }

        private static List<HtmlNode> InitA()
        {
            var url = "https://list.suning.com/#20089";
            var web = new HtmlWeb();
            var docWeb = web.Load(url);
            //var cssNodes = docWeb.DocumentNode.CssSelect(".search-main.introduce.clearfix > div").ToList();//147毫秒
            List<HtmlNode> xpathNodes = docWeb.DocumentNode.SelectNodes("/html/body/div[5]/div[2]/div").ToList();
            return xpathNodes;
        }

        private static List<POCO_Category> InitB(POCO_Category parentModel, HtmlNode node)
        {
            int idIndex = Convert.ToInt32(parentModel.Id) + 1;
            List<POCO_Category> bList = new List<POCO_Category>();

            var xNodes = node.SelectNodes("./div").ToList();
            foreach (var xNode in xNodes)
            {
                var cateModel = xNode.SelectSingleNode("./div[1]/a");
                POCO_Category bModel = new POCO_Category()
                {
                    Id = ToLevelCode(idIndex),
                    PId = parentModel.Id,
                    Code = $"{parentModel.Code}_{ToLevelCode(idIndex)}",
                    Name = cateModel.InnerText,
                    Url = $"https:{cateModel.GetAttributeValue("href")}",
                    Levels = 2
                };
                bList.Add(bModel);

                var clist = InitC(bModel, xNode.SelectSingleNode("./div[2]"));
                bList.AddRange(clist);
                idIndex = idIndex + clist.Count + 1;
            }

            return bList;
        }

        private static List<POCO_Category> InitC(POCO_Category parentModel, HtmlNode node)
        {
            int idIndex = Convert.ToInt32(parentModel.Id) + 1;
            List<POCO_Category> cList = new List<POCO_Category>();

            HtmlNodeCollection xNodes = node.SelectNodes("./a");

            if (xNodes != null && xNodes.Count > 0)
            {
                foreach (var xNode in xNodes)
                {
                    POCO_Category cModel = new POCO_Category()
                    {
                        Id = ToLevelCode(idIndex),
                        PId = parentModel.Id,
                        Code = $"{parentModel.Code}_{ToLevelCode(idIndex)}",
                        Name = xNode.InnerText,
                        Url = $"https:{xNode.GetAttributeValue("href")}",
                        Levels = 3
                    };
                    cList.Add(cModel);
                    idIndex += 1;
                }
            }

            return cList;
        }

        private static string ToLevelCode(int index)
        {
            return index.ToString("000");
        }