分享106个ASP新闻文章源码，总有一款适合您

import os
import shutil
import time
from time import sleep
from framework.base.BaseFrame import BaseFrame
from sprider.business.DownLoad import DownLoad
from sprider.business.SeleniumTools import SeleniumTools
from sprider.business.SpriderTools import SpriderTools
from selenium import webdriver
from selenium.webdriver.common.by import By
from sprider.model.SpriderEntity import SpriderEntity
from sprider.access.SpriderAccess import SpriderAccess
sprider_name = "ASP新闻文章源码"
class CNSourceCoder:
    base_url = "http://www.downcode.com"
    base_path = "D:\\Freedom\\Sprider\\CNSource"
    sprider_count = 106
    sprider_start_count =199 #ASP新闻文章源码21是大文件 从20开始
    first_folder_name = "ASP"
    max_pager = 10  #  正在采集第31页的第9个资源，共64页资源
    word_image_count = 5  # word插入图片数量 同时也是明细采集图片和描述的数量
    page_end_number = 0
    word_content_list = []
    haved_sprider_count = 0  # 已经采集的数量
    sprider_detail_index = 0  # 明细方法采集的数量 累加
    tempFileList=[]

import os
import shutil
def void_folder(path):
    # 访问path路径下的文件或文件夹
    lst = os.listdir(path)
    # 打印每一层的文件或文件夹
    for name in lst:
        # 拼接名称，得到绝对路径，判断该文件是否符合是文件夹
        real_path = os.path.join(path, name)
        # 如果是文件夹，则打空格表示，并且递归访问下一层
        if os.path.isdir(real_path):
            # print(name)
            files = os.listdir(real_path)
            if len(files) == 0:
                print("void_folder()："+name)
                shutil.rmtree(real_path)
                endindex = len(real_path) - len(name)
                real_path = real_path[0:endindex]
                void_folder(real_path)
            else:
                void_folder(real_path)
        # 如果不是文件夹，直接打印，不再递归访问下一层
        else:
            #print(name)
            pass
def void_file(dirPath):
    dirs = os.listdir(dirPath)  # 查找该层文件夹下所有的文件及文件夹，返回列表
    for file in dirs:
        file_full_name = dirPath + '/' + file
        file_ext = os.path.splitext(file_full_name)[-1]
        if file_ext is None  or file_ext=="":
            continue
        if "rar" == str(file_ext.split(".")[1]):
            os.remove(file_full_name)
        if "zip" == str(file_ext.split(".")[1]):
            os.remove(file_full_name)
        if "gz" == str(file_ext.split(".")[1]):
            os.remove(file_full_name)
        if "tgz" == str(file_ext.split(".")[1]):
            os.remove(file_full_name)
# 查找指定文件夹下所有相同名称的文件
def search_file(dirPath, fileName):
    dirs = os.listdir(dirPath)  # 查找该层文件夹下所有的文件及文件夹，返回列表
    for currentFile in dirs:  # 遍历列表
        absPath = dirPath + '/' + currentFile
        if os.path.isdir(absPath):  # 如果是目录则递归，继续查找该目录下的文件
            search_file(absPath, fileName)
        elif currentFile == fileName:
            print(absPath)  # 文件存在，则打印该文件的绝对路径
            os.remove(absPath)

@staticmethod
    def judge_file_exist(is_check,check_times,
                         check_interval_sec,
                         check_path,check_ext,
                         temp_files=None):
        """
        检测函数
        :param is_check:是否检测True表示检测False 不检查
        :param check_times:检测次数
        :param check_interval:检测时间间隔（默认值）
        :param check_path:检测路径（默认值）
        :param chedk_ext:检测扩展名（默认值）
        :return:返回真假
        """
        if os.path.exists(check_path) is False:
            raise Exception("路径不存在...")
        if str.isdigit(str(check_times)) is False:
            raise Exception("检测次数不是数字...")
        if is_check is False:
            return True,"不进行检测" #直接执行下一步操作
        else:
            try:
                for number in range(1,int(check_times)):
                    print("正在进行第"+str(number)+"次检测...")
                    sleep(1) #延迟1s经常检测不到
                    files = os.listdir(check_path) # 读取目录下所有文件
                    tempFiles=copy.deepcopy(files)
                    if len(temp_files)==0:
                        pass
                    else:
                        #先各自去掉不合法的
                        for file in files:
                            filePath = check_path + os.sep +file
                            file_ext = os.path.splitext(filePath)[-1]
                            for e in check_ext.split("|"):
                                if e == str(file_ext.split(".")[1]).lower():
                                    tempFiles.remove(file)
                                    os.remove(filePath)
                                else:
                                    continue
                        for temp in temp_files:
                            filePath = check_path + os.sep + temp
                            if os.path.exists(filePath) is False:
                                trf= check_path + os.sep + temp.replace(".crdownload","")
                                if os.path.exists(trf):
                                    os.remove(trf)
                                temp_files.remove(temp)
                        for file in files:
                            for temp in temp_files:
                                #print(temp.temp_file_name)
                                if file==temp:
                                    # print(tempFiles)
                                    # print(file)
                                    tempFiles.remove(file)
                    file_number=len(tempFiles)
                    #print("过滤后的文件数量"+str(file_number))
                    if file_number ==0:
                        #不存在任何文件，休眠一会 继续执行下一次
                        sleep(int(check_interval_sec))  # 休眠一会
                        if number==1:
                            sleep(1)  # 延迟1s经常检测不到
                            continue
                        return False, "0个文件认定是False"
                    elif file_number==1:
                        file_name=files[0]
                        #crdownload
                        file_full_name=check_path+os.sep+file_name
                        file_ext=os.path.splitext(file_full_name)[-1]
                        if "crdownload"==str(file_ext.split(".")[1]):
                            sleep(int(check_interval_sec))  # 休眠一会
                            continue
                        if "tmp" == str(file_ext.split(".")[1]):
                            sleep(int(check_interval_sec))  # 休眠一会
                            continue
                        if "exe" == str(file_ext.split(".")[1]):
                            os.remove(file_full_name)
                            print("清理exe文件")
                            continue
                        for e in check_ext.split("|"):
                            if e == str(file_ext.split(".")[1]).lower():
                                return True,file_full_name
                            else:
                                sleep(int(check_interval_sec))  # 休眠一会
                                continue
                    else:
                        # 多个文件认定是False直接执行下一步操作
                        for file in files:
                            file_ext = str(os.path.splitext(file)[-1])
                            if file_ext == ".rar":
                                os.unlink(file)
                                print("多个文件之删除文件"+file)
                            if file_ext == ".zip":
                                os.unlink(file)
                                print("多个文件之删除文件" + file)
                            if file_ext == ".gz":
                                os.unlink(file)
                                print("多个文件之删除文件" + file)
                            if file_ext == ".tgz":
                                os.unlink(file)
                                print("多个文件之删除文件" + file)
                        return False,"多个文件认定是False"
                return False,"可能是不存在文件或者是tmp或crdownload文件"
            except Exception as e:
                BaseFrame().error("judge_file_exist Fail reason:" + str(e))
                return False
            pass