引言
设计师的日常工作，有相当一部分时间花在“找参考”上。一个海报的构图、一组配色的灵感、一种版式的节奏，往往需要在海量作品中反复浏览、对比、沉淀。站酷和CNU视觉联盟，恰好是国内设计灵感采集的两个核心阵地：站酷聚集了大量设计师、插画师上传的原创作品，CNU则以高质量的摄影和视觉作品见长。如果能把这两个平台的作品系统地采集下来，按作者、分类、标签归档，就相当于拥有了一个随时可检索的私人灵感库。
但设计类网站的采集有其特殊性。设计师上传的原图往往被平台压缩后展示，直接保存下来的是“缩水版”；两个平台的结构差异明显，站酷的作品列表和详情页采用不同的加载逻辑，CNU则支持作品集、用户作品页、推荐页等多种入口。更关键的是，设计作品的版权属性极强，站酷海洛的条款中明确禁止任何形式的自动化抓取和聚合。因此，本文在讨论技术方案的同时，会将合规边界作为一条贯穿始终的底线。
本文将用“双站适配器 + 原图剥离 + 隧道代理 + 本地灵感库”的架构，搭建一个可供个人学习研究的灵感采集器，并集成站大爷隧道代理IP来应对高频请求下的IP限制。
一、两个站点的结构差异与采集策略
1.1 站酷：列表页 → 作品详情页 → 分页图片
站酷的作品采集遵循“两级跳转”逻辑。作品列表页的DOM中，作品卡片包裹在card-box容器内，标题链接位于a.title-content，作者信息在span.user-avatar中。列表页中会混入推广或广告卡片，这些卡片没有作者头像元素，可以通过“头像是否为空”来过滤。
进入作品详情页后，图片并非一次性全部呈现。站酷的详情页图片采用分页加载，接口形如：
https://www.zcool.com.cn/work/content/show?p=2&objectId=12735115
其中p控制页码，objectId是作品ID。这意味着采集一个作品的全部图片，需要先获取总页数，再逐页请求。
1.2 CNU：多种入口，统一解析
CNU的URL模式更加多样。根据开源项目的实践，至少支持三类入口：单作品页（/works/{id}）、用户作品页（/users/{id}）、用户推荐页（/users/recommended/{id}），且这些参数可以自由组合传入。这意味着采集器需要先根据URL类型判断入口，再决定后续的翻页和解析逻辑。
1.3 原图获取：剥离压缩后缀
两个平台都会对展示图片进行压缩。站酷和类似设计网站的图片URL通常带有尺寸或压缩标识，这些标识往往跟在@、!或_之后，删掉后缀即可访问未经压缩的高清原图。这是设计类资源采集区别于普通爬虫的关键技巧——采到的不是“能看的图”，而是“能用的图”。
二、统一灵感采集器的架构
为了同时适配两个结构不同的站点，采用适配器模式隔离差异，共享代理、调度和存储层。
┌─────────────────────────────────────────────────────────────┐
│ 调度层（任务队列） │
│ 站酷作品 / CNU作品集 / CNU用户页 → 统一任务 │
└─────────────────────────────────────────────────────────────┘
↓
┌──────────────────────────┬──────────────────────────────────┐
│ ZcoolAdapter │ CnuAdapter │
│ 列表解析 → 详情页 → │ 入口判断 → 作品页 → │
│ 分页图片接口 → 原图剥离 │ 原图剥离 │
└──────────────────────────┴──────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 代理层（站大爷隧道代理，按请求轮换IP） │
└─────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────┐
│ 存储层：按作者/站点归档 + SQLite元数据 │
│ 字段：站点、作者、标题、原图URL、标签、采集时间 │
└─────────────────────────────────────────────────────────────┘
核心设计原则：适配器只负责“找到原图URL” ，下载、去重、代理和归档由共享层统一处理。这样新增一个设计站点时，只需要实现一个新的适配器，无需改动基础设施。
三、爬虫实现：从作品链接到高清原图
3.1 环境与基础工具
pip install requests beautifulsoup4 aiohttp aiofiles pandas
3.2 站酷适配器
import requests
from bs4 import BeautifulSoup
import re
class ZcoolAdapter:
BASE = "https://www.zcool.com.cn"
def __init__(self, proxy_config):
self.proxy_config = proxy_config
self.session = requests.Session()
self.session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 Chrome/120.0.0.0",
"Referer": "https://www.zcool.com.cn/",
})
def _get(self, url, retry=3):
for i in range(retry):
try:
resp = self.session.get(
url,
proxies=self.proxy_config.get("proxies"),
timeout=15
)
if resp.status_code == 200:
return resp
except Exception:
pass
return None
def parse_list(self, list_url):
"""解析作品列表页，提取作品ID和作者"""
resp = self._get(list_url)
if not resp:
return []
soup = BeautifulSoup(resp.text, "lxml")
items = []
box = soup.find("div", class_="work-list-box")
if not box:
return items
for card in box.find_all("div", class_="card-box"):
# 过滤广告卡片：没有作者头像的跳过
if not card.find("span", class_="user-avatar"):
continue
link = card.find("a", class_="title-content")
if not link:
continue
href = link.get("href", "")
match = re.search(r"/work/ZCOOL(\d+)", href)
if match:
items.append({
"object_id": match.group(1),
"title": link.get_text(strip=True),
"work_url": self.BASE + href if href.startswith("/") else href,
})
return items
def get_work_images(self, object_id, max_pages=20):
"""逐页获取作品详情中的图片URL，并剥离压缩后缀"""
images = []
for page in range(1, max_pages + 1):
api = (
"https://www.zcool.com.cn/work/content/show"
f"?p={page}&objectId={object_id}"
)
resp = self._get(api)
if not resp:
break
soup = BeautifulSoup(resp.text, "lxml")
found = False
for img in soup.find_all("img"):
src = img.get("src") or img.get("data-original")
if src and "zcool" in src:
images.append(self._strip_compress(src))
found = True
if not found:
break
return list(dict.fromkeys(images)) # 去重
@staticmethod
def _strip_compress(url):
"""剥离URL中的压缩/尺寸后缀，还原原图"""
# 常见后缀形式：@1000w_1000h.jpg、!watermark、_1000x1000.jpg
cleaned = re.sub(r'[@!][^/]+$', '', url)
cleaned = re.sub(r'_\d+x\d+(?=\.\w+$)', '', cleaned)
return cleaned
3.3 CNU适配器
class CnuAdapter:
BASE = "https://www.cnu.cc"
def __init__(self, proxy_config):
self.proxy_config = proxy_config
self.session = requests.Session()
self.session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 Chrome/120.0.0.0",
"Referer": "https://www.cnu.cc/",
})
def _get(self, url, retry=3):
for _ in range(retry):
try:
resp = self.session.get(
url, proxies=self.proxy_config.get("proxies"), timeout=15
)
if resp.status_code == 200:
return resp
except Exception:
pass
return None
def parse_work(self, work_url):
"""解析单个CNU作品页"""
resp = self._get(work_url)
if not resp:
return []
soup = BeautifulSoup(resp.text, "lxml")
images = []
for img in soup.select(".work-content img, .content img, article img"):
src = img.get("src") or img.get("data-src")
if src:
images.append(self._strip_compress(src))
return list(dict.fromkeys(images))
def parse_user_works(self, user_url, max_pages=10):
"""解析用户作品页，遍历作品链接"""
work_links = []
for page in range(1, max_pages + 1):
url = f"{user_url}?page={page}" if page > 1 else user_url
resp = self._get(url)
if not resp:
break
soup = BeautifulSoup(resp.text, "lxml")
links = soup.select("a[href*='/works/']")
page_links = list(set(
self.BASE + a["href"] if a["href"].startswith("/") else a["href"]
for a in links
))
if not page_links:
break
work_links.extend(page_links)
return list(dict.fromkeys(work_links))
@staticmethod
def _strip_compress(url):
"""剥离CDN尺寸参数（CNU常见形式如 /!w1200.jpg）"""
return re.sub(r'/![^/]+$', '', url)
3.4 统一调度与异步下载
两个适配器输出统一的“原图URL列表”，由共享层完成下载：
import asyncio
import aiohttp
import aiofiles
import os
class InspirationHarvester:
def __init__(self, proxy_config, concurrency=10, save_root="inspiration"):
self.proxy_config = proxy_config
self.semaphore = asyncio.Semaphore(concurrency)
self.save_root = save_root
async def download(self, session, url, site, author):
"""异步下载单张原图"""
async with self.semaphore:
folder = os.path.join(self.save_root, site, author or "unknown")
os.makedirs(folder, exist_ok=True)
filename = os.path.join(folder, os.path.basename(url.split("?")[0]))
if os.path.exists(filename):
return filename
try:
async with session.get(
url,
proxy=self.proxy_config.get("proxy_url"),
timeout=aiohttp.ClientTimeout(total=30)
) as resp:
if resp.status == 200:
async with aiofiles.open(filename, "wb") as f:
async for chunk in resp.content.iter_chunked(8192):
await f.write(chunk)
return filename
except Exception:
pass
return None
async def run(self, tasks):
"""tasks: [(url, site, author), ...]"""
connector = aiohttp.TCPConnector(limit=50)
async with aiohttp.ClientSession(connector=connector) as session:
results = await asyncio.gather(*[
self.download(session, u, s, a) for u, s, a in tasks
])
return [r for r in results if r]
四、站大爷隧道代理：高频采集的“分流阀”
4.1 为什么设计灵感采集需要代理？
灵感采集的请求密度比普通爬虫更高。一个设计师可能需要采集某位作者的全部作品，每篇作品又有多个分页图片接口；如果同时跟踪多个作者，请求量会迅速累积。站酷和CNU虽然不像电商平台那样有极致风控，但对单IP的请求频率仍然敏感——短时间内大量请求详情页和图片接口，很容易触发限流。
站大爷隧道代理的核心价值在于“智能分流”：它把高并发请求分配到不同的代理节点和出口IP上，单个IP的请求流量被控制在目标网站的限制范围内，从而避免触发风控。对于设计灵感采集这种“多作者、多分页、多图片”的密集型任务，这种自动轮换能力比手动维护IP池更省心。
4.2 集成方式
在requests同步适配器中：
PROXIES = {
"http": "http://用户名:密码@tps.zdaye.com:8080",
"https": "http://用户名:密码@tps.zdaye.com:8080",
}
resp = self.session.get(url, proxies=PROXIES, timeout=15)
在aiohttp异步下载中：
PROXY_URL = "http://用户名:密码@tps.zdaye.com:8080"
async with session.get(url, proxy=PROXY_URL) as resp:
...
如果使用Proxy-Authorization头（部分接入方式需要）：
import base64
auth = base64.b64encode(b"用户名:密码").decode()
headers = {"Proxy-Authorization": f"Basic {auth}"}
站大爷隧道代理支持HTTP/HTTPS/SOCKS全协议，并具备弹性并发能力，在采集峰值期可以自动放宽并发阈值。实测场景中，使用隧道代理后采集成功率有显著提升，数据完整性也更好。对于需要精细控制轮换周期的场景，可以通过period参数设置IP更换间隔。
五、从采集到“灵感库”：归档与检索
采集本身不是目的，可检索的灵感库才是。建议按以下结构归档：
inspiration/
├── zcool/
│ ├── 作者A/
│ │ ├── {objectId}_p1.jpg
│ │ └── ...
│ └── 作者B/
├── cnu/
│ └── 摄影师X/
└── index.db # SQLite元数据
SQLite中记录每条图片的来源站点、作者、作品标题、原图URL、采集时间和本地路径。有了元数据，就可以做简单的检索：按作者筛选、按站点筛选、按采集时间回溯。如果希望更进一步，可以在采集时从作品页提取标签或分类信息，为后续的“以图找图”或风格聚类打基础。
六、合规边界：必须正视的底线
设计类资源采集的合规要求比普通数据采集更严格，原因在于作品本身是受版权保护的美术作品。
第一，站酷海洛的条款明确禁止自动化抓取。 其服务条款中写明，未经平台事先明确的书面授权，严禁使用任何形式的自动化工具、程序或脚本对平台内容、数据库、用户信息、网站结构进行扫描、抓取、复制、存储或聚合。这意味着，任何以“批量采集站酷内容”为目的的自动化行为，在平台规则层面都是不被允许的。
第二，灵感采集器的定位必须严格限定为“个人学习研究”。 采集到的作品仅供自己浏览、参考、学习构图和配色，不得二次传播、不得公开发布、不得用于任何商业项目、不得作为素材直接使用。这是设计资源采集与普通数据采集最本质的区别。
第三，控制采集规模，尊重服务器。 即使是个人使用，也应保持低频率、小批量的采集节奏，避免对目标网站造成压力。灵感采集的本质是“为自己积累参考”，而不是“搬运整个平台”。
站酷海洛条款的原文已经说得很清楚，这不是一个可以“技术上能爬就爬”的领域。本文所讨论的技术方案，适用于在平台规则允许的范围内、以个人学习为目的的小规模采集；超出这个边界的使用，技术方案本身不构成正当性。
七、常见问题与避坑
原图剥离后仍然不是最高清版本？ 部分作品的压缩规则可能更复杂，后缀形式不限于@和_。建议在浏览器开发者工具中直接打开图片链接，对比剥离前后的文件尺寸；如果剥离无效，说明该作品可能本身就没有提供更高清的原图，或者压缩逻辑在服务端而非URL层面。
站酷详情页分页什么时候停止？ 不要依赖固定页码上限。逐页请求，当某一页解析不到新的图片URL时即视为结束。这样比硬编码max_pages更稳健。
CNU用户页翻页结构不统一？ 不同入口（用户页、推荐页）的分页参数可能不同。建议先用一两个用户页面实际测试翻页URL的构造规则，再写入适配器；如果翻页参数不可靠，可以退化为只采集用户页首屏作品。
请求被限流或返回空数据？ 首先降低并发数（Semaphore从10降到3-5），然后确认隧道代理是否正常切换IP。设计类网站的风控通常不会返回明确的“封禁”提示，而是静默返回空列表或登录页，需要通过“解析结果是否为空”来间接判断。
八、总结
设计类网站灵感采集器的核心，可以概括为三个关键词：原图、适配、边界。
| 环节 | 关键做法 |
| 原图获取 | 剥离URL中的压缩/尺寸后缀，还原设计师上传的高清版本 |
| 双站适配 | 站酷走“列表→详情→分页接口”，CNU走“作品集/用户页→作品解析” |
| 高频采集 | 站大爷隧道代理自动轮换IP，摊薄单IP请求压力 |
| 灵感库 | 按站点/作者归档 + SQLite元数据，支持检索 |
| 合规底线 | 仅供个人学习研究，不传播、不商用、不搬运 |
站酷和CNU是设计灵感的富矿，但矿藏的所有权属于每一位上传作品的设计师和平台本身。技术方案的价值，在于帮助个人更高效地积累和消化灵感，而不是替代对原创的尊重。守住这条边界，灵感采集器才是一个值得长期使用的工具。
