把熔岩热度做成横截面因子:去极值、标准化与换手对照的 Python 走读

简介: 熔岩(Lava)的日频历史面板 `GET /panel/daily`(MCP 工具 `get_stock_heat_panel`)按自然日给出个股的 `mentions`、`agencies`、`weighted_heat` 与 `is_first_mention_day`。这些是原始计数,直接丢进多因子框架会遇到三个老问题:分布极度右偏、少数大票把截面拉成长尾、热度和换手天然相关。本文用一段可以逐格运行的 Python 伪客户端,把面板数据加工成「每个交易日一列、可横向比较」的热度因子:先取数、再变换、再去极值、再标准化,最后用你自己的换手率做对照残差。代码里的地址与令牌都是占位符,所有数字

摘要

熔岩(Lava)的日频历史面板 GET /panel/daily(MCP 工具 get_stock_heat_panel)按自然日给出个股的 mentions、agencies、weighted_heat 与 is_first_mention_day。这些是原始计数,直接丢进多因子框架会遇到三个老问题:分布极度右偏、少数大票把截面拉成长尾、热度和换手天然相关。本文用一段可以逐格运行的 Python 伪客户端,把面板数据加工成「每个交易日一列、可横向比较」的热度因子:先取数、再变换、再去极值、再标准化,最后用你自己的换手率做对照残差。代码里的地址与令牌都是占位符,所有数字均为示例,不对应任何真实标的。

先说清楚:原料来自哪块数据

熔岩把消息面数据分成几个板块,因子加工只用到其中一部分,其余用来做口径核对:

熔岩数据板块 本文用到的接口 / MCP 工具 在因子流程中的角色
个股热度(日频历史) /panel/daily · get_stock_heat_panel 主原料:mentions、agencies、weighted_heat
全市场热度 /hot/stocks · get_market_hot_stocks 抽查:盘中截面是否与日频方向一致
概念板块 /concepts/by-stock · get_stock_concept_heat 可选:给股票打概念标签做组内标准化
机构/大V(含 PIT) /agencies/pit · get_agency_pit 口径提醒:面板的 weighted_heat 不是当日 PIT

面板参数按 OpenAPI:type(默认 stock,也可 concept)、codes(逗号分隔,单次最多 20 个代码)或 stock_name、from 与 to(自然日,to 默认今天,默认回看 90 天,区间最长 92 天)。超出上限会返回 400,不计费。换手率、成交额、交易日历都不在熔岩里,需要你自有的行情库提供。

第 1 格:占位客户端与分批取数

先写一个最小的只读客户端。BASE 与 TOKEN 用占位值,实际运行时从环境变量读取;成功调用按次计费(每次 0.005 元,非 2xx 不计费),所以分批循环里不要重复拉同一组。

# cell_1_client.py —— 示例,地址与令牌均为占位
import os, time, requests, pandas as pd

BASE = os.environ.get("LAVA_BASE", "<YOUR_LAVA_BASE>/subscribe/v1")
TOKEN = os.environ.get("LAVA_API_KEY", "<YOUR_TOKEN>")
H = {
   "Authorization": "Bearer " + TOKEN}

def get_panel(codes, start, end):
    """codes ≤ 20;start/end 为自然日,区间 ≤ 92 天"""
    assert len(codes) <= 20
    r = requests.get(
        BASE + "/panel/daily",
        params={
   "type": "stock", "codes": ",".join(codes),
                "from": start, "to": end},
        headers=H, timeout=60,
    ).json()
    if not r.get("ok"):
        raise RuntimeError(r.get("code"))
    rows = r["data"] if isinstance(r["data"], list) else r["data"].get("list", [])
    return pd.DataFrame(rows), r["meta"]["server_time"]

def pull_universe(codes, start, end):
    frames = []
    for i in range(0, len(codes), 20):
        df, ts = get_panel(codes[i:i + 20], start, end)
        df["fetched_at"] = ts
        frames.append(df)
        time.sleep(0.5)  # 礼貌间隔,示例值
    return pd.concat(frames, ignore_index=True)

两点注意。第一,返回行里日期与代码的列名以 OpenAPI 为准,下文统一假设为 date 与 ts_code,落地前请先打印一行核对。第二,to 若等于今天,当天还没结束,这一行是未完结日,做日频因子时应剔除。

第 2 格:自然日折到交易日

面板是自然日,因子表是交易日。周末与节假日的讨论如果直接按日期 join,会凭空丢掉;盘后讨论如果算进当天,又会提前使用信息。最简单的稳妥口径是「非交易日累加到下一个交易日」:

# cell_2_calendar.py —— 示例
def to_trade_day(panel, trade_days):
    """trade_days: 你自有的 A 股交易日列表(升序)"""
    td = pd.Series(pd.to_datetime(trade_days)).sort_values()
    panel = panel.copy()
    panel["date"] = pd.to_datetime(panel["date"])
    idx = td.searchsorted(panel["date"], side="left")
    panel = panel[idx < len(td)]
    panel["trade_day"] = td.values[idx[idx < len(td)]]
    agg = {
   "mentions": "sum", "agencies": "max", "weighted_heat": "sum"}
    return panel.groupby(["trade_day", "ts_code"], as_index=False).agg(agg)

agencies 用 max 而不是 sum,是因为跨日加总会重复计同一主体;若要精确的去重覆盖数,应改用 /coverage/stocks(get_agency_coverage)的 7/30 日去重计数,它只给计数,不给机构编号。若研究要求严格以当天 15:00 为界,另需逐小时或 PIT 截面,日频面板做不到小时级切分。

第 3 格:变换与去极值

提及数是计数型变量,截面上常见「中位数个位数、头部上千」的形态。先做 log1p,再去极值,顺序不能反:在原始尺度上按百分位截尾,会把大量中等热度的股票压成同一个值。

两种常用的去极值方法:

方法 规则(每个交易日截面内) 适用情形
百分位截尾 低于 1% 分位记为 1% 分位,高于 99% 分位记为 99% 分位 样本数较大、尾部不太离谱
MAD 截尾 以中位数 med 为中心,上下界为 med ± k × 1.4826 × MAD,k 常取 3~5 尾部很厚、零值很多
# cell_3_winsor.py —— 示例
import numpy as np

def mad_clip(s, k=5.0):
    med = s.median()
    mad = (s - med).abs().median()
    if mad == 0:                       # 大量零值时 MAD 可能为 0
        return s.clip(s.quantile(0.01), s.quantile(0.99))
    lo, hi = med - k * 1.4826 * mad, med + k * 1.4826 * mad
    return s.clip(lo, hi)

def transform(day_df, col):
    x = np.log1p(day_df[col].astype(float))
    return mad_clip(x)

mad == 0 的退路很重要。冷门股集中、讨论稀少的交易日里,超过一半股票的提及可能为 0,此时 MAD 为 0,上下界会塌成一个点。示例退路是改用百分位截尾,你也可以只在非零子样本上估计 MAD。

第 4 格:横截面标准化

去极值后在每个交易日内做 z 分:(x - mean) / std。也可以用排名分位代替,二者的取舍见下表。

# cell_4_zscore.py —— 示例
def xsection_z(df, col):
    out = []
    for d, g in df.groupby("trade_day"):
        x = transform(g, col)
        sd = x.std(ddof=0)
        z = (x - x.mean()) / sd if sd > 0 else x * 0.0
        out.append(pd.DataFrame({
   "trade_day": d, "ts_code": g["ts_code"],
                                 f"{col}_z": z.values}))
    return pd.concat(out, ignore_index=True)
做法 优点 代价
截面 z 分 保留距离信息,便于线性合成 对剩余尾部仍敏感
截面排名分位 对极值完全免疫 丢掉幅度,并列值多时分辨率低
组内 z 分(按概念或行业) 消除板块整体冷热 分组标签需本地维护,组小则不稳

注意,熔岩榜单接口自带的 heat_z20 是「相对自身近 20 日日均」的时间序列 z 分,回答的是「这只股票比它自己平常热多少」;本节做的是截面 z 分,回答的是「同一天里它比别的股票热多少」。两者都有用,但不能混成一列。若想做组内标准化,概念标签可以从 /concepts/by-stock 取,概念名需按返回值精确保存。

第 5 格:换手对照残差

热度高的股票往往换手也高,相关来源可能是同一事件,也可能只是大票本身流动性好。为了看「换手解释不了的那部分热度」,在每个截面上用换手 z 分对热度 z 分做一元回归,取残差:

# cell_5_resid.py —— 示例;turnover 来自你自有行情库
def resid_vs_turnover(heat_z, turn_z):
    df = heat_z.merge(turn_z, on=["trade_day", "ts_code"], how="inner")
    res = []
    for d, g in df.groupby("trade_day"):
        x, y = g["turnover_z"].values, g["mentions_z"].values
        if len(g) < 30 or x.std() == 0:
            continue                    # 样本太少不估,示例阈值
        b = np.cov(x, y, ddof=0)[0, 1] / x.var()
        a = y.mean() - b * x.mean()
        res.append(pd.DataFrame({
   "trade_day": d, "ts_code": g["ts_code"],
                                 "heat_resid": y - (a + b * x)}))
    return pd.concat(res, ignore_index=True)

示例:某交易日截面 800 只股票,mentions_z 与 turnover_z 的相关系数为 0.45(示例数字)。回归后残差与换手的截面相关接近 0,残差列保留的是「同等换手水平下讨论更多或更少」的部分。这只是一个统计分解,残差大不代表任何方向含义。

第 6 格:落盘与口径标签

最后把每一列的来源写进表头或元数据,而不是只存数字:

  • 原料:/panel/daily,type=stock,from/to,取数 meta.server_time;
  • 日期口径:自然日累加到下一交易日;当天未完结日已剔除;
  • 变换:log1p → MAD 截尾(k=5)→ 截面 z 分;
  • weighted_heat 标注「当前机构分口径,非 PIT」,严格回测改用 /hot/weighted 的 as_of_date 截面或 /agencies/pit 本地重算;
  • 换手对照:残差列注明回归样本数下限与行情来源。

有了这些标签,三个月后复查时才能说清某一天的因子值是怎么来的。

常见问题

Q:mentions、agencies、weighted_heat 应该各做一列,还是合成一列?
A:建议先各自完成去极值与标准化,再观察三者截面相关。weighted_heat 依赖机构分,且是当前分口径;在没有 PIT 版本之前,回测里单独成列并加标签更安全。

Q:面板缺行应该补 0 吗?
A:缺行与 0 是否等价以 OpenAPI 为准。稳妥做法是:只有当代码在请求列表内、且接口成功返回时,缺失日才按 0 处理,并单独记一列「补零标记」。

Q:截面样本太少时怎么办?
A:每次最多 20 个代码,股票池大时需要分批拉取。若某天成功返回的样本不足(示例阈值 30),宁可当天不出因子值,也不要在小样本上估计均值与标准差。

Q:可以直接用 heat_z20 代替截面 z 分吗?
A:不可以直接替代。heat_z20 是相对自身历史的偏离,截面 z 分是同日相对位置,研究问题不同。

结论

把熔岩热度做成横截面因子,核心步骤只有五步:按 20 个代码一批从 /panel/daily 取自然日数据,折到交易日并剔除未完结日,log1p 后用 MAD 或百分位去极值,在每个交易日内标准化,最后用自有换手率取对照残差。每一步都要把参数和口径标签一起落盘,尤其是 weighted_heat 的非 PIT 属性。这样得到的是一张可复现的统计特征表,后续怎样评估,由你自己的研究框架决定。

数据来自熔岩消息面热度监测,仅供研究参考,不构成投资建议。

MCP 接入示例与工具清单见 GitHub:https://github.com/dustinliang666-blip/lava-mcp

目录
相关文章
|
20天前
|
机器学习/深度学习 人工智能 监控
熔岩AI日频热度面板MCP数据:消息面 mentions 与 weighted_heat 如何接入量化回测
介绍熔岩日频热度面板(MCP 工具 get_stock_heat_panel)的字段结构、20 个标的/92 天限制,以及把 mentions 与 weighted_heat 接入量化回测时的日期对齐、可用时间与 PIT 口径要点。
90 1
|
7天前
|
存储 缓存 人工智能
AI Agent 调用熔岩 MCP 的提示词与结果缓存清单:按更新节奏设 TTL 的 24 项检查
把熔岩(Lava)远程 MCP 接进 AI Agent 后,最常见的浪费不是调用失败,而是「同一个问题在一轮对话里被查了三次」:模型换个说法重新调用 `get_market_hot_stocks`,或者对同一只股票先后用简称和代码各查一次 `get_stock_news_heat`。熔岩的工具全部只读,成功调用按次计费,数据又各有更新节奏,因此非常适合在 Agent 侧做一层结果缓存,并在提示词里约束调用方式。本文以检查清单的形式给出 24 项要点,分为接入、缓存键、TTL、提示词、错误与计费、审计六组。TTL 数值均为示例,以你的业务节奏为准。
75 0
|
7天前
|
存储 监控 算法
用匿名 agency_id 做队列研究:稳定键、PIT 切片与不还原真名
熔岩(Lava)把讨论主体统一表示为匿名的 `agency_id`(格式示例:`AG0123456789AB`,仅说明形态,不是可查询的真实编号)。机构/大V 板块提供当前排行 `/agencies/ranking`、PIT 截面 `/agencies/pit`、单主体历史 `/agencies/{agency_id}/history` 和已发布日期 `/agencies/dates`(MCP 工具分别为 `get_agency_ranking`、`get_agency_pit`、`get_agency_history`、`list_agency_pit_dates`)。本文说明如何把 `ag
47 0
|
7天前
申万行业热度不能替代熔岩概念热度:用 /hot/concepts 与 /concepts/stocks 做交叉观察
申万行业是一套常用的行业分类;熔岩(Lava)的概念板块则是消息面热度里的概念主题,来自 `GET /hot/concepts`、`/concepts/stocks`、`/concepts/by-stock`(MCP 工具分别为 `get_market_hot_concepts`、`get_concept_stock_heat`、`get_stock_concept_heat`)。两者都可以按「一组股票」去观察讨论,但分类依据不同,不能互相替代。本文说明如何在本地保留申万行业标签的同时,用熔岩概念接口做交叉观察,以及概念名必须精确匹配的约束。只读监测与研究用途,不给出标的名单。
62 0
|
7天前
熔岩加权热榜 as_of_date 与 15:00 截稿:给回测用的 PIT 口径
熔岩(Lava)加权热榜 `GET /hot/weighted`(MCP 工具 `get_weighted_hot_stocks`)把达标机构/大V 的每次提及按「分数 ÷ 1000」累加,得到 `weighted_heat`。它和全市场原始热榜不同:默认只看 `min_score=1050`(约前 10%)的主体,并且在传入 `as_of_date` 时采用 PIT(point-in-time)口径——分数只用当时已知数据,消息算到该日 15:00(Asia/Shanghai)。本文把计算公式、截稿规则,以及它和日频面板当前分口径、`/agencies/pit` 截面的差别写清楚。这一口径只
54 0
|
20天前
|
人工智能 Windows
熔岩AI MCP逐小时热度数据:用 /heat/windows 读懂消息面讨论的衰减曲线
介绍如何用熔岩 MCP 的 get_stock_heat_windows(/heat/windows)取近24小时逐小时数据,构造事件衰减曲线、划分形态,并用 /panel/daily 衔接更长周期。
70 0
|
20天前
|
数据采集 人工智能 JSON
熔岩 MCP 三分钟接入:在 AI 办公软件里查 A股消息面热度
熔岩 MCP 三分钟接入:拿 Key、填 Streamable HTTP 地址与 Authorization,在 AI 办公软件里查 A 股消息面热度。
146 0
|
23天前
|
JSON 人工智能 API
阿里云百炼 / 自定义 MCP:把熔岩(Lava)消息面热度接到你的智能体
熔岩(Lava)提供股票与概念板块的消息面热度监测,远程 MCP / REST 只读调用,可接入阿里云百炼等支持自定义 MCP(Streamable HTTP)的智能体平台。无多空、无原文、非荐股。
94 0
|
人工智能 搜索推荐 API
用于企业AI搜索的Bocha Web Search API,给LLM提供联网搜索能力和长文本上下文
博查Web Search API是由博查提供的企业级互联网网页搜索API接口,允许开发者通过编程访问博查搜索引擎的搜索结果和相关信息,实现在应用程序或网站中集成搜索功能。该API支持近亿级网页内容搜索,适用于各类AI应用、RAG应用和AI Agent智能体的开发,解决数据安全、价格高昂和内容合规等问题。通过注册博查开发者账户、获取API KEY并调用API,开发者可以轻松集成搜索功能。
|
前端开发
大屏自适应/适配方案【详解】(echarts自适配、rem、flexible.js、vscode中px2rem插件自动计算rem)
大屏自适应/适配方案【详解】(echarts自适配、rem、flexible.js、vscode中px2rem插件自动计算rem)
2393 0

热门文章

最新文章