|
7月前
|
存储 消息中间件 Kafka
|

中原银行实时场景企业级解决方案

中原银行实时数据开发平台负责人杜威科在Flink Forward Asia 2024分享了银行业实时数据处理的经验。内容涵盖需求分析、解决方案、场景案例与现状展望。银行业需构建全链路、全场景的企业级实时数据平台,解决动账场景下的复杂计算需求。通过Flink+Paimon方案,实现高效更新、低成本存储与便捷查询。案例包括账户表实时更新入湖、交易协同优化、实时图应用、海量数据存储及业务人员易用性建设。未来目标是实现上千张表实时入湖,缩短延迟并探索AI结合的新场景。

262 2
来自: 实时计算 Flink  版块
|
7月前
|
计算机视觉
|

用离散标记重塑人体姿态:VQ-VAE实现关键点组合关系编码

本文探讨了基于离散标记的人体姿态表示方法,受《Human Pose As Compositional Tokens》启发,构建了一个姿态重建模型。传统方法将关键点作为独立单元处理,而本文提出将姿态表示为一组学习到的离散标记组合,通过组合编码器、VQ码本和姿态解码器实现。实验使用合成火柴人数据集,包含13个二维关键点。初始端到端训练出现“码本崩溃”问题,后采用分阶段训练策略:先预训练编码器和解码器,再引入码本训练,有效缓解了该问题。此方法捕获了关键点间的结构化关系,为姿态分析提供了新思路。

186 2
|
7月前
|
JSON 数据挖掘 API
|

深入研究:京东商品评论API详解

京东商品评论API助力电商数据分析与优化。通过该接口,开发者可获取商品评论内容、时间、评分等详细信息,以及好评率、差评率等统计数据。适用于用户体验分析、市场调研等场景。使用前需注册开发者账号、申请权限,并正确配置参数(如app_key、商品ID等)。返回数据为JSON格式,便于解析与应用。

360 10
|
7月前
|
数据采集 API 数据格式
|

Python 原生爬虫教程:京东商品详情页面数据API

本文介绍京东商品详情API在电商领域的应用价值及功能。该API通过商品ID获取详细信息,如基本信息、价格、库存、描述和用户评价等,支持HTTP请求(GET/POST),返回JSON或XML格式数据。对于商家优化策略、开发者构建应用(如比价网站)以及消费者快速了解商品均有重要意义。研究此API有助于推动电商业务创新与发展。

239 0
|
7月前
|
人工智能 搜索推荐 自然语言处理
|

大模型落地的关键:如何用 RAG 打造更智能的 AI 搜索——阿里云 AI 搜索开放平台

本文分享了大模型落地的关键:如何用阿里云 AI 搜索开放平台 打造更智能的 AI 搜索。

480 8
来自: 智能搜索推荐  版块
|
7月前
|
机器学习/深度学习 传感器 大数据
|

大数据如何化解城市交通拥堵的难题?

大数据如何化解城市交通拥堵的难题?

230 5
|
7月前
|
数据采集 存储 监控
|

实时比分更新系统的搭建

这是一套完整的实时比分更新系统方案,涵盖系统架构、扩展功能、部署策略及注意事项。通过数据获取(API与爬虫)、处理(清洗验证)、存储(Redis/MySQL)、服务(RESTful/WebSocket)和展示(Web/移动端)等层次构建,支持推送通知、数据分析和多平台扩展(小程序/Discord)。同时注重数据合法性、性能优化与用户体验,适合从个人到商业级应用。示例代码展示了比赛数据的基本处理逻辑,确保关注与计划状态的准确传递。

109 7
|
7月前
|
数据采集 机器学习/深度学习 人工智能
|

数据治理:让大数据成为真正的“金矿”

数据治理:让大数据成为真正的“金矿”

143 10
|
7月前
|
自然语言处理 并行计算 C++
|

FlashTokenizer: 基于C++的高性能分词引擎,速度可以提升8-15倍

FlashTokenizer是一款高性能CPU分词引擎,专为BERT等Transformer架构优化。基于高效C++实现与多线程并行处理,性能较传统分词器提升8-15倍,显著加速文本预处理。支持跨平台安装,适用于大规模文本处理、实时NLP应用及资源受限场景,助力开发者提升模型推理效率、降低硬件成本。

206 13
|
7月前
|
JSON 数据挖掘 API
|

1688API最新指南:商品详情接口接入与应用

本指南介绍1688商品详情接口的接入与应用,该接口可获取商品标题、价格、规格、库存等详细信息,适用于电商平台开发、数据分析等场景。接口通过商品唯一标识查询,支持HTTP GET/POST请求,返回JSON格式数据,助力开发者高效利用1688海量商品资源。

272 3
|
7月前
|
JSON 数据挖掘 API
|

京东API接口最新指南:店铺所有商品接口的接入与使用

本文介绍京东店铺商品数据接口的应用与功能。通过该接口,商家可自动化获取店铺内所有商品的详细信息,包括基本信息、销售数据及库存状态等,为营销策略制定提供数据支持。此接口采用HTTP请求(GET/POST),需携带店铺ID和授权令牌等参数,返回JSON格式数据,便于解析处理。这对于电商运营、数据分析及竞品研究具有重要价值。

423 4
|
8月前
|
机器学习/深度学习 算法 调度
|

【强化学习】基于深度强化学习的微能源网能量管理与优化策略研究【Python】

本项目基于深度Q网络(DQN)算法,通过学习预测负荷、可再生能源输出及分时电价等信息,实现微能源网的能量管理与优化。程序以能量总线模型为基础,结合强化学习理论,采用Python编写,注释清晰,复现效果佳。内容涵盖微能源网系统组成、Q学习算法原理及其实现,并提供训练奖励曲线、发电单元功率、电网交互功率和蓄电池调度等运行结果图表,便于对照文献学习与应用。

270 6
|
8月前
|
机器学习/深度学习 编解码 人工智能
|

SANA-Sprint:基于连续时间一致性蒸馏的单步扩散模型,0.1秒即可生成图像

Nvidia 提出的 SANA-Sprint 是一种混合蒸馏框架,结合连续时间一致性模型(sCM)与潜在对抗扩散蒸馏(LADD),实现快速高质量文本到图像生成。它支持 1-4 步推理,单步生成 FID 7.59、GenEval 0.74,H100 GPU 上 0.1 秒生成 1024×1024 图像,比 FLUX-Schnell 快 10 倍。通过无训练一致性变换和稳定训练技术,SANA-Sprint 克服传统方法局限,推动实时生成应用。

195 4
|
8月前
|
数据采集 存储 机器学习/深度学习
|

最新AI大模型数据集解决方案:分享两种AI高质量代码数据集生产方案

本文分享了两种构建高质量AI代码数据集的解决方案。第一种是传统方式,结合动态住宅代理与手动处理,通过分页读取和数据清洗生成结构化数据;第二种是利用Web Scraper API工具,实现自定义配置、自动化抓取及云端存储。两种方法各具优势,适合不同需求和技术水平的团队。同时,文章还提供了专属优惠福利,助力提升数据采集效率,为AI大模型训练提供支持。

276 5
|
8月前
|
人工智能 并行计算 搜索推荐
|

量子飞跃:生命科学中的量子计算应用前景

量子飞跃:生命科学中的量子计算应用前景

270 34
|
8月前
|
算法 数据可视化 调度
|

基于NSGAII的的柔性作业调度优化算法MATLAB仿真,仿真输出甘特图

本程序基于NSGA-II算法实现柔性作业调度优化,适用于多目标优化场景(如最小化完工时间、延期、机器负载及能耗)。核心代码完成任务分配与甘特图绘制,支持MATLAB 2022A运行。算法通过初始化种群、遗传操作和选择策略迭代优化调度方案,最终输出包含完工时间、延期、机器负载和能耗等关键指标的可视化结果,为制造业生产计划提供科学依据。

256 2
|
8月前
|
机器学习/深度学习 人工智能 算法
|

穿越量子边界:量子计算的伦理与社会影响

穿越量子边界:量子计算的伦理与社会影响

379 73
|
8月前
|
机器学习/深度学习 资源调度 算法
|

基于入侵野草算法的KNN分类优化matlab仿真

本程序基于入侵野草算法(IWO)优化KNN分类器,通过模拟自然界中野草的扩散与竞争过程,寻找最优特征组合和超参数。核心步骤包括初始化、繁殖、变异和选择,以提升KNN分类效果。程序在MATLAB2022A上运行,展示了优化后的分类性能。该方法适用于高维数据和复杂分类任务,显著提高了分类准确性。

138 6
|
8月前
|
负载均衡 监控 安全
|

优化HTTP代理IP安全稳定性的关键要点

随着科技发展,越来越多企业依赖HTTP代理IP。为确保其安全稳定,建议采取以下措施:选择可靠服务商、使用HTTPS加密、定期更换IP、监控可用性、设置访问控制、使用负载均衡、配置防火墙、定期更新维护及用户教育。这些方法能有效提升代理IP的安全性和稳定性。

319 59
来自: 大数据计算 MaxCompute  版块
|
8月前
|
Linux 虚拟化 Windows
|

VMware隐藏黑科技!CentOS安装这个神器效率翻倍 文件互传竟比U盘还快?

### 安装VMtools的作用及步骤 安装VMtools可以实现Windows与CentOS之间的字符串和命令粘贴、文件夹共享等操作。在CentOS中,通过VMware菜单栏选择“VMware Tools”,将下载的压缩包拷贝到`/opt`目录并解压。接着进入终端,使用`./vmware-install.pl`命令完成安装。安装后重启系统,即可实现Windows与CentOS之间的字符和文件共享。具体步骤包括解压文件、启动命令行终端、安装VMtools以及配置文件共享。

276 16
|
8月前
|
算法 数据安全/隐私保护
|

基于二次规划优化的OFDM系统PAPR抑制算法的matlab仿真

本程序基于二次规划优化的OFDM系统PAPR抑制算法,旨在降低OFDM信号的高峰均功率比(PAPR),以减少射频放大器的非线性失真并提高电源效率。通过MATLAB2022A仿真验证,核心算法通过对原始OFDM信号进行预编码,最小化最大瞬时功率,同时约束信号重构误差,确保数据完整性。完整程序运行后无水印,展示优化后的PAPR性能提升效果。

184 14
|
8月前
|
数据采集 监控 数据挖掘
|

京东、淘宝、义乌购等电商平台的Api数据分析

京东、淘宝、义乌购等电商平台的数据分析涵盖数据收集、预处理、分析及应用优化。数据来源包括数据库、日志文件和网络爬虫,通过SQL查询、日志解析和爬虫抓取获取数据。预处理阶段进行数据清洗、缺失值处理和异常值检测。分析方法包括描述性分析、对比分析、漏斗分析等,关注成交金额、转化率等关键指标。最终基于分析结果制定策略并评估效果,持续优化平台运营。

613 2
|
8月前
|
算法 数据安全/隐私保护
|

基于GARCH-Copula-CVaR模型的金融系统性风险溢出效应matlab模拟仿真

本程序基于GARCH-Copula-CVaR模型,使用MATLAB2022A仿真金融系统性风险溢出效应。核心功能包括计算违约点、资产价值波动率、信用溢价及其直方图等指标。GARCH模型用于描述资产收益波动性,Copula捕捉依赖结构,CVaR度量极端风险。完整代码无水印输出。 具体步骤:首先通过GARCH模型估计单个资产的波动性,再利用Copula方法构建多资产联合分布,最后应用CVaR评估系统性风险。程序展示了详细的运行结果和图表分析,适用于金融市场风险量化研究。

287 6
|
8月前
|
JSON 搜索推荐 API
|

淘宝商品详情优惠券API接口全攻略

淘宝商品详情优惠券API接口助力电商精准营销。通过商品ID,开发者可精准检索与特定商品相关的优惠券信息,包括面额、使用门槛、领取条件、有效期等详细数据,并实时监测优惠券状态。此接口支持个性化筛选参数,如优惠券面额范围和类型,返回JSON格式的优惠券列表及状态信息,满足数据整合、营销活动策划等需求,提升用户体验和运营效率。示例代码展示了Python调用方法,帮助快速集成。 供稿者:Taobaoapi2014

324 3
|
8月前
|
算法 API 开发者
|

1688拍立淘接口搜索相似商品的实现方法

1688推出的拍立淘图片搜索功能,允许用户通过上传图片快速找到相似商品,极大提升购物体验。该API接口支持开发者集成图像搜索功能,提供商品管理、竞品分析等服务。接口采用HTTP POST请求,上传图片并返回相似商品列表,包括名称、价格、销量等信息。Python示例代码展示了如何使用该接口进行图片搜索。供稿者:Taobaoapi2014。

205 0
|
8月前
|
并行计算 算法 新能源
|

量子计算:材料科学中的革命性创新

量子计算:材料科学中的革命性创新

385 85
|
8月前
|
自然语言处理 安全 API
|

1688 跨境属性 API 接口(1688API 系列)

1688跨境属性API助力跨境电商发展,提供商品目标市场适配、跨境物流、国际认证及语言文化属性等数据,支持HTTP GET/POST请求。开发者可通过商品ID、目标市场代码和语言参数精准获取信息,提升业务效率与精准度。示例代码展示了如何使用Python进行GET请求,获取商品跨境属性,确保数据准确可靠。

308 0
|
9月前
|
人工智能 程序员 测试技术
|

我的开源项目达成1000 star里程碑!python-office招募开源小伙伴

大家好,这里是程序员晚枫。我的首个开源项目 **python-office** 在GitHub上达到了1000星!该项目始于2022年初,旨在帮助更多人快速入门Python。历经多个里程碑,包括被开源中国推荐、发布官网和操作视频等。目前下载量已达26万+,并被评为GitCode毕业项目。未来计划包括统一代码风格、增加功能、完善文档和单元测试,以及招募开源小伙伴共同维护。欢迎感兴趣的朋友私信我:**开源**。 ![Stargazers over time](https://starchart.cc/CoderWanFeng/python-office.svg)

166 11
|
9月前
|
供应链 搜索推荐 数据可视化
|

产品经理类型 - AxureMost

B端产品经理根据其负责的产品类型和业务领域,细分为多个类别,如核心业务系统、通用服务系统、业务支撑系统、行业解决方案、商业产品、后台产品、数据产品和战略规划产品经理。每个类别有特定的职责和挑战,涵盖从构建企业核心流程系统到设计数据驱动工具,以及制定长期战略规划等不同方面。这些分类反映了他们在企业级产品开发中的独特角色和专业要求。

119 0
|
9月前
|
JSON 供应链 API
|

京东工业平台商品列表 API 接口(京东工业 API 系列)

京东工业平台的商品列表API助力企业数字化转型,提供商品名称、价格、规格等信息,支持按分类、品牌、价格范围、关键词等筛选条件精准获取商品数据。接口采用HTTP GET/POST请求,返回JSON格式数据,包含商品基本信息、价格、库存和销售情况,适用于市场调研、竞品分析及采购计划制定。示例代码展示了如何使用Python的requests库调用该API。

303 6
|
9月前
|
机器学习/深度学习 JSON 数据可视化
|

电商API接口数据与市场趋势分析的深度融合

电商API接口数据与市场趋势分析的深度融合

116 0
|
9月前
|
存储 SQL 安全
|

大数据的隐私与安全:你的一举一动,都在“裸奔”?

大数据的隐私与安全:你的一举一动,都在“裸奔”?

205 15
|
9月前
|
存储 数据采集 自然语言处理
|

集运物流公司搭建反向海淘系统的完整方案,助传统物流企业快速切入反向海淘赛道

该方案针对集运物流公司搭建反向海淘系统,涵盖系统设计、资源整合、运营策略和成功要素。通过复用现有物流仓储资源,构建从商品聚合到支付结算、物流调度的完整闭环,提供免费合箱、敏感货专线等差异化功能。整合国内外资源,优化成本结构,实现低成本高可用的技术实现,并确保合规运营。冷启动策略包括精准获客和裂变模型,盈利模式涵盖代购服务费、物流差价及增值服务。成功案例显示,物流企业可通过此方案快速切入反向海淘赛道,提升客户生命周期价值。

206 12
|
9月前
|
数据采集 运维 前端开发
|

一场始于 Selector Error 的拯救行动:企查查数据采集故障排查记

开发人员小李在使用Python爬虫从企查查抓取公司工商信息时,遇到选择器失效和动态加载内容无法解析的问题。通过分析日志和网页结构变化,发现关键数据由JavaScript动态渲染。解决方案包括引入Selenium模拟浏览器行为、配置代理IP和请求头、调整选择器,并优化代码实现。最终成功解决了数据采集问题,确保了爬虫的稳定性和可靠性。改进方案还涉及动态加载应对策略、选择器稳定性保障及代理池搭建等措施,以应对未来可能的变化。

243 3
|
9月前
|
JSON 数据挖掘 API
|

lazada商品详情接口 (lazada API系列)

Lazada 是东南亚知名电商平台,提供海量商品资源。通过其商品详情接口,开发者和商家可获取商品标题、价格、库存、描述、图片、用户评价等详细信息,助力市场竞争分析、商品优化及库存管理。接口采用 HTTP GET 请求,返回 JSON 格式的响应数据,支持 Python 等语言调用。应用场景包括竞品分析、价格趋势研究、用户评价分析及电商应用开发,为企业决策和用户体验提升提供有力支持。

308 21
|
9月前
|
机器学习/深度学习 自然语言处理 并行计算
|

Transformer 学习笔记 | Seq2Seq,Encoder-Decoder,分词器tokenizer,attention,词嵌入

本文记录了学习Transformer过程中的笔记,介绍了Seq2Seq模型及其编码器-解码器结构。Seq2Seq模型通过将输入序列转化为上下文向量,再由解码器生成输出序列,适用于机器翻译、对话系统等任务。文章详细探讨了Seq2Seq的优势与局限,如信息压缩导致的细节丢失和短期记忆限制,并引入注意力机制来解决长序列处理问题。此外,还介绍了分词器(tokenizer)的工作原理及不同类型分词器的特点,以及词嵌入和Transformer架构的基础知识。文中包含大量图表和实例,帮助理解复杂的概念。参考资料来自多个权威来源,确保内容的准确性和全面性。

696 9
|
9月前
|
SQL 人工智能 关系型数据库
|

Flink CDC YAML:面向数据集成的 API 设计

本文整理自阿里云智能集团 Flink PMC Member & Committer 徐榜江(雪尽)在 FFA 2024 分论坛的分享,涵盖四大主题:Flink CDC、YAML API、Transform + AI 和 Community。文章详细介绍了 Flink CDC 的发展历程及其优势,特别是 YAML API 的设计与实现,以及如何通过 Transform 和 AI 模型集成提升数据处理能力。最后,分享了社区动态和未来规划,欢迎更多开发者加入开源社区,共同推动 Flink CDC 的发展。

668 12
来自: 实时计算 Flink  版块
|
9月前
|
算法 测试技术
|

EvalPlanner:基于“计划-执行”双阶段的大语言模型评估框架

EvalPlanner是一种创新的大语言模型(LLM)评估算法,采用计划-执行双阶段范式,生成无约束的评估计划并执行,从而提升评估的系统性和可靠性。该系统包含评估计划、计划执行模块和最终判决三个核心组件,通过自训练循环优化计划和执行过程。EvalPlanner在多个基准测试中表现出色,特别是在数据效率和泛化能力方面,为构建高效、稳健的LLM评估模型提供了新方向。

388 13
|
10月前
|
存储 分布式计算 调度
|

Spark Master HA 主从切换过程不会影响到集群已有作业的运行, 为什么?

Spark Master 的高可用性(HA)机制确保主节点故障时,备用主节点能无缝接管集群管理,保障稳定运行。关键在于: 1. **Driver 和 Executor 独立**:任务执行不依赖 Master。 2. **应用状态保持**:备用 Master 通过 ZooKeeper 恢复集群状态。 3. **ZooKeeper 协调**:快速选举新 Master 并同步状态。 4. **容错机制**:任务可在其他 Executor 上重新调度。 这些特性保证了集群在 Master 故障时仍能正常运行。

204 7
|
10月前
|
JSON 数据挖掘 开发者
|

1688 商品评论接口系列(1688API)

1688商品评论接口助力电商数据分析与优化。通过该接口,开发者可获取指定商品的评论数据(如昵称、内容、评分等),支持情感分析和质量反馈收集。接口采用HTTP GET/POST请求,返回JSON格式数据。Python示例代码展示如何调用接口并处理响应。应用场景包括商家产品优化、客户服务提升、市场调研及电商平台数据分析。

356 7
|
10月前
|
数据采集 监控 定位技术
|

不同用户使用代理 IP,有效率千差万别的原因剖析

在信息化时代,网络成为生活不可或缺的一部分,代理IP的应用日益广泛。不同用户使用代理IP的有效率差异主要源于三个方面:代理服务器的性能与稳定性、IP资源质量;目标网站的防护策略和负载响应速度;以及用户的并发请求控制和网络环境。为提高效率,建议选择高质量代理、使用就近服务器、定期轮换IP并监控代理池。

234 38
来自: 大数据计算 MaxCompute  版块
|
10月前
|
SQL 人工智能 自然语言处理
|

DataV Note:让Jupyter Notebook绽放新活力

分享阿里云旗下的一款基于Jupyter底座的工具(DataV Note,智能分析文档)给大家。这是一款以Notebook文档形式为基础、由强大AI模型驱动的智能分析、允许多人协作的数据可视分析平台。

496 155
|
10月前
|
小程序 IDE PHP
|

圈子源码如何打包生成App小程序/开发一个圈子系统软件所需要的费用体现在哪里?

将PHP源码打包成App的过程涉及多个步骤和技术选择。以圈子源码为例,首先明确需求,确定App功能和目标用户群体,并根据需求开发小程序页面,如用户注册、圈子列表等。源码准备阶段确保源码适用于小程序开发,环境配置需安装IDE(如微信开发者工具)及依赖库。最后在IDE中打包小程序并上传至管理平台,通过审核后发布。费用方面,模板开发成本较低,定制开发则更高,具体取决于需求复杂度和第三方服务费用。

292 0
|
10月前
|
存储 搜索推荐 关系型数据库
|

ElasticSearch 详解

ElasticSearch 是一款优秀的开源搜索引擎,适用于大数据场景下的高效检索与分析。其分布式架构、实时搜索和灵活的数据分析功能使其能处理 PB 级数据量。相比 Solr,ES 在实时性、分布式架构和文档处理上更具优势。核心概念包括索引、文档、分片和副本等。ES 使用倒排索引实现快速搜索,区别于正向索引。与关系型数据库相比,ES 更适合非结构化数据和全文搜索。总结来说,ES 在电商搜索、日志分析等领域有广泛应用,未来有望带来更多创新。

461 19
|
10月前
|
消息中间件 关系型数据库 MySQL
|

Flink CDC 在阿里云实时计算Flink版的云上实践

本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享,重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括:Flink CDC的发展及其在流批数据处理中的作用;CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标;典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等;并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后,介绍了未来规划,如脏数据处理、数据限流及扩展数据源支持。

626 0
来自: 实时计算 Flink  版块
|
10月前
|
数据采集 机器学习/深度学习 DataWorks
|

DataWorks产品评测:大数据开发治理的深度体验

DataWorks产品评测:大数据开发治理的深度体验

412 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

5
今日
67393
内容
127
活动
439369
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版