|
5月前
|
Linux 数据安全/隐私保护 虚拟化
|

虚拟机安装(CentOS7)

准备CentOS7镜像及VMware Workstation(可从百度云下载),提取码已提供。使用VMware创建虚拟机,参考指定教程完成安装。默认登录用户为root,密码由用户自设。确保电脑配置满足运行需求。(238字)

403 0
|
5月前
|
消息中间件 Java Kafka
|

在 OpenAI 打造流处理平台:超大规模实时计算的实践与思考

本文介绍OpenAI构建流处理平台的实践与挑战。面对Kafka高可用、Python生态兼容、云环境限制等问题,团队基于PyFlink打造跨区域流处理架构,集成Kafka HA组、自研代理与控制平面,支撑实时Embedding生成、特征计算等场景,并推动开源协作与平台自动化演进。

385 1
来自: 实时计算 Flink  版块
|
5月前
|
人工智能 数据处理 Apache
|

Forrester发布流式数据平台报告:Flink 创始团队跻身领导者行列,实时AI能力获权威认可

Ververica,由Apache Flink创始团队创立、阿里云旗下企业,首次入选Forrester 2025流式数据平台领导者象限,凭借在实时AI与流处理领域的技术创新及全场景部署能力获高度认可,成为全球企业构建实时数据基础设施的核心选择。

459 10
来自: 实时计算 Flink  版块
|
5月前
|
分布式计算 Serverless 数据处理
|

活动报名 | Apache Spark Meetup · 上海站,助力企业构建高效数据平台

2025年12月20日,上海 · 阿里巴巴徐汇滨江园区,Apache Spark Meetup 助力企业构建高效数据平台,欢迎报名!

355 3
|
6月前
|
SQL 人工智能 自然语言处理
|

企业级 AI 数据分析“专家”——Data Agent 推动数据分析民主化

Data Agent(数据智能体)正从辅助工具向企业核心数据分析中枢演进,推动“人人都是分析师”的愿景落地。

946 0
|
6月前
|
JSON 监控 数据挖掘
|

闲鱼商品详情API接口指南

闲鱼商品详情API(Goodfish.item_get)为开发者提供通过商品ID获取标题、价格、图片、卖家等信息的接口,采用RESTful风格与JSON格式,支持价格监控、数据分析及第三方应用集成。

843 1
|
7月前
|
机器学习/深度学习 人工智能 安全
|

当AI开始自己写AI:自主AI系统的时代正在到来

当AI开始自己写AI:自主AI系统的时代正在到来

724 92
|
7月前
|
数据采集 存储 供应链
|

第三方电商数据 API 数据来源深度解析:合规与稳定背后的核心逻辑

本文揭秘第三方电商数据API的底层逻辑:通过官方授权、生态共享与合规采集三重来源,结合严格清洗校验,确保数据稳定、合规、高质。企业选型应关注来源合法性与场景匹配度,避开数据陷阱,实现真正数据驱动增长

679 4
|
7月前
|
机器学习/深度学习 算法 数据可视化
|

基于MVO多元宇宙优化的DBSCAN聚类算法matlab仿真

本程序基于MATLAB实现MVO优化的DBSCAN聚类算法,通过多元宇宙优化自动搜索最优参数Eps与MinPts,提升聚类精度。对比传统DBSCAN,MVO-DBSCAN有效克服参数依赖问题,适应复杂数据分布,增强鲁棒性,适用于非均匀密度数据集的高效聚类分析。

494 6
|
8月前
|
XML JSON 算法
|

京东商品 SKU 信息接口(jingdong.ware.sku.get)技术干货:数据拉取、规格解析与字段治理(附踩坑总结 + 可运行代码)

本文详解京东商品SKU接口对接技术,涵盖核心参数、权限申请、签名生成、规格解析及常见坑点解决方案,结合可运行代码与实战经验,助力开发者高效集成SKU数据,实现库存、价格等关键信息精准获取。

653 1
|
8月前
|
自然语言处理 前端开发 安全
|

别人还在摸索,你用这篇Hoobuy淘宝代购集运系统搭建攻略开拓欧美反向海淘市场!

淘宝代购集运系统为海外用户提供一站式中国电商购物解决方案,集成商品抓取、多语言展示、本地支付、国际物流与订单追踪功能,支持多平台数据同步与合规运营,通过技术整合破解语言、支付、物流难题,助力逆向海淘高效便捷。

562 1
|
8月前
|
机器学习/深度学习 数据可视化 数据挖掘
|

香烟品牌识别和规格识别设计思路

基于YOLOv8实现香烟品牌与规格(条装/单盒装)识别,采用“品牌+规格”组合为60类的复合类别方案,结合充足标注数据(每类300-500张)、数据增强与反例优化,进行端到端联合训练,提升模型在复杂场景下的检测与分类精度。

989 6
|
8月前
|
人工智能 JSON 测试技术
|

AI智能体开发实战:从提示工程转向上下文工程的完整指南

曾被热捧的提示工程正逐渐退潮,本文揭示其局限性,并提出“上下文工程”新范式:通过结构化提示、精准上下文管理、工具调用与统一状态,构建可扩展、可恢复、生产级的智能体工作流,推动AI系统迈向工程化与可控化。

950 9
|
8月前
|
存储 分布式计算 资源调度
|

【赵渝强老师】阿里云大数据MaxCompute的体系架构

阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。

736 1
来自: 大数据计算 MaxCompute  版块
|
9月前
|
机器学习/深度学习 监控 大数据
|

数据当“安全带”:金融市场如何用大数据玩转风险控制?

数据当“安全带”:金融市场如何用大数据玩转风险控制?

524 10
|
9月前
|
JSON 数据挖掘 API
|

小红书笔记评论API数据解析(附代码)

本资源介绍如何通过小红书官方API获取笔记评论数据,包含评论内容、用户信息、点赞数等关键字段。支持分页请求,适用于舆情分析、用户研究及市场调研。提供完整Python调用示例,涵盖请求签名、响应解析等核心流程,助力高效获取结构化评论数据。

646 0
|
9月前
|
自然语言处理 DataWorks 算法
|

数据开发再提速!DataWorks正式接入Qwen3-Coder

阿里云DataWorks平台正式接入Qwen3-Coder模型,用户通过Copilot智能助手可实现自然语言交互生成代码,提升数据开发效率。支持SQL/Python代码生成、优化及Notebook文件创建,适用于数据分析与算法构建,助力企业高效开发。

825 9
|
10月前
|
数据采集 自然语言处理 NoSQL
|

利用中间件实现任务去重与分发精细化:股吧舆情数据采集与分析实战

本项目针对东方财富股吧设计精细化采集方案,解决重复采集、调度混乱与反爬等问题,构建舆情分析数据模型。通过采集帖子内容、用户行为与情绪信号,实现情绪趋势可视化、热点识别与个股预警,助力把握市场风向。

586 0
|
10月前
|
Java 编译器 数据安全/隐私保护
|

Java 大学期末考试真题与答案 含知识点总结 重难点归纳及题库汇总 Java 期末备考资料

本文汇总了Java大学期末考试相关资料,包含真题与答案、知识点总结、重难点归纳及题库,涵盖Java基础、面向对象编程、异常处理、IO流等内容,并提供完整代码示例与技术方案,助你高效复习备考。

964 3
|
10月前
|
数据采集 运维 DataWorks
|

DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破

智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。

870 0
|
11月前
|
存储 运维 监控
|

OpenFeature 实战:统一特征开关在风控模型的落地与灰度发布方案

在金融风控场景中,模型迭代速度与线上稳定性之间的平衡是一大挑战。传统硬编码方式存在耦合度高、控制粒度粗、缺乏审计等问题,导致误拦截损失显著。本文介绍了基于 OpenFeature 的解决方案,通过动态配置、细粒度控制和多语言支持实现高效特征管理,并结合灰度发布、熔断机制和安全审计提升系统稳定性与发布安全性。实战数据显示,该方案显著缩短上线周期、降低故障率并提升模型覆盖率,具备高可用性和可扩展性,适用于复杂风控环境下的策略迭代需求。

702 8
|
11月前
|
定位技术
|

安徽京准分享:北斗RDSS授时和北斗授时RNSS的区别

安徽京准分享:北斗RDSS授时和北斗授时RNSS的区别

1863 15
|
供应链 API 开发者
|

1688 商品数据接口终极指南:Python 开发者如何高效获取标题 / 价格 / 销量数据(附调试工具推荐)

1688商品列表API是阿里巴巴开放平台提供的服务,允许开发者通过API获取1688平台的商品信息(标题、价格、销量等)。适用于电商选品、比价工具、供应链管理等场景。使用时需构造请求URL,携带参数(如q、start_price、end_price等),发送HTTP请求并解析返回的JSON/XML数据。示例代码展示了如何用Python调用该API获取商品列表。

659 18
|
数据采集 前端开发 JavaScript
|

Python爬虫如何应对网站的反爬加密策略?

Python爬虫如何应对网站的反爬加密策略?

922 11
|
数据采集 JSON API
|

Python 实战:用 API 接口批量抓取小红书笔记评论,解锁数据采集新姿势

小红书作为社交电商的重要平台,其笔记评论蕴含丰富市场洞察与用户反馈。本文介绍的小红书笔记评论API,可获取指定笔记的评论详情(如内容、点赞数等),支持分页与身份认证。开发者可通过HTTP请求提取数据,以JSON格式返回。附Python调用示例代码,帮助快速上手分析用户互动数据,优化品牌策略与用户体验。

2291 3
|
数据采集 JSON API
|

Python 实战!利用 API 接口获取小红书笔记详情的完整攻略

小红书笔记详情API接口帮助商家和数据分析人员获取笔记的详细信息,如标题、内容、作者信息、点赞数等,支持市场趋势与用户反馈分析。接口通过HTTP GET/POST方式请求,需提供`note_id`和`access_token`参数,返回JSON格式数据。以下是Python示例代码,展示如何调用该接口获取数据。使用时请遵守平台规范与法律法规。

1363 0
|
人工智能 缓存 自然语言处理
|

electron35-vue3-deepseek客户端流式输出AI对话系统

Electron35-DeepSeek桌面端AI系统|vue3.5+electron+arco客户端ai模板。2025跨平台ai实战electron35+vite6+arco仿DeepSeek/豆包ai流式打字聊天助手。

538 4
|
存储 监控 数据挖掘
|

京东物流基于Flink & StarRocks的湖仓建设实践

本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享,聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程,解决复杂业务场景下的数据分析挑战,如多维OLAP分析、大屏监控等。同时,文章详细介绍了基于StarRocks的湖仓一体方案,优化存储成本并提升查询效率,以及存算分离的应用实践。最后,对未来数据服务的发展方向进行了展望,计划推广长周期数据存储服务和原生数据湖建设,进一步提升数据分析能力。

1269 1
来自: 实时计算 Flink  版块
|
JSON API 开发者
|

深入研究:1688 拍立淘图片搜索 API 详解

本文介绍了 1688 拍立淘图片搜索 API 的功能与使用方法。该 API 支持开发者通过上传图片,在 1688 平台上搜索相似商品,返回商品标题、价格、销量等信息,适用于电商数据分析和商品推荐等场景。文章详细说明了接口的请求方式(HTTP POST)、参数(如 app_key、timestamp、sign 和 image)及 JSON 响应格式。此外,提供了 Python 请求示例代码,涵盖图片 Base64 编码、签名生成、发送请求及响应处理等步骤,帮助开发者快速集成与调试。

559 1
|
机器学习/深度学习 人工智能 算法
|

AI鱼类识别技术原理及示例代码

本文详细解析了AI鱼类识别的代码示例,涵盖深度学习框架选择、数据集处理、模型构建与训练优化全流程。内容包括技术选型对比(如TensorFlow、PyTorch、YOLO系列)、数据准备流程(开源数据集与标注规范)、完整代码示例(以PyTorch版ResNet50改进模型为例)以及模型优化策略(如量化压缩、知识蒸馏)。此外,还提供了典型应用场景(如渔业资源监测系统)、模型评估指标及开源项目推荐,并针对常见问题(小样本、水下模糊、类别不平衡等)提出解决方案。

1006 5
|
并行计算 PyTorch 算法框架/工具
|

融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践

本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。

1341 3
|
存储 SQL 监控
|

Hologres Dynamic Table快速入门

本文由Hologres PD赵红梅分享,主题为Dynamic Table快速入门。内容分为三部分:一是介绍Dynamic Table,包括其在实时数仓中的应用场景及技术实现;二是讲解Dynamic Table的使用方法与实操,涵盖全量、增量及混合刷新模式的创建与操作;三是提供使用建议,如选择刷新模式、监控延迟、分区表应用及计算资源分配等。此外,还对比了Dynamic Table与其他产品(如DIS异步物化视图和Snowflake Dynamic Tables)的功能差异,并推荐下载Hologres 3.0实践手册以深入了解一体化实时湖仓平台的最新功能。

941 23
来自: 实时数仓 Hologres  版块
|
机器学习/深度学习 自然语言处理 算法
|

Transformer 学习笔记 | Decoder

本文记录了笔者学习Transformer的过程,重点介绍了填充(padding)和掩码(masking)机制。掩码确保解码器只依赖于之前的位置,避免信息泄露,保持因果关系及训练与推理的一致性。通过线性层和softmax函数生成输出概率,并使用梯度下降和反向传播进行训练。评估指标包括BLEU、ROUGE、METEOR和困惑度等。欢迎指正。

1468 2
|
供应链 监控 数据挖掘
|

1688 商品详情接口系列(1688 API)

1688商品详情接口系列(1688 API)是阿里巴巴旗下批发电商平台提供的强大工具,支持开发者、商家获取商品的详细信息。通过商品基本信息、价格库存、图片和描述查询接口,用户可以精准高效地获取商品数据,涵盖电商运营、数据分析、市场调研等领域,极大提升工作效率。示例代码展示了如何使用Python调用这些接口,助力电商平台整合、价格监控、商品展示优化及库存管理等应用场景。

701 6
|
存储 供应链 安全
|

区块链技术在选举中的应用:透明与安全的新时代

区块链技术在选举中的应用:透明与安全的新时代

620 16
|
分布式计算 大数据 数据挖掘
|

大数据的第一步:初学者指南

大数据的第一步:初学者指南

580 70
|
开发框架 .NET 开发者
|

简化 ASP.NET Core 依赖注入(DI)注册-Scrutor

Scrutor 是一个简化 ASP.NET Core 应用程序中依赖注入(DI)注册过程的开源库,支持自动扫描和注册服务。通过简单的配置,开发者可以轻松地从指定程序集中筛选、注册服务,并设置其生命周期,同时支持服务装饰等高级功能。适用于大型项目,提高代码的可维护性和简洁性。仓库地址:<https://github.com/khellang/Scrutor>

681 5
|
数据采集 人工智能 文字识别
|

如何绕过Captcha并使用OCR技术抓取数据

在现代网页数据抓取中,Captcha作为一种防止爬虫和恶意访问的措施,广泛应用于各种网站。本文介绍如何使用OCR技术绕过文字Captcha,并通过代理IP技术提高爬虫的隐蔽性。具体实现包括下载Captcha图片、使用Tesseract OCR识别文字、通过代理IP抓取目标数据。示例代码展示了如何抓取大众点评的商家信息。

777 0
|
并行计算 PyTorch 编译器
|

pytorch 安装 + 搭配PyCharm

pytorch + pycharm

3684 1
|
机器学习/深度学习 算法 计算机视觉
|

边缘检测评估方法:FOM、RMSE、PSNR和SSIM对比实验和理论研究

本文探讨了图像分割与边缘检测之间的关系,并通过实验评估了多种边缘检测指标的有效性。研究发现,常用的RMSE、PSNR和SSIM指标在海岸线检测任务中可能高估性能,而FOM(优点图)指标则能更准确地选择最佳边缘检测参数。实验结果表明,FOM在92.6%的情况下选择了更好的阈值,在66.3%的情况下选择了最佳阈值。此外,FOM通过考虑预测边缘与真实边缘之间的距离,提供了更合理的评估标准。本文不仅对海岸线检测有重要意义,还对医学图像分析、计算机视觉和遥感等多个领域具有广泛的应用价值。作者通过理论分析和实证研究,证明了FOM在边缘检测评估中的优越性。

1043 3
|
存储 数据采集 OLAP
|

饿了么基于Flink+Paimon+StarRocks的实时湖仓探索

饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。

1637 8
来自: 实时计算 Flink  版块
|
SQL 机器学习/深度学习 自然语言处理
|

Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析

本文介绍了Text-to-SQL的技术演进,并对OpenSearch-SQL方法进行剖析。

2519 8
来自: 智能搜索推荐  版块
|
数据采集 监控 大数据
|

不限量住宅IP代理指南2024版

住宅IP代理是一种特别的代理形式,它通过互联网服务提供商(ISP)池获取真实住宅用户的IP地址。在此背景下,住宅IP通常与特定的物理位置绑定,从而在网络上看起来像是真实用户。该服务为企业及个人执行数据密集型活动时提供了可靠的支持

1431 1
|
机器学习/深度学习 算法 PyTorch
|

使用Pytorch中从头实现去噪扩散概率模型(DDPM)

在本文中,我们将构建基础的无条件扩散模型,即去噪扩散概率模型(DDPM)。从探究算法的直观工作原理开始,然后在PyTorch中从头构建它。本文主要关注算法背后的思想和具体实现细节。

9553 3
|
XML API 数据格式
|

`lxml`是一个功能强大的Python库

`lxml`是一个功能强大的Python库

953 0
|
机器学习/深度学习 数据采集 人工智能
|

Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断)

Python实现深度神经网络RNN-LSTM分类模型(医学疾病诊断)

734 0
来自: 人工智能平台PAI  版块
|
数据采集 自然语言处理 大数据
|

​「Python大数据」LDA主题分析模型

使用Python进行文本聚类,流程包括读取VOC数据、jieba分词、去除停用词,应用LDA模型(n_components=5)进行主题分析,并通过pyLDAvis生成可视化HTML。关键代码涉及数据预处理、CountVectorizer、LatentDirichletAllocation以及HTML文件的本地化处理。停用词和业务术语列表用于优化分词效果。

1172 0
|
数据采集 分布式计算 大数据
|

森马基于MaxCompute+Hologres+DataWorks构建数据中台

本次案例主要分享森马集团面对多年自建的多套数仓产品体系,通过阿里云MaxCompute+Hologres+DataWorks统一数仓平台,保障数据生产稳定性与数据质量,减少ETL链路及计算时间,每年数仓整体费用从300多万降到180万。

2730 11
来自: 实时数仓 Hologres  版块
|
SQL 数据库 数据安全/隐私保护
|

harbor修改密码

在Harbor `v2.9.0`中,忘记密码可使用以下方法强制重置:通过`docker exec`进入harbor-db容器,使用SQL命令`update harbor_user set salt='',password='' where user_id = 1;`清空admin密码。然后重启Harbor,系统将要求初始化新密码。注意此操作涉及数据库交互,需谨慎执行。

2398 0
|
机器学习/深度学习 Python
|

tanh函数

本文探讨了高等数学中的tanh函数,即双曲正切函数,其定义为 $\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$,导数为 $1 - \tanh^2(x)$。tanh函数广泛适用于各类场景,并在神经网络中有重要应用。提供的Python代码绘制了tanh函数及其导数的图像。

1725 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
69523
内容
128
活动
439957
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务