|
5月前
|
SQL 安全 BI
|

Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系

Dataphin数据服务推出行级权限管控功能,解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问,实现API与SQL权限统一管理,满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系,确保数据安全且提升应用开发效率。

492 0
|
5月前
|
SQL 分布式计算 大数据
|

别再迷信“上大数据就能飞”了!大数据项目成败的5个真相

别再迷信“上大数据就能飞”了!大数据项目成败的5个真相

146 6
|
5月前
|
数据安全/隐私保护
|

项目介绍:基于ChartScanAI的crypto currency决策系统

ChartScanAI 是一个基于 GitHub 的增强型加密货币交易策略工具,结合 RSI、EMA、ADX 和 OBV 等技术指标,通过动态权重分配与蜡烛图模式识别,实现多周期(1h、4h、1d、1w)交易信号生成。策略内置市场状态判断、信号加权评分、风险管理(ATR 止损止盈)及仓位控制逻辑,旨在提升交易适应性与收益风险比。

172 1
|
5月前
|
SQL
|

使用sql转换身份证15位-18位

使用sql转换身份证15位-18位

257 1
|
6月前
|
机器学习/深度学习 监控 安全
|

从实验室到生产线:机器学习模型部署的七大陷阱及PyTorch Serving避坑指南

本文深入探讨了机器学习模型从实验室到生产环境部署过程中常见的七大陷阱,并提供基于PyTorch Serving的解决方案。内容涵盖环境依赖、模型序列化、资源管理、输入处理、监控缺失、安全防护及模型更新等关键环节。通过真实案例分析与代码示例,帮助读者理解部署失败的原因并掌握避坑技巧。同时,文章介绍了高级部署架构、性能优化策略及未来趋势,如Serverless服务和边缘-云协同部署,助力构建稳健高效的模型部署体系。

274 4
|
6月前
|
机器学习/深度学习 存储 缓存
|

Chonkie:面向大语言模型的轻量级文本分块处理库

Chonkie是一个专为大语言模型(LLM)应用场景设计的轻量级文本分块处理库,提供高效的文本分割和管理解决方案。该库采用最小依赖设计理念,特别适用于现实世界的自然语言处理管道。本文将详细介绍Chonkie的核心功能、设计理念以及五种主要的文本分块策略。

290 0
|
6月前
|
数据采集 存储 Web App开发
|

多线程爬虫优化:快速爬取并写入CSV

多线程爬虫优化:快速爬取并写入CSV

151 1
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
|

解决RAG检索瓶颈:RAPL线图转换让知识图谱检索准确率提升40%

本文探讨了RAPL框架,一种创新的人工智能架构,用于改进知识图谱环境下的检索增强生成系统。RAPL通过线图转换和合理化监督技术,构建高效且可泛化的检索器,显著提升大型语言模型在知识问答中的准确性和可解释性。文章分析了现有RAG系统的缺陷,即最短路径并非总是合理路径,并提出RAPL的三步解决方案:利用大型语言模型生成高质量训练数据、将知识图谱转换为线图以实现基于路径的推理,以及通过双向图神经网络进行路径检索。实验结果表明,RAPL不仅提高了检索精度,还缩小了小型与大型语言模型间的性能差距,推动了更高效、透明的AI系统发展。

162 4
|
6月前
|
数据采集 消息中间件 人工智能
|

赛事比分怎么实现实时更新?从采集到推送的“毫秒级“科技揭秘!

实时比分更新背后的技术奥秘,远比你想象的复杂!从数据采集、传输、处理到用户推送,每个环节都充满挑战。情报来源包括官方接口、AI视觉识别和人工录入;传输方式从HTTP轮询到WebSocket,追求毫秒级延迟;数据清洗确保准确性,用户推送注重适配与优先级。开发者还需规避常见坑点,如消息队列、时区转换等。未来,AI预测、边缘计算甚至量子通信将让零延迟成为可能。想了解如何打造像顶级中场般精准、快速且可靠的比分系统吗?本文为你深度拆解!

159 0
|
6月前
|
API 数据安全/隐私保护 开发者
|

获取1688商品评论接口的实践指南

本文介绍如何通过1688开放平台的商品评论接口获取评论数据。1688作为B2B电商,其接口支持按商品ID提取评论内容、评分等信息,适用于情感分析与市场调研。调用流程包括注册认证、构建请求参数(如method、item_id)、生成MD5签名及发送HTTP请求,确保高效、安全地获取数据,助力商家优化产品与服务。

172 10
|
7月前
|
开发工具 Android开发 iOS开发
|

HarmonyOS实战:腾讯IM之聊天列表搭建(一)

本文详细介绍了在鸿蒙系统中实现腾讯IM聊天列表页面的过程。由于腾讯仅提供了接口而无现成UI,需自行开发。文章涵盖需求分析(如删除功能、时间排序、消息更新)、技术实现(展示会话列表、新增会话、删除会话)等内容,并附代码示例。最终实现了类似微信的聊天列表功能,建议点赞收藏以便后续参考。

264 5
|
7月前
|
JSON 数据挖掘 API
|

京东商品评论API接口指南

京东商品评论API接口是京东开放平台提供的服务,支持开发者通过HTTP请求获取商品评论数据,适用于数据分析、情感分析等场景。接口采用GET或POST请求方式,需提供app_key、sku_id等参数,返回JSON格式的评论内容、时间、评分等信息。使用时需完成权限申请和签名计算,确保请求安全。示例代码展示了如何用Python的requests库调用该API并处理响应数据。

259 1
|
7月前
|
机器学习/深度学习 数据采集 缓存
|

为什么大厂面试官都在问XGBoost?

作为机器学习面试的必考题,XGBoost为什么如此重要?本文用通俗易懂的方式,带你掌握XGBoost的核心知识点,让你在面试中侃侃而谈,轻松拿下offer!

221 1
|
7月前
|
机器学习/深度学习 人工智能 大数据
|

特征越多模型越好?这个AI领域的常识可能是错的

特征选择是机器学习中的"减肥秘方",它能帮助模型去除冗余特征,提高性能并降低计算成本。本文深入浅出地介绍特征选择的概念、方法与实践技巧,带你掌握这门让AI模型更高效的"瘦身术"。

220 1
|
7月前
|
机器学习/深度学习 数据采集 数据可视化
|

Python数据分析,别再死磕Excel了!

Python数据分析,别再死磕Excel了!

325 2
|
7月前
|
JSON 监控 供应链
|

深度实操:京东商品详情API接入全流程与技术要点剖析

京东商品详情API接口用于获取商品基础信息(标题、价格、库存状态、用户评价等),支持单个或多个商品查询。适用于商品列表展示、竞品分析、价格监控、库存管理、营销活动和数据分析等场景。通过发送HTTP请求(GET/POST)调用接口,服务器返回JSON格式数据,可使用Python等语言解析处理。示例代码中展示了如何用requests库调用API并获取商品详情。

164 4
|
7月前
|
机器学习/深度学习 Python
|

拯救数据不平衡:imbalanced-learn库详解

当你的数据像翘翘板一样严重倾斜时,该如何挽救你的机器学习模型?本文详解imbalanced-learn库的四大绝招,帮你轻松应对数据不平衡问题,提升模型性能。

234 8
|
7月前
|
设计模式
|

HarmonyOS实战:首页多弹窗顺序弹出终极解决方案

随着应用软件功能增加,首页弹窗问题日益严重。本文采用设计模式解决这一痛点,通过责任链与建造者模式,定义基础弹窗接口 `DialogIntercept` 和弹窗处理类 `DialogChain`,实现弹窗的有序管理和显示逻辑。方案支持异步判断是否显示弹窗,并通过自定义弹窗类(如 `DialogA`、`DialogB` 等)灵活控制弹窗行为,最终实现高效、可扩展的弹窗管理机制。

225 0
|
7月前
|

Apache Doris 的智能管理工具--Doris Manager v24.3 功能演示

作为 Apache Doris 的智能管理工具,Doris Manager 提供一键部署、实时监控、弹性扩缩容、升级重启等核心功能,并支持告警、日志、审计、巡检等高级运维能力。历经千家企业验证,24.3 版本更稳定高效,让集群管理更简单!在新的版本中,Doris Manager 丰富了集群巡检,监控等能力。

219 1
|
7月前
|
存储 JSON PyTorch
|

Multimodal LLM训练-模型文件\训练数据加载逻辑源码分析

Multimodal LLM训练-模型文件\训练数据加载逻辑源码分析

370 17
来自: 人工智能平台PAI  版块
|
7月前
|
XML 自然语言处理 文字识别
|

SmolDocling技术解析:2.56亿参数胜过70亿参数的轻量级文档处理模型

SmolDocling是由HuggingFace与IBM联合研发的超紧凑视觉模型,专为端到端文档转换设计。基于SmolVLM-256M开发,参数量仅2.56亿,却媲美大型模型性能。其核心创新在于DocTags格式,一种类XML标记语言,能全面表示文档内容与结构。SmolDocling通过端到端架构实现图像理解与文本生成整合,在文档分类、OCR、布局分析等任务中表现出色。评估显示,其在多项指标上优于大参数量模型,适用于资源受限场景,推动文档处理技术发展。

192 8
|
7月前
|
数据采集 Web App开发 监控
|

如何用Pyppeteer打造高并发无头浏览器采集方案

本文从电商行业数据采集痛点出发,结合 Pyppeteer 高并发无头浏览器技术,打造可配置代理的高效采集方案。通过爬虫代理突破 IP 限制,模拟真实用户行为,实现 Amazon 特价商品数据的稳定抓取与分析。代码示例详细展示了代理集成、并发控制及数据处理流程,实验验证效率提升超 4 倍。该方案助力商业决策、竞品分析,并支持技术扩展与创新应用。

295 13
|
7月前
|
传感器 人工智能 监控
|

一车货也能跑得像高铁:5G+物流,这才叫“移动的未来”

一车货也能跑得像高铁:5G+物流,这才叫“移动的未来”

250 19
|
7月前
|
人工智能 自然语言处理 文字识别
|

阿里云 AI 搜索开放平台新增:服务开发能力

阿里云 AI 搜索开放平台新发布:服务开发能,可通过集成 dsw 能力并新增 notebook 功能,进一步提升用户编排效率。

330 0
来自: 智能搜索推荐  版块
|
7月前
|
机器学习/深度学习 数据采集 算法
|

智能限速算法:基于强化学习的动态请求间隔控制

本文分享了通过强化学习解决抖音爬虫限速问题的技术实践。针对固定速率请求易被封禁的问题,引入基于DQN的动态请求间隔控制算法,智能调整请求间隔以平衡效率与稳定性。文中详细描述了真实经历、问题分析、技术突破及代码实现,包括代理配置、状态设计与奖励机制,并反思成长,提出未来优化方向。此方法具通用性,适用于多种动态节奏控制场景。

273 6
|
7月前
|
数据采集 机器学习/深度学习 算法
|

R语言数据挖掘:从“挖井”到“淘金”

R语言数据挖掘:从“挖井”到“淘金”

164 9
|
7月前
|
人工智能 分布式计算 大数据
|

大数据& AI 产品月刊【2025年4月】

大数据& AI 产品技术月刊【2025年4月】,涵盖4月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

335 2
|
7月前
|
数据采集 运维 数据可视化
|

别再靠拍脑袋了!搞懂数据治理框架,企业才有未来

别再靠拍脑袋了!搞懂数据治理框架,企业才有未来

269 11
|
8月前
|
人工智能 运维 API
|

PAI-Model Gallery云上一键部署阶跃星辰新模型Step1X-Edit

4月27日,阶跃星辰正式发布并开源图像编辑大模型 Step1X-Edit,性能达到开源 SOTA。Step1X-Edit模型总参数量为19B,实现 MLLM 与 DiT 的深度融合,在编辑精度与图像保真度上实现大幅提升,具备语义精准解析、身份一致性保持、高精度区域级控制三项关键能力;支持文字替换、风格迁移等11 类高频图像编辑任务类型。在最新发布的图像编辑基准 GEdit-Bench 中,Step1X-Edit 在语义一致性、图像质量与综合得分三项指标上全面领先现有开源模型,比肩 GPT-4o 与 Gemin。PAI-ModelGallery 支持Step1X-Edit一键部署方案。

279 2
来自: 人工智能平台PAI  版块
|
8月前
|
边缘计算 人工智能 自动驾驶
|

云计算的加速引擎——5G技术如何改变未来

云计算的加速引擎——5G技术如何改变未来

236 7
|
8月前
|
机器学习/深度学习 运维 算法
|

从算法菜鸟到挖掘达人:数据挖掘的算法大冒险

从算法菜鸟到挖掘达人:数据挖掘的算法大冒险

293 18
|
8月前
|
数据采集 JSON 网络安全
|

移动端数据抓取:Android App的TLS流量解密方案

本文介绍了一种通过TLS流量解密技术抓取知乎App热榜数据的方法。利用Charles Proxy解密HTTPS流量,分析App与服务器通信内容;结合Python Requests库模拟请求,配置特定请求头以绕过反爬机制。同时使用代理IP隐藏真实IP地址,确保抓取稳定。最终成功提取热榜标题、内容简介、链接等信息,为分析热点话题和用户趋势提供数据支持。此方法也可应用于其他Android App的数据采集,但需注意选择可靠的代理服务。

358 11
|
8月前
|
算法 搜索推荐 大数据
|

数据驱动增长:大数据与营销自动化的结合之道

数据驱动增长:大数据与营销自动化的结合之道

198 3
|
8月前
|
Web App开发 前端开发 JavaScript
|

如何模拟浏览器行为获取网页中的隐藏表单数据?

如何模拟浏览器行为获取网页中的隐藏表单数据?

242 5
|
8月前
|
JSON 供应链 API
|

深入研究:微店商品列表API接口详解

微店商品列表API接口支持开发者以编程方式获取微店平台的商品数据,适用于电商数据分析、商品展示等场景。请求方式为POST,需提供`method`和`access_token`等参数,可选参数包括页码、排序方式、商品状态及关键词等。返回数据为JSON格式,包含商品ID、标题、价格、库存和缩略图URL等信息。常见错误包括`access_token`无效或参数错误,需根据错误码调整请求。

227 0
|
8月前
|
人工智能 物联网 5G
|

5G如何重塑远程医疗——低延迟、高速连接背后的技术革命

5G如何重塑远程医疗——低延迟、高速连接背后的技术革命

301 12
|
8月前
|
缓存 前端开发 API
|

开发体育比分网站有哪些坑需要注意

开发体育比分网站需克服多方面挑战:数据来源上避免侵权,选用合法API;实时性上采用WebSocket等技术确保秒级更新;优化用户体验,极简设计配合实时动画;技术架构中使用缓存与微服务应对高并发;SEO方面通过SSR和服务端结构化数据提升搜索流量。示例代码展示了比赛数据的基本处理逻辑,包括设置比赛ID、状态、赢家信息及计划标记等功能。

283 62
|
8月前
|
机器学习/深度学习 人工智能 算法
|

解锁政策红利:大数据时代的企业与个人发展新契机

在大数据与机器学习时代,政策解读、预测分析和个性化匹配成为挖掘发展新动能的重要工具。无论是企业还是个人,都能借助先进技术轻松理解复杂政策,把握趋势先机。文章探讨了自由职业者、创业者及企业员工如何通过政策支持实现协同发展,并介绍了“政策宝”这一智慧助手,助力用户发现和利用政策红利,抓住机遇实现目标。探索政策宝库,开启发展新征程!

315 0
|
8月前
|
机器学习/深度学习 数据采集 算法
|

如何用大数据与机器学习挖掘瞪羚企业认定标准

本文探讨如何利用大数据与机器学习技术挖掘瞪羚企业认定标准。通过阿里云的大数据平台和政策宝资源整合能力,结合机器学习算法分析政策文本,提取关键信息,助力企业精准理解认定标准。文章对比了传统获取方式的局限性与新技术的优势,并以案例说明政策宝在申报中的作用,强调数据整合、模型选择及数据安全的重要性,为企业提供发展方向和政策支持。

235 1
|
8月前
|
JavaScript Serverless
|

怎么用js实现大数字求和?

在数学运算中,处理超出机器数值范围的大数字是一个常见问题。通过将数字以字符串形式表示,可逐位模拟人工加法过程,避免溢出。本文介绍的 `bigNumberSum` 函数,接收两个字符串形式的大数字,利用数组操作逐位相加并处理进位,最终返回正确和值。此方法简单直观,适用于任意长度数字的加法运算,在金融与科学计算领域具有重要价值。

212 0
|
8月前
|
算法 数据安全/隐私保护
|

基于GA遗传算法的斜拉桥静载试验车辆最优布载matlab仿真

本程序基于遗传算法(GA)实现斜拉桥静载试验车辆最优布载的MATLAB仿真,旨在自动化确定车辆位置以满足加载效率ηq(0.95≤ηq≤1.05)的要求,目标是使ηq尽量接近1,同时减少加载车辆数量和布载耗时。程序通过迭代优化计算车辆位置、方向、类型及占用车道等参数,并展示适应度值收敛过程。测试版本为MATLAB2022A,包含核心代码与运行结果展示。优化模型综合考虑车辆总重量、间距及桥梁允许载荷密度等约束条件,确保布载方案科学合理。

196 15
|
8月前
|
数据采集 Rust 安全
|

异步读取HTTP响应体的Rust实现

异步读取HTTP响应体的Rust实现

219 13
|
9月前
|
算法 数据安全/隐私保护
|

基于分数Talbot效应的阵列光学涡旋产生matlab模拟与仿真

本程序基于分数Talbot效应,使用MATLAB(2013b版本)模拟与仿真光学涡旋阵列的生成,测试了正方形、旋转正方形和六边形三种阵列形状下的光学涡旋效果。分数Talbot效应是经典Talbot效应的推广,可精确控制衍射光场在任意距离处的重现,生成复杂光场分布,包括光学涡旋阵列。程序运行结果展示无水印,核心代码完整,适用于研究分数Talbot效应对光学涡旋的应用场景。

202 0
|
9月前
|
监控 算法 搜索推荐
|

数据中挖掘能量:能源行业效率提升的秘密

数据中挖掘能量:能源行业效率提升的秘密

159 18
|
9月前
|
存储 人工智能 自然语言处理
|

RAL-Writer Agent:基于检索与复述机制,让长文创作不再丢失关键信息

RAL-Writer Agent是一种专业的人工智能写作辅助技术,旨在解决生成高质量、内容丰富的长篇文章时所面临的技术挑战,确保全文保持连贯性和相关性。本研究将系统分析RAL-Writer的核心技术架构、功能特点及其在内容创作、学术研究和专业交流领域的应用前景。

175 4
|
9月前
|
数据采集 监控 Python
|

Python爬虫异常处理:自动跳过无效URL

Python爬虫异常处理:自动跳过无效URL

363 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

6
今日
67719
内容
128
活动
439502
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务