三个主要降维技术对比介绍:PCA, LCA,SVD
本文将深入研究三种强大的降维技术——主成分分析(PCA)、线性判别分析(LDA)和奇异值分解(SVD)。我们不仅介绍这些方法的基本算法,而且提供各自的优点和缺点。
利用爬虫技术自动化采集汽车之家的车型参数数据
汽车之家是一个专业的汽车网站,提供了丰富的汽车信息,包括车型参数、图片、视频、评测、报价等。如果我们想要获取这些信息,我们可以通过浏览器手动访问网站,或者利用爬虫技术自动化采集数据。本文将介绍如何使用Python编写一个简单的爬虫程序,实现对汽车之家的车型参数数据的自动化采集,并使用亿牛云爬虫代理服务来提高爬虫的稳定性和效率。
Morton码的计算
Morton码是对栅格格网进行编码的一种算法,在Google中搜索Morton,搜索结果第一位是Wikipedia的Z-order Curve,这是因为Morton码编码结果展现为一种Z形的填充曲线。下面简要说一下如何计算四进制和十进制的Morton码。
哨兵2号分幅规则介绍及网格矢量下载
本文介绍哨兵2号(Sentinel-2)遥感影像数据的空间分幅规则,并提供其格网参考系(Military Grid Reference System,MGRS)的.kml格式文件、.shp格式矢量文件的下载方法~
阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用
机器学习平台 PAI 推出特征平台(PAI-FeatureStore),在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。
FlashAttention算法详解
这篇文章的目的是详细的解释Flash Attention,为什么要解释FlashAttention呢?因为FlashAttention 是一种重新排序注意力计算的算法,它无需任何近似即可加速注意力计算并减少内存占用。所以作为目前LLM的模型加速它是一个非常好的解决方案,本文介绍经典的V1版本,最新的V2做了其他优化我们这里暂时不介绍。因为V1版的FlashAttention号称可以提速5-10倍,所以我们来研究一下它到底是怎么实现的。
Pytorch使用专题 | 1:torch.nn.functional.cosine_similarity使用详解
介绍torch.nn.functional.cosine_similarity的使用
使用 PAI-Blade 优化 Stable Diffusion 推理流程
PAI-Blade是 PAI 推出的通用推理优化工具,可以通过模型系统联合优化,使模型达到最优推理性能。
数据一致性比对(番外)
我写过很多如何去对数、如何批量对数的技术文档,最近项目遇到这个问题,我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑,太长用到的知识点,反而没有意识到其重要性。
阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践
本文将会介绍阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践。
数字孪生核心技术揭秘(二):三维模型
三维模型是一个很宽泛的概念,大部分三维模型是无法直接应用于数字孪生项目的;三维建模需要找专业的供应商进行制作,需要有标准规范和质量检验;建模、模型数据加工都需要制定规范,才能支持好数据融合;需要使用合适的数字孪生引擎才能发挥三维模型的效果;
DeepRec 大规模稀疏模型训练推理引擎
本文将以下三个方面展开介绍:DeepRec 背景(我们为什么要做 DeepRec)、DeepRec 功能(设计动机和实现)以及DeepRec 社区(最新发布的 2206 版本主要功能)
使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】
介绍如何使用Databricks和MLflow搭建机器学习生命周期管理平台,实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。
【新功能】开放搜索多路召回技术解读
多路召回就是指采用不同的策略、特征或者简单模型,分别召回一部分候选集,然后再把这些候选集混合在一起后供后续排序模型使用的策略,本文将介绍开放搜索平台上的多路召回技术是如何深度提升搜索效果的~
腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
当业务发展到一定规模,实时数据仓库是一个必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下,拿腾讯看点来说,一天上报的数据量达到万亿级的规模,要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。
官宣!阿里云重磅发布云原生数据湖体系
介绍如何基于阿里云 OSS 、JindoFS 和数据湖构建(Data Lake Formation,DLF)等基础服务,同时结合阿里云上丰富的计算引擎,打造一个全新云原生数据湖体系。
Elasticsearch 既是搜索引擎又是数据库?真的有那么全能吗?
经常遇到很多朋友询问,如何学好 Elasticsearch?这个问题本质上很不好回答,但我一直又很想好好回答,所以本文就以我个人的经验视角,跟大家探讨一下如何正确的拥抱 Elasticsearch。
运用 geoip 处理器来丰富 Elasticsearch 数据
Geoip 处理器可以解析 IPv4 和 IPv6 地址,根据来自 Maxmind 数据库的数据添加有关 IP 地址地理位置的信息,并将此信息添加到 geoip 字段下。
SparkSQL与Hive metastore Parquet转换
Spark SQL为了更好的性能,在读写Hive metastore parquet格式的表时,会默认使用自己的Parquet SerDe,而不是采用Hive的SerDe进行序列化和反序列化
MaxCompute Mars 完全指南
Mars 能利用并行和分布式技术,加速 Python 数据科学栈,包括 numpy、pandas 和 scikit-learn。同时,也能轻松与 TensorFlow、PyTorch 和 XGBoost 集成。
重磅首发 |《Elasticsearch 中国开发者调查报告》探索开发者的现状和未来
为了了解Elasticsearch 中国开发者群体,结合1186位开发者的调研数据和18位社区专家的深度访谈,Elastic 技术社区、阿里巴巴 Elasticsearch 技术团队和阿里云开发者社区联合发布了《Elasticsearch 中国开发者调查报告》。免费下载,抢先一步读懂这个“族群”吧。
独家专访阿里集团副总裁贾扬清:我为什么选择加入阿里巴巴?
在这次访谈中,贾扬清向我们透露了他加入阿里的原因,并对他目前在阿里主要负责的工作做了详细说明,他不仅回顾了过去 6 年 AI 框架领域发生的变化,也分享了自己对于 AI 领域现状的观察和对未来发展的思考。结合自己的经验,贾扬清也给出了一些针对 AI 方向选择和个人职业发展的建议,对于 AI 从业者来
DataWorks调度配置最佳实战
DataWorks基于MaxCompute作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力。通过DataWorks,可对数据进行数据传输、数据转换等相关操作,从不同的数据存储引入数据,对数据进行转化处理,最后将数据提取到其他数据系统。
使用 Kafka 和 Flink 构建实时数据处理系统
引言 在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据产生快,实时性强,数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需要。流计算的出现,就是为了更好地解决这类数据在处理过程中遇到的问题。
用好代理 IP:加密付费拒绝免费陷阱
代理IP兼具隐私保护与安全风险,合规使用可防追踪、保障跨境业务,但非正规服务易致信息泄露、账号风控,甚至被用于违法活动。用户应选择加密付费代理,避开免费陷阱,遵守法规,强化安全防护,让技术真正服务于合法需求。
淘宝商品列表 API 使用指南
淘宝商品列表API(taobao.items.search)支持按关键词、价格、销量等条件检索商品,返回商品ID、标题、价格等结构化数据,适用于比价、市场分析。需注册开放平台、获取AppKey/AppSecret并实名认证。接口限100次/秒,建议先测沙箱。请求含基础参数与筛选条件,签名通过MD5加密生成。
Python | K折交叉验证的参数优化的弹性网络回归预测及可视化算法
本教程介绍基于Python的K折交叉验证与参数优化的弹性网络回归预测算法,涵盖贝叶斯、随机及网格搜索三种调参方法,结合SHAP分析、密度散点图与热力图等可视化技术,适用于多领域回归任务,代码及数据完整可复现。
复旦大学×阿里云产学合作协同育人合作案例
复旦大学联合阿里云开展“天池AI案例100开发”项目,赵卫东团队依托产业级平台构建“理论-实训-实战”教学新体系,开发4大综合性AI案例,覆盖图像识别、自然语言处理等方向。通过MOOC、教材、师资培训多渠道辐射全国,累计惠及超13万学习者,形成可复制的产教融合示范范式,推动人工智能人才培养与产业需求无缝对接。(238字)
基于yolov8深度学习的农作物识别检测系统
本研究基于YOLOv8深度学习技术,构建农作物识别检测系统,旨在实现对作物种类、生长状态及病虫害的快速精准识别。通过Python与先进算法结合,提升农业智能化水平,助力精准施肥、减少农药使用,推动农业可持续发展,具有重要应用价值。
Vue实用组件与工具使用指南
本文系统梳理Vue开发中常用UI组件库(如Element Plus、Vant)、状态管理(Pinia)、工程化(Vite)及调试工具,结合实操示例讲解核心用法与选型建议,助力开发者提升效率、规范流程、聚焦业务。
OAuth2.0实战案例
本教程介绍如何搭建Spring Boot集成Security与OAuth2的项目,包括创建父工程、配置依赖管理、添加资源模块及数据库连接,实现安全认证服务的基础架构。
不写规则也能抽数据?
本文探讨了企业在招聘数据分析中对薪资信息采集的挑战,分析了从纯规则采集到智能解析的发展,并指出智能解析在招聘场景中的局限性。推荐企业采用人工规则与智能解析相结合的策略,以确保数据的稳定性和可解释性。
八、HQL DML数据导入与操作
在 Hive 中,写好一条 INSERT,远不止“把数据塞进去”那么简单。本文将用清晰的语法讲解和实用案例,带你一步步掌握 LOAD DATA、INSERT ... SELECT、动态分区、CTAS 等核心用法。从数据导入、表间写入到多表分发、HDFS 导出,覆盖 Hive DML 的关键技能,让你的数据处理更高效、更得心应手。
1688店铺详情API使用指南
1688店铺详情API是阿里巴巴开放平台核心接口,支持通过店铺ID获取商家基本信息、资质、等级及主营类目等数据,适用于电商分析、供应链对接等场景。本文详解接口参数、Python调用示例及注意事项,助开发者高效集成与应用。
CNFans模式淘宝1688代购系统搭建指南
CNFans代购系统整合1688供应链与淘宝渠道,为跨境用户提供一站式代购服务。通过API对接实现商品、订单、支付数据自动化,支持多币种结算与全程物流追踪。面向小微电商、海外代购及价格敏感型消费者,提供代购、质检、仓储、物流等全流程服务,保障正品与性价比。盈利涵盖服务费、增值服务、广告与会员订阅,打造安全透明的跨境代购生态平台。(239字)
活动报名 | Apache Spark Meetup · 上海站,助力企业构建高效数据平台
2025年12月20日,上海 · 阿里巴巴徐汇滨江园区,Apache Spark Meetup 助力企业构建高效数据平台,欢迎报名!
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。