阿里云ACE共创空间——大数据方案体验2 Elasticsearch

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介:

从阿里云的官方文档中先查看了下Elasticsearch这个产品的特点:

特点及优势

  • 分布式的实时文件存储,每个字段都被索引并可被搜索
  • 分布式的实时分析搜索引擎
  • 商业版X-pack插件,提供企业级权限管控、实时系统监控等强大服务
  • 可弹性扩展到上百台服务器规模,处理PB级结构化或非结构化数据
  • 支持IK analyzer插件
  • Elastic官方技术支持团队7*24小时技术支持

预置插件

阿里云Elasticsearch预置插件如下(包含但不完全包含):

  • IK Analyzer:IK Analyzer是一个开源的,基于java语言开发的中文分词工具包。是开源社区中处理中分分词非常热门的插件。

  • pinyin Analyzer:拼音分词器。

  • Smart Chinese Analysis Plugin:lucene默认的中文分词器。

  • ICU Analysis plugin:lucene自带的ICU分词,ICU是一套稳定、成熟、功能强大、轻便易用和跨平台支持Unicode 的开发包。

  • Japanese (Kuromoji) Analysis plugin:日文分词器。

  • Mapper Attachments Type plugin:附件类型插件,通过tika库将各种类型格式解析成字符串。


归纳下这个产品的几个特点供之后的试验中参考,这个产品最重要的特点是分布式和实时,在这个基础上可以做字段的搜索任务,搜索任务中的分词功能通过预置的插件完成的,按文档的说明目前支持中文、拼音和日文。因为实时是这个产品的重点所以对弹性的要求比较高,在之后的试验中也关注下这个弹性可以怎么配置。


进入管理控制台后首先需要创建实例,这个创建的过程和ECS非常类似,但是有个别地方还是有些区别,梳理了下整个实例创建过程如下:

1、付费方式:预付费和后付费,其中预付费方式只支持包月,和ECS不同。

2、地域和可用区的选择:按照自己的需求选择地域和可用区,不同的地域的费用可能会有不同。

3、X-Pack版本:按照文档对此产品的说明,商业版X-pack插件是提供企业级权限管控、实时系统监控等服务的插件,是本产品的核心插件,所以有两个版本可以供选择。

4、网络类型:只支持专用网络,也就是经典网络的架构方式是不支持的。既然是VPC下就需要选择虚拟交换机。

5、在实例挂载的数据盘选择上大部分的地域都能够选择云盘型和本地SATA盘型,仅有部分区域支持本地SSD盘。

6、实例的规格上有很多种可以选择,性能从低到高,但是目前1核2G规格的实例不提供售后保障,只能支持测试,不建议用于生产。

7、在实例的选择上可以选择专有主节点和协调节点来满足弹性需求,并且专有主节点和协调节点的实例规格可以不一样。

8、在存储方面只能选择云盘存储的方式,默认是SSD云盘,也可以选择高效云盘,根据IOPS可能的实际情况来进行选择。

9、按量付费的计算方式是按照小时来进行收费,收费根据地域、实例规格、存储、协调节点的数量而有差异。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
2月前
|
分布式计算 DataWorks 大数据
阿里云ODPS的个人收获思考
在接触阿里云ODPS过程中,我深入了解了MaxCompute和DataWorks等产品。MaxCompute强大的数据处理能力显著提升了我的工作效率,而DataWorks的一站式开发与治理平台简化了数据流程管理。通过实践,我不仅掌握了高效的SQL编写与数据挖掘技巧,还提升了团队协作意识与大数据思维,为未来挑战打下了坚实基础。
|
2月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
141 0
|
4月前
|
存储 监控 数据可视化
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
基于 SelectDB 的高性能倒排索引、高吞吐量写入和高压缩存储,用户可以构建出性能高于Elasticsearch 10 倍的可观测性平台,并支持国内外多个云上便捷使用 SelectDB Cloud 的开箱即用服务。
187 8
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
|
5月前
|
数据采集 机器学习/深度学习 人工智能
面向 MoE 和推理模型时代:阿里云大数据 AI 产品升级发布
2025 AI 势能大会上,阿里云大数据 AI 平台持续创新,贴合 MoE 架构、Reasoning Model 、 Agentic RAG、MCP 等新趋势,带来计算范式变革。多款大数据及 AI 产品重磅升级,助力企业客户高效地构建 AI 模型并落地 AI 应用。
|
2月前
|
人工智能 分布式计算 DataWorks
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
阿里云ODPS技术栈通过MaxCompute、Object Table与MaxFrame等核心组件,实现了多模态数据的高效处理与智能分析。该架构支持结构化与非结构化数据的统一管理,并深度融合AI能力,显著降低了分布式计算门槛,推动企业数字化转型。未来,其在智慧城市、数字医疗、智能制造等领域具有广泛应用前景。
221 6
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
|
存储 机器学习/深度学习 人工智能
阿里云ODPS:在AI浪潮之巅,铸就下一代智能数据根基
在智能爆炸时代,ODPS正从传统数据平台进化为“AI操作系统”。面对千亿参数模型与实时决策挑战,ODPS通过流批一体架构、多模态处理、智能资源调度等技术创新,大幅提升效率与智能化水平。从自动驾驶到医疗联合建模,从数字孪生到低代码AI开发,ODPS正重塑企业数据生产力,助力全球客户在算力洪流中抢占先机。
97 0
|
2月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
69 4
|
2月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
151 3