aliyun6039169770-29419_个人页

2025年03月

• 03.09 21:38:45
  发表了文章 2025-03-09 21:38:45

  window系统下安装elk

  本文介绍了Elasticsearch、Logstash和Kibana（统称ELK栈）8.17.3版本的安装与配置流程。主要内容包括： - **Elasticsearch**：详细描述了从下载到启动服务的步骤，以及`elasticsearch.yml`的关键配置项，并提供了Postman操作示例及常见问题解决方案。 - **Logstash**：涵盖了插件安装、配置文件`logstash.conf`编写及其启动命令。 - **Kibana**：讲解了下载、配置`kibana.yml`和启动过程，确保与Elasticsearch正确连接。
• 03.09 14:23:31
  发表了文章 2025-03-09 14:23:31

  seatunnel配置mysql2hive

  本文介绍了SeaTunnel的安装与使用教程，涵盖从安装、配置到数据同步的全过程。主要内容包括： 1. **SeaTunnel安装**：详细描述了下载、解压及配置连接器等步骤。 2. **模拟数据到Hive (fake2hive)**：通过编辑测试脚本，将模拟数据写入Hive表。 3. **MySQL到控制台 (mysql2console)**：创建配置文件并执行命令，将MySQL数据输出到控制台。 4. **MySQL到Hive (mysql2hive)**：创建Hive表，配置并启动同步任务，支持单表和多表同步。
• 03.06 12:15:23
  发表了文章 2025-03-06 12:15:23

  milvus-use教程 python

  本项目参考vanna项目，获取数据库元数据和问题SQL对，存入Milvus向量数据库，并进行相似性检索。采用m3e-large嵌入模型，通过DatabaseManager类实现数据库连接持久化，MilvusVectorStore类封装了Milvus操作方法，如创建集合、添加数据和查询。项目提供init_collections、delete_collections等文件用于初始化、删除和管理集合。所用Milvus版本较新，API与vanna项目不兼容。 [项目地址](https://gitee.com/alpbeta/milvus-use)
• 03.05 14:16:10
  发表了文章 2025-03-05 14:16:10

  ai-api-union项目，适配各AI厂商api

  本项目旨在实现兼容各大模型厂商API的流式对话和同步对话接口，现已支持智谱、豆包、通义、通义版DeepSeek。项目地址：[https://gitee.com/alpbeta/ai-api-union](https://gitee.com/alpbeta/ai-api-union)。通过`ChatController`类暴露两个接口，入参为`ChatRequest`，包含会话ID、大模型标识符和聊天消息列表。流式对话返回`Flux<String>`，同步调用返回`String`
• 03.02 20:46:16
  发表了文章 2025-03-02 20:46:16

  基于云服务器的数仓搭建-hive/spark安装

  本文介绍了在本地安装和配置MySQL、Hive及Spark的过程。主要内容包括： - **MySQL本地安装**：详细描述了内存占用情况及安装步骤，涉及安装脚本的编写与执行，以及连接MySQL的方法。 - **Hive安装**：涵盖了从上传压缩包到配置环境变量的全过程，并解释了如何将Hive元数据存储配置到MySQL中。 - **Hive与Spark集成**：说明了如何安装Spark并将其与Hive集成，确保Hive任务由Spark执行，同时解决了依赖冲突问题。 - **常见问题及解决方法**：列举了安装过程中可能遇到的问题及其解决方案，如内存配置不足、节点间通信问题等。

  
• 03.01 16:52:13
  发表了文章 2025-03-01 16:52:13

  基于云服务器的数仓搭建-集群安装

  本文介绍了大数据集群的安装与配置，涵盖Hadoop、Zookeeper、Kafka和Flume等组件。主要内容包括： 1. **数据模拟** 2. **Hadoop安装部署**：详细描述了HDFS和YARN的配置，包括NameNode、ResourceManager的内存分配及集群启动脚本。 3. **Zookeeper安装**：解压、配置`zoo.cfg`文件，并创建myid文件 4. **Kafka安装**：设置Kafka环境变量、配置`server.properties` 5. **Flume安装**：配置Flume采集日志到Kafka，编写启动脚本进行测试。
• 03.01 16:41:15
  发表了文章 2025-03-01 16:41:15

  基于云服务器的数仓搭建-服务器配置

  本文介绍了购置并配置三台云服务器的详细步骤。使用FinalShell连接服务器，并安装了必要的工具如epel-release、net-tools和vim。关闭防火墙后，在/opt目录下创建module和software文件夹，卸载默认JDK并修改主机名。添加环境变量路径/home/alpfree/bin，编写集群分发脚本xsync实现文件同步，配置无密登录，安装并分发JDK。参考资料来自海波老师的电商数仓课程。

2025年02月

• 02.27 14:51:51
  发表了文章 2025-02-27 14:51:51

  milvus单节点安装教程

  本文介绍了Milvus的安装与鉴权配置步骤。首先通过下载并执行.sh文件完成安装，命令为`wget`下载脚本和`bash standalone_embed.sh start`启动服务。若需开启鉴权，建议修改外部配置文件`user.yaml`中的`authorizationEnabled`选项为`true`，重启容器后，默认用户名密码为root/Milvus。此外，提供了Python验证连接的方法及修改密码的示例。参考资料包括官方文档和视频教程。