AI 助理
备案控制台
开发者社区 数据库 文章 正文

基于mac构建大数据伪分布式学习环境（十二）-部署DataX+DataX Web

2022-10-20 595
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 本文主要讲解阿里异构多数据源迁移工具DataX与其web管理界面部署

DataX

1.下载解压

2.自检

rm-rf /data/soft/datax/plugin/*/._*

datax.py ../job/job.json

自检结束部署完成

网络异常，图片无法展示
|

DataX web

1.解压

2.一键安装

./bin/install.sh --force

3.输入数据库连接密码和数据库名

网络异常，图片无法展示
|

4.启动服务

start-all.sh

5.访问服务

http://192.168.78.10:9527/index.html#/dashboard

网络异常，图片无法展示
|


文章标签：
云原生大数据计算服务 MaxCompute
数据集成 Data Integration
数据安全/隐私保护
DataX
数据库
大数据
数据库连接
关键词：
构建web
web构建
云原生大数据计算服务 MaxCompute环境
部署web
云原生大数据计算服务 MaxCompute学习
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
颜学长
目录
相关文章
武子康
|
2月前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
武子康
51 5
武子康
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
武子康
51 3
武子康
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
63 0
zzy的aly
|
2月前
|
数据采集 数据可视化 大数据
大数据体系知识学习（三）：数据清洗_箱线图的概念以及代码实现
这篇文章介绍了如何使用Python中的matplotlib和numpy库来创建箱线图，以检测和处理数据集中的异常值。
zzy的aly
49 1
大数据体系知识学习（三）：数据清洗_箱线图的概念以及代码实现
小Lee
|
2月前
|
存储 SQL 分布式计算
大数据学习
【10月更文挑战第15天】
小Lee
44 1
邹荣乐
|
2月前
|
机器学习/深度学习 移动开发 JavaScript
Web实时通信的学习之旅：SSE（Server-Sent Events）的技术详解及简单示例演示
Web实时通信的学习之旅：SSE（Server-Sent Events）的技术详解及简单示例演示
邹荣乐
201 0
zzy的aly
|
2月前
|
分布式计算 大数据 Linux
大数据体系知识学习（二）：WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作，包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题，并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
zzy的aly
33 1
zzy的aly
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习（一）：PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的，主要介绍了Apache Spark的基本概念、特点、组件，以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码，帮助读者搭建和测试大数据环境。
zzy的aly
61 1
sp_fyf_2024
|
2月前
|
PyTorch TensorFlow 算法框架/工具
手把手教你-MAC笔记本安装Pytorch环境
手把手教你-MAC笔记本安装Pytorch环境
sp_fyf_2024
60 0
邹荣乐
|
2月前
|
网络协议 API 网络安全
Web实时通信的学习之旅：轮询、WebSocket、SSE的区别以及优缺点
Web实时通信的学习之旅：轮询、WebSocket、SSE的区别以及优缺点
邹荣乐
178 0

热门文章

最新文章

  • 1
    Creating top-down Web services using MyEclipse
  • 2
    WASC Announcement: Announcing the Web Application Security Scanner Evaluation Criteria v1
  • 3
    ASP.NET2.0里的web.config配置接口API(转)
  • 4
    WEB常见漏洞之SSRF（靶场篇）
  • 5
    安全的Web主机iptables防火墙脚本
  • 6
    使用Axis2来构建Web Service客户端
  • 7
    《Flash建站技术》系列3-步入web殿堂
  • 8
    【温故而知新-Javascript】使用Web存储
  • 9
    centos curl web站点监控实践
  • 10
    JAVA WEB学习笔记(1)_____Servlet 中文乱码问题及解决方案剖析
  • 1
    DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候，遇到报错，该怎么处理
    101
  • 2
    DataWorks操作报错合集之在DataWorks数据集成中，但是预览ODPS源数据库为空，是什么导致的
    109
  • 3
    DataWorks产品使用合集之DataWorks 数据集成中的数据源管理和管理空间的数据源之间的关系是怎样的
    104
  • 4
    DataWorks产品使用合集之在DataWorks中，查看ODPS表的OSS对象如何解决
    92
  • 5
    DataWorks产品使用合集之在DataWorks中，将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
    102
  • 6
    DataWorks产品使用合集之在 DataWorks 中使用数据集成从 MySQL 导入数据到 GDB 执行同步任务脚本的步骤如何解决
    73
  • 7
    DataWorks产品使用合集之在使用 DataWorks 数据集成同步 PostgreSQL 数据库中的 Geometry 类型数据如何解决
    90
  • 8
    DataWorks产品使用合集之DataWorks 数据集成任务中，将数据同步到 Elasticsearch（ES）中，并指定 NESTED 字段中的 properties 类型如何解决
    88
  • 9
    DataWorks产品使用合集之DataWorks 数据集成在同步任务中实现数据转换如何解决
    89
  • 10
    DataWorks操作报错合集之在 DataWorks 中的数据源连通性没有问题，但仍然遇到数据集成报错的情况，如何解决
    74

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第四阶段）
  • 2020版大数据实战项目之DMP广告系统（第六阶段）

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践

    • 相关实验场景

    更多
  • 1分钟SAE部署Web在线游戏
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
  • 倚天大数据电商数据分析快速实践
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用SLB+2ECS+NAS，部署电商web网站的高可用架构
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月