阿里云ECS安装airflow-阿里云开发者社区

开发者社区> 数据库> 正文

阿里云ECS安装airflow

简介: 安装airflow的一些坑

阿里云ECS安装airflow

参考博文

Airflow 1.8 工作流平台搭建

Airflow python工作流管理利器

主要的安装步骤,这两篇博文说的还是比较详细,博主主要说一下安装中遇到的问题

一、安装环境

博主安装的airflow是1.8版本,搭建环境如下:

  • ECS centOS6.9
  • python3.6
  • pip10.0
  • sqlite3.7+
  • mysql5.5+

airflow本身安装并不困难,途中出现的问题基本都是软件版本问题(说多了都是泪。。。)

二、安装中‘雷’

首先是pip

pip install airflow

如果pip版本低于10.0可能会报错,升级pip即可

python -m pip install --upgrade pip

如果使用的mysql是低于5.5,可能会出现下面的错误:

错误如下:

sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (1071, ‘Specified key was too long; max key length is 1000 bytes’) [SQL: u’\nCREATE TABLE sla_miss (\n\ttask_id VARCHAR(250) NOT NULL, \n\tdag_id VARCHAR(250) NOT NULL, \n\texecution_date DATETIME NOT NULL, \n\temail_sent BOOL, \n\ttimestamp DATETIME, \n\tdescription TEXT, \n\tPRIMARY KEY (task_id, dag_id, execution_date), \n\tCHECK (email_sent IN (0, 1))\n)\n\n’

根据这篇博文推测可能是utf8编码问题,你可以不更新版本然后更改编码,不指定utf-8,恭喜你,你会获得新的错误。更新吧兄弟。。。

如果报错出现找不到文件`LibmysqlClient_r.so.16'的错误。

首先查找是否存在该文件,不存在就如下步骤:

先在这里(64bit))找到你需要的mysql-lib包,然后你有两个选择,一是直接下载手动安装(博主是失败了。。。),二是

通过yum指定版本更新mysql-libs(推荐)。

如果使用的sqlite版本低于3.7,一样升级吧。不要问我怎么升级的,博主折腾了一下午,遇到各种问题,要不为啥用mysql呢(丢人丢人。。。,等解决了,再回来补上吧)

版权声明:本文首发在云栖社区,遵循云栖社区版权声明:本文内容由互联网用户自发贡献,版权归用户作者所有,云栖社区不为本文内容承担相关法律责任。云栖社区已升级为阿里云开发者社区。如果您发现本文中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,阿里云开发者社区将协助删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章