首页> 标签> DataX
"DataX"
共 517 条结果
全部 问答 文章 公开课 课程 电子书 技术圈 体验
表格存储datax迁移数据支持含有自增主键的表吗?
表格存储datax迁移数据支持含有自增主键的表吗?
问答
DataX
2023-03-28
DataX 测试同步MySQL数据到MySQL
基本材料:同一台机器,安装了MySQL8,两个库:nacos 和 datax-demo,在nacos库新建一个视图v_datax_role_user;在datax-demo新建一个表t_datax_role_user;【注:使用的都是root用户】job.json内容为:{ "job": {  "setting": {   "speed": {    "channel": 3   },   "errorLimit": {    "record": 0,    "percentage": 0.02   }  },  "content": [   {    "reader": {     "name": "mysqlreader",     "parameter": {      "username": "nacos",      "password": "nacos",      "connection": [       {        "querySql": [         "SELECT username, password, enabled, role FROM v_datax_role_user;"        ],        "jdbcUrl": [         "jdbc:mysql://127.0.0.1:3306/nacos?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"        ]       }      ]     }    },    "writer": {     "name": "mysqlwriter",     "parameter": {      "writeMode": "insert",      "username": "root",      "password": "root",      "column": [       "username",       "password",       "enabled",       "role"      ],      "preSql": [       "delete from t_datax_role_user"      ],      "connection": [       {        "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax-demo?useUnicode=true&characterEncoding=utf8&serverTimezoneGMT%2B8&useSSL=true&rewriteBatchedStatements=true",        "table": [         "t_datax_role_user"        ]       }      ]     }    }   }  ] }}打算将nacos 的users和role同步到 datax-demo库的t_datax_role_user,报异常了。具体错误信息为:经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[MYSQLErrCode-02], Description:[数据库服务的IP地址或者Port错误,请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确。如果是同步中心用户请联系DBA确认idb上录入的IP和PORT信息和数据库的当前实际信息是一致的].  -  具体错误信息为:com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
文章
关系型数据库  ·  MySQL  ·  Java  ·  数据库连接  ·  Nacos  ·  DataX  ·  数据库  ·  数据库管理
2023-03-28
请问有人对写入odps的引擎做了限制吗?
请问,我用dataworks集成资源归集150w左右的数据,5分钟完事,用开源的datax归集,现在得一个多小时,之前用开源的datax归集才5分钟就完事了,请问有人对写入odps的引擎做了限制吗?
问答
分布式计算  ·  DataWorks  ·  DataX  ·  MaxCompute
2023-03-08
请问在shell脚本配置datax相关信息,datax下有个启动文件datax.py ,文件路径是?
问一下,我在shell脚本配置datax相关信息,datax下有个启动文件datax.py 这个文件路径是这个嘛?
问答
Shell  ·  DataX
2023-03-22
datax拉取maxcompute数据获取不到最新几天分区,这个是有分区数量限制的吗?
datax拉取maxcompute数据,获取不到最新几天分区,这个是有分区数量限制的吗
问答
分布式计算  ·  DataX  ·  MaxCompute
2023-03-21
【跌倒检测】基于计算机视觉和帧差法的人体跌倒检测系统附matlab代码
✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。🍎个人主页:Matlab科研工作室🍊个人信条:格物致知。更多Matlab仿真内容点击👇智能优化算法       神经网络预测       雷达通信      无线传感器        电力系统信号处理              图像处理               路径规划       元胞自动机        无人机 ⛄ 内容介绍一种基于人体姿态估计的跌倒检测方法.包括接入视频,对视频进行解码得到视频帧,对视频帧做实时人体姿态估计,获取视频帧中人的关节点坐标;根据关节点的坐标位置,判断是否跌倒,本发明根据人体姿态估计,获取人体关节点的位置信息,根据部分关节点之间的位置关系判断是否有"跌倒"出现.⛄ 部分代码function [rectx,recty,area,perimeter] = minboundrect(x,y,metric)% minboundrect: Compute the minimal bounding rectangle of points in the plane% usage: [rectx,recty,area,perimeter] = minboundrect(x,y,metric)%% arguments: (input)%  x,y - vectors of points, describing points in the plane as%        (x,y) pairs. x and y must be the same lengths.%%  metric - (OPTIONAL) - single letter character flag which%        denotes the use of minimal area or perimeter as the%        metric to be minimized. metric may be either 'a' or 'p',%        capitalization is ignored. Any other contraction of 'area'%        or 'perimeter' is also accepted.%%        DEFAULT: 'a'    ('area')%% arguments: (output)%  rectx,recty - 5x1 vectors of points that define the minimal%        bounding rectangle.%%  area - (scalar) area of the minimal rect itself.%%  perimeter - (scalar) perimeter of the minimal rect as found%%% Note: For those individuals who would prefer the rect with minimum% perimeter or area, careful testing convinces me that the minimum area% rect was generally also the minimum perimeter rect on most problems% (with one class of exceptions). This same testing appeared to verify my% assumption that the minimum area rect must always contain at least% one edge of the convex hull. The exception I refer to above is for% problems when the convex hull is composed of only a few points,% most likely exactly 3. Here one may see differences between the% two metrics. My thanks to Roger Stafford for pointing out this% class of counter-examples.%% Thanks are also due to Roger for pointing out a proof that the% bounding rect must always contain an edge of the convex hull, in% both the minimal perimeter and area cases.%%% Example usage:%  x = rand(50000,1);%  y = rand(50000,1);%  tic,[rx,ry,area] = minboundrect(x,y);toc%%  Elapsed time is 0.105754 seconds.%%  [rx,ry]%  ans =%      0.99994  -4.2515e-06%      0.99998      0.99999%   2.6441e-05            1%  -5.1673e-06   2.7356e-05%      0.99994  -4.2515e-06%%  area%  area =%      0.99994%%% See also: minboundcircle, minboundtri, minboundsphere%%% Author: John D'Errico% E-mail: woodchips@rochester.rr.com% Release: 3.0% Release date: 3/7/07% default for metricif (nargin<3) || isempty(metric)  metric = 'a';elseif ~ischar(metric)  error 'metric must be a character flag if it is supplied.'else  % check for 'a' or 'p'  metric = lower(metric(:)');  ind = strmatch(metric,{'area','perimeter'});  if isempty(ind)    error 'metric does not match either ''area'' or ''perimeter'''  end    % just keep the first letter.  metric = metric(1);end% preprocess datax=x(:);y=y(:);% not many error checks to worry aboutn = length(x);if n~=length(y)  error 'x and y must be the same sizes'end% start out with the convex hull of the points to% reduce the problem dramatically. Note that any% points in the interior of the convex hull are% never needed, so we drop them.if n>3  edges = convhull(x,y);  % 'Pp' will silence the warnings  % exclude those points inside the hull as not relevant  % also sorts the points into their convex hull as a  % closed polygon    x = x(edges);  y = y(edges);    % probably fewer points now, unless the points are fully convex  nedges = length(x) - 1;elseif n>1  % n must be 2 or 3  nedges = n;  x(end+1) = x(1);  y(end+1) = y(1);else  % n must be 0 or 1  nedges = n;end% now we must find the bounding rectangle of those% that remain.% special case small numbers of points. If we trip any% of these cases, then we are done, so return.switch nedges  case 0    % empty begets empty    rectx = [];    recty = [];    area = [];    perimeter = [];    return  case 1    % with one point, the rect is simple.    rectx = repmat(x,1,5);    recty = repmat(y,1,5);    area = 0;    perimeter = 0;    return  case 2    % only two points. also simple.    rectx = x([1 2 2 1 1]);    recty = y([1 2 2 1 1]);    area = 0;    perimeter = 2*sqrt(diff(x).^2 + diff(y).^2);    returnend% 3 or more points.% will need a 2x2 rotation matrix through an angle thetaRmat = @(theta) [cos(theta) sin(theta);-sin(theta) cos(theta)];% get the angle of each edge of the hull polygon.ind = 1:(length(x)-1);edgeangles = atan2(y(ind+1) - y(ind),x(ind+1) - x(ind));% move the angle into the first quadrant.edgeangles = unique(mod(edgeangles,pi/2));% now just check each edge of the hullnang = length(edgeangles);area = inf;perimeter = inf;met = inf;xy = [x,y];for i = 1:nang  % rotate the data through -theta   rot = Rmat(-edgeangles(i));  xyr = xy*rot;  xymin = min(xyr,[],1);  xymax = max(xyr,[],1);    % The area is simple, as is the perimeter  A_i = prod(xymax - xymin);  P_i = 2*sum(xymax-xymin);    if metric=='a'    M_i = A_i;  else    M_i = P_i;  end    % new metric value for the current interval. Is it better?  if M_i<met    % keep this one    met = M_i;    area = A_i;    perimeter = P_i;        rect = [xymin;[xymax(1),xymin(2)];xymax;[xymin(1),xymax(2)];xymin];    rect = rect*rot';    rectx = rect(:,1);    recty = rect(:,2);  endend% get the final rect% all doneend % mainline end⛄ 运行结果⛄ 参考文献[1] 谢开明. 基于GPRS的跌倒检测报警系统的设计与实现[D]. 重庆大学, 2010.[2] 王竞禹, 张晖, 钟琳灏,等. 一种基于计算机视觉的人体跌倒检测方法:.[3] 周民刚. 基于计算机视觉的人体跌倒检测算法研究[J].  2013.[4] 张璐. 基于计算机视觉的人体室内跌倒检测方法研究[D]. 山东理工大学.⛳️ 完整代码❤️部分理论引用网络文献,若有侵权联系博主删除❤️ 关注我领取海量matlab电子书和数学建模资料
文章
机器学习/深度学习  ·  传感器  ·  算法  ·  DataX  ·  计算机视觉  ·  开发者
2023-03-18
您好,有个Dataphin从MySQL到ODPS同步报错的问题需要看下
您好,有个Dataphin从MySQL到ODPS同步报错的问题需要看下 Uid:1192266191409506 问题描述:客户ODPS以及MySQL数据源测试网络都正常,但是在进行同步中却报DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的连接信息是否正确。
问答
分布式计算  ·  关系型数据库  ·  MySQL  ·  Java  ·  数据库连接  ·  MaxCompute  ·  数据库  ·  DataX  ·  数据库管理
2023-03-15
datawork datax 使用公共资源链接 ecs自建的数据但是不同是为啥?
datawork datax 使用公共资源链接 ecs自建的数据但是不同是为啥? ecs安全组也加了dataworks公共资源的网络白名单了
问答
弹性计算  ·  DataWorks  ·  DataX
2023-03-14
DataWorks正在执行的datax任务需要怎么kill掉?
DataWorks正在执行的datax任务需要怎么kill掉?
问答
DataWorks  ·  DataX
2023-03-13
请问odps有没有对开源的datax写入进行限流啊?
请问odps有没有对开源的datax写入进行限流啊?
问答
分布式计算  ·  DataX  ·  MaxCompute
2023-03-07
1 2 3 4 5 6 7 8 9
...
20
跳转至:
DataWorks
2649 人关注 | 4106 讨论 | 206 内容
+ 订阅
  • 降本提效,3月10日上海数据治理Workshop报名中
  • 2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
  • 效率优先,DataWorks全链路数据治理年度发布
查看更多 >
阿里巴巴大数据计算
347730 人关注 | 963 讨论 | 951 内容
+ 订阅
  • MaxCompute 包年包月套餐与非预留计算资源将于北京时间2023年4月30日00:00:00停止续订
  • 阿里云 MaxCompute 2022-12月刊
  • MaxCompute 新售卖规格解读与新版控制台操作详解
查看更多 >
阿里云存储服务
193959 人关注 | 1246 讨论 | 1248 内容
+ 订阅
  • 关系代数和SQL语法
  • Pandas+ SLS SQL:融合灵活性和高性能的数据透视
  • 今天的应用架构,正处在一个不可测的阶段
查看更多 >
Dataphin智能数据建设与治理
91 人关注 | 373 讨论 | 69 内容
+ 订阅
  • 数据安全最佳实践(6):敏感数据实时识别与批量保护【Dataphin V3.9】
  • Dataphin权限体系(6):自定义用户组【Dataphin V3.9】
  • 数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率
查看更多 >
大数据
188713 人关注 | 30991 讨论 | 83955 内容
+ 订阅
  • Yii2如何进行代码审查?具体怎么做?底层原理是什么?
  • 什么是 WebSocket 协议?底层原理是什么?
  • office全版本软件安装包(win+mac版本)——2016office软件下载
查看更多 >