本地安装了aria2c,并设置了, public class TestFileResolver extends AbstractFileResolver {
public FileInfo[] getFileInfo(Map<String, String> rowMap) { // 基本步骤: // 1. 获取binlog中的变更字段,比如组成文件有多个字段组成version+path // 2. 基于字段内容,构造一个文件路径,目前开源版本只支持本地文件的同步.(如果是网络文件,建议进行NFS mount到ndde机器). // 3. 返回FileInfo数组,(目前不支持目录同步,如果是目录需要展开为多个FileInfo的子文件),如果不需要同步,则返回null. String path = rowMap.get("IMA_URL"); //注意为大写 System.out.println(path); FileInfo fileInfo = null; if (StringUtils.isNotEmpty(path)) { fileInfo = new FileInfo(path); return new FileInfo[] { fileInfo }; } else { return null; } } }
如何同步网络中的图片到本地, 例如网络中的‘https://192.168.166.111:8988/images/2012.gif’, 想把它同步到192.168.112:8088/images文件夹中
原提问者GitHub用户291850336asd
您可以使用 Otter 的 FileSender
插件来实现跨服务器同步文件的功能。在您的 pipeline.xml
配置文件中,添加一个 file
类型的 canal,然后配置 FileSender
插件,指定源文件路径和目标文件路径即可。
具体步骤如下:
pipeline.xml
配置文件中,添加一个 file
类型的 canal:<canal id="file-canal" type="file">
<destination>
<mysql id="mysql-dest">
...
</mysql>
</destination>
</canal>
FileSender
插件,指定源文件路径和目标文件路径:<plugin id="file-sender" class="com.alibaba.otter.canal.plugins.file.FileSender">
<!-- 源文件路径 -->
<property name="sourcePath">https://192.168.166.111:8988/images/2012.gif</property>
<!-- 目标文件路径 -->
<property name="targetPath">/path/to/192.168.112.8088/images/2012.gif</property>
</plugin>
需要注意的是,如果源文件路径是一个 HTTPS URL,您需要确保 Otter 所在服务器可以访问该 URL。如果您的 Otter 服务器无法访问该 URL,您可以考虑使用一个支持 HTTP/HTTPS 代理的下载工具,例如 wget 或 curl,来下载该文件,然后将下载的文件复制到目标文件路径。
Otter 是一款配置管理工具,可以用于自动化部署和管理多台服务器。如果需要在不同的服务器之间同步 images 或其他文件,可以使用 Otter 提供的文件传输功能。具体操作步骤如下:
在 Otter 管理平台上创建新任务:首先需要登录到 Otter 管理平台,然后选择“任务管理”菜单,创建一个新的同步任务。
配置任务执行节点和目标节点:在创建任务时,需要设置任务执行节点和目标节点。通常情况下,执行节点指的是本地服务器,目标节点则是远程服务器。
选择同步方式和目录:在设置任务时,需要选择同步方式(例如 SCP、SFTP 等)和要同步的目录或文件。可以通过输入源路径和目标路径实现文件传输。
配置任务参数:根据实际需求,可以配置任务的一些参数,例如超时时间、重试次数等。
执行任务并查看结果:完成任务设置后,点击“执行任务”按钮,等待任务执行完成。在任务执行过程中,可以随时查看任务日志和执行结果,并且进行相关的调整和优化。
通过使用 Otter 提供的文件传输功能,可以方便地实现在不同服务器之间同步 images 或其他文件的操作。如有任何问题或者需求,可以咨询 Otter 官方文档或技术支持团队获取更多帮助和指导。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。