Mac免密登录服务器下载文件+Mac设置定时任务

简介: Mac免密登录服务器下载文件+Mac设置定时任务

Mac免密登录服务器下载文件+Mac设置定时任务


目录

一、需求

二、问题拆解

1、免密登录服务器

2、在 Mac 上设置定时

3、写定时脚本

一、需求

三妹我想在本机(Mac)上设置个定时任务,为什么不在服务器上设置呢,因为有好多用于分析的 Python 包服务器上没有,而我还没有服务器的装包权限,总之我觉得配置两块定时:一部分在服务器上读取 hive 表生成 CSV 文件,一部分在本机,每天去服务器拉取数据。

二、问题拆解

1、免密登录服务器

既然是想要设置定时任务来完成每天去服务器读取数据,肯定不是我人工每天到时间了去输入密码才能下载数据吧。

所以第一步要解决的问题就是免密登录服务器。

所谓的免密登录,就是要让服务器信任你的机器,不信任时才需要输入密码验证身份对吧。所以我们的入手点就是使用密钥文件,使两台机器建立信任。

步骤1. 配置 Mac

打开 Item2,数据命令:

ssh-keygen -t rsa

目的是生成配对密钥。

注:遇到提示建议一路点回车键即可。

效果如图:

可以看到公钥被存放到的位置(红框标注)。

步骤2. 配置服务器

现在已经获取到Mac 的公钥,下一步就是把 id_rsa.pub 文件复制到服务器上 .ssh 目录下 authorized_keys 文件中。

每台服务器 authorized_keys 文件所在的位置都不一样,有的文章说在  ~/.ssh/ 目录中,我也是尝试了好几种方法才找到,方法可能有点笨,不过好用呀。

那么这个方法就是,同样在服务器执行命令(ssh-keygen -t rsa)生成公钥,这样如果已经存在的话就会提示路径,如果原来不存在,你就执行两遍生成密钥,也会提示你第一次生成密钥的位置。

步骤3. 这样轻轻松松找到了 authorized_keys 的位置之后,执行命令 vim authorized_kyes 把 Mac 的 ssh-rsa 内容复制进去即可。

以上~ 完成了 Mac 免密登录服务器。

2、在 Mac 上设置定时

基本有两种方法,第一种是 crontab,第二种是 Mac 的 schedule jobs using launched 设置定时任务,该方法需要写一个 plist 文件,配置任务的动作、间隔的时间等参数。

我自以为对 crontab 很熟所以使用了方法一,没想到还是遇到了一些坑。

坑一:

执行  crontab -e 时报错:

crontab -e

crontab: installing new crontab

/var/spool/cron/tmp.XXXXFSq8E3: 权限不够

crontab: edits left in /tmp/crontab.HaZsu1

 

坑二:

我查了资料说要使用 lsattr /var/spool/cron/ 命令查看文件使用有特殊属性,再使用 chattr 去掉特殊属性。

可是我的 Mac 里说没有 lsattr :

坑三:

安装 lsattr 命令,brew install lsattr ,然而并没有什么作用。

此时我突然想要去看看 /var/spool 路径下面的文件,居然被我发现了关键 bug:根本没有  cron 文件好嘛。。。

所以我就 mkdir cron,又说我没权限,再执行 sudo mkdir cron,搞定。

神奇的是,此时再执行 crontab -e 命令加入定时任务就畅通无阻了。

虽然觉得不可思议,但是真实太 AMAZING 了。

然而现实告诉我,还是太年轻,接下来还是会遇到 bug。

3、写定时脚本

终于到了写定时脚本这一步,其实就是一个 scp 命令,将服务器的 CSV 文件复制到 Mac。

由于我在服务器上每天生成一个 CSV 文件,并且文件已日期作为后缀,类似于 sanmei_20210226.csv 这样的格式。

所以就涉及到我把读取日期需要加入到 scp 命令中。

之前在服务器上执行过脚本里面带读取日期 $(date +"%Y%m%d"),这样就能获取当前日期了,可我是想要前一天的文件,就是今天获取昨天的文件,这下可难倒我了,怎么执行 date -d yesterday 命令以及其他各种方式都不会,可我在服务器上测试都没问题呀。

然后我发现了雷人的原因:Mac 和 Linux 的 date 不是同一个 date 。

先说结论,在 Mac 上使用 $(date -v-1d +"%Y%m%d") 获取前一天。

最终展示一下定时脚本 myCrontab.sh 中的命令:

scp umecron@xx.x.xxx.xxx:/Data/sanmei_$(date -v-1d +"%Y%m%d").csv /Users/sanmei/data

最后再来点彩蛋:为啥 Mac 和 Linux 的 date 不一样呢?

Mac下的date命令是BSD(Berkeley Software Distribution)系的,Linux下date命令是GNU(GNU's Not Unix)系,二者用法有一些区别。

BSD并不特指任何一个BSD衍生版本,而是类UNIX操作系统中的一个分支的总称。

Mac OS X和iOS实际上基于Darwin,Darwin是BSD其中一个分支。

Mac date 和 Linux date 中获取前一天和获取后一天的写法不同:

Mac 通过 -v 参数,-v-1d 代表前一天,-v-1y 代表上一年

Linux 通过--date参数实现,--date='-1 day' 代表前一天,--date='-1 year' 代表上一年

 

完结撒花~~~

相关文章
|
3月前
|
机器学习/深度学习 存储 监控
内部文件审计:企业文件服务器审计对网络安全提升有哪些帮助?
企业文件服务器审计是保障信息安全、确保合规的关键措施。DataSecurity Plus 是由卓豪ManageEngine推出的审计工具,提供全面的文件访问监控、实时异常告警、用户行为分析及合规报告生成功能,助力企业防范数据泄露风险,满足GDPR、等保等多项合规要求,为企业的稳健发展保驾护航。
|
3月前
|
安全 Linux Shell
使用SCP命令在CentOS 7上向目标服务器传输文件
以上步骤是在CentOS 7系统上使用SCP命令进行文件传输的基础,操作简洁,易于理解。务必在执行命令前确认好各项参数,尤其是目录路径和文件名,以避免不必要的传输错误。
346 17
|
3月前
|
自然语言处理 Unix Linux
解决服务器中Jupyter笔记本的文件名字符编码问题
通过上述步骤,可以有效解决Jupyter笔记本的文件名字符编码问题,确保所有文件能在服务器上正常访问并交互,避免因编码问题引起的混淆和数据丢失。在处理任何编码问题时,务必谨慎并确保备份,因为文件名变更是
136 17
|
4月前
|
C# 图形学 开发者
Unity开发中使用UnityWebRequest从HTTP服务器下载资源。
总之,UnityWebRequest就是游戏开发者手中的万能钓鱼竿,既可以获取文本数据,也能钓上图片资源,甚至是那声音的涟漪。使用UnityWebRequest的时候,你需要精心准备,比如确定URL、配置请求类型和头信息;发起请求;巧妙处理钓获的数据;还需要机智面对网络波澜,处理各种可能出现的错误。按照这样的过程,数据的钓取将会是一次既轻松愉快也效率高效的编程钓鱼之旅。
228 18
|
3月前
|
安全 Linux 网络安全
Python极速搭建局域网文件共享服务器:一行命令实现HTTPS安全传输
本文介绍如何利用Python的http.server模块,通过一行命令快速搭建支持HTTPS的安全文件下载服务器,无需第三方工具,3分钟部署,保障局域网文件共享的隐私与安全。
702 0
|
6月前
|
Python
使用Python实现multipart/form-data文件接收的http服务器
至此,使用Python实现一个可以接收 'multipart/form-data' 文件的HTTP服务器的步骤就讲解完毕了。希望通过我的讲解,你可以更好地理解其中的逻辑,另外,你也可以尝试在实际项目中运用这方面的知识。
295 69
|
11月前
|
Java
java小工具util系列5:java文件相关操作工具,包括读取服务器路径下文件,删除文件及子文件,删除文件夹等方法
java小工具util系列5:java文件相关操作工具,包括读取服务器路径下文件,删除文件及子文件,删除文件夹等方法
219 9
|
7月前
|
前端开发 Cloud Native Java
Java||Springboot读取本地目录的文件和文件结构,读取服务器文档目录数据供前端渲染的API实现
博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
Java||Springboot读取本地目录的文件和文件结构,读取服务器文档目录数据供前端渲染的API实现
|
存储 UED Windows
Windows服务器上大量文件迁移方案
Windows服务器上大量文件迁移方案
901 1
|
存储 监控 固态存储
【vSAN分布式存储服务器数据恢复】VMware vSphere vSAN 分布式存储虚拟化平台VMDK文件1KB问题数据恢复案例
在一例vSAN分布式存储故障中,因替换故障闪存盘后磁盘组失效,一台采用RAID0策略且未使用置备的虚拟机VMDK文件受损,仅余1KB大小。经分析发现,该VMDK文件与内部虚拟对象关联失效导致。恢复方案包括定位虚拟对象及组件的具体物理位置,解析分配空间,并手动重组RAID0结构以恢复数据。此案例强调了深入理解vSAN分布式存储机制的重要性,以及定制化数据恢复方案的有效性。
285 5

热门文章

最新文章