• 关于

    检测系统如何搭建

    的搜索结果

问题

ECS实例管理FAQ

boxti 2019-12-01 21:48:18 1514 浏览量 回答数 0

回答

二楼:选购篇 个人经验,说说新用户买主机的那些困惑 假如网站流量2万然后图片和WEB分离用什么样的配置就够 租用阿里云主机我想建30个站点请问购买哪种配置合适 1m带宽能做图片站吗? 请教一下数据量有100万条左右要什么配置 网站流量IP在10006000之间如何选择带宽 6m的带宽能承受多少ip的并发 想问下,网站同时在线最高500IP,要多大的带宽,什么配置? 2万pv、2千ip的论坛该选择什么样的阿里云产品? 1000IP,50008000pv手机软件下载站,大约50g附件,用oss划算吗? 网站最高100IP同时在线,1M够用吗? phpwind的论坛每天2万IP需要买什么样的配置? 单个html网页,每天几万IP访问量,需要怎样的服务器配置? 日IP8000的论坛大概要用什么类型阿里云产品? 1g 的内存能不能支持DZ5000个IP 3M的带宽1.5WIP就扛不住了? 512M的经济型能支持几个站点?(pw论坛)IPpv多少?数据库有送么 ------------------------- 四楼:配置篇 阿里云官方帮助中心(推荐)windows篇Windows最简单的PHP MYSQL配置方法(菜鸟必备)面板管理 mysql安装教程梦丫头版 云服务器管理指南windows2008r2php阿里云主机配置视频教程云主机win2008可以更改远程桌面端口3389 Windows使用手册Windows Server 2012上PHP运行环境搭建的简易教程(Win08适用) Windows 视频教程IIS6.0新建站点及绑定域名图文教程 linux篇nginx系统,301地址重定向在CentOS 5.x中使用ext4文件系统 WDCP系统如何禁止别人用IP访问你的网站 阿里云主机如何添加SWAP分区 用wdcp面板安装wordpress博客 老牌wdcpweb控制和管理面板 阿里云Centos主机Mysql设置配置php.ini问题——Error404.me阿里云centos主机配置nginx 阿里云centos下挂载和扩展多块硬盘解决方案阿里云主机之挂载硬盘lnmpnginxmysqlphp安装使用开源的amh搭建nginx/php/mysql环境和管理面板 Nginx配置及Rewrite规则 阿里云主机linux下安装系统zijidelu管理系统图文教程分享一个阿里云linux系统装wdcp的教程 分享下 LINUX 挂载数据盘并安装WDCP的教程 新手安装控制面板 挂载硬盘 3条命令 直接搞定 阿里云主机Linux系统运用LuManager(LUM)配置环境教程 Redhat/CentOS一键安装web环境全攻略阿里云linux最简单的环境配置方法(有面板) 如何添加网站for linux(绑定域名) linux使用手册 Linux视频教程 ------------------------- 五楼:备案篇实战演示:阿里云网站备案视频教程备案期间IP访问网站 域名调试网站方法大全 阿里云官方备案专题 首次备案指南 修改备案指南 有主体新增网站指南 联系客服 ------------------------- 六楼:安全篇 云盾1.30版本介绍 讨论阿里云服务器被DDos和CC的防御方法! 关于“云监控”的使用及其他说明操作系统安全加固版镜像FAQ云盾FAQweb漏洞详解及修复建议网页挂马及暗链检测 ------------------------- 七楼:高级应用篇Linux和windows如何屏蔽访客IP[阿里云版主教程帖]NGINX(Tengine)从入门到精通怎样对网站进行gzip压缩 Mysql 主、从同步/主、从双向同步 巧用linux云服务器下的的/dev/shm/,避开磁盘IO不给力 使用SLB合并阿里云带宽 - 【降低成本】 4K对齐,0成本IO优化,大家都来看吧! 迁入阿里云后的两个心得1M的主机搭建的网站如何秒开使用gzip来实现加速 负载均衡SLB具体怎么用手把手教你nginx下如何增加网站phpwind,discuz,wordpress需要开通系统邮件服务的看这里哈 ------------------------- 回 24楼(秋风明月) 的帖子 是的,有了云盾和快照,确实可以不用装防火墙了。如果你是linux系统,安全性更高一些。 ------------------------- Re:回7楼kideny的帖子 引用第30楼正典互联于2013-04-15 14:15发表的 回7楼kideny的帖子 : 请问阿里云服务器可以实现PHP跟ASP共存吗?我的几个网站分别是使用这两种不同环境的。谢谢解答 云服务器完全可以实现PHP和ASP共存。 ------------------------- 回 37楼(xixihaha) 的帖子 截图发上来看看吧,是密码错误还是怎么了。 ------------------------- 回 49楼(joker) 的帖子 是的,都是独立IP和独立带宽。

kideny 2019-12-01 23:35:01 0 浏览量 回答数 0

回答

二楼:选购篇 个人经验,说说新用户买主机的那些困惑 假如网站流量2万然后图片和WEB分离用什么样的配置就够 租用阿里云主机我想建30个站点请问购买哪种配置合适 1m带宽能做图片站吗? 请教一下数据量有100万条左右要什么配置 网站流量IP在10006000之间如何选择带宽 6m的带宽能承受多少ip的并发 想问下,网站同时在线最高500IP,要多大的带宽,什么配置? 2万pv、2千ip的论坛该选择什么样的阿里云产品? 1000IP,50008000pv手机软件下载站,大约50g附件,用oss划算吗? 网站最高100IP同时在线,1M够用吗? phpwind的论坛每天2万IP需要买什么样的配置? 单个html网页,每天几万IP访问量,需要怎样的服务器配置? 日IP8000的论坛大概要用什么类型阿里云产品? 1g 的内存能不能支持DZ5000个IP 3M的带宽1.5WIP就扛不住了? 512M的经济型能支持几个站点?(pw论坛)IPpv多少?数据库有送么 ------------------------- 四楼:配置篇阿里云官方帮助中心(推荐)windows篇Windows最简单的PHP MYSQL配置方法(菜鸟必备)面板管理 mysql安装教程梦丫头版 云服务器管理指南windows2008r2php阿里云主机配置视频教程云主机win2008可以更改远程桌面端口3389 Windows使用手册Windows Server 2012上PHP运行环境搭建的简易教程(Win08适用) Windows 视频教程IIS6.0新建站点及绑定域名图文教程Windows最简单的环境安装一键包Windows 一键安装web环境(适用于Windows2008) linux篇nginx系统,301地址重定向在CentOS 5.x中使用ext4文件系统 WDCP系统如何禁止别人用IP访问你的网站 阿里云主机如何添加SWAP分区 用wdcp面板安装wordpress博客 老牌wdcpweb控制和管理面板 阿里云Centos主机Mysql设置配置php.ini问题——Error404.me阿里云centos主机配置nginx 阿里云centos下挂载和扩展多块硬盘解决方案阿里云主机之挂载硬盘lnmpnginxmysqlphp安装使用开源的amh搭建nginx/php/mysql环境和管理面板 Nginx配置及Rewrite规则 阿里云主机linux下安装系统zijidelu管理系统图文教程分享一个阿里云linux系统装wdcp的教程 分享下 LINUX 挂载数据盘并安装WDCP的教程 新手安装控制面板 挂载硬盘 3条命令 直接搞定 阿里云主机Linux系统运用LuManager(LUM)配置环境教程 Redhat/CentOS一键安装web环境全攻略阿里云linux最简单的环境配置方法(有面板) 如何添加网站for linux(绑定域名) linux使用手册 Linux视频教程云服务器一键安装LTMPTengineRPM一键安装Tengine服务器快速搭建方法阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 ------------------------- 五楼:备案篇实战演示:阿里云网站备案视频教程备案期间IP访问网站 域名调试网站方法大全 阿里云官方备案专题 首次备案指南 修改备案指南 有主体新增网站指南管局审核需要多长时间?一台云服务器备案多少个网站?备案需要多长时间?什么样的网站需要备案? 联系客服 ------------------------- 六楼:安全篇 阿里云安全策略大解读 云盾1.30版本介绍 讨论阿里云服务器被DDos和CC的防御方法! 关于“云监控”的使用及其他说明操作系统安全加固版镜像FAQ云盾FAQweb漏洞详解及修复建议网页挂马及暗链检测【推荐】如果遇上网络攻击 你需要做的事云盾防Ddos文献之敌情篇 ——DDoS攻击原理Nginx简单防御CC攻击网站防止CC攻击的方法Linux主机简单判断CC攻击的命令ECS安全优化之路Linuxweb应用安全防护经验小结新手必看:云盾及ecs基础安全设置教程 ------------------------- 回 24楼(秋风明月) 的帖子 是的,有了云盾和快照,确实可以不用装防火墙了。如果你是linux系统,安全性更高一些。 ------------------------- Re:回7楼kideny的帖子 引用第30楼正典互联于2013-04-15 14:15发表的 回7楼kideny的帖子 : 请问阿里云服务器可以实现PHP跟ASP共存吗?我的几个网站分别是使用这两种不同环境的。谢谢解答 云服务器完全可以实现PHP和ASP共存。 ------------------------- 回 37楼(xixihaha) 的帖子 截图发上来看看吧,是密码错误还是怎么了。 ------------------------- 回 49楼(joker) 的帖子 是的,都是独立IP和独立带宽。 ------------------------- 2014年7月22日,今天又更新了大量内容。好久没更新了,工作量巨大啊。 ------------------------- 回 155楼(娱乐人才网) 的帖子 本周已经更新了大量内容!

kideny 2019-12-02 00:53:38 0 浏览量 回答数 0

万券齐发助力企业上云,爆款产品低至2.2折起!

限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

回答

解决了吗?感觉是版本的问题 ######请问楼主解决了吗?我现在也遇到了相同的问题######这个是由于当时IK分词器还不支持solr5.3版本。现在百度已经能找到solr5.3版本下的ik分词器代码了。######https://github.com/EugenePig/ik-analyzer-solr5   下载这个 然后直接编译 按照reademe 的说明配置即可######基于微博数据检测的Solr实战开发 课程观看地址: http://www.xuetuwuyou.com/course/145 课程出自学途无忧网: http://www.xuetuwuyou.com solrcloud5.2.1+zookeeper一部精通 课程观看地址: http://www.xuetuwuyou.com/course/15 一、课程用到的软件 1.centos6.7 2.apache-tomcat-7.0.47 3.solr-5.5 4.zookeeper 3.4.6 5.eclipse-jee-neon-R-win32-x86_64  二、课程目标 在海量数据的情况下,传统的关系型数据库已经力不从心,快速检索已经成为了应用系统所必备的功能之一。本课程从实战角度出发,让学员能从实战中学习到: 搜索引擎的原理及架构。  掌握在大数据环境下经典检索算法。  掌握如何使用solr实现系统快速检索目标。  掌握solr在开发中常见的技术大坑与调优技术。 三、适用人群 开发人员、架构师、对分布式搜索引擎有兴趣的朋友。 四、课程内容介绍: 第1课、Solr简介与部署     知识点:Solr基本概念以及应用的介绍、Solr单机版的搭建 第2课、Solr建库实战     知识点:介绍managed-schame和solrConfig两大配置文件,并建立Solr库开始实操 第3课、Solr中文分词器与全量数据导入     知识点:对比中文分词器IK与MMSeg4j的特点、Solr配置MMSeg4j中文分词器、把Mysql中的数据导入到Solr索引库上 第4课、Solr增量数据导入及新管理UI实战     知识点:把Mysql的数据增量导入到Solr索引库上、对Solr5最新的UI进行全面介绍 第5课、Solr数据查询详解     知识点:基于UI管理界面,实战Solr q查询、fq查询以及分页、高亮、Facet等高级特性的使用 第6课、Solrj编程实战之索引增删改     知识点:基于Eclipse开发环境、搭建Solrj工程项目,对Solr的索引库的进行增、删、改的操作 第7课、Solrj编程实战之索引查询与分页     知识点:基于Solrj实现q查询、fq查询以及分页查询的操作 第8课、Solrj编程实战之高亮与Facet     知识点:基于Solrj实现高亮查询、Facet查询的操作 第9课、Solrj编程实战之设计模式     知识点:基于前阶段所写的代码,发现代码中的不足,并使用单例模式、模块方法、回调方法的设计模式进行仿Spring Data的开发 第10课、Solr缓存与预热机制剖析     知识点:从算法、应用场景以及实例的多个维度,剖析Solr中的四大缓存,并且站在SolrIndexSearcher的生命周期上解剖预热机制及其注意事项 第11课、Solr高级特性之近实时、实时检索     知识点:从概念、原理以及实例的多个维度,剖析Solr近实时、实时检索 第12课、Solr高级特性之原子更新     知识点:Solr在应用层面上对Lucene进行了封装,在Solr4之后提出了原子更新的新概念,从此在应用层面操作上方便我们进行索引更新 第13课、Solr高级特性之深度分页及性能调优     知识点:Solr4的又一大特性,在面临海量据的情况下,占用更低的资源进行数据检索正是深度分页的一大亮点、后半节结合讲师的实际开发经验,分享Solr性能调优的策略 第14课、SolrCloud部署运维之集群搭建     知识点:基于Centos、zookeeper环境下,搭建SolrCloud系统  第15课、SolrCloud部署运维之库管理     知识点:SolrCloud的运维之道,从UI管理界面以及命令行的两个维度去剖析SolrCloud库的管理,包括库的新增、删除以及动态更新  第16课、SolrCloud部署运维之副本与扩容     知识点:SolrCloud的运维之道,从UI管理界面以及命令行的两个维度去剖析SolrCloud分片的管理,包括分片的备份与库的扩容 第17课、中文分词器配置与使用Solrj操作SolrCloud     知识点:配置中文分词器以及使用Solrj操作SolrCloud来实现增、删、改、查  第18课、项目介绍与环境搭建     知识点:介绍项目的背景以及总体架构、突出Solr在实际项目中的角色。基于Maven搭建开发环境  第19课、框架代码开发之Spring集成Solrj之CRUD(maven版)     知识点:Spring是一个JavaEE企业级框架,它很多主流的主件都进行集成支持。本节学习Spring与Solrj的集成,进行增、删、改、查操作 第20课、框架代码开发之Spring集成Solrj之(maven版)     知识点:Spring是一个JavaEE企业级框架,它对很多主流的组件都进行集成支持。本节学习Spring与Solrj的集成,进行实时检索、高亮、深度分页、Facet查询操作 第21课、基于dom4j的导库组件开发(maven版)     知识点:基于dom4j解析XML文件,并将数据批量高效导入到SolrCloud分布式索引库上进行检索分析 第22课、高级检索组件开发一     知识点:基于SolrCloud实现高级检索,包括多条件查询、高亮、分页操作 第23课、高级检索组件开发二         知识点:基于SolrCloud实现高级检索,包括多条件查询、高亮、分页操作 第24课、相似匹配组件开发一     知识点:基于SolrCloud实现相似性检索操作 第25课、相似匹配组件开发二     知识点:基于SolrCloud实现相似性检索操作 第26课、课程总结与Solr6的展望     知识点:课程大总结,并对最新版的Solr6进行亮点分析以及未来的展望

kun坤 2020-06-01 09:57:39 0 浏览量 回答数 0

回答

你的JDK是错的把,直接用的Eclipse自带的,你换一下试试回复<aclass='referer'target='_blank'>@朋也:Causedby:java.lang.NoSuchMethodError:org.apache.commons.codec.binary.Base64.<init>(I)V这个报错通常是使用的ECLIPSE自带的JDK导致的,应该重新配置成自己的JDK。回复<aclass='referer'target='_blank'>@首席撸出血:配置了的,是jdk1.8,开发工具是idea或者你本地的JDK环境有没有配置缺jar包啊,<spanstyle="color:#444444;font-family:'MicrosoftYaHei',Verdana,sans-serif,宋体;font-size:14px;line-height:normal;background-color:#FFFFFF;">apache.commons.codec这个包估计所使用的jar版本过低了;如果有多个,可删除低版本的试试这个包有的Base64是commons-codec1.0才加入的类,确认下本地的版本是不是不对,另外也确认下是不是存在两个不同版本的jar包冲突<divclass='ref'> 引用来自“逝水fox”的评论Base64是commons-codec1.0才加入的类,确认下本地的版本是不是不对,另外也确认下是不是存在两个不同版本的jar包冲突 基于微博数据检测的Solr实战开发 课程观看地址:<atarget="_blank"rel="nofollow">http://www.xuetuwuyou.com/course/145 课程出自学途无忧网:<atarget="_blank"rel="nofollow">http://www.xuetuwuyou.com solrcloud5.2.1+zookeeper一部精通 课程观看地址:<atarget="_blank"rel="nofollow">http://www.xuetuwuyou.com/course/15 一、课程用到的软件 1.centos6.7 2.apache-tomcat-7.0.47 3.solr-5.5 4.zookeeper3.4.6 5.eclipse-jee-neon-R-win32-x86_64  二、课程目标 在海量数据的情况下,传统的关系型数据库已经力不从心,快速检索已经成为了应用系统所必备的功能之一。本课程从实战角度出发,让学员能从实战中学习到: 1.搜索引擎的原理及架构。  2.掌握在大数据环境下经典检索算法。  3.掌握如何使用solr实现系统快速检索目标。  4.掌握solr在开发中常见的技术大坑与调优技术。 三、适用人群 开发人员、架构师、对分布式搜索引擎有兴趣的朋友。 四、课程内容介绍: 第1课、Solr简介与部署   知识点:Solr基本概念以及应用的介绍、Solr单机版的搭建 第2课、Solr建库实战   知识点:介绍managed-schame和solrConfig两大配置文件,并建立Solr库开始实操 第3课、Solr中文分词器与全量数据导入   知识点:对比中文分词器IK与MMSeg4j的特点、Solr配置MMSeg4j中文分词器、把Mysql中的数据导入到Solr索引库上 第4课、Solr增量数据导入及新管理UI实战   知识点:把Mysql的数据增量导入到Solr索引库上、对Solr5最新的UI进行全面介绍 第5课、Solr数据查询详解   知识点:基于UI管理界面,实战Solrq查询、fq查询以及分页、高亮、Facet等高级特性的使用 第6课、Solrj编程实战之索引增删改   知识点:基于Eclipse开发环境、搭建Solrj工程项目,对Solr的索引库的进行增、删、改的操作 第7课、Solrj编程实战之索引查询与分页   知识点:基于Solrj实现q查询、fq查询以及分页查询的操作 第8课、Solrj编程实战之高亮与Facet   知识点:基于Solrj实现高亮查询、Facet查询的操作 第9课、Solrj编程实战之设计模式   知识点:基于前阶段所写的代码,发现代码中的不足,并使用单例模式、模块方法、回调方法的设计模式进行仿SpringData的开发 第10课、Solr缓存与预热机制剖析   知识点:从算法、应用场景以及实例的多个维度,剖析Solr中的四大缓存,并且站在SolrIndexSearcher的生命周期上解剖预热机制及其注意事项 第11课、Solr高级特性之近实时、实时检索   知识点:从概念、原理以及实例的多个维度,剖析Solr近实时、实时检索 第12课、Solr高级特性之原子更新   知识点:Solr在应用层面上对Lucene进行了封装,在Solr4之后提出了原子更新的新概念,从此在应用层面操作上方便我们进行索引更新 第13课、Solr高级特性之深度分页及性能调优   知识点:Solr4的又一大特性,在面临海量据的情况下,占用更低的资源进行数据检索正是深度分页的一大亮点、后半节结合讲师的实际开发经验,分享Solr性能调优的策略 第14课、SolrCloud部署运维之集群搭建   知识点:基于Centos、zookeeper环境下,搭建SolrCloud系统  第15课、SolrCloud部署运维之库管理   知识点:SolrCloud的运维之道,从UI管理界面以及命令行的两个维度去剖析SolrCloud库的管理,包括库的新增、删除以及动态更新  第16课、SolrCloud部署运维之副本与扩容   知识点:SolrCloud的运维之道,从UI管理界面以及命令行的两个维度去剖析SolrCloud分片的管理,包括分片的备份与库的扩容 第17课、中文分词器配置与使用Solrj操作SolrCloud   知识点:配置中文分词器以及使用Solrj操作SolrCloud来实现增、删、改、查  第18课、项目介绍与环境搭建   知识点:介绍项目的背景以及总体架构、突出Solr在实际项目中的角色。基于Maven搭建开发环境  第19课、框架代码开发之Spring集成Solrj之CRUD(maven版)   知识点:Spring是一个JavaEE企业级框架,它很多主流的主件都进行集成支持。本节学习Spring与Solrj的集成,进行增、删、改、查操作 第20课、框架代码开发之Spring集成Solrj之(maven版)   知识点:Spring是一个JavaEE企业级框架,它对很多主流的组件都进行集成支持。本节学习Spring与Solrj的集成,进行实时检索、高亮、深度分页、Facet查询操作 第21课、基于dom4j的导库组件开发(maven版)   知识点:基于dom4j解析XML文件,并将数据批量高效导入到SolrCloud分布式索引库上进行检索分析 第22课、高级检索组件开发一   知识点:基于SolrCloud实现高级检索,包括多条件查询、高亮、分页操作 第23课、高级检索组件开发二     知识点:基于SolrCloud实现高级检索,包括多条件查询、高亮、分页操作 第24课、相似匹配组件开发一   知识点:基于SolrCloud实现相似性检索操作 第25课、相似匹配组件开发二   知识点:基于SolrCloud实现相似性检索操作 第26课、课程总结与Solr6的展望   知识点:课程大总结,并对最新版的Solr6进行亮点分析以及未来的展望

爱吃鱼的程序员 2020-06-12 15:21:44 0 浏览量 回答数 0

问题

AliOS Things v1.1.1新特性

librae 2019-12-01 21:54:10 2207 浏览量 回答数 2

问题

安全技术百问,老板再也不用担心病毒勒索了!

yq传送门 2019-12-01 20:11:52 24648 浏览量 回答数 15

回答

你好,这里有208份资料,详情请参考:https://github.com/ty4z2008/Qix/blob/master/ds.md 《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《Distributed porgramming liboratory》介绍:分布式编程实验室,他们发表的很多的paper,其中不仅仅是学术研究,还有一些工业界应用的论文. 《MIT Theory of Distributed Systems》介绍:麻省理工的分布式系统理论主页,作者南希·林奇在2002年证明了CAP理论,并且著《分布式算法》一书. 《Notes on Distributed Systems for Young Bloods》介绍:分布式系统搭建初期的一些建议 《Principles of Distributed Computing》介绍:分布式计算原理课程 《Google's Globally-Distributed Database》介绍:Google全球分布式数据介绍,中文版 《The Architecture Of Algolia’s Distributed Search Network》介绍:Algolia的分布式搜索网络的体系架构介绍 《Build up a High Availability Distributed Key-Value Store》介绍:构建高可用分布式Key-Value存储系统 《Distributed Search Engine with Nanomsg and Bond》介绍:Nanomsg和Bond的分布式搜索引擎 《Distributed Processing With MongoDB And Mongothon》介绍:使用MongoDB和Mongothon进行分布式处理 《Salt: Combining ACID and BASE in a Distributed Database》介绍:分布式数据库中把ACID与BASE结合使用. 《Makes it easy to understand Paxos for Distributed Systems》介绍:理解的Paxos的分布式系统,参考阅读:关于Paxos的历史 《There is No Now Problems with simultaneity in distributed systems》介绍:There is No Now Problems with simultaneity in distributed systems 《Distributed Systems》介绍:伦敦大学学院分布式系统课程课件. 《Distributed systems for fun and profit》介绍:分布式系统电子书籍. 《Distributed Systems Spring 2015》介绍:卡内基梅隆大学春季分布式课程主页 《Distributed Systems: Concepts and Design (5th Edition)》介绍: 电子书,分布式系统概念与设计(第五版) 《走向分布式》介绍:这是一位台湾网友 ccshih 的文字,短短的篇幅介绍了分布式系统的若干要点。pdf 《Introduction to Distributed Systems Spring 2013》介绍:清华大学分布式系统课程主页,里面的schedule栏目有很多宝贵的资源 《Distributed systems》介绍:免费的在线分布式系统书籍 《Some good resources for learning about distributed computing》介绍:Quora上面的一篇关于学习分布式计算的资源. 《Spanner: Google’s Globally-Distributed Database》介绍:这个是第一个全球意义上的分布式数据库,也是Google的作品。其中介绍了很多一致性方面的设计考虑,为了简单的逻辑设计,还采用了原子钟,同样在分布式系统方面具有很强的借鉴意义. 《The Chubby lock service for loosely-coupled distributed systems》介绍:Google的统面向松散耦合的分布式系统的锁服务,这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁,Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的,所以Chubby实际上是Google分布式事务的基础,具有非常高的参考价值。另外,著名的zookeeper就是基于Chubby的开源实现.推荐The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems 《Sinfonia: a new paradigm for building scalable distributed systems》介绍:这篇论文是SOSP2007的Best Paper,阐述了一种构建分布式文件系统的范式方法,个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文. 《Data-Intensive Text Processing with MapReduce》介绍:Ebook:Data-Intensive Text Processing with MapReduce. 《Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System》介绍:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System. 《Distributed Query Processing》介绍:分布式查询入门. 《Distributed Systems and the End of the API》介绍:分布式系统和api总结. 《Distributed Query Reading》介绍:分布式系统阅读论文,此外还推荐github上面的一个论文列表The Distributed Reader。 《Replication, atomicity and order in distributed systems》介绍:Replication, atomicity and order in distributed systems 《MIT course:Distributed Systems》介绍:2015年MIT分布式系统课程主页,这次用Golang作为授课语言。6.824 Distributed Systems课程主页 《Distributed systems for fun and profit》介绍:免费分布式系统电子书。 《Ori:A Secure Distributed File System》介绍:斯坦福开源的分布式文件系统。 《Availability in Globally Distributed Storage Systems》介绍:Google论文:设计一个高可用的全球分布式存储系统。 《Calvin: Fast Distributed Transactions For Partitioned Database Systems》介绍:对于分区数据库的分布式事务处理。 《Distributed Systems Building Block: Flake Ids》介绍:Distributed Systems Building Block: Flake Ids. 《Introduction to Distributed System Design》介绍:Google Code University课程,如何设计一个分布式系统。 《Sheepdog: Distributed Storage System for KVM》介绍:KVM的分布式存储系统. 《Readings in Distributed Systems Systems》介绍:分布式系统课程列表,包括数据库、算法等. 《Tera》介绍:来自百度的分布式表格系统. 《Distributed systems: for fun and profit》介绍:分布式系统的在线电子书. 《Distributed Systems Reading List》介绍:分布式系统资料,此外还推荐Various articles about distributed systems. 《Designs, Lessons and Advice from Building Large Distributed Systems》介绍:Designs, Lessons and Advice from Building Large Distributed Systems. 《Testing a Distributed System》介绍:Testing a distributed system can be trying even under the best of circumstances. 《The Google File System》介绍: 基于普通服务器构建超大规模文件系统的典型案例,主要面向大文件和批处理系统, 设计简单而实用。 GFS是google的重要基础设施, 大数据的基石, 也是Hadoop HDFS的参考对象。 主要技术特点包括: 假设硬件故障是常态(容错能力强), 64MB大块, 单Master设计,Lease/链式复制, 支持追加写不支持随机写. 《Bigtable: A Distributed Storage System for Structured Data》介绍:支持PB数据量级的多维非关系型大表, 在google内部应用广泛,大数据的奠基作品之一 , Hbase就是参考BigTable设计。 Bigtable的主要技术特点包括: 基于GFS实现数据高可靠, 使用非原地更新技术(LSM树)实现数据修改, 通过range分区并实现自动伸缩等.中文版 《PacificA: Replication in Log-Based Distributed Storage Systems》介绍:面向log-based存储的强一致的主从复制协议, 具有较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题, 能加深对主从强一致复制的理解程度。 技术特点: 支持强一致主从复制协议, 允许多种存储实现, 分布式的故障检测/Lease/集群成员管理方法. 《Object Storage on CRAQ, High-throughput chain replication for read-mostly workloads》介绍:分布式存储论文:支持强一直的链式复制方法, 支持从多个副本读取数据,实现code. 《Finding a needle in Haystack: Facebook’s photo storage》介绍:Facebook分布式Blob存储,主要用于存储图片. 主要技术特色:小文件合并成大文件,小文件元数据放在内存因此读写只需一次IO. 《Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency》介绍: 微软的分布式存储平台, 除了支持类S3对象存储,还支持表格、队列等数据模型. 主要技术特点:采用Stream/Partition两层设计(类似BigTable);写错(写满)就封存Extent,使得副本字节一致, 简化了选主和恢复操作; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中. 《Paxos Made Live – An Engineering Perspective》介绍:从工程实现角度说明了Paxo在chubby系统的应用, 是理解Paxo协议及其应用场景的必备论文。 主要技术特点: paxo协议, replicated log, multi-paxo.参考阅读:关于Paxos的历史 《Dynamo: Amazon’s Highly Available Key-Value Store》介绍:Amazon设计的高可用的kv系统,主要技术特点:综和运用一致性哈希,vector clock,最终一致性构建一个高可用的kv系统, 可应用于amazon购物车场景.新内容来自分布式存储必读论文 《Efficient Replica Maintenance for Distributed Storage Systems》介绍:分布式存储系统中的副本存储问题. 《PADS: A Policy Architecture for Distributed Storage Systems》介绍:分布式存储系统架构. 《The Chirp Distributed Filesystem》介绍:开源分布式文件系统Chirp,对于想深入研究的开发者可以阅读文章的相关Papers. 《Time, Clocks, and the Ordering of Events in a Distributed System》介绍:经典论文分布式时钟顺序的实现原理. 《Making reliable distributed systems in the presence of sodware errors》介绍:面向软件错误构建可靠的分布式系统,中文笔记. 《MapReduce: Simplified Data Processing on Large Clusters》介绍:MapReduce:超大集群的简单数据处理. 《Distributed Computer Systems Engineering》介绍:麻省理工的分布式计算课程主页,里面的ppt和阅读列表很多干货. 《The Styx Architecture for Distributed Systems》介绍:分布式系统Styx的架构剖析. 《What are some good resources for learning about distributed computing? Why?》介绍:Quora上面的一个问答:有哪些关于分布式计算学习的好资源. 《RebornDB: The Next Generation Distributed Key-Value Store》介绍:下一代分布式k-v存储数据库. 《Operating System Concepts Ninth Edition》介绍:分布式系统归根结底还是需要操作系统的知识,这是耶鲁大学的操作系统概念书籍首页,里面有提供了第8版的在线电子版和最新的学习操作系统指南,学习分布式最好先学习操作系统. 《The Log: What every software engineer should know about real-time data's unifying abstraction》介绍:分布式系统Log剖析,非常的详细与精彩. 中文翻译 | 中文版笔记. 《Operating Systems Study Guide》介绍:分布式系统基础之操作系统学习指南. 《分布式系统领域经典论文翻译集》介绍:分布式系统领域经典论文翻译集. 《Maintaining performance in distributed systems》介绍:分布式系统性能维护. 《Computer Science from the Bottom Up》介绍:计算机科学,自底向上,小到机器码,大到操作系统内部体系架构,学习操作系统的另一个在线好材料. 《Operating Systems: Three Easy Pieces》介绍:<操作系统:三部曲>在线电子书,虚拟、并发、持续. 《Database Systems: reading list》介绍:数据库系统经典论文阅读列,此外推送github上面的db reading. 《Unix System Administration》介绍:Unix System Administration ebook. 《The Amoeba Distributed Operating System》介绍:分布式系统经典论文. 《Principles of Computer Systems》介绍:计算机系统概念,以分布式为主.此外推荐Introduction to Operating Systems笔记 《Person page of EMİN GÜN SİRER》介绍:推荐康奈尔大学的教授EMİN GÜN SİRER的主页,他的研究项目有分布式,数据存储。例如HyperDex数据库就是他的其中一个项目之一. 《Scalable, Secure, and Highly Available Distributed File Access》介绍:来自卡内基梅隆如何构建可扩展的、安全、高可用性的分布式文件系统,其他papers. 《Distributed (Deep) Machine Learning Common》介绍:分布式机器学习常用库. 《The Datacenter as a Computer》介绍:介绍了如何构建仓储式数据中心,尤其是对于现在的云计算,分布式学习来说很有帮助.本书是Synthesis Lectures on Computer Architecture系列的书籍之一,这套丛书还有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》,Memory Systems Cache, DRAM, Disk 等 《helsinki:Distributed Systems Course slider》介绍:来自芬兰赫尔辛基的分布式系统课程课件:什么是分布式,复制,一致性,容错,同步,通信. 《TiDB is a distributed SQL database》介绍:分布式数据库TiDB,Golang开发. 《S897: Large-Scale Systems》介绍:课程资料:大规模系统. 《Large-scale L-BFGS using MapReduce》介绍:使用MapReduce进行大规模分布式集群环境下并行L-BFGS. 《Twitter是如何构建高性能分布式日志的》介绍:Twitter是如何构建高性能分布式日志的. 《Distributed Systems: When Limping Hardware Is Worse Than Dead Hardware》介绍:在分布式系统中某个组件彻底死了影响很小,但半死不活(网络/磁盘),对整个系统却是毁灭性的. 《Tera - 高性能、可伸缩的结构化数据库》介绍:来自百度的分布式数据库. 《SequoiaDB is a distributed document-oriented NoSQL Database》介绍:SequoiaDB分布式文档数据库开源. 《Readings in distributed systems》介绍:这个网址里收集了一堆各TOP大学分布式相关的课程. 《Paxos vs Raft》介绍:这个网站是Raft算法的作者为教授Paxos和Raft算法做的,其中有两个视频链接,分别讲上述两个算法.参考阅读:关于Paxos的历史 《A Scalable Content-Addressable Network》介绍:A Scalable Content-Addressable Network. 《500 Lines or Less》介绍:这个项目其实是一本书( The Architecture of Open Source Applications)的源代码附录,是一堆大牛合写的. 《MIT 6.824 Distributed System》介绍:这只是一个课程主页,没有上课的视频,但是并不影响你跟着它上课:每一周读两篇课程指定的论文,读完之后看lecture-notes里对该论文内容的讨论,回答里面的问题来加深理解,最后在课程lab里把所看的论文实现。当你把这门课的作业刷完后,你会发现自己实现了一个分布式数据库. 《HDFS-alike in Go》介绍:使用go开发的分布式文件系统. 《What are some good resources for learning about distributed computing? Why?》介绍:Quora上关于学习分布式的资源问答. 《SeaweedFS is a simple and highly scalable distributed file system》介绍:SeaweedFS是使用go开发的分布式文件系统项目,代码简单,逻辑清晰. 《Codis - yet another fast distributed solution for Redis》介绍:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 《Paper: Coordination Avoidance In Distributed Databases By Peter Bailis》介绍:Coordination Avoidance In Distributed Databases. 《从零开始写分布式数据库》介绍:本文以TiDB 源码为例. 《what we talk about when we talk about distributed systems》介绍:分布式系统概念梳理,为分布式系统涉及的主要概念进行了梳理. 《Distributed locks with Redis》介绍:使用Redis实现分布式锁. 《CS244b: Distributed Systems》介绍: 斯坦福2014年秋季分布式课程. 《RAMP Made Easy》介绍: 分布式的“读原子性”. 《Strategies and Principles of Distributed Machine Learning on Big Data》介绍: 大数据分布式机器学习的策略与原理. 《Distributed Systems: What is the CAP theorem?》介绍: 分布式CAP法则. 《How should I start to learn distributed storage system as a beginner?》介绍: 新手如何步入分布式存储系统. 《Cassandra - A Decentralized Structured Storage System》介绍: 分布式存储系统Cassandra剖析,推荐白皮书Introduction to Apache Cassandra. 《What is the best resource to learn about distributed systems?》介绍: 分布式系统学习资源. 《What are some high performance TCP hacks?》介绍: 一些高性能TCP黑客技巧. 《Maintaining performance in distributed systems》介绍:分布式系统性能提升. 《A simple totally ordered broadcast protocol》介绍:Benjamin Reed 和 Flavio P.Junqueira 所著论文,对Zab算法进行了介绍,zab算法是Zookeeper保持数据一致性的核心,在国内有很多公司都使用zookeeper做为分布式的解决方案.推荐与此相关的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice. 《zFS - A Scalable Distributed File System Using Object Disk》介绍:可扩展的分布式文件系统ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study. 《A Distributed Haskell for the Modern Web》介绍:分布式Haskell在当前web中的应用. 《Reasoning about Consistency Choices in Distributed Systems》介绍:POPL2016的论文,关于分布式系统一致性选择的论述,POPL所接受的论文,github上已经有人整理. 《Paxos Made Simple》介绍:Paxos让分布式更简单.译文.参考阅读:关于Paxos的历史,understanding Paxos part1,Understanding Paxos – Part 2.Quora: What is a simple explanation of the Paxos algorithm?,Tutorial Summary: Paxos Explained from Scratch,Paxos algorithm explained, part 1: The essentials,Paxos algorithm explained, part 2: Insights 《Consensus Protocols: Paxos》介绍:分布式系统一致性协议:Paxos.参考阅读:关于Paxos的历史 《Consensus on Transaction Commit》介绍:事务提交的一致性探讨. 《The Part-Time Parliaments》介绍:在《The Part-Time Parliament》中描述了基本协议的交互过程。在基本协议的基础上完善各种问题得到了最终的议会协议。 为了让人更容易理解《The Part-Time Parliament》中描述的Paxos算法,Lamport在2001发表了《Paxos Made Simple》,以更平直的口头语言描述了Paxos,而没有包含正式的证明和数学术语。《Paxos Made Simple》中,将算法的参与者更细致的划分成了几个角色:Proposer、Acceptor、Learner。另外还有Leader和Client.参考阅读:关于Paxos的历史 《Paxos Made Practical》介绍:看这篇论文时可以先看看理解Paxos Made Practical. 《PaxosLease: Diskless Paxos for Leases》介绍:PaxosLease:实现租约的无盘Paxos算法,译文. 《Paxos Made Moderately Complex》介绍:Paxos算法实现,译文,同时推荐42 Paxos Made Moderately Complex. 《Hadoop Reading List》介绍:Hadoop学习清单. 《Hadoop Reading List》介绍:Hadoop学习清单. 《2010 NoSQL Summer Reading List》介绍:NoSQL知识清单,里面不仅仅包含了数据库阅读清单还包含了分布式系统资料. 《Raft: Understandable Distributed Consensus》介绍:Raft可视化图帮助理解分布式一致性 《Etcd:Distributed reliable key-value store for the most critical data of a distributed system》介绍:Etcd分布式Key-Value存储引擎 《Understanding Availability》介绍:理解peer-to-peer系统中的可用性究竟是指什么.同时推荐基于 Peer-to-Peer 的分布式存储系统的设计 《Process structuring, synchronization, and recovery using atomic actions》介绍:经典论文 《Programming Languages for Parallel Processing》介绍:并行处理的编程语音 《Analysis of Six Distributed File Systems》介绍:此篇论文对HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六个存储系统做了详细分析.如果是自己研发对应的存储系统推荐先阅读此篇论文 《A Survey of Distributed File Systems》介绍:分布式文件系统综述 《Concepts of Concurrent Programming》介绍:并行编程的概念,同时推荐卡内基梅隆FTP 《Concurrency Control Performance Modeling:Alternatives and Implications》介绍:并发控制性能建模:选择与意义 《Distributed Systems - Concepts and Design 5th Edition》介绍:ebook分布式系统概念与设计 《分布式系统设计的形式方法》介绍:分布式系统设计的形式方法 《互斥和选举算法》介绍:互斥和选举算法 《Actors:A model Of Concurrent Cornputation In Distributed Systems》介绍:经典论文 《Security Engineering: A Guide to Building Dependable Distributed Systems》介绍:如何构建一个安全可靠的分布式系统,About the Author,Bibliography:文献资料,章节访问把链接最后的01换成01-27即可 《15-712 Advanced and Distributed Operating Systems》介绍:卡内基梅隆大学的分布式系统博士生课程主页,有很丰富的资料 《Dapper, Google's Large-Scale Distributed Systems Tracing Infrastructure》介绍:Dapper,大规模分布式系统的跟踪系统,译文,译文对照 《CS262a: Advanced Topics in Computer Systems》介绍:伯克利大学计算机系统进阶课程,内容有深度,涵盖分布式,数据库等内容 《Egnyte Architecture: Lessons Learned In Building And Scaling A Multi Petabyte Distributed System》介绍:PB级分布式系统构建/扩展经验 《CS162: Operating Systems and Systems Programming》介绍:伯克利大学计算机系统课程:操作系统与系统编程 《MDCC: Multi-Data Center Consistency》介绍:MDCC主要解决跨数据中心的一致性问题中间件,一种新的协议 《Research at Google:Distributed Systems and Parallel Computing》介绍:google公开对外发表的分布式系统与并行计算论文 《HDFS Architecture Guide》介绍:分布式文件系统HDFS架构 《ActorDB distributed SQL database》介绍:分布式 Key/Value数据库 《An efficient data location protocol for self-organizing storage clusters》介绍:是著名的Ceph的负载平衡策略,文中提出的几种策略都值得尝试,比较赞的一点是可以对照代码体会和实践,如果你还需要了解可以看看Ceph:一个 Linux PB 级分布式文件系统,除此以外,论文的引用部分也挺值得阅读的,同时推荐Ceph: A Scalable, High-Performance Distributed File System 《A Self-Organizing Storage Cluster for Parallel Data-Intensive Applications》介绍:Surrento的冷热平衡策略就采用了延迟写技术 《HBA: Distributed Metadata Management for Large Cluster-Based Storage Systems》介绍:对于分布式存储系统的元数据管理. 《Server-Side I/O Coordination for Parallel File Systems》介绍:服务器端的I/O协调并行文件系统处理,网络,文件存储等都会涉及到IO操作.不过里面涉及到很多技巧性的思路在实践时需要斟酌 《Distributed File Systems: Concepts and Examples》介绍:分布式文件系统概念与应用 《CSE 221: Graduate Operating Systems》介绍:加利福尼亚大学的研究生操作系统课程主页,论文很值得阅读 《S4: Distributed Stream Computing Platform》介绍:Yahoo出品的流式计算系统,目前最流行的两大流式计算系统之一(另一个是storm),Yahoo的主要广告计算平台 《Pregel: a system for large-scale graph processing》介绍:Google的大规模图计算系统,相当长一段时间是Google PageRank的主要计算系统,对开源的影响也很大(包括GraphLab和GraphChi) 《GraphLab: A New Framework for Parallel Machine Learning》介绍:CMU基于图计算的分布式机器学习框架,目前已经成立了专门的商业公司,在分布式机器学习上很有两把刷子,其单机版的GraphChi在百万维度的矩阵分解都只需要2~3分钟; 《F1: A Distributed SQL Database That Scales》介绍:这篇论文是Google 2013年发表的,介绍了F1的架构思路,13年时就开始支撑Google的AdWords业务,另外两篇介绍文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business .Google NewSQL之F1 《Cockroach DB:A Scalable, Survivable, Strongly-Consistent SQL Database》介绍:CockroachDB :一个可伸缩的、跨地域复制的,且支持事务的数据存储,InfoQ介绍,Design and Architecture of CockroachDb 《Multi-Paxos: An Implementation and Evaluation》介绍:Multi-Paxos实现与总结,此外推荐Paxos/Multi-paxos Algorithm,Multi-Paxos Example,地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF 《Zab: High-performance broadcast for primary-backup systems》介绍:一致性协议zab分析 《A Distributed Hash Table》介绍:分布式哈希算法论文,扩展阅读Introduction to Distributed Hash Tables,Distributed Hash Tables 《Comparing the performance of distributed hash tables under churn》介绍:分布式hash表性能的Churn问题 《Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web》介绍:分布式系统的CAP问题,推荐Perspectives on the CAP Theorem.对CAP理论的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem 《F2FS: A New File System for Flash Storage》介绍:闪存存储文件系统F2FS 《Better I/O Through Byte-Addressable, Persistent Memory》介绍:微软发表的关于i/o访问优化论文 《tmpfs: A Virtual Memory File System》介绍:虚拟内存文件系统tmpfs 《BTRFS: The Linux B-tree Filesystem》介绍:Linux B-tree文件系统. 《Akamai technical publication》介绍:Akamai是全球最大的云计算机平台之一,承载了全球15-30%网络流量,如果你是做CDN或者是云服务,这个里面的论文会给你很有帮助.例如这几天看facebook开源的osquery。找到通过db的方式运维,找到Keeping Track of 70,000+ Servers: The Akamai Query System这篇论文,先看论文领会思想,然后再使用工具osquery实践 《BASE: An Acid Alternative》介绍:来自eBay 的解决方案,译文Base: 一种Acid的替代方案,应用案例参考保证分布式系统数据一致性的6种方案 《A Note on Distributed Computing》介绍:Jim Waldo和Sam Kendall等人共同撰写了一篇非常有名的论文“分布式计算备忘录”,这篇论文在Reddit上被人推荐为“每个程序员都应当至少读上两篇”的论文。在这篇论文中,作者表示“忽略本地计算与分布式计算之间的区别是一种危险的思想”,特别指出了Emerald、Argus、DCOM以及CORBA的设计问题。作者将这些设计问题归纳为“三个错误的原则”: “对于某个应用来说,无论它的部署环境如何,总有一种单一的、自然的面向对象设计可以符合其需求。” “故障与性能问题与某个应用的组件实现直接相关,在最初的设计中无需考虑这些问题。” “对象的接口与使用对象的上下文无关”. 《Distributed Systems Papers》介绍:分布式系统领域经典论文列表. 《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》介绍:Consistent Hashing算法描述. 《SIGMOD 2016: Accepted Research Papers》介绍:SIGMOD是世界上最有名的数据库会议之一,最具有权威性,收录论文审核非常严格.2016年的SIGMOD 会议照常进行,上面收录了今年SIGMOD收录的论文,把题目输入google中加上pdf就能找到,很多论文值得阅读,SIGMOD 2015 《Notes on CPSC 465/565: Theory of Distributed Systems》介绍:耶鲁大学的分布式系统理论课程笔记 《Distributed Operating System Doc PDF》介绍:分布式系统文档资源(可下载) 《Anatomy of a database system》介绍:数据库系统剖析,这本书是由伯克利大学的Joseph M. Hellerstein和M. Stonebraker合著的一篇论文.对数据库剖析很有深度.除此以外还有一篇文章Architecture of a Database System。数据库系统架构,厦门大学的数据库实验室教授林子雨组织过翻译 《A Relational Model of Data for Large Shared Data Banks》介绍:数据库关系模型论文 《RUC Innovative data systems reaserch lab recommand papers》介绍:中国人民大学数据研究实验室推荐的数据库领域论文 《A Scalable Distributed Information Management System》介绍:构建可扩展的分布式信息管理系统 《Distributed Systems in Haskell》介绍:Haskell中的分布式系统开发 《Large-scale cluster management at Google with Borg》介绍:Google使用Borg进行大规模集群的管理,伯克利大学ppt介绍,中文版 《Lock Free Programming Practice》介绍:并发编程(Concurrency Programming)资料,主要涵盖lock free数据结构实现、内存回收方法、memory model等备份链接 密码: xc5j 《Distributed Algorithms Lecture Notes for 6.852》介绍:Nancy Lynch's的分布式算法研究生课程讲义 《Distributed Algorithms for Topic Models》介绍:分布式算法主题模型. 《RecSys - ACM Recommender Systems》介绍:世界上非常有名的推荐系统会议,我比较推荐接收的PAPER 《All Things Distributed》介绍:推荐一个博客,博主是Amazon CTO Werner Vogels,这是一个关注分布式领域的博客.大部分博文是关于在工业界应用. 《programming, database, distributed system resource list》介绍:这个Git是由阿里(alibaba)的技术专家何登成维护,主要是分布式数据库. 《Making reliable distributed systems in the presence of sodware errors》介绍:Erlang的作者Joe Armstrong撰写的论文,面对软件错误构建可靠的分布式系统.中文译版 《CS 525: Advanced Distributed Systems[Spring 2016]》介绍:伊利诺伊大学的Advanced Distributed Systems 里把各个方向重要papers(updated Spring 2015)列举出来,可以参考一下 《Distributed Algorithms》介绍:这是一本分布式算法电子书,作者是Jukka Suomela.讲述了多个计算模型,一致性,唯一标示,并发等. 《TinyLFU: A Highly Efficient Cache Admission Policy》介绍:当时是在阅读如何设计一个缓存系统时看到的,然后通过Google找到了这一篇关于缓存策略的论文,它是LFU的改良版,中文介绍.如果有兴趣可以看看Golang实现版。结合起来可能会帮助你理解 《6.S897: Large-Scale Systems》介绍:斯坦福大学给研究生开的分布式系统课程。教师是 spark 作者 matei. 能把这些内容真正理解透,分布式系统的功力就很强了。 《学习分布式系统需要怎样的知识?》介绍:[怎么学系列]学习分布式系统需要怎样的知识? 《Distributed systems theory for the distributed systems engineer》介绍:分布式系统工程师的分布式系统理论 《A Distributed Systems Reading List》介绍:分布式系统论文阅读列表 《Distributed Systems Reading Group》介绍:麻省理工大学分布式系统小组,他们会把平时阅读到的优秀论文分享出来。虽然有些论文本页已经收录,但是里面的安排表schedule还是挺赞的 《Scalable Software Architecture》介绍:分布式系统、可扩展性与系统设计相关报告、论文与网络资源汇总. 《MapReduce&Hadoop resource》介绍:MapReduce&Hadoop相关论文,涉及分布式系统设计,性能分析,实践,优化等多个方面 《Distributed Systems: Principles and Paradigms(second edtion)》介绍:分布式系统原理与范型第二版,课后解答 《Distributed Systems Seminar's reading list for Spring 2017》介绍:分布式系统研讨会论文阅读列表 《A Critique of the CAP Theorem》介绍:这是一篇评论CAP定理的论文,学习CAP很有帮助,推荐阅读评论文章"A Critique of the CAP Theorem" 《Evolving Distributed Systems》介绍:推荐文章不断进化的分布式系统.

suonayi 2019-12-02 03:17:27 0 浏览量 回答数 0

问题

lnmp下升级Tengine淘宝开源webserver

holinhot 2019-12-01 21:07:19 10058 浏览量 回答数 2

问题

ECS的PostgreSQL 本地Slave如何搭建

boxti 2019-12-01 21:44:50 1306 浏览量 回答数 0

问题

OSS新手视频教程!

聚小编 2019-12-01 21:04:47 52192 浏览量 回答数 21

问题

程序员报错行为大赏-配置报错

问问小秘 2020-06-11 13:18:25 6 浏览量 回答数 1

回答

标题应该改一下呢?加上PostgreSQL吧。 有几篇更详细的讲PostgreSQL性能优化的http://yq.aliyun.com/articles/214http://yq.aliyun.com/articles/215还有专门讲参数优化的视频 PostgreSQL 性能优化视频(18集全) : 18. 性能优化培训 - 综合优化案例 http://www.tudou.com/programs/view/UeXudDhDaHU/ 17. 性能优化培训 - 性能分析工具3, pg_statsinfo的使用(与DBA培训同集) http://www.tudou.com/programs/view/5SUCgb7_hsY/ 16. 性能优化培训 - 性能分析工具2, pg_stat_statements http://www.tudou.com/listplay/JW66CCxpr-s/xkOD3u8kQkE.html (注意,里面有一些描述有问题。pg_stat_statements是在数据库启动时加载。 运行过程有write操作(和PG版本有个,以前的版本可以不持久化,没有write操作,现在的版本都有write操作),数据库关闭时fsync。) (在run到hook处时加载。) 15. 性能优化培训 - 性能分析工具1, sar http://www.tudou.com/listplay/JW66CCxpr-s/qX8HOgBZu2M.html 14. 性能优化培训 - PostgreSQL压力测试工具pgbench讲解 http://www.tudou.com/listplay/JW66CCxpr-s/OUl0DLhiJwg.html 13. 性能优化培训 - 如何让数据库输出好的执行计划, 访问开关, 指定表关联顺序, 遗传算法 http://www.tudou.com/listplay/JW66CCxpr-s/dS2x85nosBw.html 12. 性能优化培训 - PostgreSQL锁的详解 http://www.tudou.com/listplay/JW66CCxpr-s/OsRGPcGEL9M.html 11. 性能优化培训 - PostgreSQL事务隔离级别讲解 http://www.tudou.com/listplay/JW66CCxpr-s/2sqzjiuqKFY.html 10. 性能优化培训 - 函数的三种稳定性状态对优化器的影响分解讲解 http://www.tudou.com/programs/view/p6E3oQEsZv0/ 9. 性能优化培训 - PostgreSQL trace & debug (跟踪和调试) http://www.tudou.com/programs/view/SbglCp2T3t4/ 8. 性能优化培训 - 执行计划缓存管理, 绑定变量接口 http://www.tudou.com/programs/view/kwmilXD7JEw/ 7. 性能优化培训 - auto_explain插件, 索引扫描引发的heap page scan被放大的实例讲解 http://www.tudou.com/programs/view/LwMWC4ZpOhU/ 6. PostgreSQL 性能优化培训 - 执行计划成本因子(page scan cost, cpu cost)的校准方法实例讲解 http://www.tudou.com/programs/view/yQ0SzBqx_4w/ 5. PostgreSQL 性能优化培训 - 行评估算法讲解, 成本计算实例讲解 http://www.tudou.com/programs/view/3zgOuh7kbfs/ 4. PostgreSQL 性能优化培训 - explain 实例讲解 http://www.tudou.com/programs/view/QztOh_hCFKw 3. PostgreSQL 性能优化培训 - explain输出结构信息详解 http://www.tudou.com/programs/view/OZSUbOFZ0U4 2. PostgreSQL 性能优化培训 - 统计信息详解, 成本因子介绍 http://www.tudou.com/programs/view/oA1v5sDFq3Q/ 1. PostgreSQL 性能优化培训 - 授课环境搭建讲解 http://www.tudou.com/programs/view/AVCbdfl9rH8/ 建议的参数项 echo "----->>>---->>> 获取postgresql.conf配置: " grep '^\ *[a-z]' $PGDATA/postgresql.conf|awk -F "#" '{print $1}' echo "建议: " echo " 主备配置尽量保持一致, 配置合理的参数值." echo -e " 建议修改的参数列表如下 ( 假设操作系统内存为128GB, 数据库独占操作系统, 数据库版本9.4.x ) : echo "" listen_addresses = '0.0.0.0' # 监听所有IPV4地址 port = 1921 # 监听非默认端口 max_connections = 4000 # 最大允许连接数 superuser_reserved_connections = 20 # 为超级用户保留的连接 unix_socket_directories = '.' # unix socket文件目录最好放在$PGDATA中, 确保安全 unix_socket_permissions = 0700 # 确保权限安全 tcp_keepalives_idle = 30 # 间歇性发送TCP心跳包, 防止连接被网络设备中断. tcp_keepalives_interval = 10 tcp_keepalives_count = 10 shared_buffers = 16GB # 数据库自己管理的共享内存大小 huge_pages = try # 尽量使用大页, 需要操作系统支持, 配置vm.nr_hugepages*2MB大于shared_buffers. maintenance_work_mem = 512MB # 可以加速创建索引, 回收垃圾(假设没有设置autovacuum_work_mem) autovacuum_work_mem = 512MB # 可以加速回收垃圾 shared_preload_libraries = 'auth_delay,passwordcheck,pg_stat_statements,auto_explain' # 建议防止暴力破解, 密码复杂度检测, 开启pg_stat_statements, 开启auto_explain, 参考 http://blog.163.com/digoal@126/blog/static/16387704020149852941586 bgwriter_delay = 10ms # bgwriter process间隔多久调用write接口(注意不是fsync)将shared buffer中的dirty page写到文件系统. bgwriter_lru_maxpages = 1000 # 一个周期最多写多少脏页 max_worker_processes = 20 # 如果要使用worker process, 最多可以允许fork 多少个worker进程. wal_level = logical # 如果将来打算使用logical复制, 最后先配置好, 不需要停机再改. synchronous_commit = off # 如果磁盘的IOPS能力一般, 建议使用异步提交来提高性能, 但是数据库crash或操作系统crash时, 最多可能丢失2*wal_writer_delay时间段产生的事务日志(在wal buffer中). wal_sync_method = open_datasync # 使用pg_test_fsync测试wal所在磁盘的fsync接口, 使用性能好的. wal_buffers = 16MB wal_writer_delay = 10ms checkpoint_segments = 1024 # 等于shared_buffers除以单个wal segment的大小. checkpoint_timeout = 30min checkpoint_completion_target = 0.2 archive_mode = on # 最好先开启, 否则需要重启数据库来修改 archive_command = '/bin/date' # 最好先开启, 否则需要重启数据库来修改, 将来修改为正确的命令例如, test ! -f /home/postgres/archivedir/pg_root/%f && cp %p /home/postgres/archivedir/pg_root/%f max_wal_senders = 32 # 最多允许多少个wal sender进程. wal_keep_segments = 2048 # 在pg_xlog目录中保留的WAL文件数, 根据流复制业务的延迟情况和pg_xlog目录大小来预估. max_replication_slots = 32 # 最多允许多少个复制插槽 hot_standby = on max_standby_archive_delay = 300s # 如果备库要被用于只读, 有大的查询的情况下, 如果遇到conflicts, 可以考虑调整这个值来避免conflict造成cancel query. max_standby_streaming_delay = 300s # 如果备库要被用于只读, 有大的查询的情况下, 如果遇到conflicts, 可以考虑调整这个值来避免conflict造成cancel query. wal_receiver_status_interval = 1s hot_standby_feedback = on random_page_cost = 2 # 根据IO能力调整 effective_cache_size = 100GB # 调整为与内存一样大, 或者略小(减去shared_buffer). 用来评估OS PAGE CACHE可以用到的内存大小. log_destination = 'csvlog' logging_collector = on log_truncate_on_rotation = on log_rotation_size = 10MB log_min_duration_statement = 1s log_checkpoints = on log_connections = on log_disconnections = on log_error_verbosity = verbose # 在日志中输出代码位置 log_lock_waits = on log_statement = 'ddl' autovacuum = on log_autovacuum_min_duration = 0 autovacuum_max_workers = 10 autovacuum_naptime = 30s # 快速唤醒, 防止膨胀 autovacuum_vacuum_scale_factor = 0.02 # 当垃圾超过比例时, 启动垃圾回收工作进程 autovacuum_analyze_scale_factor = 0.1 auth_delay.milliseconds = 5000 # 认证失败, 延迟多少毫秒反馈 auto_explain.log_min_duration = 5000 # 记录超过多少毫秒的SQL当时的执行计划 auto_explain.log_analyze = true auto_explain.log_verbose = true auto_explain.log_buffers = true auto_explain.log_nested_statements = true pg_stat_statements.track_utility=off

德哥 2019-12-02 01:29:26 0 浏览量 回答数 0

问题

网站技术职位之我见:报错

kun坤 2020-06-09 13:55:57 0 浏览量 回答数 1

回答

Cromwell 是 Broad Institute 开发的工作流管理系统,当前已获得阿里云批量计算服务的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业(Job)运行。用户将为作业运行时实际消耗的计算和存储资源付费,不需要支付资源之外的附加费用。本文将介绍如何使用 Cromwell 在阿里云批量计算服务上运行工作流。 准备工作 A) 开通批量计算服务 要使用批量计算服务,请根据官方文档里面的指导开通批量计算和其依赖的相关服务,如OSS等。 注意:创建 OSS Bucket 的区域,需要和使用批量计算的区域一致。 B) 下载 Cromwell Cromwell 官方下载 注意:为了确保所有的特性可用,建议下载45及之后的最新版本。 C) 开通 ECS 作为 Cromwell server 当前批量计算提供了 Cromwell server 的 ECS 镜像,用户可以用此镜像开通一台 ECS 作为 server。镜像中提供了 Cromwell 官网要求的基本配置和常用软件。在此镜像中,Cromwell 的工作目录位于/home/cromwell,上一步下载的 Crowwell jar 包可以放置在 /home/cromwell/cromwell 目录下。 注意:用户也可以自己按照 Cromwell 官方的要求自己搭建 Cromwell server, 上面的镜像只是提供了方便的方式,不是强制要求。 使用 Cromwell 配置文件 Cromwell 运行的配置文件,包括: Cromwell 公共配置。 批量计算相关配置,包含了批量计算作为后端需要的存储、计算等资源配置。 关于配置参数的详细介绍请参考 Cromwell 官方文档。如下是一个批量计算配置文件的例子 bcs.conf: include required(classpath("application")) database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false&allowPublicKeyRetrieval=true" user = "user_cromwell" #Your mysql password password = "" connectionTimeout = 5000 } } workflow-options { workflow-log-dir = "/home/cromwell/cromwell/logs/" } call-caching { # Allows re-use of existing results for jobs you've already run # (default: false) enabled = false # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = false # Set this to match your available quota against the Google Container Engine API #gcr-api-queries-per-100-seconds = 1000 # Time in minutes before an entry expires from the docker hashes cache and needs to be fetched again #cache-entry-ttl = "20 minutes" # Maximum number of elements to be kept in the cache. If the limit is reached, old elements will be removed from the cache #cache-size = 200 # How should docker hashes be looked up. Possible values are "local" and "remote" # "local": Lookup hashes on the local docker daemon using the cli # "remote": Lookup hashes on docker hub and gcr method = "remote" #method = "local" alibabacloudcr { num-threads = 5 #aliyun CR credentials auth { #endpoint = "cr.cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { root = "oss://your-bucket/cromwell_dir" region = "cn-shanghai" access-id = "" access-key = "" filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: "copy", "reference". Defaults to "copy" # "copy": Copy the output files # "reference": DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 autoReleaseJob: true cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" #cluster: cls-6kihku8blloidu3s1t0006 vpc: "192.168.0.0/16" } } } } } 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server,配置文件位于 /home/cromwell/cromwell/bcs_sample.conf,只需要填写自己的配置即可使用 Cromwell。 注意:Cromwell 可以在公网环境(如本地服务器、配置了公网 IP 的阿里云 ECS 等)运行,也可以在阿里云 VPC 环境下运行。在 VPC 环境下使用时,有如下几处要修改为 VPC 内网下的配置: OSS 的内网 endpoint : engine.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" backend.providers.BCS.config.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" 添加批量计算的内网 endpoint: backend.providers.BCS.config.user-defined-region = "cn-shanghai-vpc" backend.providers.BCS.config.user-defined-domain = "batchcompute-vpc.cn-shanghai.aliyuncs.com" 添加容器镜像服务的内网 endpoint: docker.hash-lookup.alibabacloudcr.auth.endpoint = "cr-vpc.cn-shanghai.aliyuncs.com" 运行模式 Cromwell支持两种模式: run 模式 server 模式 关于两种模式的详细描述,请参考 Cromwell 官网文档。下面重点介绍这两种模式下如何使用批量计算。 A) run模式 run模式适用于本地运行一个单独的 WDL 文件描述的工作流,命令行如下:java -Dconfig.file=bcs.conf -jar cromwell.jar run echo.wdl --inputs echo.inputs WDL 文件:描述详细的工作流。工作流中每个 task 对应批量计算的一个作业(Job)。 inputs文件:是 WDL 中定义的工作流的输入信息inputs 文件是用来描述 WDL 文件中定义的工作流及其 task 的输入文件。如下所示: { "workflow_name.task_name.input1": "xxxxxx" } 运行成功后,WDL 文件中描述的工作流中的一个 task 会作为批量计算的一个作业(Job)来提交。此时登录批量计算的控制台就可以看到当前的 Job 状态。 show_bcs_job 当 workflow 中所有的 task 对应的作业运行完成后,工作流运行完成。 B) server 模式 启动 server 相比 run 模式一次运行只能处理一个 WDL 文件,server 模式可以并行处理多个 WDL 文件。关于 server 模式的更多信息,请参考 Cromwell 官方文档。可以采用如下命令行启动 server:java -Dconfig.file=bsc.conf -jar cromwell.jar serverserver 启动成功后,就可以接收来自 client 的工作流处理请求。下面分别介绍如何使用 API 和 CLI 的方式向 server 提交工作流。 使用 API 提交工作流 server 启动后,可以通过浏览器访问 Cromwell Server,比如 Server 的 IP 为39.105.xxx.yyy,则在浏览器中输入http://39.105.xxx.yyy:8000,通过如下图所示的界面提交任务:cromwell_server更多API接口及用法,请参考 Cromwell 官网文档。 使用 CLI 提交工作流[推荐] 除了可以使用 API 提交工作流以外,Cromwell 官方还提供了一个开源的 CLI 命令行工具 widder。可以使用如下的命令提交一个工作流: python widdler.py run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 其中-o key:value是用于设置option,批量计算提供了 bcs_workflow_tag:tagxxx 选项,用于配置作业输出目录的tag(下一节查看运行结果中会介绍)。 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server,镜像中已经安装了 widdler,位于 /home/cromwell/widdler。可以使用如下的命令提交工作流: widdler run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 更多命令用法可使用widdler -h命令查看,或参考官方文档。 查看运行结果 工作流运行结束后,输出结果被上传到了配置文件或 WDL 中定义的 OSS 路径下。在OSS路径上面的目录结构如下: cromwell_output_dir如上图所示,在配置文件中的config.root目录下有如下输出目录: 第一层:workflowname 工作流的名称 第二层:通过上一节中 CLI 命令的-o设置的目录tag 第三层:workflow id,每次运行会生成一个 第四层:workflow 中每个 task 的运行输出,比如上图中的 workflow 15e45adf-6dc7-4727-850c-89545faf81b0 有两个 task,每个task对应的目录命名是call-taskname,目录中包含三部分内容: 批量计算的日志,包括 bcs-stdout 和 bcs-stderr 当前 task 的输出,比如图中的 output1/output2 等 当前 task 执行的 stdout 和 stderr 4. 使用建议 在使用过程中,关于 BCS 的配置,有如下的建议供参考: 使用集群 批量计算提供了两种使用集群的方式: 自动集群 固定集群 A) 自动集群 在config配置文件中指定默认的资源类型、实例类型以及镜像类型,在提交批量计算 Job 时就会使用这些配置自动创建集群,比如: default-runtime-attributes { cluster : "OnDemand ecs.sn1ne.large img-ubuntu-vpc" } 如果在某些 workflow 中不使用默认集群配置,也可以通过inputs文件中指定 workflow 中某个 task 的对应的批量计算的集群配置(将 cluster_config 作为 task 的一个输入),比如: { "workflow_name.task_name.cluster_config": "OnDemand ecs.sn2ne.8xlarge img-ubuntu-vpc" } 然后在 task 中重新设置运行配置: task task_demo { String cluster_config runtime { cluster: cluster_config } } 就会覆盖默认配置,使用新的配置信息创建集群。 B) 固定集群 使用自动集群时,需要创建新集群,会有一个等待集群的时间。如果对于启动时间有要求,或者有了大量的作业提交,可以考虑使用固定集群。比如: default-runtime-attributes { cluster : "cls-xxxxxxxxxx" } 注意:使用固定集群时,如果使用完毕,请及时释放集群,否则集群中的实例会持续收费。 Cromwell Server 配置建议 大压力作业时,建议使用较高配置的机器作为 Cromwell Server,比如ecs.sn1ne.8xlarge等32核64GB的机器。 大压力作业时,修改 Cromwell Server 的最大打开文件数。比如在ubuntu下可以通过修改/etc/security/limits.conf文件,比如修改最大文件数为100万: root soft nofile 1000000 root hard nofile 1000000 * soft nofile 1000000 * hard nofile 1000000 确认 Cromwell Server 有配置数据库,防止作业信息丢失。 设置 bcs.conf 里面的并发作业数,比如 system.max-concurrent-workflows = 1000 开通批量计算相关配额 如果有大压力场景,可能需要联系批量计算服务开通对应的配额,比如: 一个用户所有作业的数量(包括完成的、运行的、等待的等多种状态下); 同时运行的作业的集群的数量(包括固定集群和自动集群); 使用 NAS 使用 NAS 时要注意以下几点: NAS 必须在 VPC 内使用,要求添加挂载点时,必须指定 VPC; 所以要求在 runtime 中必须包含: VPC 信息 mounts 信息 下面的例子可供参考: runtime { cluster: cluster_config mounts: "nas://1f****04-xkv88.cn-beijing.nas.aliyuncs.com:/ /mnt/ true" vpc: "192.168.0.0/16 vpc-2zexxxxxxxx1hxirm" } 高级特性支持 Glob Cromwell 支持使用 glob 来指定工作流中多个文件作为 task 的输出,比如: task globber { command <<< for i in seq 1 5 do mkdir out-$i echo globbing is my number $i best hobby out-$i/$i.txt done output { Array[File] outFiles = glob("out-/.txt") } } workflow test { call globber } 当 task 执行结束时,通过 glob 指定的多个文件会作为输出,上传到 OSS 上。 Call Caching Call Caching 是 Cromwell 提供的高级特性,如果检测到工作流中某个 task (对应一个批量计算的 job )和之前已经执行过的某个 task 具有相同的输入和运行时等条件,则不需要再执行,直接取之前的运行结果,这样可以为客户节省时间和费用。一个常见的场景是如果一个工作流有 n 个 task,当执行到中间某一个 task 时由于某些原因失败了,排除了错误之后,再次提交这个工作流运行后,Cromwell 判断如果满足条件,则已经完成的几个 task 不需要重新执行,只需要从出错的 task 开始继续运行。 配置 Call Caching 要在 BCS 后端情况下使用 Call Caching 特性,需要如下配置项: database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false" user = "user_cromwell" password = "xxxxx" connectionTimeout = 5000 } } call-caching { # Allows re-use of existing results for jobs you have already run # (default: false) enabled = true # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = true # How should docker hashes be looked up. Possible values are local and remote # local: Lookup hashes on the local docker daemon using the cli # remote: Lookup hashes on alibab cloud Container Registry method = remote alibabacloudcr { num-threads = 10 auth { access-id = "xxxx" access-key = "yyyy" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { #其他配置省略 filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: copy, reference. Defaults to copy # copy: Copy the output files # reference: DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" vpc: "192.168.0.0/16" } } } } } database 配置:Cromwell 将 workflow 的执行元数据存储在数据库中,所以需要添加数据库配置,详细情况参考Cromwell 官网指导。 call-caching 配置:Call Caching 的开关配置等; docker.hash-lookup 配置: 设置 Hash 查找开关及阿里云 CR 等信息,用于查找镜像的 Hash 值。 backend.providers.BCS.config.filesystems.oss.caching 配置:设置 Call Caching命中后,使用原来输出的方式,批量计算在这里支持 reference 模式,不需要拷贝原有的结果,节省时间和成本。 命中条件 使用批量计算作为后端时,Cromwell 通过如下条件判断一个 task 是否需要重新执行: 条件 解释 inputs task 的输入,比如 OSS 上的样本文件 command task 定义中的命令行 continueOnReturnCode 公共运行时参数,可以继续执行的返回码 docker 公共运行时参数,后端的Docker配置 failOnStderr 公共运行时参数,stderr非空时是否失败 imageId 批量计算后端运行时参数,标识作业运行的 ECS 镜像,如果使用的官方镜像如img-ubuntu-vpc可不用填写此项 userData 批量计算后端,用户自定义数据 如果一个 task 的上述参数未发生改变,Cromwell 会判定为不需要执行的 task,直接获取上次执行的结果,并继续工作流的执行。

1934890530796658 2020-03-28 20:47:14 0 浏览量 回答数 0

回答

回 2楼(eason_zhang) 的帖子 您好, 例子中的第7个步骤,是测试目标的IPv6网址是否可用的啊。 ------------------------- 回 3楼(eason_lin) 的帖子 您好, 您需要检查一下tomcat是否在IPv6的端口里监听喔(例子中的第6个步骤)。 ------------------------- 回 8楼(eason_zhang) 的帖子 您好, 是能ping通Ipv6地址,但web不能访问。 建议您检查web服务是否在ipv6的网络端口里使用。 ------------------------- 回 10楼(eason_zhang) 的帖子 您好, 如果您的苹果APP资源是由tomcat的,那是需要tomcat支持Ipv6访问啊。 ------------------------- 回 11楼(eason_zhang) 的帖子 您好, 根据图中的信息,80端口仅在ipv4里监听,并不包括ipv6。 ------------------------- 回 14楼(eason_zhang) 的帖子 您好, 现在测试,是成功了的,恭喜您喔。 root@los:~# wget -6 http://smmj.smmjyl.com converted 'http://smmj.smmjyl.com' (ANSI_X3.4-1968) -> 'http://smmj.smmjyl.com' (UTF-8) --2016-11-10 22:23:36--   http://smmj.smmjyl.com/ Resolving smmj.smmjyl.com (smmj.smmjyl.com)... 2001:470:18:172::2 Connecting to smmj.smmjyl.com (smmj.smmjyl.com)|2001:470:18:172::2|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: 'index.html.1' ------------------------- 回 17楼(ap6554s5w) 的帖子 您好, 抱歉延时回复。 图中显示的,是IPv6 Web Server拒绝连接,可以尝试排除以下因素: a. 是否成功在系统里设置了IPv6隧道地址 b. Web服务是否在IPv6地址里监听 ------------------------- 回 19楼(ap6554s5w) 的帖子 您好, 好象不行呢。 root@los:~# ping6 2001:470:18:16d::2 PING 2001:470:18:16d::2(2001:470:18:16d::2) 56 data bytes From 2001:470:0:ba::2 icmp_seq=1 Destination unreachable: Address unreachable From 2001:470:0:ba::2 icmp_seq=2 Destination unreachable: Address unreachable From 2001:470:0:ba::2 icmp_seq=3 Destination unreachable: Address unreachable From 2001:470:0:ba::2 icmp_seq=4 Destination unreachable: Address unreachable From 2001:470:0:ba::2 icmp_seq=5 Destination unreachable: Address unreachable ------------------------- 回 21楼(ap6554s5w) 的帖子 您好, 可以ping通ipv6地址,但ipv6 80端口无法访问。 root@los:~# curl [2001:470:18:16d::2] curl: (7) Failed to connect to 2001:470:18:16d::2 port 80: Connection refused root@los:~# ping6 2001:470:18:16d::2 PING 2001:470:18:16d::2(2001:470:18:16d::2) 56 data bytes 64 bytes from 2001:470:18:16d::2: icmp_seq=1 ttl=56 time=560 ms 64 bytes from 2001:470:18:16d::2: icmp_seq=2 ttl=56 time=565 ms ------------------------- 回 23楼(ap6554s5w) 的帖子 您好, 应该是的,恭喜您。 ------------------------- 回 26楼(东哥来了) 的帖子 您好, 抱歉延时回复。 请问您有按帖子里的操作顺序操作吗?如第2步里的将禁用的模块设置去掉。 ------------------------- 回 28楼(airzhangfish) 的帖子 您好, 欢迎来到阿里云论坛。 抱歉给您带来困惑, 请问您的IPv6隧道地址是:2001:470:c:d53::2 吗? ------------------------- 回 30楼(airzhangfish) 的帖子 您好, 感谢您的更新回复喔,这可以为其他云友提供参考。 ------------------------- 回 32楼(fswing) 的帖子 您好, 第五步里的命令是Linux系统有的,不需借助其它网站,tunnelbroker.net 提供这些命令,是方便用户操作。 ------------------------- 回 35楼(fswing) 的帖子 您好, 或许例子中,您ping测试时,目标主机地址不应该带http, 或许如这样的: ping6 ipv6.google.com ------------------------- 回 40楼(fswing) 的帖子 您好, 或许具体到您的情况,第五步中其中的一条命令,应该是: ifconfig sit1 inet6 add 216:3eff:fe02:8609/64 而不是:ifconfig sit1 inet6 add fe80::216:3eff:fe02:8609/64 ------------------------- 回 42楼(fswing) 的帖子 您好, 看起来, 216:3eff:fe02:8609 不是一个有效的IPv6地址,能截图看一下HE分配给您IPv6隧道地址的页面内容吗? nginx不是必须的,例子中仅是用于测试web访问而已。 ------------------------- 回 44楼(fswing) 的帖子 您好, 就是在您申请IPv6地址的那个网站的配置信息里,会有显示分配给您的IPv6隧道地址是什么的喔,如下图: ------------------------- 回 46楼(fswing) 的帖子 您好, 从截图上的测试信息来看,您的ipv6隧道地址应该是配置成功了喔。 恭喜。 ------------------------- 回 48楼(eason_zhang) 的帖子 您好, 您的IPv6地址,好象可以ping通,但网页的80端口访问不了喔: root@los:~# ping6 srmj.mhhdkj.com PING srmj.mhhdkj.com(Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net) 56 data bytes 64 bytes from Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=1 ttl=57 time=1131 ms 64 bytes from Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=2 ttl=56 time=516 ms 64 bytes from Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=3 ttl=56 time=516 ms 64 bytes from Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=4 ttl=56 time=516 ms 64 bytes from Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=5 ttl=56 time=522 ms 64 bytes from Easonzhanglin-3-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=6 ttl=56 time=516 ms --- srmj.mhhdkj.com ping statistics --- 7 packets transmitted, 6 received, 14% packet loss, time 6005ms rtt min/avg/max/mdev = 516.354/620.077/1131.474/228.713 ms, pipe 2 root@los:~# curl -6 'http://srmj.mhhdkj.com' -so - | grep -iPo '(?<=<title>)(.*)(?=</title>)' root@los:~# curl -6 'http://srmj.mhhdkj.com' curl: (7) Failed to connect to srmj.mhhdkj.com port 80: Permission denied ------------------------- 回 51楼(eason_zhang) 的帖子 您好, 如上边测试提到的,Permission denied, 这是否是您的Web服务或防火墙设置不正确呢?因为现在在浏览器里访问 http://14.29.47.23/ 也是显示不出来页面内容。 ------------------------- 回 53楼(eason_zhang) 的帖子 您好, 您自己能正常访问您的Web站点内容吗? 或许您需要联系一下您的服务器管理员,这样处理起来,较顺手些: liujia@hk2:~/test4$ wget http://14.29.47.23/ --2017-01-03 10:22:38--   http://14.29.47.23/ Connecting to 14.29.47.23:80... connected. HTTP request sent, awaiting response... No data received. Retrying. --2017-01-03 10:22:39--  (try: 2)   http://14.29.47.23/ Connecting to 14.29.47.23:80... connected. HTTP request sent, awaiting response... No data received. Retrying. ------------------------- 回 56楼(ap6554s5w) 的帖子 您好, CentOS 5 的,我没有测试过喔, 但如果您要求,等有测试机时,为您测试一下喔。 ------------------------- 回 58楼(song8528) 的帖子 您好, 第五步是设置隧道地址的,执行后影响的是当前的系统状态, 简单的方法是,重启一下系统,那系统会恢复到之前的状态(清除了IPv6的地址设置),您可以重新执行第五步。 ------------------------- 回 60楼(song8528) 的帖子 您好, 测试提示您的站点能被访问,那说明当时的设置是有效的。 有其它用户反馈的现象是,有可能因为IPv6隧道地址的服务(HE)不稳定,出现有时不可以访问的结果。如果是这个原因,您可以尝试更换到另一个隧道节点(如将香港的转到美国的)。请别灰心喔。 ------------------------- 回 62楼(song8528) 的帖子 您好, 一般几个小时后可以出审核的结果呢? ------------------------- Re:回 56楼(ap6554s5w) 的帖子 您好, 我在CentOS 5上测试,可以正常添加iPv6隧道地址喔, 有可能是您没有成功为系统启用IPv6的地址: [root@iZ23jyp275rZ ~]# ifconfig sit0 up [root@iZ23jyp275rZ ~]# ifconfig sit0 inet6 tunnel ::216.218.221.6 [root@iZ23jyp275rZ ~]# ifconfig sit1 up [root@iZ23jyp275rZ ~]# ifconfig sit1 inet6 add 2001:470:18:401::2/64 [root@iZ23jyp275rZ ~]# route -A inet6 add ::/0 dev sit1 [root@iZ23jyp275rZ ~]# ping6 ipv6.anqun.org PING ipv6.anqun.org(liujia2-1-pt.tunnel.tserv20.hkg1.ipv6.he.net) 56 data bytes 64 bytes from liujia2-1-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=0 ttl=64 time=0.038 ms 64 bytes from liujia2-1-pt.tunnel.tserv20.hkg1.ipv6.he.net: icmp_seq=1 ttl=64 time=0.042 ms --- ipv6.anqun.org ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1000ms rtt min/avg/max/mdev = 0.038/0.040/0.042/0.002 ms, pipe 2 [root@iZ23jyp275rZ ~]# cat /etc/redhat-release CentOS release 5.11 (Final) ------------------------- 回 56楼(ap6554s5w) 的帖子 您好, 为您写了这个例子,希望对您有用:《为阿里云ECS(CentOS 5)配置IPv6隧道地址》 - https://bbs.aliyun.com/read/304532.html ------------------------- 回 66楼(jidi) 的帖子 您好, 欢迎来到阿里云论坛, 请您在ECS本机,能ping6通自己的域名地址吗?如执行: ping6 api2.imptrip.com ------------------------- 回 68楼(jidi) 的帖子 您好, 那 ping6 ipv6.google.com 呢? ------------------------- 回 70楼(jidi) 的帖子 您好, 如果您无法ping6通外网的ipv6地址,有可能您的ipv6路由设置不正确喔: PING ipv6.google.com(hkg12s02-in-x0e.1e100.net) 56 data bytes 64 bytes from hkg12s02-in-x0e.1e100.net: icmp_seq=1 ttl=55 time=146 ms 64 bytes from hkg12s02-in-x0e.1e100.net: icmp_seq=2 ttl=55 time=146 ms ------------------------- 回 72楼(jidi) 的帖子 您好, 在第五步中的多个命令中,其中 route -A inet6 add ::/0 dev sit1 应该是的为ipv6网络添加默认路由的。 ------------------------- 回 74楼(jidi) 的帖子 您好, SIOCSIFDSTADDR: No buffer space available 如果您之前已经运行过类似的命令,建议您重启系统后,再执行。 ------------------------- 回 76楼(jidi) 的帖子 您好, 很高兴听到您已经解决了问题,同时祝您新春大吉。 ------------------------- 回 78楼(al2587946397) 的帖子 您好, 欢迎来到阿里云论坛,祝你新春大吉大利, 如果有绝色的勾号,那说明检测通过了。 至于显示“cannot identify web server”,可能是检测的程序没有识别的您的Web服务程序类别(如常见的nginx,apache,iis等)。但并不影响您的站点ipv6访问。 ------------------------- 回 81楼(al2587946397) 的帖子 您好, 与是否识别到web服务程序类型好象无关, 现在我测试您的ipv6站点,返回来的是连接重置错误喔。或许您需要重点检查一下web服务的运行状态。 root@los:~/test# curl -6 zhibo.law7net.com/zhiboapp curl: (56) Recv failure: Connection reset by peer ------------------------- 回 83楼(al2587946397) 的帖子 您好, 现在好象我加不加/,都不能成功访问到内容呢。 root@los:~# ping6 ipv6.google.com PING ipv6.google.com(tk-in-x66.1e100.net) 56 data bytes 64 bytes from tk-in-x66.1e100.net: icmp_seq=1 ttl=46 time=144 ms 64 bytes from tk-in-x66.1e100.net: icmp_seq=2 ttl=46 time=145 ms --- ipv6.google.com ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1000ms rtt min/avg/max/mdev = 144.712/144.887/145.062/0.175 ms root@los:~# curl -6 zhibo.law7net.com/zhiboapp/ root@los:~# curl -6 zhibo.law7net.com/zhiboapp ------------------------- 回 85楼(zw0472) 的帖子 您好, 从 ipv6 validation 的测试结果来看,您的ipv6隧道地址配置是正确的, 我在我的测试机里测试您的站点网址,看起来,也正常: 您可以尝试多向苹果提交几次,或换一个中转的IPv6隧道服务器地址后,再提交,因为有的用户反馈有时可能因为隧道服务器地址不稳定而导致苹果审核时失败。 root@los:~/test# wget https://yishanggou.net/ converted 'https://yishanggou.net/' (ANSI_X3.4-1968) -> 'https://yishanggou.net/' (UTF-8) --2017-02-12 23:09:38--   https://yishanggou.net/ Resolving yishanggou.net (yishanggou.net)... 2001:470:35:3eb::2 Connecting to yishanggou.net (yishanggou.net)|2001:470:35:3eb::2|:443... connected. HTTP request sent, awaiting response... 302 Moved Temporarily Location: user.php [following] converted 'https://yishanggou.net/user.php' (ANSI_X3.4-1968) -> 'https://yishanggou.net/user.php' (UTF-8) --2017-02-12 23:09:47--   https://yishanggou.net/user.php Reusing existing connection to [yishanggou.net]:443. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: 'index.html.2' ------------------------- 回 89楼(六灵私家) 的帖子 您好, 看截图中的“IPv6 web server”是绿色打勾的,应该ipv6隧道地址配置成功了喔。 ------------------------- 回 91楼(六灵私家) 的帖子 您好, 或许您需要添加A(IPv4)和AAAA(IPv6)记录。 请参考: 1. https://help.aliyun.com/knowledge_detail/39787.html 2. https://help.aliyun.com/knowledge_detail/39813.html ------------------------- 回 93楼(nodejs小白) 的帖子 您好, 欢迎来到阿里云论坛。 从您的截图来看,可能是外网无法访问到您的80端口(可能需要检查一下防火墙的设置或ECS实例的安全组规则)。 您在本地能打开ipv6的网址吗? ot@los:~/test5# curl -6 http://[2001:470:35:bf7::1] curl: (7) Failed to connect to 2001:470:35:bf7::1 port 80: Connection refused ------------------------- 回 95楼(nodejs小白) 的帖子 您好, 那您在本地测试,能正常显示网页的内容吗? 如 curl -6 http://[2001:470:35:bf7::1] 或: curl -6 http://[::1] ------------------------- 回 97楼(nodejs小白) 的帖子 您好, 好象 curl 的命令测试不成功,提示有错误。您可以尝试修改一下,目的是想测试本地的 ipv6 网址是否能访问到。 ------------------------- 回 99楼(nodejs小白) 的帖子 您好, 如在我的测试机里运行的结果如下: root@los:~/test5# curl -6 -i http://[::1] HTTP/1.1 200 OK Server: nginx/1.6.2 Date: Mon, 20 Mar 2017 04:52:58 GMT Content-Type: text/html Content-Length: 867 Last-Modified: Sat, 06 Feb 2016 14:51:03 GMT Connection: keep-alive ETag: "56b60857-363" Accept-Ranges: bytes <!DOCTYPE html> <html> <head> <title>Welcome to nginx on Debian!</title> <style>     body { ------------------------- 回 100楼(nodejs小白) 的帖子 您好, 看您的 netstat 命令,nginx 是已经在 ::80 端口上监听了。 我的 netstat 命令输出结果如下: tcp6       0      0 :::80                   :::*                    LISTEN      off (0.00/0/0) ------------------------- 回 103楼(nodejs小白) 的帖子 您好, 可对比例子多测试几次, 如果多次测试后,还不行,可通过站内信提供临时的登录信息,我为您登录查看喔。 ------------------------- 回 105楼(jianxun123) 的帖子 您好, 抱歉延时回复, 现在测试,好象web可以通过ipv6隧道地址访问喔。 root@los:~/test5# wget -i -6 http://www.chinahjz.cn converted 'http://www.chinahjz.cn' (ANSI_X3.4-1968) -> 'http://www.chinahjz.cn' (UTF-8) --2017-03-21 19:34:34--   http://www.chinahjz.cn/ Resolving www.chinahjz.cn (www.chinahjz.cn)... 2001:470:35:c08::2, 112.74.131.2 Connecting to www.chinahjz.cn (www.chinahjz.cn)|2001:470:35:c08::2|:80... connected. HTTP request sent, awaiting response... 302 Moved Temporarily Location: /shenzhen [following] converted 'http://www.chinahjz.cn/shenzhen' (ANSI_X3.4-1968) -> 'http://www.chinahjz.cn/shenzhen' (UTF-8) --2017-03-21 19:34:36--   http://www.chinahjz.cn/shenzhen Reusing existing connection to [ www.chinahjz.cn]:80. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: 'index.html.1' ------------------------- 回 103楼(nodejs小白) 的帖子 您好, 经测试,好象您在解析域名到IPv6隧道地址时,是写错了, 正确的地址应该是 2001:470:35:bf7::2,而不是: 2001:470:35:bf7::1 root@los:~/test5# curl -6 -i http://[2001:470:35:bf7::2] HTTP/1.1 200 OK Content-Type: text/plain Date: Wed, 22 Mar 2017 00:02:20 GMT Connection: keep-alive Transfer-Encoding: chunked ------------------------- 回 108楼(噜噜噜噜) 的帖子 您好, 欢迎来到阿里云论坛。 请问您是 ping6 哪个地址呢? ------------------------- 回 110楼(噜噜噜噜) 的帖子 您好, 请问您的ECS实例网络类型是什么呢?是专有网络吗? ------------------------- 回 112楼(nodejs小白) 的帖子 您好, 如果您仅是为了通过苹果手机的APP审核,那第三项的测试可暂不理会。 ------------------------- 回 114楼(白鹿洞) 的帖子 您好, 现在从我的测试机里,好象能ping6通您的ipv6隧道地址喔。 root@los:~# ping6 2001:470:1f04:aaa::2 PING 2001:470:1f04:aaa::2(2001:470:1f04:aaa::2) 56 data bytes 64 bytes from 2001:470:1f04:aaa::2: icmp_seq=1 ttl=55 time=282 ms 64 bytes from 2001:470:1f04:aaa::2: icmp_seq=2 ttl=55 time=282 ms 64 bytes from 2001:470:1f04:aaa::2: icmp_seq=3 ttl=55 time=283 ms ------------------------- 回 116楼(超级猪包) 的帖子 您好, 提示 No route to host ,您是否已经成功执行  route -A inet6 add ::/0 dev sit1 的命令了呢。 一般AAAA记录是 Client IPv6 Address,即 您的 2001:470:c:100a::2 。 ------------------------- 回 119楼(超级猪包) 的帖子 您好, 提示 No route to host 喔。 root@los:~/test5# curl -6 https://itf.fox008.com curl: (7) Failed to connect to itf.fox008.com port 443: No route to host ------------------------- 回 121楼(zjlzbin) 的帖子 您好, 抱歉给您带来不便。 是的,目前已知的,“专有网络”不能使用HE提供的IPv6隧道地址(网上查资料,知HE提供的IPv6隧道地址是属于6in4,无法在“专有网络”中的SNAT使用)。 不能在帖子里上传图片的原因,有可能是因为论坛附件上传可能对某些线路的某些浏览器不兼容(如我用广东电信的宽带,在Firefox里不能成功上传附件)。 ------------------------- 回 123楼(adsfdf) 的帖子 您好, 欢迎来到阿里云论坛。 如果您向苹果提交的审核地址是域名URL的,是需要为域名创建AAAA记录喔。 ------------------------- 回 125楼(fswing) 的帖子 您好, 原因可能是IPv6隧道服务器(图中的216.218.221.6)不稳定,或许您可以考虑一下换一个IPv6隧道服务器的地址,如换成美国境内的来试试。 ------------------------- 回 127楼(hbgzliyan) 的帖子 您好, 欢迎来到阿里云论坛。 请问您的ECS云服务器的网络类型是“经典网络”吗? ------------------------- Re:回 130楼(hbgzliyan) 的帖子 您好, 现在测试,是可以访问: --2017-04-11 00:41:16-- http://m.xiaozhubanjia.com/ Resolving m.xiaozhubanjia.com (m.xiaozhubanjia.com)... 2001:470:23:1101::2 Connecting to m.xiaozhubanjia.com (m.xiaozhubanjia.com)|2001:470:23:1101::2|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 449 [text/html] Saving to: 'index.html.9' 您可以尝试更换其它的IPv6服务器地址,假如您当前选择的是香港的,可以选择一下其它的,如美国的。 ------------------------- 回 132楼(uatcre) 的帖子 您好, 抱歉延时回复, 已经通过站内信,发检测的结果给您喔。 ------------------------- 回 134楼(山东周杰伦) 的帖子 您好, 现在测试,好象可以访问到内容喔: --2017-04-19 06:35:46--   http://demo1.foxteam.cc/ Resolving demo1.foxteam.cc (demo1.foxteam.cc)... 2001:470:18:683::2 Connecting to demo1.foxteam.cc (demo1.foxteam.cc)|2001:470:18:683::2|:80... connected. HTTP request sent, awaiting response... 302 Moved Temporarily Location: ./web/index.php? [following] converted 'http://demo1.foxteam.cc/./web/index.php?' (ANSI_X3.4-1968) -> 'http://demo1.foxteam.cc/./web/index.php?' (UTF-8) --2017-04-19 06:35:49--   http://demo1.foxteam.cc/web/index.php? Reusing existing connection to [demo1.foxteam.cc]:80. HTTP request sent, awaiting response... 302 Moved Temporarily Location: ./index.php?c=user&a=login& [following] converted 'http://demo1.foxteam.cc/web/./index.php?c=user&a=login&' (ANSI_X3.4-1968) -> 'http://demo1.foxteam.cc/web/./index.php?c=user&a=login&' (UTF-8) --2017-04-19 06:35:51--   http://demo1.foxteam.cc/web/index.php?c=user&a=login& Reusing existing connection to [demo1.foxteam.cc]:80. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: 'index.html.17' ------------------------- 回 136楼(ywwj) 的帖子 您好, 请问您的金融云ECS,网络类型是“专有网络”的吗? ------------------------- 回 137楼(xd1412) 的帖子 您好, 好象现在没有返回AAAA地址了, dig +nocmd +nostats app.nzhousechina.com AAAA ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 2896 ;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 8192 ;; QUESTION SECTION: ;app.nzhousechina.com.          IN      AAAA ;; AUTHORITY SECTION: nzhousechina.com.       28800   IN      SOA     ns.freeparking.co.nz. hostmaster.freeparking.co.nz. 2017042615 86400 7200 3600000 28800 ------------------------- 回 140楼(daiwdddd) 的帖子 您好, 欢迎来到阿里云论坛。 请问您的ECS实例“网络类型”是哪种,是“专有网络”吗? ------------------------- 回 140楼(daiwdddd) 的帖子 您好, 抱歉延时回复。 现在测试,您的ipv6隧道地址还是ping不通, PING 2001:470:18:886::2(2001:470:18:886::2) 56 data bytes --- 2001:470:18:886::2 ping statistics --- 6 packets transmitted, 0 received, 100% packet loss, time 4999ms ------------------------- 回 142楼(gt888) 的帖子 您好, 因为负载均衡的IP管理权限不在您这里,所以可能无法设置ipv6隧道地址喔。 但您可以尝试用其它方法来尝试,如其他网友提到过的,用国外的 ipv6 proxy 来转发,或用国外的 ipv6 CDN 来分发。 ------------------------- 回 146楼(aquare) 的帖子 您好, 从国外的测试机来访问测试,http是不成功。 建议您检查一下系统的防火墙,看是否有阻止外网访问。 converted 'http://ipv6.51cs8.com' (ANSI_X3.4-1968) -> 'http://ipv6.51cs8.com' (UTF-8) --2017-05-15 16:06:55--   http://ipv6.51cs8.com/ Resolving ipv6.51cs8.com (ipv6.51cs8.com)... 2001:470:18:fe::2 Connecting to ipv6.51cs8.com (ipv6.51cs8.com)|2001:470:18:fe::2|:80... failed: Connection timed out. Retrying. --2017-05-15 16:08:00--  (try: 2)   http://ipv6.51cs8.com/ Connecting to ipv6.51cs8.com (ipv6.51cs8.com)|2001:470:18:fe::2|:80... ------------------------- 回 148楼(chisj) 的帖子 您好, 可能对于ipv6的防火墙服务,是 ip6tables 。 ------------------------- 回 149楼(chisj) 的帖子 您好, 嗯,可以再细心检查,检查。 现在您的ipv6隧道地址好象ping不通了, PING 2001:470:18:fe::2(2001:470:18:fe::2) 56 data bytes --- 2001:470:18:fe::2 ping statistics --- 47 packets transmitted, 0 received, 100% packet loss, time 46031ms ------------------------- 回 154楼(chisj) 的帖子 您好, 现在我从国外的测试机测试,无法ping通您的ipv6隧道地址喔。 在Linux系统里,有时ipv6隧道地址会在约30分钟后掉(ping不通),建议您可以用ping命令一直保持着,让ipv6隧道地址不掉。 ------------------------- 回 156楼(chisj) 的帖子 您好, 是的,在服务器里ping一个ipv6地址,如ipv6.google.com是可以的。 ------------------------- 回 157楼(chisj) 的帖子 您好, 是的,可以。但您的Shell会话退出后,可能这个ping进程也会退出,不能继续ping了喔。可以尝试结合使用 nohup 的命令。 ------------------------- 回 158楼(chisj) 的帖子 您好, 现在测试,可以ping得通喔: PING 2001:470:18:fe::2(2001:470:18:fe::2) 56 data bytes 64 bytes from 2001:470:18:fe::2: icmp_seq=1 ttl=57 time=620 ms 64 bytes from 2001:470:18:fe::2: icmp_seq=2 ttl=57 time=601 ms 64 bytes from 2001:470:18:fe::2: icmp_seq=3 ttl=57 time=595 ms ------------------------- 回 159楼(chisj) 的帖子 您好, 您指的是用 Mac + iPhone 搭建的 NAT64/DNS64 环境,无法ping通 ipv6.51cs8.com 吗? 请问是ping域名返回不到IP地址,还是路由不到目标地址呢? ------------------------- 回 165楼(chisj) 的帖子 您好, 从dig的信息来看,是能查询到域名的ipv6地址, 但在Mac里,ping命令是默认可以ping通ipv4或ipv6地址吗?在Linux中,需要ping6的命令来ping通ipv6地址的喔。 ------------------------- 回 169楼(chisj) 的帖子 您好, 抱歉您的APP这次还是不能通过审核, 苹果的回复里提到,是尝试登录到APP时,弹出了错误信息(we received an error message when we attempted to log in the app), 具体的错误信息是什么呢?苹果还提供了截图,能否也贴上截图? ------------------------- 回 171楼(cxck) 的帖子 您好, 欢迎来到阿里云论坛。 当您填写的网址是https时,或许需要检查系统中的ipv6地址是否在443端口监听使用喔(并不是80端口)。 请运行 netstat -noa | grep 443 的端口试试哩。 ------------------------- 回 173楼(cxck) 的帖子 您好, 在Web里的ssl配置文件里增加上ipv6的网络接口啊。 ------------------------- 回 175楼(cxck) 的帖子 您好, 现在好象ping6不通您的ipv6隧道地址喔: root@los:~# ping6 www.cxckquhuan.com PING www.cxckquhuan.com(Cxckquahuan-1-pt.tunnel.tserv20.hkg1.ipv6.he.net) 56 data bytes --- www.cxckquhuan.com ping statistics --- 8 packets transmitted, 0 received, 100% packet loss, time 6999ms ------------------------- 回 178楼(cxb0dly0zz) 的帖子 您好, 欢迎来到阿里云论坛。 能否看一下您的当前路由表呢?如运行 route -6 的命令,看看输出结果。 ------------------------- 回 180楼(cxb0dly0zz1) 的帖子 您好, 您指的两台机子互相ping6 ipv6的地址,不能通吗? 那这两台机子,能ping6通外网的,如 ipv6.google.com 的地址吗? ------------------------- 回 182楼(cxb0dly0zz1) 的帖子 您好, 是的,有可能是因为其中一台的ipv6默认路由不生效哩。 ------------------------- 回 184楼(等火车) 的帖子 您好, 在另一个帖子里看到您说已经解决了喔: https://bbs.aliyun.com/read/299254.html?displayMode=1&page=13#881075 ------------------------- 回 186楼(等火车) 的帖子 您好, 请问能否查看一下当前的ipv6路由表呢? ------------------------- 回 189楼(法克金嗯嗯) 的帖子 您好, 欢迎来到阿里云论坛。 现在从我这里测试,好象返回的是403禁止访问的错误提示喔: converted 'http://[2001:470:c:176::2]' (ANSI_X3.4-1968) -> 'http://[2001:470:c:176::2]' (UTF-8) --2017-06-02 14:40:25--  http://[2001:470:c:176::2]/ Connecting to [2001:470:c:176::2]:80... connected. HTTP request sent, awaiting response... 403 Forbidden 2017-06-02 14:40:25 ERROR 403: Forbidden. ------------------------- 回 191楼(法克金嗯嗯) 的帖子 您好, 很高兴听到您已经解决问题了喔。 ------------------------- 回 193楼(nhwuxiaojun) 的帖子 您好, 欢迎来到阿里云论坛。 我没有使用过金融云里的ECS产品, 不过,之前有用户曾反馈过类似的现象, 或许金融云默认的安全规则会比普通的ECS产品严格些,所以需要额外调整一下, 您可以多次尝试,或请官方的客服协助您一下喔: https://workorder.console.aliyun.com/ ------------------------- 回 195楼(dialect) 的帖子 您好, 欢迎来到阿里云论坛。 从外网测试您的ipv6隧道地址,是正常的(返回404): --2017-06-21 09:41:17--  http://[2001:470:c:393::2]/ Connecting to [2001:470:c:393::2]:80... connected. HTTP request sent, awaiting response... 404 Not Found 2017-06-21 09:41:18 ERROR 404: Not Found. 被拒的原因,有可能是APP软件本身不支持ipv6环境。 请问您的APP是如何构建的呢? ------------------------- 回 197楼(dialect) 的帖子 您好, 现在我从外网测试的话,是可以访问的喔: --2017-06-21 14:25:53--   https://api.oudalady.com/ Resolving api.oudalady.com (api.oudalady.com)... 2001:470:c:393::2 Connecting to api.oudalady.com (api.oudalady.com)|2001:470:c:393::2|:443... connected. HTTP request sent, awaiting response... 404 Not Found 2017-06-21 14:25:54 ERROR 404: Not Found. ------------------------- 回 200楼(fliu) 的帖子 您好, 欢迎来到阿里云论坛。 现在我测试,您的隧道地址ping6不通喔。 PING 2001:470:c:5ca::2(2001:470:c:5ca::2) 56 data bytes --- 2001:470:c:5ca::2 ping statistics --- 10 packets transmitted, 0 received, 100% packet loss, time 9007ms ------------------------- 回 202楼(fliu) 的帖子 您好, 请问还是之前的这个ipv6隧道地址吗? 如果是,现在我还是ping6不通喔: PING 2001:470:c:5ca::2(2001:470:c:5ca::2) 56 data bytes --- 2001:470:c:5ca::2 ping statistics --- 5 packets transmitted, 0 received, 100% packet loss, time 3998ms ------------------------- 回 204楼(fliu) 的帖子 您好, 请问现在在系统里,能ping6通ipv6.google.com或其它ipv6地址吗? ------------------------- 回 206楼(fliu) 的帖子 您好, 那就奇怪了。 能否运行 ifconfig 和 ping6 ipv6.google.com 的截图看看呢? ------------------------- 回 208楼(fliu) 的帖子 您好, 能否检查一下您的系统里,是否有启用防火墙,或ECS的安全组是否有过滤的规则? ------------------------- 回 210楼(法克金嗯嗯) 的帖子 您好, 暂时我没有遇到类似的现象, 能否提供您在电脑里测试ping不通的截图,大家一起看看? ------------------------- 回 212楼(法克金嗯嗯) 的帖子 您好, 是喔,需要先确认ipv6域名解析有效喔。 ------------------------- 回 214楼(我的天啊666) 的帖子 您好, 欢迎来到阿里云论坛。 现在测试,可以正常连接到80端口喔。 --2017-08-05 10:18:02--   http://app6.51dtwl.com/ Resolving app6.51dtwl.com (app6.51dtwl.com)... 2001:470:18:3aa::2 Connecting to app6.51dtwl.com (app6.51dtwl.com)|2001:470:18:3aa::2|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: ‘index.html.2’ ------------------------- 回 216楼(我的天啊666) 的帖子 您好, 现在为您测试,好象成功的啊。 ------------------------- 回 219楼(yingegou) 的帖子 您好, 现在我从外网ping6不通您的隧道地址喔。 如果可以的话,您可以尝试在安全组规则里临时放行所有的协议和端口,对比测试一下。 ------------------------- 回 222楼(babos) 的帖子 您好, 很高兴听到您已经解决了问题,欢迎有空时,多来论坛逛逛。 ------------------------- 回 223楼(咯咯嘿嘿) 的帖子 您好, 欢迎来到阿里云论坛。 可以尝试用 nohup 的命令,把ping6命令放到后台长驻运行。 ------------------------- 回 227楼(cheyuu) 的帖子 您好, 欢迎来到阿里云论坛。 较“粗野”的方法是:重启系统。 ------------------------- 回 229楼(cheyuu) 的帖子 您好, 现在我也是能ping6通您的隧道地址的,如果苹果苹果还是卡在ipv6这里,建议先检查APP的ipv6兼容性(可在本地模拟网络测试)。 PING 2001:470:c:12a3::2(2001:470:c:12a3::2) 56 data bytes 64 bytes from 2001:470:c:12a3::2: icmp_seq=1 ttl=59 time=325 ms 64 bytes from 2001:470:c:12a3::2: icmp_seq=2 ttl=59 time=331 ms 64 bytes from 2001:470:c:12a3::2: icmp_seq=3 ttl=59 time=321 ms 64 bytes from 2001:470:c:12a3::2: icmp_seq=4 ttl=59 time=312 ms ------------------------- 回 231楼(cheyuu) 的帖子 您好, 有的情况是,ipv6隧道地址在约20~30分钟内无数据交互,可能会“掉”(ping6不通)的, 您可以先排除这个现象。 ------------------------- 回 236楼(独凭栏) 的帖子 您好, 如果您不是将绑定隧道地址的命令设置成为开机自动运行, 那重启系统后,隧道地址可能会掉的喔, 您能在当前系统上查看到隧道地址的配置信息吗? ------------------------- 回 238楼(独凭栏) 的帖子 您好, 请问您之前是用哪些命令来配置ipv6隧道地址的呢? ------------------------- 回 242楼(独凭栏) 的帖子 您好, 可以尝试调整实例的安全组规则, 如放行全部的协议后,再对比试试。 ------------------------- 回 244楼(独凭栏) 的帖子 您好, 测试本地的ipv6地址,是什么结果呢? 如 ping6 ::1 ping6 www.100rd.com ------------------------- 回 246楼(独凭栏) 的帖子 您好, 好象您的隧道地址有时能ping6通,有时不能。 建议后台长驻运行一条ping6命令看看,如 nohup ping6 ipv6.google.com ------------------------- 回 246楼(独凭栏) 的帖子 您好, 现在从外网测试,您的隧道地址网站能访问了, liujia@hk2:~$ wget -6   www.100rd.com --2017-10-17 17:18:11--   http://www.100rd.com/ Resolving www.100rd.com (www.100rd.com)... 2001:470:1f06:327::2 Connecting to www.100rd.com (www.100rd.com)|2001:470:1f06:327::2|:80... connected. HTTP request sent, awaiting response... 302 Found Location: /index.html [following] --2017-10-17 17:18:13--   http://www.100rd.com/index.html Reusing existing connection to [ www.100rd.com]:80. HTTP request sent, awaiting response... 200 OK Length: 45552 (44K) [text/html] Saving to: ‘index.html.6’ ------------------------- 回 249楼(魔笛手) 的帖子 您好, 请问您的ECS实例网络类型是“专有网络”的吗? ------------------------- 回 251楼(帅到天涯) 的帖子 版主回复: 或许您可以在实例的安全组规则里,放行所有协议,或对he.net的服务器允许访问。 ------------------------- Re:回 253楼(友链) 的帖子 版主回复: 至少目前我尝试从外网测试,ping6不能您的ipv6隧道地址喔: $ ping6 www.whoju.com PING www.whoju.com(huju-1-pt.tunnel.tserv20.hkg1.ipv6.he.net) 56 data bytes --- www.whoju.com ping statistics --- 10 packets transmitted, 0 received, 100% packet loss, time 9072ms ------------------------- Re:回 255楼(友链) 的帖子 版主回复: 好象现在测试,还是不可以喔: $ wget -6 www.whoju.com --2017-11-10 11:23:56--   http://www.whoju.com/ Resolving www.whoju.com (www.whoju.com)... 2001:470:18:c11::2 Connecting to www.whoju.com (www.whoju.com)|2001:470:18:c11::2|:80... failed: Connection timed out. Retrying. ------------------------- 回 257楼(jacky1204) 的帖子 版主回复: 看起来,好象您的命令脚本,1.sh 不是很符合实际的情况。 可以尝试再调整一下,或用he提供的例子命令。 ------------------------- 回 259楼(ap6554s5w) 的帖子 版主回复: 个人较“生硬”的做法是,逐条命令来执行,如有错,再根据具体的错误信息来排查哩。 ------------------------- 回 261楼(真的虾米) 的帖子 版主回复: 是哩。在实践中,先ping6通,才能使用隧道地址,我们管这叫“激活”。 您可以使用nohup等工具,将ping6放到后台或自动运行,可能就可以一直保持“激活”状态了。 ------------------------- 回 263楼(肉松小贝) 的帖子 版主回复: 如果在绑定ipv6隧道地址之前,您的ubuntu系统没有启用ipv6,请先启用ipv6喔,如能ping6通 ::1。 ------------------------- 回 266楼(11提供给个) 的帖子 版主回复: 看起来,您的隧道地址,从外网ping6不通呢: $ ping6 2001:470:1f04:101e::2 PING 2001:470:1f04:101e::2(2001:470:1f04:101e::2) 56 data bytes --- 2001:470:1f04:101e::2 ping statistics --- 58 packets transmitted, 0 received, 100% packet loss, time 57000ms ------------------------- 回 267楼(御峰金服) 的帖子 版主回复: 现在测试,好象您的ipv6隧道地址信息失效了: $ ping6  2001:470:39:693::1 PING 2001:470:39:693::1(2001:470:39:693::1) 56 data bytes From 2001:470:0:24b::2 icmp_seq=1 Destination unreachable: No route From 2001:470:0:24b::2 icmp_seq=2 Destination unreachable: No route From 2001:470:0:24b::2 icmp_seq=3 Destination unreachable: No route From 2001:470:0:24b::2 icmp_seq=4 Destination unreachable: No route ------------------------- 回 288楼(hammondzhw) 的帖子 您好,我没用过NAT网关,但在he官方常见问答里提到重要的两点:可以响应 ICMP 及允许41协议通过。 Two important notes: Your IPv4 endpoint address must be reachable via ICMP ECHO_REQUEST (Internet Control Message Protocol). If you are using a NAT (Network Address Translation) appliance, please make sure it allows and forwards IP protocol 41. ------------------------- 回 290楼(xxjava) 的帖子 您好, 一般情况下,需要删除之前在系统里已经配置的IPv6隧道地址信息,再重新绑。就是不能重复绑定。

dongshan8 2019-12-02 02:43:52 0 浏览量 回答数 0

回答

92题 一般来说,建立INDEX有以下益处:提高查询效率;建立唯一索引以保证数据的唯一性;设计INDEX避免排序。 缺点,INDEX的维护有以下开销:叶节点的‘分裂’消耗;INSERT、DELETE和UPDATE操作在INDEX上的维护开销;有存储要求;其他日常维护的消耗:对恢复的影响,重组的影响。 需要建立索引的情况:为了建立分区数据库的PATITION INDEX必须建立; 为了保证数据约束性需要而建立的INDEX必须建立; 为了提高查询效率,则考虑建立(是否建立要考虑相关性能及维护开销); 考虑在使用UNION,DISTINCT,GROUP BY,ORDER BY等字句的列上加索引。 91题 作用:加快查询速度。原则:(1) 如果某属性或属性组经常出现在查询条件中,考虑为该属性或属性组建立索引;(2) 如果某个属性常作为最大值和最小值等聚集函数的参数,考虑为该属性建立索引;(3) 如果某属性经常出现在连接操作的连接条件中,考虑为该属性或属性组建立索引。 90题 快照Snapshot是一个文件系统在特定时间里的镜像,对于在线实时数据备份非常有用。快照对于拥有不能停止的应用或具有常打开文件的文件系统的备份非常重要。对于只能提供一个非常短的备份时间而言,快照能保证系统的完整性。 89题 游标用于定位结果集的行,通过判断全局变量@@FETCH_STATUS可以判断是否到了最后,通常此变量不等于0表示出错或到了最后。 88题 事前触发器运行于触发事件发生之前,而事后触发器运行于触发事件发生之后。通常事前触发器可以获取事件之前和新的字段值。语句级触发器可以在语句执行前或后执行,而行级触发在触发器所影响的每一行触发一次。 87题 MySQL可以使用多个字段同时建立一个索引,叫做联合索引。在联合索引中,如果想要命中索引,需要按照建立索引时的字段顺序挨个使用,否则无法命中索引。具体原因为:MySQL使用索引时需要索引有序,假设现在建立了"name,age,school"的联合索引,那么索引的排序为: 先按照name排序,如果name相同,则按照age排序,如果age的值也相等,则按照school进行排序。因此在建立联合索引的时候应该注意索引列的顺序,一般情况下,将查询需求频繁或者字段选择性高的列放在前面。此外可以根据特例的查询或者表结构进行单独的调整。 86题 建立索引的时候一般要考虑到字段的使用频率,经常作为条件进行查询的字段比较适合。如果需要建立联合索引的话,还需要考虑联合索引中的顺序。此外也要考虑其他方面,比如防止过多的所有对表造成太大的压力。这些都和实际的表结构以及查询方式有关。 85题 存储过程是一组Transact-SQL语句,在一次编译后可以执行多次。因为不必重新编译Transact-SQL语句,所以执行存储过程可以提高性能。触发器是一种特殊类型的存储过程,不由用户直接调用。创建触发器时会对其进行定义,以便在对特定表或列作特定类型的数据修改时执行。 84题 存储过程是用户定义的一系列SQL语句的集合,涉及特定表或其它对象的任务,用户可以调用存储过程,而函数通常是数据库已定义的方法,它接收参数并返回某种类型的值并且不涉及特定用户表。 83题 减少表连接,减少复杂 SQL,拆分成简单SQL。减少排序:非必要不排序,利用索引排序,减少参与排序的记录数。尽量避免 select *。尽量用 join 代替子查询。尽量少使用 or,使用 in 或者 union(union all) 代替。尽量用 union all 代替 union。尽量早的将无用数据过滤:选择更优的索引,先分页再Join…。避免类型转换:索引失效。优先优化高并发的 SQL,而不是执行频率低某些“大”SQL。从全局出发优化,而不是片面调整。尽可能对每一条SQL进行 explain。 82题 如果条件中有or,即使其中有条件带索引也不会使用(要想使用or,又想让索引生效,只能将or条件中的每个列都加上索引)。对于多列索引,不是使用的第一部分,则不会使用索引。like查询是以%开头。如果列类型是字符串,那一定要在条件中将数据使用引号引用起来,否则不使用索引。如果mysql估计使用全表扫描要比使用索引快,则不使用索引。例如,使用<>、not in 、not exist,对于这三种情况大多数情况下认为结果集很大,MySQL就有可能不使用索引。 81题 主键不能重复,不能为空,唯一键不能重复,可以为空。建立主键的目的是让外键来引用。一个表最多只有一个主键,但可以有很多唯一键。 80题 空值('')是不占用空间的,判断空字符用=''或者<>''来进行处理。NULL值是未知的,且占用空间,不走索引;判断 NULL 用 IS NULL 或者 is not null ,SQL 语句函数中可以使用 ifnull ()函数来进行处理。无法比较 NULL 和 0;它们是不等价的。无法使用比较运算符来测试 NULL 值,比如 =, <, 或者 <>。NULL 值可以使用 <=> 符号进行比较,该符号与等号作用相似,但对NULL有意义。进行 count ()统计某列的记录数的时候,如果采用的 NULL 值,会被系统自动忽略掉,但是空值是统计到其中。 79题 HEAP表是访问数据速度最快的MySQL表,他使用保存在内存中的散列索引。一旦服务器重启,所有heap表数据丢失。BLOB或TEXT字段是不允许的。只能使用比较运算符=,<,>,=>,= <。HEAP表不支持AUTO_INCREMENT。索引不可为NULL。 78题 如果想输入字符为十六进制数字,可以输入带有单引号的十六进制数字和前缀(X),或者只用(Ox)前缀输入十六进制数字。如果表达式上下文是字符串,则十六进制数字串将自动转换为字符串。 77题 Mysql服务器通过权限表来控制用户对数据库的访问,权限表存放在mysql数据库里,由mysql_install_db脚本初始化。这些权限表分别user,db,table_priv,columns_priv和host。 76题 在缺省模式下,MYSQL是autocommit模式的,所有的数据库更新操作都会即时提交,所以在缺省情况下,mysql是不支持事务的。但是如果你的MYSQL表类型是使用InnoDB Tables 或 BDB tables的话,你的MYSQL就可以使用事务处理,使用SET AUTOCOMMIT=0就可以使MYSQL允许在非autocommit模式,在非autocommit模式下,你必须使用COMMIT来提交你的更改,或者用ROLLBACK来回滚你的更改。 75题 它会停止递增,任何进一步的插入都将产生错误,因为密钥已被使用。 74题 创建索引的时候尽量使用唯一性大的列来创建索引,由于使用b+tree做为索引,以innodb为例,一个树节点的大小由“innodb_page_size”,为了减少树的高度,同时让一个节点能存放更多的值,索引列尽量在整数类型上创建,如果必须使用字符类型,也应该使用长度较少的字符类型。 73题 当MySQL单表记录数过大时,数据库的CRUD性能会明显下降,一些常见的优化措施如下: 限定数据的范围: 务必禁止不带任何限制数据范围条件的查询语句。比如:我们当用户在查询订单历史的时候,我们可以控制在一个月的范围内。读/写分离: 经典的数据库拆分方案,主库负责写,从库负责读。垂直分区: 根据数据库里面数据表的相关性进行拆分。简单来说垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表。水平分区: 保持数据表结构不变,通过某种策略存储数据分片。这样每一片数据分散到不同的表或者库中,达到了分布式的目的。水平拆分可以支撑非常大的数据量。 72题 乐观锁失败后会抛出ObjectOptimisticLockingFailureException,那么我们就针对这块考虑一下重试,自定义一个注解,用于做切面。针对注解进行切面,设置最大重试次数n,然后超过n次后就不再重试。 71题 一致性非锁定读讲的是一条记录被加了X锁其他事务仍然可以读而不被阻塞,是通过innodb的行多版本实现的,行多版本并不是实际存储多个版本记录而是通过undo实现(undo日志用来记录数据修改前的版本,回滚时会用到,用来保证事务的原子性)。一致性锁定读讲的是我可以通过SELECT语句显式地给一条记录加X锁从而保证特定应用场景下的数据一致性。 70题 数据库引擎:尤其是mysql数据库只有是InnoDB引擎的时候事物才能生效。 show engines 查看数据库默认引擎;SHOW TABLE STATUS from 数据库名字 where Name='表名' 如下;SHOW TABLE STATUS from rrz where Name='rrz_cust';修改表的引擎alter table table_name engine=innodb。 69题 如果是等值查询,那么哈希索引明显有绝对优势,因为只需要经过一次算法即可找到相应的键值;当然了,这个前提是,键值都是唯一的。如果键值不是唯一的,就需要先找到该键所在位置,然后再根据链表往后扫描,直到找到相应的数据;如果是范围查询检索,这时候哈希索引就毫无用武之地了,因为原先是有序的键值,经过哈希算法后,有可能变成不连续的了,就没办法再利用索引完成范围查询检索;同理,哈希索引也没办法利用索引完成排序,以及like ‘xxx%’ 这样的部分模糊查询(这种部分模糊查询,其实本质上也是范围查询);哈希索引也不支持多列联合索引的最左匹配规则;B+树索引的关键字检索效率比较平均,不像B树那样波动幅度大,在有大量重复键值情况下,哈希索引的效率也是极低的,因为存在所谓的哈希碰撞问题。 68题 decimal精度比float高,数据处理比float简单,一般优先考虑,但float存储的数据范围大,所以范围大的数据就只能用它了,但要注意一些处理细节,因为不精确可能会与自己想的不一致,也常有关于float 出错的问题。 67题 datetime、timestamp精确度都是秒,datetime与时区无关,存储的范围广(1001-9999),timestamp与时区有关,存储的范围小(1970-2038)。 66题 Char使用固定长度的空间进行存储,char(4)存储4个字符,根据编码方式的不同占用不同的字节,gbk编码方式,不论是中文还是英文,每个字符占用2个字节的空间,utf8编码方式,每个字符占用3个字节的空间。Varchar保存可变长度的字符串,使用额外的一个或两个字节存储字符串长度,varchar(10),除了需要存储10个字符,还需要1个字节存储长度信息(10),超过255的长度需要2个字节来存储。char和varchar后面如果有空格,char会自动去掉空格后存储,varchar虽然不会去掉空格,但在进行字符串比较时,会去掉空格进行比较。Varbinary保存变长的字符串,后面不会补\0。 65题 首先分析语句,看看是否load了额外的数据,可能是查询了多余的行并且抛弃掉了,可能是加载了许多结果中并不需要的列,对语句进行分析以及重写。分析语句的执行计划,然后获得其使用索引的情况,之后修改语句或者修改索引,使得语句可以尽可能的命中索引。如果对语句的优化已经无法进行,可以考虑表中的数据量是否太大,如果是的话可以进行横向或者纵向的分表。 64题 建立索引的时候一般要考虑到字段的使用频率,经常作为条件进行查询的字段比较适合。如果需要建立联合索引的话,还需要考虑联合索引中的顺序。此外也要考虑其他方面,比如防止过多的所有对表造成太大的压力。这些都和实际的表结构以及查询方式有关。 63题 存储过程是一些预编译的SQL语句。1、更加直白的理解:存储过程可以说是一个记录集,它是由一些T-SQL语句组成的代码块,这些T-SQL语句代码像一个方法一样实现一些功能(对单表或多表的增删改查),然后再给这个代码块取一个名字,在用到这个功能的时候调用他就行了。2、存储过程是一个预编译的代码块,执行效率比较高,一个存储过程替代大量T_SQL语句 ,可以降低网络通信量,提高通信速率,可以一定程度上确保数据安全。 62题 密码散列、盐、用户身份证号等固定长度的字符串应该使用char而不是varchar来存储,这样可以节省空间且提高检索效率。 61题 推荐使用自增ID,不要使用UUID。因为在InnoDB存储引擎中,主键索引是作为聚簇索引存在的,也就是说,主键索引的B+树叶子节点上存储了主键索引以及全部的数据(按照顺序),如果主键索引是自增ID,那么只需要不断向后排列即可,如果是UUID,由于到来的ID与原来的大小不确定,会造成非常多的数据插入,数据移动,然后导致产生很多的内存碎片,进而造成插入性能的下降。总之,在数据量大一些的情况下,用自增主键性能会好一些。 60题 char是一个定长字段,假如申请了char(10)的空间,那么无论实际存储多少内容。该字段都占用10个字符,而varchar是变长的,也就是说申请的只是最大长度,占用的空间为实际字符长度+1,最后一个字符存储使用了多长的空间。在检索效率上来讲,char > varchar,因此在使用中,如果确定某个字段的值的长度,可以使用char,否则应该尽量使用varchar。例如存储用户MD5加密后的密码,则应该使用char。 59题 一. read uncommitted(读取未提交数据) 即便是事务没有commit,但是我们仍然能读到未提交的数据,这是所有隔离级别中最低的一种。 二. read committed(可以读取其他事务提交的数据)---大多数数据库默认的隔离级别 当前会话只能读取到其他事务提交的数据,未提交的数据读不到。 三. repeatable read(可重读)---MySQL默认的隔离级别 当前会话可以重复读,就是每次读取的结果集都相同,而不管其他事务有没有提交。 四. serializable(串行化) 其他会话对该表的写操作将被挂起。可以看到,这是隔离级别中最严格的,但是这样做势必对性能造成影响。所以在实际的选用上,我们要根据当前具体的情况选用合适的。 58题 B+树的高度一般为2-4层,所以查找记录时最多只需要2-4次IO,相对二叉平衡树已经大大降低了。范围查找时,能通过叶子节点的指针获取数据。例如查找大于等于3的数据,当在叶子节点中查到3时,通过3的尾指针便能获取所有数据,而不需要再像二叉树一样再获取到3的父节点。 57题 因为事务在修改页时,要先记 undo,在记 undo 之前要记 undo 的 redo, 然后修改数据页,再记数据页修改的 redo。 Redo(里面包括 undo 的修改) 一定要比数据页先持久化到磁盘。 当事务需要回滚时,因为有 undo,可以把数据页回滚到前镜像的状态,崩溃恢复时,如果 redo log 中事务没有对应的 commit 记录,那么需要用 undo把该事务的修改回滚到事务开始之前。 如果有 commit 记录,就用 redo 前滚到该事务完成时并提交掉。 56题 redo log是物理日志,记录的是"在某个数据页上做了什么修改"。 binlog是逻辑日志,记录的是这个语句的原始逻辑,比如"给ID=2这一行的c字段加1"。 redo log是InnoDB引擎特有的;binlog是MySQL的Server层实现的,所有引擎都可以使用。 redo log是循环写的,空间固定会用完:binlog 是可以追加写入的。"追加写"是指binlog文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。 最开始 MySQL 里并没有 InnoDB 引擎,MySQL 自带的引擎是 MyISAM,但是 MyISAM 没有 crash-safe 的能力,binlog日志只能用于归档。而InnoDB 是另一个公司以插件形式引入 MySQL 的,既然只依靠 binlog 是没有 crash-safe 能力的,所以 InnoDB 使用另外一套日志系统,也就是 redo log 来实现 crash-safe 能力。 55题 重做日志(redo log)      作用:确保事务的持久性,防止在发生故障,脏页未写入磁盘。重启数据库会进行redo log执行重做,达到事务一致性。 回滚日志(undo log)  作用:保证数据的原子性,保存了事务发生之前的数据的一个版本,可以用于回滚,同时可以提供多版本并发控制下的读(MVCC),也即非锁定读。 二进 制日志(binlog)    作用:用于主从复制,实现主从同步;用于数据库的基于时间点的还原。 错误日志(errorlog) 作用:Mysql本身启动,停止,运行期间发生的错误信息。 慢查询日志(slow query log)  作用:记录执行时间过长的sql,时间阈值可以配置,只记录执行成功。 一般查询日志(general log)    作用:记录数据库的操作明细,默认关闭,开启后会降低数据库性能 。 中继日志(relay log) 作用:用于数据库主从同步,将主库发来的bin log保存在本地,然后从库进行回放。 54题 MySQL有三种锁的级别:页级、表级、行级。 表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。 行级锁:开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。 页面锁:开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般。 死锁: 是指两个或两个以上的进程在执行过程中。因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。 死锁的关键在于:两个(或以上)的Session加锁的顺序不一致。 那么对应的解决死锁问题的关键就是:让不同的session加锁有次序。死锁的解决办法:1.查出的线程杀死。2.设置锁的超时时间。3.指定获取锁的顺序。 53题 当多个用户并发地存取数据时,在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据,破坏数据库的一致性(脏读,不可重复读,幻读等),可能产生死锁。 乐观锁:乐观锁不是数据库自带的,需要我们自己去实现。 悲观锁:在进行每次操作时都要通过获取锁才能进行对相同数据的操作。 共享锁:加了共享锁的数据对象可以被其他事务读取,但不能修改。 排他锁:当数据对象被加上排它锁时,一个事务必须得到锁才能对该数据对象进行访问,一直到事务结束锁才被释放。 行锁:就是给某一条记录加上锁。 52题 Mysql是关系型数据库,MongoDB是非关系型数据库,数据存储结构的不同。 51题 关系型数据库优点:1.保持数据的一致性(事务处理)。 2.由于以标准化为前提,数据更新的开销很小。 3. 可以进行Join等复杂查询。 缺点:1、为了维护一致性所付出的巨大代价就是其读写性能比较差。 2、固定的表结构。 3、高并发读写需求。 4、海量数据的高效率读写。 非关系型数据库优点:1、无需经过sql层的解析,读写性能很高。 2、基于键值对,数据没有耦合性,容易扩展。 3、存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,文档形式、图片形式等等,而关系型数据库则只支持基础类型。 缺点:1、不提供sql支持,学习和使用成本较高。 2、无事务处理,附加功能bi和报表等支持也不好。 redis与mongoDB的区别: 性能:TPS方面redis要大于mongodb。 可操作性:mongodb支持丰富的数据表达,索引,redis较少的网络IO次数。 可用性:MongoDB优于Redis。 一致性:redis事务支持比较弱,mongoDB不支持事务。 数据分析:mongoDB内置了数据分析的功能(mapreduce)。 应用场景:redis数据量较小的更性能操作和运算上,MongoDB主要解决海量数据的访问效率问题。 50题 如果Redis被当做缓存使用,使用一致性哈希实现动态扩容缩容。如果Redis被当做一个持久化存储使用,必须使用固定的keys-to-nodes映射关系,节点的数量一旦确定不能变化。否则的话(即Redis节点需要动态变化的情况),必须使用可以在运行时进行数据再平衡的一套系统,而当前只有Redis集群可以做到这样。 49题 分区可以让Redis管理更大的内存,Redis将可以使用所有机器的内存。如果没有分区,你最多只能使用一台机器的内存。分区使Redis的计算能力通过简单地增加计算机得到成倍提升,Redis的网络带宽也会随着计算机和网卡的增加而成倍增长。 48题 除了缓存服务器自带的缓存失效策略之外(Redis默认的有6种策略可供选择),我们还可以根据具体的业务需求进行自定义的缓存淘汰,常见的策略有两种: 1.定时去清理过期的缓存; 2.当有用户请求过来时,再判断这个请求所用到的缓存是否过期,过期的话就去底层系统得到新数据并更新缓存。 两者各有优劣,第一种的缺点是维护大量缓存的key是比较麻烦的,第二种的缺点就是每次用户请求过来都要判断缓存失效,逻辑相对比较复杂!具体用哪种方案,可以根据应用场景来权衡。 47题 Redis提供了两种方式来作消息队列: 一个是使用生产者消费模式模式:会让一个或者多个客户端监听消息队列,一旦消息到达,消费者马上消费,谁先抢到算谁的,如果队列里没有消息,则消费者继续监听 。另一个就是发布订阅者模式:也是一个或多个客户端订阅消息频道,只要发布者发布消息,所有订阅者都能收到消息,订阅者都是平等的。 46题 Redis的数据结构列表(list)可以实现延时队列,可以通过队列和栈来实现。blpop/brpop来替换lpop/rpop,blpop/brpop阻塞读在队列没有数据的时候,会立即进入休眠状态,一旦数据到来,则立刻醒过来。Redis的有序集合(zset)可以用于实现延时队列,消息作为value,时间作为score。Zrem 命令用于移除有序集中的一个或多个成员,不存在的成员将被忽略。当 key 存在但不是有序集类型时,返回一个错误。 45题 1.热点数据缓存:因为Redis 访问速度块、支持的数据类型比较丰富。 2.限时业务:expire 命令设置 key 的生存时间,到时间后自动删除 key。 3.计数器:incrby 命令可以实现原子性的递增。 4.排行榜:借助 SortedSet 进行热点数据的排序。 5.分布式锁:利用 Redis 的 setnx 命令进行。 6.队列机制:有 list push 和 list pop 这样的命令。 44题 一致哈希 是一种特殊的哈希算法。在使用一致哈希算法后,哈希表槽位数(大小)的改变平均只需要对 K/n 个关键字重新映射,其中K是关键字的数量, n是槽位数量。然而在传统的哈希表中,添加或删除一个槽位的几乎需要对所有关键字进行重新映射。 43题 RDB的优点:适合做冷备份;读写服务影响小,reids可以保持高性能;重启和恢复redis进程,更加快速。RDB的缺点:宕机会丢失最近5分钟的数据;文件特别大时可能会暂停数毫秒,或者甚至数秒。 AOF的优点:每个一秒执行fsync操作,最多丢失1秒钟的数据;以append-only模式写入,没有任何磁盘寻址的开销;文件过大时,不会影响客户端读写;适合做灾难性的误删除的紧急恢复。AOF的缺点:AOF日志文件比RDB数据快照文件更大,支持写QPS比RDB支持的写QPS低;比RDB脆弱,容易有bug。 42题 对于Redis而言,命令的原子性指的是:一个操作的不可以再分,操作要么执行,要么不执行。Redis的操作之所以是原子性的,是因为Redis是单线程的。而在程序中执行多个Redis命令并非是原子性的,这也和普通数据库的表现是一样的,可以用incr或者使用Redis的事务,或者使用Redis+Lua的方式实现。对Redis来说,执行get、set以及eval等API,都是一个一个的任务,这些任务都会由Redis的线程去负责执行,任务要么执行成功,要么执行失败,这就是Redis的命令是原子性的原因。 41题 (1)twemproxy,使用方式简单(相对redis只需修改连接端口),对旧项目扩展的首选。(2)codis,目前用的最多的集群方案,基本和twemproxy一致的效果,但它支持在节点数改变情况下,旧节点数据可恢复到新hash节点。(3)redis cluster3.0自带的集群,特点在于他的分布式算法不是一致性hash,而是hash槽的概念,以及自身支持节点设置从节点。(4)在业务代码层实现,起几个毫无关联的redis实例,在代码层,对key进行hash计算,然后去对应的redis实例操作数据。这种方式对hash层代码要求比较高,考虑部分包括,节点失效后的代替算法方案,数据震荡后的自动脚本恢复,实例的监控,等等。 40题 (1) Master最好不要做任何持久化工作,如RDB内存快照和AOF日志文件 (2) 如果数据比较重要,某个Slave开启AOF备份数据,策略设置为每秒同步一次 (3) 为了主从复制的速度和连接的稳定性,Master和Slave最好在同一个局域网内 (4) 尽量避免在压力很大的主库上增加从库 (5) 主从复制不要用图状结构,用单向链表结构更为稳定,即:Master <- Slave1 <- Slave2 <- Slave3...这样的结构方便解决单点故障问题,实现Slave对Master的替换。如果Master挂了,可以立刻启用Slave1做Master,其他不变。 39题 比如订单管理,热数据:3个月内的订单数据,查询实时性较高;温数据:3个月 ~ 12个月前的订单数据,查询频率不高;冷数据:1年前的订单数据,几乎不会查询,只有偶尔的查询需求。热数据使用mysql进行存储,需要分库分表;温数据可以存储在ES中,利用搜索引擎的特性基本上也可以做到比较快的查询;冷数据可以存放到Hive中。从存储形式来说,一般情况冷数据存储在磁带、光盘,热数据一般存放在SSD中,存取速度快,而温数据可以存放在7200转的硬盘。 38题 当访问量剧增、服务出现问题(如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级。降级的最终目的是保证核心服务可用,即使是有损的。而且有些服务是无法降级的(如加入购物车、结算)。 37题 分层架构设计,有一条准则:站点层、服务层要做到无数据无状态,这样才能任意的加节点水平扩展,数据和状态尽量存储到后端的数据存储服务,例如数据库服务或者缓存服务。显然进程内缓存违背了这一原则。 36题 更新数据的时候,根据数据的唯一标识,将操作路由之后,发送到一个 jvm 内部队列中。读取数据的时候,如果发现数据不在缓存中,那么将重新读取数据+更新缓存的操作,根据唯一标识路由之后,也发送同一个 jvm 内部队列中。一个队列对应一个工作线程,每个工作线程串行拿到对应的操作,然后一条一条的执行。 35题 redis分布式锁加锁过程:通过setnx向特定的key写入一个随机值,并同时设置失效时间,写值成功既加锁成功;redis分布式锁解锁过程:匹配随机值,删除redis上的特点key数据,要保证获取数据、判断一致以及删除数据三个操作是原子的,为保证原子性一般使用lua脚本实现;在此基础上进一步优化的话,考虑使用心跳检测对锁的有效期进行续期,同时基于redis的发布订阅优雅的实现阻塞式加锁。 34题 volatile-lru:当内存不足以容纳写入数据时,从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。 volatile-ttl:当内存不足以容纳写入数据时,从已设置过期时间的数据集中挑选将要过期的数据淘汰。 volatile-random:当内存不足以容纳写入数据时,从已设置过期时间的数据集中任意选择数据淘汰。 allkeys-lru:当内存不足以容纳写入数据时,从数据集中挑选最近最少使用的数据淘汰。 allkeys-random:当内存不足以容纳写入数据时,从数据集中任意选择数据淘汰。 noeviction:禁止驱逐数据,当内存使用达到阈值的时候,所有引起申请内存的命令会报错。 33题 定时过期:每个设置过期时间的key都需要创建一个定时器,到过期时间就会立即清除。该策略可以立即清除过期的数据,对内存很友好;但是会占用大量的CPU资源去处理过期的数据,从而影响缓存的响应时间和吞吐量。 惰性过期:只有当访问一个key时,才会判断该key是否已过期,过期则清除。该策略可以最大化地节省CPU资源,却对内存非常不友好。极端情况可能出现大量的过期key没有再次被访问,从而不会被清除,占用大量内存。 定期过期:每隔一定的时间,会扫描一定数量的数据库的expires字典中一定数量的key,并清除其中已过期的key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时,可以在不同情况下使得CPU和内存资源达到最优的平衡效果。 32题 缓存击穿,一个存在的key,在缓存过期的一刻,同时有大量的请求,这些请求都会击穿到DB,造成瞬时DB请求量大、压力骤增。如何避免:在访问key之前,采用SETNX(set if not exists)来设置另一个短期key来锁住当前key的访问,访问结束再删除该短期key。 31题 缓存雪崩,是指在某一个时间段,缓存集中过期失效。大量的key设置了相同的过期时间,导致在缓存在同一时刻全部失效,造成瞬时DB请求量大、压力骤增,引起雪崩。而缓存服务器某个节点宕机或断网,对数据库服务器造成的压力是不可预知的,很有可能瞬间就把数据库压垮。如何避免:1.redis高可用,搭建redis集群。2.限流降级,在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。3.数据预热,在即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间。 30题 缓存穿透,是指查询一个数据库一定不存在的数据。正常的使用缓存流程大致是,数据查询先进行缓存查询,如果key不存在或者key已经过期,再对数据库进行查询,并把查询到的对象,放进缓存。如果数据库查询对象为空,则不放进缓存。一些恶意的请求会故意查询不存在的 key,请求量很大,对数据库造成压力,甚至压垮数据库。 如何避免:1:对查询结果为空的情况也进行缓存,缓存时间设置短一点,或者该 key 对应的数据 insert 了之后清理缓存。2:对一定不存在的 key 进行过滤。可以把所有的可能存在的 key 放到一个大的 Bitmap 中,查询时通过该 bitmap 过滤。 29题 1.memcached 所有的值均是简单的字符串,redis 作为其替代者,支持更为丰富的数据类型。 2.redis 的速度比 memcached 快很多。 3.redis 可以持久化其数据。 4.Redis支持数据的备份,即master-slave模式的数据备份。 5.Redis采用VM机制。 6.value大小:redis最大可以达到1GB,而memcache只有1MB。 28题 Spring Boot 推荐使用 Java 配置而非 XML 配置,但是 Spring Boot 中也可以使用 XML 配置,通过spring提供的@ImportResource来加载xml配置。例如:@ImportResource({"classpath:some-context.xml","classpath:another-context.xml"}) 27题 Spring像一个大家族,有众多衍生产品例如Spring Boot,Spring Security等等,但他们的基础都是Spring的IOC和AOP,IOC提供了依赖注入的容器,而AOP解决了面向切面的编程,然后在此两者的基础上实现了其他衍生产品的高级功能。Spring MVC是基于Servlet的一个MVC框架,主要解决WEB开发的问题,因为 Spring的配置非常复杂,各种xml,properties处理起来比较繁琐。Spring Boot遵循约定优于配置,极大降低了Spring使用门槛,又有着Spring原本灵活强大的功能。总结:Spring MVC和Spring Boot都属于Spring,Spring MVC是基于Spring的一个MVC框架,而Spring Boot是基于Spring的一套快速开发整合包。 26题 YAML 是 "YAML Ain't a Markup Language"(YAML 不是一种标记语言)的递归缩写。YAML 的配置文件后缀为 .yml,是一种人类可读的数据序列化语言,可以简单表达清单、散列表,标量等数据形态。它通常用于配置文件,与属性文件相比,YAML文件就更加结构化,而且更少混淆。可以看出YAML具有分层配置数据。 25题 Spring Boot有3种热部署方式: 1.使用springloaded配置pom.xml文件,使用mvn spring-boot:run启动。 2.使用springloaded本地加载启动,配置jvm参数-javaagent:<jar包地址> -noverify。 3.使用devtools工具包,操作简单,但是每次需要重新部署。 用

游客ih62co2qqq5ww 2020-03-27 23:56:48 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站