交互模式怎么安装

指定了<span style=""font-family: 'courier new',courier; font-size: small;"">--with-apxs2=/usr/local/apache/bin/apxs以后，就不要再激活<span style=""font-family: 'courier new',courier; font-size: small;"">--enable-fpm和<span style=""font-family: 'courier new',courier; font-size: small;"">--enable-fastCGI，apxs是以php module的模式加载PHP的。 这样怎么实现apache支持php呢？apache怎么把php的请求转给cgi吗？ 我最常配置lighttpd，所以apache我只配置过2次。 当指定以apxs2模式编译时，首先需要安装apache2(没记错的话，应该是要2.2)，而且必须安装apache2的多线程模块。否则，你没法通过指定--with-apxs2=/usr/local/apache/bin/apxs去编译PHP，编译过程会报错，因为这个模式需要朝apache添加配置文件。 当成功编译了apxs2以后，你需要手动修改一下关于php的那个配置文件，主要是加一行回车，不然apache会无情的告诉你那不是一个有效的配置文件。 选择module模式还是cgi模式，还是fastcgi模式，是你对php环境的选型。如非强制需要接受apache环境的，我会推荐php以lighttpd的fastcgi模式或者ningx下配合phpfpm使用。 除非你非得要，module + cgi，那我无话可说。 我知道这个限制，所以才问httpd有没有类似nginx fastcgi_pass把php请求转apxs2=/usr/local/apache/bin/apxs以后，就不要再激活--enable-fpm和--enable-fastCGI，apxs是以php module的模式加载PHP的。 我最常配置lighttpd，所以apache我只配置过2次。 当指定以apxs2模式编译时，首先需要安装apache2(没记错的话，应该是要2.2)，而且必须安装apache2的多线程模块。否则，你没法通过指定--with-apxs2=/usr/local/apache/bin/apxs去编译PHP，编译过程会报错，因为这个模式需要朝apache添加配置文件。 当成功编译了apxs2以后，你需要手动修改一下关于php的那个配置文件，主要是加一行回车，不然apache会无情的告诉你那不是一个有效的配置文件。 选择module模式还是cgi模式，还是fastcgi模式，是你对php环境的选型。如非强制需要接受apache环境的，我会推荐php以lighttpd的fastcgi模式或者ningx下配合phpfpm使用。 除非你非得要，module + cgi，那我无话可说。 我知道这个限制，所以才问httpd有没有类似nginx fastcgi_pass把php请求转发 其实你可以分析一下PHP-FPM的机制，他实际上打开了一个本地端口，里面以FCGI模式运行着多个PHP的线程，而后透过这个端口和nginx交互。而实际上，nginx只是做了php-fpm的前端。其实说穿了，就是利用他做一个proxy。 每个httpd都不会漏掉proxy的功能，apache有，lighttpd，nginx都有，其中nginx在proxy方面的性能优秀，所以被推荐为作为php-fpm的首选。 lighttpd在处理script文件，fastcgi等方面较为出色。lighttpd已经将他的spwan-fcgi作为一个独立的项目出来，早年nginx要以fastcgi模式运行php的时候，也必须要编译这个spwan-fcgi。 而Apache处理fcgi，模式与他们两有别，应该是需要另外编译fastcgi模块的(我没有实际部署过apache以fastcgi的模式运行，所以你需要找找这方面的资料)。 其实，透过看apache、lighttpd、nginx的配置文件，你可以看出很多端倪。"

一、系统迁移捅了13亿用户的娄子 故事，是从一桩“离婚再嫁”的案子开始的。 离婚再嫁的主角，是英国银行TSB。 2015年，TSB银行结束了与劳埃德银行（Lloyds Bank）长达20年的“婚姻”，从他们合并的集团中拆分出来，并卖身给了新欢、西班牙公司萨瓦德尔（Sabadell）集团，收购价17亿英镑，按当时的汇率大概是158亿人民币。 然而，过去的20年，世界变了太多，银行业也进步了太多。20年的“婚姻”留给TSB银行的，还有和“前夫”剪不断理还乱的IT系统。 TSB银行540万客户的数十亿记录，都还留在“前夫”劳埃德银行的系统里，而且因为缘分已断，不能白嫖人家的系统，每年还要给前夫交1亿英镑（大约9.3亿人民币）的费用。 这就好像肉身虽然已经和“新欢”在一起，但支付宝和微信账号还是跟“前夫”共用一套，而且还要给“前夫”付账号租金，自然令人不爽。 于是，在筹备了许久之后，2018年，他们终于要行动了：把“前夫”IT系统里的客户信息记录，迁移到“新欢”专门为TSB银行准备的新系统里。 他们把迁移的日子，定在了4月22日星期日的晚上，先把银行的IT系统离线，迁移完之后再上线，恢复客户访问自己银行账户的权限。 为了这场迁移，他们已经投入了超过2500人年的人力成本，西班牙“新欢”集团的CEO在前一年的圣诞节就大声放话：这是全欧洲史无前例的大项目，我们投入了1000多名专业人才，将极大地促进我们在英国的增长。 不过，虽然大佬们在台上豪言壮语，实际上负责迁移的员工们心里却慌得一逼。这个迁移项目本来要筹备18个月，结果时间超了，预算也超了，事情难办的很。 Flag果然不能立太早，打脸的结果很快就来了。 迁移结束，客户的访问权限，他们以为万无一失，但就在20分钟后，收到了问题报告： 有的客户发现自己的钱不见了； 有的客户花了一点小钱，账户里却记录成了花费数千美元； 有的客户登录上去之后，发现不是自己的账户，而是看到了别人的银行账户。 13亿客户的账户记录都出了问题，于是，他们把TSB银行骂成狗，金融监管机构们则连夜找银行喝茶。 而此后的几个星期，银行都在拼命的恢复系统，但数以百万计的客户们已经人心惶惶，拼命的把自己存在TSB银行的钱取出来。 TSB银行，被自己捅的篓子扔进了地狱模式。 而问题的根源，在于测试。 英国金融监管机构金融行为监管局（FCA）首席执行官Andrew Bailey在事故几周后对外公开表示，造成系统混乱的很大原因在于缺少测试，而TSB银行请来救急的IBM专家也发现，TSB银行没有采用严格的上线标准。 而且由于地球上的金融体系都是相连的，事故所造成的错误被永久的保留在了金融体系里，不可逆转。 这起弥天大祸，也让TSB银行赔了很多钱。为了赔偿客户、解决系统出问题后浑水摸鱼的交易、找第三方帮忙总共花了3.302亿英镑，按当时汇率算大约28.4亿人民币。 而TSB的乙方、IT提供商Sabis也因为这起事故收到了1.53亿英镑（超过13亿人民币）的赔偿账单。 而受此影响，TSB银行当年亏损了1.054亿英镑（9.2亿人民币），CEO Paul Pester引咎辞职。 业绩这么差，银行的经营也难以为继，今年11月底TSB关闭了英国86个分行，至少400个工作岗位也因此消失。 二、银行系统很复杂 信息化时代，银行的IT系统也变得越来越复杂。 六十年前，人们只能选择在柜台存取现金，普通客户并没有机会直接接触计算机系统。当时，银行虽然也启用了巨型计算机，但它们只会在一天或一周交易结束的时候对纸质数据进行汇总。 也就是说，银行的IT系统仅由银行员工使用，银行与客户在柜台上的交互用的还是纸质工具。 这种情况在1967年发生了改变。 这一年，世界上第一台自动柜员机（ATM）在英国诞生，并被安装到伦敦北部的巴克莱银行Enfield分行。从此，银行和客户交互的方式发生重大变革。 ITRS Group首席执行官盖伊·沃伦（Guy Warren）解释说： 直到真正的ATM和在线银行业务出现，公众才可以直接访问银行的IT系统。 这还仅仅是个开始。 全球互联的时代，互联网和移动银行的发展进一步拉近了客户和银行IT系统之间的距离，而这样的系统，也越来越成为银行赖以运营的关键所在。 或许你会觉得，登个支付宝/微信，亮出付款码，让小钱钱在银行跟银行之间发生小小的流动，并没有什么难度。但事实上，每一次信息的加载和刷新背后，都发生了复杂的数据移动： 每一次动作可能关联到许多个单独的系统，所有这些系统都必须彼此交互，并与核心大型计算机连通。系统要现在后端复制数据，将现金从一个账户转移到另一个账户，保持同步更新。 而这样的运算量，还要乘以数十亿倍。 根据世界银行的数据，现在，全球至少有69%的成年人都拥有银行账户。人们每一天都在通过银行账户支付账单、贷款还款、订阅各种服务……并且，这些活动常常是跨行，甚至跨国进行的。 一家银行内部的多个IT系统（移动银行、ATM等），不仅需要彼此交互，甚至还必须跟其他国家的银行建立联系。比如我在国内办了一张visa信用卡，在美国也要能消费才行。 三、迁移问题很麻烦 TSB正是栽在了这样的高度复杂性上。 IBM在为TSB编写的报告中指出：新应用程序的组合，对先进微服务的应用和双活数据中心的使用，导致了TSB生产中的复合风险。 如何正确地处理银行IT系统迁移中出现的问题，对于任何一个银行来说，都是不小的挑战。 其中，大量的事前规划和测试工作是不可避免的。 像汇丰银行这样的跨国银行，具有高度复杂、相互关联的系统，这些系统会定期进行测试、迁移和更新。 即使在这方面如此经验丰富，汇丰银行的前IT主管兰开斯特仍坦承：诀窍就是让员工在这件事上付出更多的时间。 他还指出，TSB的IT系统迁移是一件很复杂的事： 我不确定他们是不是真的意识到了这件事的复杂程度。他们甚至没有完全想好要怎么去测试系统。 FCA首席执行官Andrew Bailey则表示： TSB的这一事故反映出他们缺少强大的回归测试。 注：回归测试是软件测试的一种，旨在检验软件原有功能在修改后是否保持完整 而最新的事故报告也引起了hacker news上网友们的热烈讨论。 有网友表示，如果TSB能选择小规模多次迁移，而不是在某一天进行大爆炸式迁移，那这种严重的事故可能就不会发生。 花几周/几个月的时间在生产过程中进行检查，以确保旧数据库和新数据库返回的结构相同。最终，将数据都转移到新数据库中，并在一段时间之后再关闭旧的数据库。这样做效果是比较好的。 而对测试不足导致了银行系统瘫痪的这一调查结论，有人吐槽说： 作为测试工程师，我一点也不意外。花费更多的时间、投入更多的人员来打造更好的测试架构，对于很多公司来说都是“可以节省的成本”。 经理们总是在设定的上线日期前问：“测试咋能花那么多时间？！”真要出事了他们又开始甩锅了。 也有网友严厉批评道：TSB的问题不应该说是测试不足，而是在多个层面上都测试不足，并且缺少可恢复的备份。 也有人指出，避免出错最简单的办法就是减少变化。 问题在于，无论是银行还是其他领域的公司，业务都是在不断进化的。 根据FCA发布的数据，从2017年到2018年，英国金融服务部门报告的技术中断增加了187%。 盖伊·沃伦就认为：系统停机不会消失。问题在于，可接受的度在哪里？ 你怎么看呢？在评论区留下你的看法~

12月17日更新 请问下同时消费多个topic的情况下，在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬，你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？ 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的？ 请问一下，对于有状态的任务，如果任务做代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢？是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗？ 比如五分钟输出一次，就是7点输出0点到7点的累计用户，7:05输出0点到7:05的累计用户。 但是我这里有多个维度，现在用redis来做的。 想知道有没有更好的姿势？ 实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗？ 请教个问题，就是flink的窗口触发必须是有数据才会触发吗？我现在有个这样的需求，就是存在窗口内没有流数据进入，但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费，有些topic有效，有效topic无效，大佬们有遇到过吗? 各位大佬，flink两个table join的时候，为什么打印不出来数据，已经赋了关联条件了，但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊？ 各位大佬，我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv，这个是用State就能实现吗？ 大佬们，flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗？ 有没有拿flink和tensorflow集成的？ 那位大神，给一个java版的flink1.7 读取kafka数据，做实时监控和统计的功能的代码案例。 请问下风控大佬，flink为风控引擎做数据支撑的时候，怎么应对风控规则的不断变化，比如说登录场景需要实时计算近十分钟内登录次数超过20次用户，这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下，怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好？ flink 1.9 on yarn， 自定义个connector里面用了jni， failover以后 就起不来了， 报错重复load so的问题。 我想问一下 这个，怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题，部署到集群就会报错了，可能什么问题？ 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制，采用rocksdb做状态后端吗？ 请问下大佬，flink jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器，Hive集成，Python API这几个功能好像都是预览版，请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬，在一个 Job 计算过程中，查询 MySQL 来补全额外数据，是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据？ Flink web UI是jquery写的吗？ 12月9日更新 成功做完一次checkpoint后，会覆盖上一次的checkpoint吗？ 数据量较大时，flink实时写入hbase能够异步写入吗？ flink的异步io，是不是只是适合异步读取，并不适合异步写入呀？ 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力，如何批量的输出结果呢？ 大佬们，flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从这一个流中获取数据进行两条业务线的操作，是可以的吗？ flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗？ 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？ 求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟，这样就会产生很多overlap 数据，导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了，然后作业就不断重启，很不稳定，请问这个业务场景有什么有效的解决方案么？ 使用jdbcsink的时候，如果连接长时间不使用 就会被关掉，有人遇到过吗？使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题？ 请问各位公司有专门开发自己的实时计算平台的吗？ 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的？ 是直接用window然后count嘛？ Flink是不是也是这样的？ 请问现在如有个实时程序，根据一个mysql的维表来清洗，但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql，然后存在对象中，流清洗的时候读取这个数据，这个想法可行吗？我目前在主类里面定义一个对象，然后往里面更新，发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗？ 12月3日更新 请教一下，为什么我flume已经登录成功了keytab认证的kafka集群，但是就是消费不到数据呢？ flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink timestamp转换为date类型，有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务，出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ？ 各位大佬，请问有Flink写S3的方案吗？ flink 连接hbase 只支持1.4.3版本？ onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS，但是在RDS里没有看到创建的表，是为什么呢？ Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性，请问大家如何解决 stream processing with apache flink，这本书的中译版 现在可以买吗? flink on yarn时，jm和tm占用的内存最小是600M，这个可以修改吗？ 各位大佬，使用默认的窗口Trigger，在什么情况下会触发两次啊？窗口关闭后，然后还来了这个窗口期内的数据，并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗？ 各位大佬，flink任务的并发数调大到160+以后，每隔几十分钟就会出现一次TM节点连接丢失的异常，导致任务重启。并发在100时运行比较稳定，哪位大佬可以提供下排查的思路？ 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗？ 我有2个子网（a子网，b子网）用vpn联通，vpn几周可能会断一次。a子网有一个kafka集群，b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是，如果vpn断开，flink consumer会异常整个作业退出吗？如果作业退出，我重连vpn后，能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗？flink的checkpoint除了保存自己开发的算子里的state，kafkaconsumer里的partition/offset也会保存和恢复吗？ flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎么处理？ flink 的Keyby是不是只是repartition而已？没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗？ 我比较倾向用数据库，因为有些数据需要join其他表，flink充当了什么角色，对这个有点迷，比如统计当天订单量，卖了多少钱，各个省的销量，销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来，有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后，什么都不改，直接重启，还是能接着继续运行吗？如果可以的话，savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能不能分享一下操作的流程方法 checkpoint是有时间间隔的，也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了，下次从最新的一次checkpoint重启，不是重复消费了？ kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。 各位大佬，flink sql目前是不是不支持tumbling window join，有人了解吗？ 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位，这段代码里面，我想加一个trigger，实现每次有数据进window时候，就输出，而不是等到window结束再输出，应该怎么加？ 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满，大家如配置的？ Flink1.9 启动 yarn-session报这个错误 怎么破？ yarn 模式下，checkpoint 是存在 JobManager的，提交任务也是提交给 JobManager 的吧？ heckpoint机制，会不会把window里面的数据全部放checkpoint里面？ Flink On Yarn的模式下，如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job，一般用什么方案？shell脚本还是api的方式？ 各位大佬，开启增量checkpoint 情况下，这个state size 是总的checkpoint 大小，还是增量上传的大小？ 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗？ 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是不同线程调用的？ flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么？ Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限？ 用java api写的kafka consumer能消费到的消息，但是Flink消费不到，这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2，场景是一分钟为窗口计算每分钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗？也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗？ 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗？ flink可以同时读取多个topic的数据吗？ Flink能够做实时ETL（oracle端到oracle端或者多端）么？ Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢？ 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink? 在SQL的TUMBLE窗口的统计中，如果没数据进来的，如何让他也定期执行，比如进行count计算，让他输出0？ new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做？我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗？ 有人用增量cleanupIncrementally的方式来清理状态的嘛，感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗？ 有个问题咨询下大家，我的flinksql中有一些参数是要从mysql中获取的，比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取，我用普通的jdbc进行连接可以获的，但是有一个问题，就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求，请问大家有什么好的办法吗？ flink里怎样实现多表关联制作宽表 flink写es，因为半夜es集群做路由，导致写入容易失败，会引起source的反压，然后导致checkpoint超时任务卡死，请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压？ flink 写parquet 文件，使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现，我看实现了CleanupState可更新过期时间删除当前key状态的接口，是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉，就不会存在内存泄漏的问题了？ flink1.7.2 想在Table的UDAF中使用State，但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private，无法使用，大佬，如何在Table的UDAF中使用State啊？ Flink有什么性能测试工具吗？ 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后，META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错，请问有什么解决办法吗？ 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬，以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下，我要做一个规则引擎，需要动态改变规则，如何在flink里面执行？ flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 一般公司的flink job有没有进程进行守护？有专门的工具或者是自己写脚本？这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更 问大家个Hive问题，新建的hive外部分区表， 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值，会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗？比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起 请问下，想统计未退费的订单数量，如果一个订单退费了（发过来一个update流），flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重，有哪位同学实践过吗？ 你们的去重容许有误差？因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果，你们会认为是同一条记录？ 我就运行了一个自带的示例，一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗？ NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗？ flink 可以把大量数据写入mysql吗？比如10g flink sql 解析复杂的json可以吗？ 在页面上写规则，用flink执行，怎么传递给flink？ 使用cep时，如何动态添加规则？ 如何基于flink 实现两个很大的数据集的交集 并集 差集？ flink的应用场景是？除了实时 各位好，请教一下，滑动窗口，每次滑动都全量输出结果，外部存储系统压力大，是否有办法，只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用，但是数据库连接一直拿着，最后成了数据库连接超时了，大佬们有什么好的建议去处理吗？？ 为啥我的自定义函数注册，然后sql中使用不了？ 请问一下各位老师，flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢？ 用asyncIO比直接在map里实现读hbase还慢，在和hbase交互这块儿，每个算子都加了时间统计 请教一下，在yarn上运行，会找不到 org.apache.flink.streaming.util 请问下大佬，flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数据一大就会报错。 各位大佬，都用什么来监控flink集群？ flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗？DataHub Kafka MQ MaxCompute？ 为啥checkpoint时间会越来越长，请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧，那剩下的算子并行度呢？ Flink有 MLIB库吗，为什么1.9中没有了啊？ 请教一下，有没有flink ui的文章呢？在这块内存配置，我给 TM 配置的内存只有 4096 M，但是这里为什么对不上呢？请问哪里可以看 TM 内存使用了多少呢？ 请教个问题，fink RichSinkFunction的invoke方法是什么时候被调用的？ 请教一下，flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢？没有设计为一个 key 一个 watermark 呢？ 就比如说有 key1、key2、key3，有3个 watermark，有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题，flink中设置什么配置可以取消Generic这个泛型，如图报错： 有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更，如果订单表与商品明细join查询，就会出现n条重复数据，这样数据就不准了，flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink 有办法 读取 pytorch的 模型文件吗？ 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型，有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗？ 有没有大佬知道实时报表怎么做？就是统计的结果要实时更新，热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下，flink里怎么实现batch sink的操作而不导致数据丢失

2014年12月第2周 1）SLB植入cookie和SLB重写cookie有什么区别？ cookie植入，表示直接由SLB系统来分配和管理对客户端进行的cookie植入操作，用户在进行配置时 需要指定会话保持的超时时间； cookie重写，表示SLB系统会根据用户自定义cookie名称来分配和管理对客户端进行的cookie植入操 作，便于用户识别和区分自定义的cookie名称 http://help.aliyun.com/doc/view/13510025.html?spm=0.0.0.0.vwbsGF 2）SLB有没有对外提供API接口，因为我想做到用程序自动去控制SLB的操作？ SLB api您可以参考http://help.aliyun.com/view/13621674.html? spm=5176.7114037.1996646101.1.9RoTFM&pos=1 3）使用slb怎么实现数据的单向同步和双向同步？ 单向同步可以使用rsync，双向同步的话rsync需要借用别的服务来实现,如unison+inotify。 4）slb的vip是否可以实现远程登录？ slb 的vip无法实现远程登录。 5）slb的带宽是所有后端ECS服务器的带宽总和吗? 不是，使您购买的slb实例带宽。 6）slb健康检查机制是什么？ 用户开启健康检查功能后，当后端某个ECS健康检查出现问题时会将请求转发到其他健康检查正常的 ECS上，而当该ECS恢复正常运行时，SLB会将其自动恢复到对外或对内的服务中。 针对7层（HTTP协议）服务，SLB系统的健康检查机制为：默认通过SLB的后端系统来向该ECS应用服务 器配置的缺省首页发起http head请求（缺省通过在服务监听配置中指定的后端ECS端口进行访问）， 返回200 OK后将视为后端ECS运行正常，否则视为后端ECS运行异常。如果用户用来进行健康检查的页 面并不是应用服务器的缺省首页，那么需要用户指定相应的URI。如果用户对http head请求限定了 host字段的参数，那么需要用户指定相应的URL。用户也可以通过设定健康检查的频率、健康阈值和 不健康阈值来更好的控制健康检查功能。 针对4层（TCP协议）服务，SLB系统的健康检查机制为：默认通过在服务监听配置中指定的后端ECS端 口发起访问请求，如果端口访问正常则视为后端ECS运行正常，否则视为后端ECS运行异常。 当用户后端ECS健康检查异常后，SLB系统会将该ECS的转发权重设置为0，从而确保新的连接不会再被 转发到该ECS上，而已经建立的连接的请求却不会被直接断掉。 针对可能引起健康检查异常的排查思路点击这里查看。 关于健康检查的参数配置，提供如下参考建议： 响应超时时间：5秒 健康检查间隔：2秒 不健康阈值：3 健康阈值：3 7）权重设置为0怎么办？ 权重为0的服务器将无法提供服务。 ８）健康检查异常的排查思路？ 参考http://help.aliyun.com/doc/view/13510029.html?spm=0.0.0.0.Oa9Ezv ------------------------- 12月份第3周1）轮询与最小连接数方式的区别是什么？当前SLB支持轮询和最小连接数2种模式的转发规则。“轮询模式”会将外部和内部的访问请求依序分发给后端ECS进行处理，而“最小连接数模式”会将外部和内部的访问请求分发给当前连接数最小的一台后端ECS进行处理。2）SLB支持redis的主备？目前我们的SLB不支持主备模式（冷备），只支持"轮询"和"最小连接数"两种负载模式。关于SLB的原理您可以参阅如下博文：http://blog.aliyun.com/149 基于ECS的redis搭建，您可以参阅论坛中其它用户的分享案例：http://bbs.aliyun.com/read/161389.html3）负载均衡的多台服务器之间文件会不会自动同步？slb是不会自动同步的，需要您自行配置。4）四层和七层检查的区别是什么？如果是4层（TCP）配置，健康检查只是简单的TCP握手，不会真正去访问您的业务。但对于7层（HTTP）配置，会发HTTP请求（类似于正常访问），并根据返回状态码判断服务状态（2XX表示服务正常）。5）我有多个slb，之前一个slb由于被攻击被黑洞给屏蔽了外部请求，是否可以在slb 并屏蔽后 能够自动将请求分发到另外的slb？由于攻击导致屏蔽外部请求的话，slb没有自动切换的方法的。6）目前slb是否可以设置黑名单?暂不支持。7）我的slb实例控制台显示是停止，为什么？需要给监听的端口设置带宽才能正常。  8）我使用了 SLB那么ESC 需要购买带宽吗？不需要的。但如需要管理ECS，则可购买少些的带宽如1M来管理。9）slb变更计费方式需要多久才能生效？变更和计费将在第二日零点后生效。10）私网SLB的使用，是如何收费的呢？私网slb是不收取费用的。 ------------------------- 12月第4周1）最近用slb后打开网页老出现503 和504错误？一般都是从ECS获取站点信息等异常导致的。您首先先确保源站都可以正常的访问。2）slb检查时突然发现SLB监听错误，怎么回事？配置的健康检查的域名为空，检查的路径是/index.html，目前查看服务器中只有站点c绑定了空主机头，且站点目录下有index.html，而此站点是停止状态，现已帮您启用，查看服务器的健康检查状态已经正常。3）我想使用slb搭建一个负载均衡，后端使用windows服务器，想咨询一下后端服务器是否需要进行什么特别配置呢？另外使用了slb后，后端还能否得到用户的真实IP地址呢，要不要进行什么特殊配置才可以得到后端用户的真实IP。后端服务器的操作系统和web环境最好保持一致，硬件配置上没有什么特别的，4层tcp是可以直接获得前端用户访问的真实地址的，7层http需要在后端web服务端设置一下，参考http://help.aliyun.com/view/13502961.html?spm=5176.7114037.1996646101.1.oRpnOM&pos=14）slb支持https吗？slb您可以通过TCP协议配置443端口的方式来实现，但是安全证书需要保存在您的后端ECS上。5）健康检查后续是否提供多个域名？健康检查只支持一个域名。6）我想关闭负载均衡的健康检查，请问如何配置？4层tcp是无法关闭健康检查的，7层http可以在控制台关闭。健康检查是不会消耗您服务器的资源的，因为slb都是通过内网ip来进行健康检查。7）如何在BLS上 限制单个IP 禁止访问 我的网站呢？SLB暂时不支持设置屏蔽用户端IP。 ------------------------- Re:Re负载均衡SLB常见咨询问题（持续连载） 引用第2楼517449116于2014-12-17 15:54发表的 Re负载均衡SLB常见咨询问题（持续连载） : 如果开启健康检查，健康检查异常的话，是不是就不会给这个异常的ECS分发？ [url=http://bbs.aliyun.com/job.php?action=topost&tid=188736&pid=596806][/url] 异常的话不会在分发。 ------------------------- 2015年1月第1周1）有2台ECS起名叫A和B做SLB，A权重设的100 B权重设的0.请问.当A死机时,SLB是否会转到权重是0的B上?如果有一台设置为0，永远都不会有请求转发到此服务器上，即使权重100的宕机也不会转发到0权重的。2）会话保持的选择？开启会话保持功能后，SLB会把来自同一客户端的访问请求分发到同一台后端ECS上进行处理。针对7层（HTTP协议）服务，SLB系统是基于cookie的会话保持。针对4层（TCP协议）服务，SLB系统是基于IP地址的会话保持。3）用nagios或zabbix监控网络带宽，是否可以监控 slb的流量？nagios或zabbix，cacti是要要被监控端安装snmp或者相关agent ，slb不支持安装这些，所以无法通过这条监控软件进行监控。您可以在slb的控制台里面进行查看流量等相关信息。4）用了负载均衡后升级带宽，是不是只用在负载上面升级就可以了，ECS是不是不用在升级了？SLB与后端服务器是经过内网通信，所以如果业务量增加，您对SLB的带宽调整就行，不需要对服务器ECS进行带宽的升级。 ------------------------- 2015年1月第2周 1）SLB到期之后，会对SLB有关联的云主机怎么处理？云主机还没到期的前提下  我想把网站域名解析到SLB上 如果SLB到期了 会影响到我的网站服务么？ 云服务器是不会有什么影响的，会自动又变成单独的云服务器可以供您使用的。但是如果您的域名是解析到SLB上，那么会影响到您的站点访问的。服务器上不会有其他的问题感谢您的支持。 2)当SLB 状态为停止的时候 还计算费用吗？停止后公网slb会收取实例费用。SLB价格总览参考：http://help.aliyun.com/view/11108234_13502923.html?spm=0.0.0.0.kBLsVA 3)做了SLB负载均衡，四层和7层负载均衡是否都走slb带宽？ 都走slb带宽。 4)我想 移除 slb下的ecs（用作其他用途），请问在移除的时候是否会影响被负载到这台 ecs上的服务的使用 ，也是说slb这是是怎么处理的？ 您可以将要移除的主机的权重更改为0 ，这样默认就不会在分发到权重为0的主机上，这个时候您可以移除该主机。但要确保您的另外一台服务器可以承受所有的访问。 5)SLB实例如何释放? 您需要登录管理控制台点击负载均衡。查询您之前创建的实例在哪个节点下，然后释放您的实例。 6)SLB按照小时的带宽计费， 是否需要每小时调整？比如我可否按照一个比较高的上限， 比如3G,然后每个小时按照该小时的峰值进行独立计费呢？   在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效；比如用户在今天5月5日的10:00提交了变更计费方式，那么该变配申请将在明天5月6日00:00后生效。http://help.aliyun.com/view/13502923.html?spm=5176.7114037.1996646101.3.67L5dm&pos=2;SLB目前最大带宽是1000Mbps 7）SLB可以限制每个ip的访问频率吗?(工单1F684MN)slb不支持这样配置的。 8）为什么我设置SLB健康检查间隔为5S，但却每秒都有很多请求？因为用于健康检查的服务ip不止一个，每秒中都会有不同的内网ip进行健康检查，健康检查是通过内网方式，不会消耗您后端服务器的资源，您可以将健康检查间隔阈值跳大些，这样监测频率会降低很多。 ------------------------- Re:负载均衡SLB常见咨询问题（持续连载至2015年1月第3周） 2015年1月第3周 1.发现很多100.97.0.0/16 的ip段扫描，给我服务器带来很大压力，怎么办？ 100.97.0.0/16 是我们slb的健康检查服务ip段，如果给服务器带来较大压力，请调整健康检查的设置；健康检查的话 1）调低检查频率 2）设置检查静态文件，而不是默认首页或者动态文件 3）设置一个不记录日志的virtualhost，专门用于健康检查。 2）SLB里的带宽 和后面对应服务器的带宽有什么关联关系？比如SLB我设置了带宽为10M， 但是我后 面2台服务器购买的带宽都只有2M， 这种情况带宽以哪个为准？ 如果您设置的是常规7层slb负载均衡，那么网站访问所使用的带宽，都将通过slb而不需要消耗云服 务器的带宽，但是云服务器本身的系统更新，以及您更新网站等等也是需要带宽的，因此您保留2M 即可。 3)采用流量计费方式的话带宽是否没有限制? SLB按流量计费最大的带宽是1G。 4)请问我如何获得一个外网SLB期所对应的内网IP呢？比如现在我有一个外网SLB下挂了一个ECS， 而ECS的iptables里我想做一些配置，针对来自于这个SLB的请求做一个判断，我需要知道这个外网 SLB的内网IP。 目前SLB与后端通过如下地址段进行交互： 10.158.0.0/16 10.159.0.0/16 100.97.0.0/16 您可以针对上述地址段做相关配置。 5)如何确保SLB后端的多台ECS之间的数据同步呢? 目前，有很多类似的工具可以实现服务器之间的数据同步，比如：rsync。具体使用及选择，还请通 过其他途径获得更多的介绍资料及指导信息。您也可以将您的ECS配置成无状态的应用服务器，而数 据和文件统一存放在RDS和OSS服务上。 ------------------------- 2015年1月第4周1.为什么我的SLB实例突然消失了？请检查您的SLB服务是否设置了自动释放时间导致。2.我想关掉负载均衡，怎么操作？您直接登录到阿里云管理控制台——slb负载均衡——实例中查询创建的slb服务，后方有“释放”的按钮，您直接释放即可。3. 我现在有两个阿里账号里面都有ECS，我能不能在一个slb里面配置不同阿里云账户下的ECS？目前只能将同一账户下的服务器添加到SLB中，无法跨账户添加。4.ECS做负载均衡需要用户做额外的配置吗？可以参考http://help.aliyun.com/knowledge_detail.htm?knowledgeId=5973987。5. 云服务器上做数据库负载均衡如何实现，需要购买什么产品 ？文件服务器能否做负载均衡，比如10台文件服务器，包括读写这种的  ？1）数据库集群,用slb理论上是可以做的,但是如果您需要集群级别的数据库,建议使用我们的RDS。2）文件服务器也可以负载均衡,使用slb在均衡,保持会话,但是有一个问题是后端文件同步的,需要您自行同步,如 rsync。6.看SLB的说明是支持ddos的防护的，请问下，SLB的防护的峰值是多少，超过峰值黑洞时间是多少？这个与slb所在地区有关，和ecs的防御阀值是一样的，黑洞时间也是2.5小时。7. slb第七层是基于haproxy还是nginx还是tengine实现的？使用tengine实现的。8.7层和4层 SLB的超时时间是多少？7层超时时间是60s，4层超时时间是900s。9.负载均衡健康检查请求数量太多，怎么回事？因为slb前端机器是一组机器，所以健康检查请求较多，请您不要担心，集群内的每台服务都会对您的健康按照您设定的频率去做健康检查：您可以按照上述方法去优化您的健康检查项，看似请求量很大，但是对您资源消耗很少的，有2个建议给您：1）扩大健康检查的频率2）将检查页面配置为静态页面。这样请求消耗的资源会节省。10. SLB配置中的最小连接数是基于什么样判断？SLB会自动判断 当前ECS 的established 来判断是否转发。 ------------------------- 2015年2月第1周1)我想了解下SLB按流量计费是不是每小时需要扣0.02元?按量付费，国内节点配置费用是按照0.02/小时。流量单独计费。按带宽计费:采取按小时计费，以日结算（运行未满一日，按照当日实际使用小时数*当日开通的最高带宽的天价格/24）。如果您使用SLB实例的时间不足一小时，按一小时收费。2）请问健康检查发的什么请求？ head 还是 get？head请求。3）SLB最大连接数如何来设置？目前暂不支持设置最大连接数限制。4）SLB 后端有两个服务器HA1和HA2，为什么我将HA1的权重设置成0，SLB的健康检查就有告警呢？slb四层的话，只要权重设置为0，那么健康检查就是显示异常。 ------------------------- 2015年2月第3周1)负载均衡SLB的实例防攻击防御是多少？我们有云盾的防御黑洞策略，比如以杭州节点的slb，其最高防御的流量阈值为5G，当最大流量超过5Ｇ，您的slb vip则会被加入到黑洞中，触发黑洞会使ecs或者slb正常使用中断2.5小时，这个您可以通过云盾管理控制台查看到这个说明。2） 我其他机房的服务器能添加到你们的负载均衡SLB中吗？不可以的，slb使用的是内网和后端的ECS互联，无法直接添加非阿里云主机的服务器，且slb后端的ecs需要使用同一节点的主机。3）负载均衡服务支持的最大负载均衡实例数目多少？总体峰值可支持每秒新建链接数大约多少？SLB对于后端服务器的数目是没有限制的。对于总体峰值每秒新建连接数是没有限制的。但是因为SLB前端是云盾服务，所以最大值取决于云盾中您配置的请求数。您可以查看云盾看到具体的值。4）SLB按量计费为什么需要设置带宽峰值？如果不设置带宽峰值，遇到攻击等情况，可能流量打的非常高的，带宽流量峰值您可以在slb控制台设置。5）在SLB控制面板看到的流入流量，要比后端服务器的eth0的income流量小很多， 请问slb的流入流量是否应该等于后端服务器的内网网卡入流量吗？不等于的，后端的eth0包括了slb的流量，还有其他的流量，包括ecs直接的内网通信等。slb只做转发，不处理请求的，slb通过内网转发到ecs。6）SLB中的月账单 是指我们拥有所有的 SLB 实例的计费呢，还是单独的某个 SLB 的计费？月账单是指您不同类型产品，截止当前日期内月内消费计费额度的，是所有SLB产品的。您也可以通过账单明细进行查询具体信息的。 ------------------------- 2014年2月第4周1）10.159.63.55,这个内网ip，总是恶意访问我们网站？SLB系统除了会通过系统服务器的内网IP将来自外部的访问请求转到后端ECS上之外，还会对ECS进行健康检查（前提是您已经开启了这一功能）和对您的SLB服务进行可用性监控，这些访问的来源都是由SLB系统发起的，具体包含的IP地址段是：杭州、青岛、北京、深圳节点SLB系统IP地址段：10.159.0.0/16，10.158.0.0/16和100.97.0.0/16，为了确保您对外服务的可用性，请确保对上述地址的访问配置放行规则。2）slb计费方式变更需要多久，业务会受到影响么？变更计费方式与变更配置说明1、支持用户在按使用流量和按公网带宽2种计费方式间切换；2、支持按固定带宽方式计费的用户灵活变更带宽配置；3、在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效；比如：用户在今天5月5日的10:00提交了变更计费方式，那么该变配申请将在明天5月6日00:00后生效。4、按固定带宽方式计费变更带宽配置即时生效，带宽计费取自然日内用户开通的最高带宽。5、对客户业务不会造成影响；3）负载均衡能将我的外部非阿里云服务器和ECS服务器放到一块？目前负载均衡SLB仅支持阿里云ECS，无法支持外部非阿里云服务器。4）slb是否有连接数限制，需要大量终端一直与平台保持长连接，阿里云能提多少长连接？SLB没有并发连接数限制的，slb是转发请求不做处理，实际连接数还要跟您后端的处理能力有关。 ------------------------- 2015年3月第1周1）调整权重会对SLB已经有的正常连接有影响吗？目前调整权重会对调整权重的这台主机已有的连接产生影响，会有连接卡主，卡住时间由健康检查配置的时间决定。2)slb是否支持UDP协议？目前SLB暂不支持UDP协议。3）现在TCP四层负载均衡的出口带宽受ECS机器的出口带宽限制吗？slb和ECS之间走的是内网流量，带宽是不受限制的。4）如果没有外网ip, 是否可以用slb的4层转发 ?没有带宽4层SLB也是可以使用的。 ------------------------- Re:负载均衡SLB常见咨询问题（持续连载至2015年3月第1周） 2015年3月第2周 1)SLB变更计费方式并支付成功后无法添加配置? SLB在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效查看您今天变更过一 次计费方式，开始时间：2015-03-09 00:00:00。原按使用流量计费，在2015-03-09 00:00:00后变更为按固定带宽计 费，带宽峰值: 2Mbps。同时在您新的计费方式生效之前，您是无法对该SLB进行修改配置的。 2）我的账户怎么欠费￥7.88，这是怎么回事？ 查看您有使用负载均衡slb业务，在slb产品的账单欠费，请您登陆用户中心-消费记录-账单明细中查看 记录。 3）如何屏蔽健康检查探测的日志记录？ 关闭或者屏蔽对test.php访问日志的方式： 在站点配置文件中添加内容： location ~ /test.php { access_log off; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi.conf; } 注： 1、对test.php的location必须要放置在对php|php5处理前，否则会因为先被进行全局匹配导致无法生效。 2、还可以用另一种方案实现： a、在后端服务器中单独为用于健康检查的页面建立一个站点； b、关闭这个站点的日志记录： location ~ .*\.(php|php5)?$ { access_log off; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi.conf; } 3、如果检查页面是其他格式，比如test.html，可以采用如下方式进行屏蔽： location ~ /test.html { access_log off; } 4.我想问下SLB的固定带宽，10M是不是上行和下行最大都能达到10M？ 固定带宽指的是下行带宽最大达到10M，上行带宽没有限制。上行带宽指的是SLB的入流量（上行），就是进入SLB的 流量。带宽指的是SLB的出流量（下行），就是SLB对外发生给客户端的流量。 5.一般配置SLB的时候有个权重0到100，是如何选择数值的？ 权重需要您根据后端机器的配置进行选择比如AB两台机器性能一致就分别设置50，这样请求就会在这两台机器上轮询 ，不同权重决定请求分发的分配。 ------------------------- 2015年3月第3周1）公网的SLB和ECS之间的流量是否收费？不收费。2） 想做SLB+两台ECS，附件OSS，程序Discuz。但是不知道如何实现?slb要求后端的两台ecs数据是一致的,为了保持数据的一致性，建议共享存数和数据，静态文件放置到oss里，数据库文件走自己搭建的主从或者，连接同一台rds。3）按流量计算是否需要设置峰值？按流量计费不需要设置峰值的。4）如何建一个子帐号来管理负载均衡SLB?子账户无法管理负载均衡服务。

在Java中，常量池的概念想必很多人都听说过。这也是面试中比较常考的题目之一。在Java有关的面试题中，一般习惯通过String的有关问题来考察面试者对于常量池的知识的理解，几道简单的String面试题难倒了无数的开发者。所以说，常量池是Java体系中一个非常重要的概念。 谈到常量池，在Java体系中，共用三种常量池。分别是字符串常量池、Class常量池和运行时常量池。 本文先来介绍一下到底什么是Class常量池。 什么是Class文件 在Java代码的编译与反编译那些事儿中我们介绍过Java的编译和反编译的概念。我们知道，计算机只认识0和1，所以程序员写的代码都需要经过编译成0和1构成的二进制格式才能够让计算机运行。 我们在《深入分析Java的编译原理》中提到过，为了让Java语言具有良好的跨平台能力，Java独具匠心的提供了一种可以在所有平台上都能使用的一种中间代码——字节码（ByteCode）。 有了字节码，无论是哪种平台（如Windows、Linux等），只要安装了虚拟机，都可以直接运行字节码。 同样，有了字节码，也解除了Java虚拟机和Java语言之间的耦合。这话可能很多人不理解，Java虚拟机不就是运行Java语言的么？这种解耦指的是什么？ 其实，目前Java虚拟机已经可以支持很多除Java语言以外的语言了，如Groovy、JRuby、Jython、Scala等。之所以可以支持，就是因为这些语言也可以被编译成字节码。而虚拟机并不关心字节码是有哪种语言编译而来的。 Java语言中负责编译出字节码的编译器是一个命令是javac。 javac是收录于JDK中的Java语言编译器。该工具可以将后缀名为.java的源文件编译为后缀名为.class的可以运行于Java虚拟机的字节码。 如，我们有以下简单的HelloWorld.java代码： public class HelloWorld { public static void main(String[] args) { String s = "Hollis"; } } 通过javac命令生成class文件： javac HelloWorld.java 生成HelloWorld.class文件:  如何使用16进制打开class文件：使用 vim test.class ，然后在交互模式下，输入:%!xxd 即可。 可以看到，上面的文件就是Class文件，Class文件中包含了Java虚拟机指令集和符号表以及若干其他辅助信息。 要想能够读懂上面的字节码，需要了解Class类文件的结构，由于这不是本文的重点，这里就不展开说明了。 读者可以看到，HelloWorld.class文件中的前八个字母是cafe babe，这就是Class文件的魔数（Java中的”魔数”） 我们需要知道的是，在Class文件的4个字节的魔数后面的分别是4个字节的Class文件的版本号（第5、6个字节是次版本号，第7、8个字节是主版本号，我生成的Class文件的版本号是52，这时Java 8对应的版本。也就是说，这个版本的字节码，在JDK 1.8以下的版本中无法运行）在版本号后面的，就是Class常量池入口了。 Class常量池 Class常量池可以理解为是Class文件中的资源仓库。 Class文件中除了包含类的版本、字段、方法、接口等描述信息外，还有一项信息就是常量池(constant pool table)，用于存放编译器生成的各种字面量(Literal)和符号引用(Symbolic References)。 由于不同的Class文件中包含的常量的个数是不固定的，所以在Class文件的常量池入口处会设置两个字节的常量池容量计数器，记录了常量池中常量的个数。  当然，还有一种比较简单的查看Class文件中常量池的方法，那就是通过javap命令。对于以上的HelloWorld.class，可以通过 javap -v HelloWorld.class 查看常量池内容如下:  从上图中可以看到，反编译后的class文件常量池中共有16个常量。而Class文件中常量计数器的数值是0011，将该16进制数字转换成10进制的结果是17。 原因是与Java的语言习惯不同，常量池计数器是从0开始而不是从1开始的，常量池的个数是10进制的17，这就代表了其中有16个常量，索引值范围为1-16。 常量池中有什么 介绍完了什么是Class常量池以及如何查看常量池，那么接下来我们就要深入分析一下，Class常量池中都有哪些内容。 常量池中主要存放两大类常量：字面量（literal）和符号引用（symbolic references）。 字面量 前面说过，运行时常量池中主要保存的是字面量和符号引用，那么到底什么字面量？ 在计算机科学中，字面量（literal）是用于表达源代码中一个固定值的表示法（notation）。几乎所有计算机编程语言都具有对基本值的字面量表示，诸如：整数、浮点数以及字符串；而有很多也对布尔类型和字符类型的值也支持字面量表示；还有一些甚至对枚举类型的元素以及像数组、记录和对象等复合类型的值也支持字面量表示法。 以上是关于计算机科学中关于字面量的解释，并不是很容易理解。说简单点，字面量就是指由字母、数字等构成的字符串或者数值。 字面量只可以右值出现，所谓右值是指等号右边的值，如：int a=123这里的a为左值，123为右值。在这个例子中123就是字面量。 int a = 123; String s = "hollis"; 上面的代码事例中，123和hollis都是字面量。 本文开头的HelloWorld代码中，Hollis就是一个字面量。 符号引用 常量池中，除了字面量以外，还有符号引用，那么到底什么是符号引用呢。 符号引用是编译原理中的概念，是相对于直接引用来说的。主要包括了以下三类常量： * 类和接口的全限定名 * 字段的名称和描述符 * 方法的名称和描述符 这也就可以印证前面的常量池中还包含一些com/hollis/HelloWorld、main、([Ljava/lang/String;)V等常量的原因了。 Class常量池有什么用 前面介绍了这么多，关于Class常量池是什么，怎么查看Class常量池以及Class常量池中保存了哪些东西。有一个关键的问题没有讲，那就是Class常量池到底有什么用。 首先，可以明确的是，Class常量池是Class文件中的资源仓库，其中保存了各种常量。而这些常量都是开发者定义出来，需要在程序的运行期使用的。 在《深入理解Java虚拟》中有这样的表述： Java代码在进行Javac编译的时候，并不像C和C++那样有“连接”这一步骤，而是在虚拟机加载Class文件的时候进行动态连接。也就是说，在Class文件中不会保存各个方法、字段的最终内存布局信息，因此这些字段、方法的符号引用不经过运行期转换的话无法得到真正的内存入口地址，也就无法直接被虚拟机使用。当虚拟机运行时，需要从常量池获得对应的符号引用，再在类创建时或运行时解析、翻译到具体的内存地址之中。关于类的创建和动态连接的内容，在虚拟机类加载过程时再进行详细讲解。 前面这段话，看起来很绕，不是很容易理解。其实他的意思就是： Class是用来保存常量的一个媒介场所，并且是一个中间场所。在JVM真的运行时，需要把常量池中的常量加载到内存中。 至于到底哪个阶段会做这件事情，以及Class常量池中的常量会以何种方式被加载到具体什么地方，会在本系列文章的后续内容中继续阐述。欢迎关注我的博客(http://www.hollischuang.com) 和公众号(Hollis)，即可第一时间获得最新内容。 另外，关于常量池中常量的存储形式，以及数据类型的表示方法本文中并未涉及，并不是说这部分知识点不重要，只是Class字节码的分析本就枯燥，作者不想在一篇文章中给读者灌输太多的理论上的内容。感兴趣的读者可以自行Google学习，如果真的有必要，我也可以单独写一篇文章再深入介绍。 参考资料 《深入理解java虚拟机》 《Java虚拟机原理图解》 1.2.2、Class文件中的常量池详解（上）

DMS for linux 6月23日更新预告，敬请期待 更新啦！更新啦！更新啦！本周（6月28号）dms for linux 将发布新版本，内容如下，尽情期待         1、命令终端支持rz文件上传命令，只要能ssh登陆，无论跳几级，都可以上传。支持目录哦，真心赞！具体包括： 文件/目录点击上传； 文件/目录拖动上传； 命令行文件上传进度；                       2、服务管理兼容centos7+的systemd协议的管理，提供更高效地服务管理模式                    3、右上角开放更直接的问题反馈入口，链接可以直达本帖，如果您在使用过程中遇到什么问题，或者对我们产品有什么诉求，欢迎轰炸我们程序员GG哦，我们会第一时间内反馈。 ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 如果您第一次点入本帖，欢迎使用阿里云数据管理产品： https://dms.console.aliyun.com/#/dms/rsList 阿里云数据管理旨在一站式管理您所有云上资源 ------------------------- 回 2楼(龙吟风) 的帖子 数据管理DMS支持数据库管理、Linux管理，无需安装，易用专业，目前在云上已经有30W用户，你可以试下 https://www.aliyun.com/product/dms ------------------------- 回 6楼(大一中) 的帖子 谢谢支持，O(∩_∩)O哈哈~ ------------------------- 各位在使用dms的过程中遇到什么问题，或者有什么建议，直接在这个帖子下面提问喔 ------------------------- 回 9楼(付一二) 的帖子 您好，谢谢反馈，您说的这种是不是针对类似于apache的应用配置管理？我们目前已经正在计划深挖常用应用的管理功能包括apache，mysql等，包括配置管理，服务性能监控等，这个的确对服务的运维很有用处。我们会在后续版本加入此功能，敬请期待哦，O(∩_∩)O~。 ------------------------- 回 11楼(cokll) 的帖子        抱歉给您工作带来不便，请问这个问题只是出现在实时监控模块吗？其他模块没有报这个错么？        这个问题主要原因是您当前主机的sshd服务对单个session上的channel数量作了限制导致的。dms for linux 的实时监控模块在加载页面时需要建立多个channel执行命令，如果当前保持的channel的数量超出您主机的限制，继续建立channel就会抛出channel未打开的错误，这个配置项是/etc/ssh/sshd_config 里面的MaxSessions的配置。        我刚刚检查了一下我们的代码，发现代码中存在长时间保持单个channel的情况，导致新建channel不成功。我们代码中的bug将在下一个版本修复(约7月13号（周三）)。届时请如果还有问题，请及时联系我们喔。       再次感谢您的反馈。    ------------------------- 回 11楼(cokll) 的帖子 您好，麻烦检查下您机器上的/etc/ssh/sshd_config 中是否有配置过MaxSessions这个参数，如果最大的session数被限制为1，您主机只能支持终端登陆，就用不了dms for linux的其他的功能了。 我们经过测试，能支持dms的最小的session数量为3，也就是MaxSession的值应当不小于3（默认值为10）。如果可以的话，您可以修正下这个配置然后重启下sshd服务。 如果还有问题，烦请及时反馈，谢谢亲 ------------------------- 回 15楼(山水佳) 的帖子 您好， 抱歉回复晚了，请问您是使用实时监控的查看线程栈的功能遇到这个错误的吗？实时监控模块一般不会抛出这个错，可否截一下图看看？ ------------------------- 回 18楼(caesar.w.h) 的帖子 您好， 感谢您的反馈，请问您当前用的是什么浏览器？有没有在浏览器上做过某些安全性的限制？ 这个问题一般是浏览器禁用了跨域请求导致我们dms控制台的登陆请求没法到达dms应用的服务器。 我们建议一般使用chrome或者火狐浏览器访问dms，如果可以的话可以换一下浏览器重新尝试下。。 如果还有问题请保持沟通过哦O(∩_∩)O~ ------------------------- 回 22楼(caesar.w.h) 的帖子 您好，抱歉回复晚了，请问是所有数据库实例都添加不了还是仅一个实例是这样？ 如果仅一个实例，那么这个实例是什么类型的数据库？ 如果所有实例都添加不了，有没有尝试过把浏览器卸载重装后结果还是一样？或者是，用一台新机器上的浏览器试试是否是相同的情况？ 这个问题我们之前是遇到过的，主要原因是添加数据库的请求没有发送出去，还没到连接数据库那一步呢，可能是浏览器阻拦的原因，上次我们也是通过更换浏览器解决的。麻烦您按照上面的步骤再尝试下，如果还不行的话，还请保持联系噢。 感谢您对dms的支持O(∩_∩)O~ ------------------------- 回 24楼(無名塵客) 的帖子 您好，这个问题您是否已经通过工单和我们客服团队反馈过？ 抱歉给您带来不便，这个问题具体原因是这样的： 您这个实例是mysql5.1版本，不支持INNODB_BUFFER_POOL_READ_REQUESTS，INNODB_BUFFER_POOL_READS这两个参数导致我们dms首页会出现500错误。目前dms支持的mysql版本是5.4之后的版本。 这个问题涉及到对老版本mysql的兼容，具体怎么改得和我们负责这一块的开发人员沟通下 ------------------------- 回 26楼(caesar.w.h) 的帖子 您好，请问用谷歌浏览器具体是什么情况？登陆会报什么错？ 目前我们后台统计，使用dms的大部分是chrome用户，没有遇到类似的问题，可能是浏览器中存在某些插件原因吧。 ------------------------- 回 30楼(斯斯) 的帖子 谢谢反馈，这个问题我们已经在看，主要原因是我们现在的监控模块对部分主机的性能数据兼容性不够强，也说明我们的代码健壮性不够强。 目前我们正在查看日志寻找错误原因，预计下个发布可以修复（约下周二之前），届时麻烦线上验证下。谢谢 ------------------------- 引用第32楼ivmmff于2016-07-27 14:31发表的  : 命令终端不能粘贴命令太蛋疼 [url=https://bbs.aliyun.com/job.php?action=topost&tid=286015&pid=807524][/url] 您好，目前我们没有支持右键粘贴的功能。 您可以使用Ctrl + V、Shift + Insert 等方式进行粘贴。 后续我们会支持右键粘贴的功能，感谢您的关注。 ------------------------- 回 31楼(galphy) 的帖子 你好，目前我们没有对命令终端的操作超时做控制，正常情况下没有操作，至少6分钟之后才会断开，如果少于6分钟，可能是您主机设置了空闲超时时间。 请参考一下： http://blog.chinaunix.net/uid-8473611-id-3069386.html 后续我们会加上链接超时控制，届时您可以自己设置超时时间，敬请期待。 ------------------------- 回 29楼(胡胡abc) 的帖子 您好，请问这台主机是linux是什么发行版本，是ECS么？ ------------------------- 回 30楼(斯斯) 的帖子 不好意思哦，刚刚我们翻了下日志，并没能找到有记录ArrayIndexOutOfBound的错误。为了节省沟通成本，能否提供一下您当前主机的ip，和权限比较低的账号，密码供我们测试下？ 如果可以的话能否提供下旺旺账号，我们可以去加你下。或者可以加我的账号，旺旺搜索"帅博"。 希望能高效地解决您的问题，感谢支持。 ------------------------- 回 43楼(不羁的行者) 的帖子 你好，目前文件管理模块还不支持上传文件夹。 建议打开dms的命令终端，直接输入rz命令上传噢。支持文件，文件夹，批量上传，拖动上传，功能很好用噢，O(∩_∩)O~ ------------------------- 回 48楼(fightgod) 的帖子 您好，我们以后会加入设置终端声音的功能，下个版本我们会暂时先去掉终端声音，等设置功能上线后再加上。O(∩_∩)O~ ------------------------- 回 50楼(fightgod) 的帖子 您好，windows系统和linux相比其内部机制和实现方式要复杂很多，目前我们的技术宅们正努力探索中。。。。 一旦技术方案定下来我们就会开展实施支持windows系统，敬请期待哦O(∩_∩)O~ ------------------------- 回 63楼(woaj01) 的帖子 您好，请问您的那台主机在ECS上已被删除多久了？我们这边也是通过api从ECS那边取的主机列表，api返回的数据会有一定的延迟，但也不会很久。 如果您的主机已经删除很久了，麻烦请告诉我们，我们会去和ECS方面沟通，解决这一问题 ------------------------- 回 66楼(fightgod) 的帖子 您好，您提的批量操作命令的界面，我们会认真考虑，如何去优化在主机较多的时候用户对终端返回的信息的同步。 您说的批量文件上传方面，我们恰巧将近期上线批量rz的功能，敬请期待哦O(∩_∩)O~ ------------------------- 回 69楼(初一) 的帖子 你好，能否详述一下你遇到的问题，是什么功能授权失败？ ------------------------- 回 72楼(汇爱家) 的帖子 您好，您的建议我们会记录，并选择合适的配色方案，改进我们的用户体验，感谢反馈 ------------------------- 回 75楼(初一) 的帖子 您好，目前dms for linux的文件管理是支持更改文件所有者的。您可以右键->授权，弹出的授权框中可以更改所有者和用户组的信息。                                                                                      ------------------------- 回 76楼(meenet) 的帖子 您好，您是指怎么在线编辑文件？ 我们的文件管理的功能可以直接编辑和保存文件的，如果是二进制文件还可以直接用二进制的方式打开，类似于UE的功能。 ------------------------- 回 79楼(啊彬彬) 的帖子 你好，请问你重启的是什么服务？一些系统服务是不能关闭的，关闭会导致系统不稳定甚至崩溃，重启下主机就可以恢复了。 ------------------------- 回 85楼(koder) 的帖子 您好，如果使用证书登录后目前仅可以查看非sudo权限的服务状态，需要sudo权限的服务，暂时是获取不到信息，通过控制台的系统管理-->服务管理可以进入相应页面。如果您想看所有服务的状态请先到控制台切换密码登陆。您的密码在我们后台都是经过严格加密处理的，所以您不用担心安全问题。 后续我们会针对证书登录用户，提供临时输入密码的交互。敬请继续关注我们dms产品 ------------------------- 回 86楼(樱花雾翔eva) 的帖子 您好，抱歉，我们dms控制台目前不支持删除数据库和ecs资源，资源列表是从ecs和rds控制台同步过来的，如果有资源过期被释放，dms控制台上相应也会释放。 我们后续控制台会加入资源隐藏的选项，可以暂时隐藏暂时不用的资源。感谢关注dms产品 ------------------------- 回 92楼(jasonyao525) 的帖子 您好，ssh服务关闭后就不能使用dms了，命令终端也不可以使用，您可以通过ecs控制台或者联系客服来重新开启该服务。 ------------------------- 回 90楼(jrl_limeng) 的帖子 您好，终端的颜色我们之前已经调整过，能否截个图看看？