• 关于 产生一个窗口 的搜索结果

回答

"在用水印生成器做一些不寻常的事情之前,我会仔细检查你是否已经正确诊断了这种情况。事实上,事件时间窗口应该具有确定性,并且如果使用相同的输入,则始终产生相同的结果。如果你获得的第一个窗口的结果会根据水印生成的频率而变化,这表示你可能会在水印更频繁地到达时发生延迟事件,并且在水印较少时可以包含这些事件频繁。也许你的水印不正确地说明了你的活动遇到的实际无序程度?或者你的水印可能是基于System.currentTimeMillis()而不是事件时间戳?此外,第一次窗口与其他窗口不同是正常的,因为时间窗口与时期对齐,而不是第一次事件。当然,这会产生第一个窗口比所有其他窗口占用更短的时间,因此你应该期望它包含更少的事件,而不是更多。将setAutoWatermarkInterval设置为100ms是一件非常正常的事情。但是如果你真的想避免这种情况,你可以考虑一个AssignerWithPunctuatedWatermarks,它最初为每个事件返回一个水印,然后在一个合适的间隔之后,更少地返回水印。"

flink小助手 2019-12-02 01:44:46 0 浏览量 回答数 0

问题

session和浏览器窗口的关系

蛮大人123 2019-12-01 19:57:29 1838 浏览量 回答数 1

问题

html 中video标签currentTime属性是个随机数,怎么在特定时间如3s弹出一个窗口

小旋风柴进 2019-12-01 20:22:32 1501 浏览量 回答数 1

试用中心

为您提供0门槛上云实践机会,企业用户最高免费12个月

问题

窗口函数是什么?

nicenelly 2019-12-01 21:26:47 1330 浏览量 回答数 0

回答

简介编辑Python科学计算Python科学计算VPython是一套简单易用的三维图形库,使用它可以快速创建三维场景和动画。和TVTK相比,它更适合于创建交互式的三维场景,而TVTK则更适合于对数据进行三维可视化。本章将通过几个实例介绍如何使用VPython制作实时、交互式的三维动画演示程序。 [1] 制作动画演示编辑用VPython制作动画的简单之处在于:只要在一个循环体中不断地修改场景中的各个模型以及照相机的各种属性,即可实现动画效果。与场景交互编辑为了和场景中的物体进行交互,VPython提供了如下方便实用的功能:键盘和鼠标事件的处理。控件窗口和4种控件(按钮、滚动条、开关及菜单),用于制作简单的用户界面。绘图窗口,用于绘制二维坐标图。由于篇幅受限,本书只介绍键盘和鼠标事件的处理,请读者参考VPython的文档和演示程序来自学其他部分的内容。响应键盘事件通过场景窗口对象的kb属性可以获得按键信息。kb.keys是窗口中等待处理的键盘事件的个数,调用kb.getkey()可以从键盘事件队列中获取一个待处理的事件。如果队列为空,getkey()将一直等待,直到产生键盘事件为止。getkey()的返回值是一个描述按键的字符串。下面是一个简单的键盘事件测试程序,可以用它查看各个按键的名称。响应鼠标事件鼠标射线和鼠标各个坐标属性之间的关系鼠标射线和鼠标各个坐标属性之间的关系鼠标事件和键盘事件类似,通过场景窗口对象的mouse属性进行鼠标事件的处理。鼠标的坐标是二维视图平面上的一个点,在三维空间中有一条直线上的点都将投影到这个位置,我们称此直线为鼠标射线。scene.mouse是一个mouse_object对象,下面列出它的属性和方法。为了便于理解,右图显示了鼠标射线和pos、pickpos等属性之间的关系。pos:鼠标在三维空间中的坐标,此坐标是鼠标射线与经过点scene.center且平行于屏幕的平面的交点。button:描述鼠标按键的字符串,值可以为None、'left'、'right'、'wheel'。此属性只有在产生事件时才不为None。pick:用鼠标选中的物体对象,与鼠标射线相交的第一个物体。pickpos:鼠标射线与pick物体的表面的交点坐标。camera:当前照相机的位置坐标,旋转或缩放场景时会发生变化。ray:从camera到pos的单位方向矢量,也就是鼠标射线的方向,它正好和窗口视图垂直。鼠标射线在三维空间中的参数方程为camera+t*ray,其中t是一个大于0的任意参数。alt、ctrl、shift:Alt、Ctrl、Shift三个按键的状态。project():计算鼠标射线与任意平面的交点,平面由表示法线方向的normal参数和表示平面上某点坐标的point参数指定。因为与屏幕平行的面的法线方向为scene. forward,所以下面语句的计算结果与scene.mouse.pos相同:scene.mouse.project(normal=scene.forward, point=scene.center)events:待处理的鼠标事件的数目。getevent():从鼠标事件队列中获取最早的鼠标事件。如果队列为空就一直等待事件的发生。getevent()返回的事件对象保存事件发生时的鼠标坐标,也具有上述的属性和方法。除此之外,事件对象还有press、click、drag、drop、release等属性,它们是描述鼠标按键的字符串,分别是产生“按下”、“单击”、“拖”、“放”、“松开”5种鼠标事件的按钮名称。用界面控制场景编辑用TraitsUI的界面控制Visual场景用TraitsUI的界面控制Visual场景VPython提供了一种控制窗口,可以放置按钮、开关及滚动条等简单控件,用以实时设置场景中的物体。但是这些控件不但功能有限,而且不是标准的界面控件,操作起来不是很方便。本节介绍如何使用TraitsUI制作一个能控制VPython场景的界面。VPython和TraitsUI各有自己的独立窗口,TraitsUI界面有自己的消息循环,而Visual窗口有自己的动画控制和消息处理循环。因此我们需要使用多线程或多进程方式,让这两个循环互不影响。下面是使用多线程实现TraitsUI控制场景的完整程序。创建复杂模型编辑VPython只提供了一些简单的立体几何形状,如果要创建复杂的物体,就需要用户自己编写程序,计算物体的多边形网格模型数据,并使用faces()将数据转换为模型进行显示。任何一个三维模型都可以用许多三角形的面来表示,对于每个三角形的每个顶点,我们需要计算如下数据:顶点的坐标:三个浮点数表示的三维坐标。顶点的法线方向:三个浮点数表示的三维方向矢量。顶点的颜色:三个浮点数表示的红、绿、蓝颜色分量。将保存上述数据的三个数组传递给faces()即可创建三维模型。对于一个有N个三角形的模型,每个数组的长度都是33N,也可以传递一个形状为(3*N,3)的二维数组。

xuning715 2019-12-02 01:10:23 0 浏览量 回答数 0

问题

Flink滑动计数窗口行为

社区小助手 2019-12-01 19:25:20 689 浏览量 回答数 1

回答

1. Java事件处理三要素: 1) 事件源(Event Source):即事件发生的场所,就是指各个组件,如按钮等,点击按钮其实就是组件上发生的一个事件; 2) 事件(Event):事件封装了组件上发生的事情,比如按钮单击、按钮松开等等; 3) 事件监听器(Event Listener):负责监听事件源上发生的特定类型的事件,当事件到来时还必须负责处理相应的事件; 2. 事件处理的机制: 1) 首先事件是有不同的类别的,比如按钮单击、菜单项单击等事件就属于“动作事件”(Action Event),而关闭窗口、最小化窗口等事件就属于“窗口事件”(Window Event); 2) 不同类型的事件需要用不同类型的监听器监听; 3) 而监听器是一种类对象,这种类必须实现监听器接口(Listener),对于监听不同类型的事件AWT库准备了不同类型的监听器接口,比如要监听动作事件就必须实现ActionListener接口,监听窗口事件就必须实现WindowListener接口; !监听器中最重要的就是事件处理方法了,监听器必须在接受事件之后进行处理(响应); 4) 如何实现监听? i. 首先事件源(发生事件的组件)必须同意我身上发生的事件允许那些监听器监听; ii. 也就是说想监听它身上发生的事件的监听器必须到它这里注册,即组件必须调用方法addXxxListener将监听器注册到它的监听器列表中; iii. 当事件发生时就会将事件对象(Event)发送到所有注册过的监听器那里进行处理; 5) 事件源、事件、监听器的对应关系: i. 首先一个事件源可以产生多种类型的事件,比如窗口右上角的×按钮,当单击它时就会产生两种类型的事件,一个是按钮单击事件(属于Action Event),另一个是窗口关闭事件(属于Window Event); ii. 监听器接口是什么类型就发送什么类型的事件:如果注册的监听器实现的是ActionEvent的接口,那么上述×按钮就只发送按钮单击事件给它而不会发送窗口关闭事件,除非监听器同时实现了两种类型的接口,那么该监听器就会同时受到两种类型的事件; iii. 一个事件源可以注册多个监听器:一般符合逻辑的编程思想就是不同监听器监听、处理不同类型的事件,因此对于可以产生多种类型事件的事件源会注册多种类型的监听器,分别负责处理产生的多种事件; !!当然一个事件源也可以注册多个相同类型的监听器,即比对于同一个事件(按钮单击),事件源注册多个实现ActionListener接口的监听器,那么这些监听器都会受到该事件,可能会疑问,这不是多此一举吗?一种事件就给出一种处理不是很好吗?那是因为有些情况下可能需要一个事件触发多种动作,每个监听器负责实现一个动作; iv. 一个监听器可以监听多个事件源上的事件,即多个不同的组件用addXxxListener方法注册同一个监听器,那么当不同事件到来时监听器会调用其不同方法进行处理,或者在一个方法内部判断传进来的是什么事件,再进行特殊的处理; 3. 编写事件处理程序的基本流程: 1) 首先需要实现监听器类:自己编写一个类,至少要实现一种类型的监听器接口,并实现接口中所有的事件处理方法; 2) 创建组件,并对组件注册响应的监听器:首先需要创建监听器对象,将监听器对象作为参数传入组件的addXxxListener方法完成注册; 3) 全部工作完成,事件的处理完全自动进行; 4) 简单的示例:处理一个按钮的单击事件 [java] view plain copy public class AwtTest { Frame f = new Frame("Event Test"); TextField tf = new TextField(30); Button ok = new Button("OK"); class OkListener implements ActionListener { @Override public void actionPerformed(ActionEvent e) { // TODO Auto-generated method stub System.out.println("OK button pushed!"); tf.setText("Hello!"); } } public void init() { f.add(tf); f.add(ok, BorderLayout.SOUTH); ok.addActionListener(new OkListener()); f.pack(); f.setVisible(true); } public static void main(String[] args) { new AwtTest().init(); } } !!完全按照讲述的顺序进行; !直接设置编辑框内文本的方法:void TextField.setText(String text); 4. 事件源-监听器多对多示例: [java] view plain copy public class AwtTest { Frame f = new Frame("Multiple Event Test"); TextArea ta = new TextArea(6, 40); Panel p = new Panel(); Button btn1 = new Button("button1"); Button btn2 = new Button("button2"); class Listener1 implements ActionListener { @Override public void actionPerformed(ActionEvent e) { // TODO Auto-generated method stub ta.append("Listener1 be activated! Event Source:" + e.getActionCommand() + "\n"); } } class Listener2 implements ActionListener { @Override public void actionPerformed(ActionEvent e) { // TODO Auto-generated method stub ta.append("Listener2 be activated! Event Source:" + e.getActionCommand() + "\n"); } } public void init() { f.add(ta); p.add(btn1); p.add(btn2); f.add(p, BorderLayout.SOUTH); Listener1 l1 = new Listener1(); Listener2 l2 = new Listener2(); btn1.addActionListener(l1); btn2.addActionListener(l1); btn2.addActionListener(l2); f.pack(); f.setVisible(true); } public static void main(String[] args) { new AwtTest().init(); } } !可以看到按钮2可以同时触发两个监听器,输出两条消息,而监听器1同时监听并处理了两个按钮的消息;

1668934001470375 2019-12-02 01:02:20 0 浏览量 回答数 0

回答

这个要讨论的话,确实比较难描述。 一个浏览器访问网站,可以看做使用的是一个session,比如我用IE访问一个项目,登陆后,我无论用IE打开多少个窗口,都使用的是同一个session。 那我换一个浏览器,比如又用360来访问这个项目,那么就会产生另一个session了。 那么我两个浏览器一起用,其实是两个session这样理解虽然不是很准确,但是一般的项目的session操作,这样是没问题的。

蛮大人123 2019-12-02 01:49:45 0 浏览量 回答数 0

回答

以苹果的 MacBook Pro 为例。开机后,直接进入账户登陆界面。这和使用苹果手机一样,需要一个苹果账户及密码。之后每次开机,你都可能用到它。在此之前你需要学习 Mac 系统触控板的手势操作,或者为你的电脑加上一个你熟悉的普通鼠标。基本的使用当我们进入桌面,它不像 Windows 系统有一个固定的任务栏,而是有一个一直存在于顶部的菜单栏,以及屏幕底部的 Dock 栏。开关机与 Windows 基本相同,点击苹果图标,即可关闭或重启,同时,我们在这里能看到系统偏好设置 。它同 Windows 的控制面板差不多。理所当然,你可以在这里设置系统外观,屏保程序,电脑桌面,甚至其他你能想到的各种东西。网络连接以及其他内容类似于 Windows系统,它们都在菜单栏右侧的位置。这个菜单栏不只是系统菜单栏,而是可以作为所有窗口和软件的菜单栏。比如当我们打开 Word 软件,它就是 Word 的菜单栏,打开 QQ 软件,它就是 QQ 的菜单栏。而当我们停在桌面时它自动显示为 Finder。这个 Finder 相当于 Windows系统的资源管理器,在底部 DOCK 栏最左边即可打开它。在这里,你可以快速找到你的文稿、应用、下载项目等等内容。而下载文件夹在 DOCK 栏上也单独存在,每次你下载任何内容,它会在这里显示进度,也可以在这里打开。它的旁边就是垃圾桶。任何的文件,可以从桌面、文件夹等任何地方直接拖动到垃圾桶,两个手指点击,选择进入废纸篓也可以。任何打开的软件和窗口,它的关闭、最小化和最大化按钮都在左上角。如果你点击最小化,那么窗口会自动缩小到屏幕右下角。软件的安装与使用不同于Windows系统在桌面、任务栏、程序列表以及开始屏幕这几个地方存放软件快捷方式图标。一般情况下,常用软件都被存放 Dock 的底部栏目上。直接点击即可打开。更多的软件在哪里呢?拿出你的四个手指,在触控板上捏合抓取,即可调出全部的程序,当你的程序安装较多,它会自动生成第二页、第三页。你也可以通过图标之间的拖动,来进行归类,和手机桌面一个道理。软件从哪里安装呢?同手机 APP 一样,它们都来自苹果的 Appstore。在 Appstore 直接搜索,下载,并安装即可。另一方面,有的程序也可以来自网页下载,比如,我们可以在 QQ 官网下载 QQ Mac 版本,直接双击打开,然后按照操作将程序包拖动到 Application(软件) 这个文件夹里即可。如果无法安装,就点击屏幕左上角的苹果图标,然后选择系统偏好设置,点击安全性与隐私。在下方“允许从以下位置下载的应用”中选择第二个,当然一般情况下,这个选项是灰色。你需要点击左下角的小锁,然后输入你的账户密码解锁。修改完成后,再把锁回去,防止他人使用电脑的时候胡乱安装不明来源的软件,损害电脑。根据这种方法,你可以安装好你需要的很多基本程序。然而对于 Mac 系统来说,如果你经常使用大存储硬盘,并且经常需要在 Windows 和 Mac 之间来回拷贝内容,我们可能需要安装一个 NTFS 支持软件,比如 Tuxera NTFS for Mac,或者 Paragon NTFS for Mac 。否则当你想要从苹果系统拷贝内容到硬盘时,会发现根本无法写入。关于复制粘贴如果想要在苹果电脑上复制粘贴,在没有其他设置的情况下,千万不要直接选中文件,然后点击 粘贴。这样只会在同目录下,复制出文件的副本。一般来说,我们可以直接点击并拖动文件到目标文件夹。当然啦,因为我们习惯使用Windows系统的时候分区,而Mac系统一般默认只有一个分区,从下载等任何文件夹复制到桌面等任何文件夹默认肯定都是移动,所以你需要拖动的时候同时摁住 Alt 键即可。这同 Windows 系统同一个磁盘分区中复制内容是一个道理。如果你已经打开了一个文件夹,还想再打开一个,可以在 Finder 上两个手指点击触控板,类似于 Windows 的鼠标点击右键,选择 新建窗口即可。多任务切换以及桌面切换三个手指在触控板向上推动,即可调出已经打开的所有软件或窗口,点击任何窗口的最大化按钮,都可以调出全屏界面。使用三个手指左右滑动,即可在多个全屏窗口间快速切换。如果软件或系统突然挂掉如果软件突然挂掉,而且一直处于动不了的状态,直接在 DOCK 栏,双指点击,选择强制退出,或者点击菜单栏的苹果图标,点击强制退出,选择目标程序即可。快捷键的话,也可以点击 Alt+Command+Esc。系统挂掉的情况一般非常少,但一旦出现,和 Windows 系统一样,要么强制重启,要么,只能长按关机按钮大概5秒左右。 Mac 强制重启的方式是:同时摁住 Control+Command+电源按钮键盘上的 Command 和 Ctrl对于很多人来说,都觉得苹果键盘上的 Command 和 Ctrl 非常地反人类。那是因为我们并不了解这两个键的历史渊源。从前的电脑操作系统大多以命令为主,使用 Ctrl 组合其他键所产生的快捷方式,用于多数命令的操作。而后来随着电脑的 GUI 化,也就是图形界面化,命令符号和图形操作两种情况都还保留,所以,Command 用于图形界面的快捷操作,而 Ctrl 用于命令符号的快捷操作,但后者后来也承担了一些其他功能。比如在 MAC 系统上我们使用 Command+Tab 键实现桌面或窗口切换;但使用的是 Ctrl+空格键来切换输入法。至于 Windows 系统,直接将 Ctrl 的快捷键沿用于图形界面,并制定了新的一套快捷操作方法。后来新增的 Windows 徽标键,只不过是刻意增加了一些快捷功能,比如桌面切换,窗口缩放等等

独步清客 2019-12-02 00:43:50 0 浏览量 回答数 0

回答

越是供小于求的情况,越需要阻塞队列。非阻塞队列通常使用轮询代替阻塞,想想大量消费者一起轮询的资源消耗将是一种怎样的情况!请求积压与是否阻塞没有关系,只与供求关系有关。想想银行排队的情况,如果几十个人在排队但只有一个窗口,无论是阻塞(银行叫号)还是轮询(用户是不是跑过去问),都会产生大量的请求积压。

蛮大人123 2019-12-02 02:05:10 0 浏览量 回答数 0

回答

关于Python中的内存释放问题首先就不得不提到Python解释器在何种情况下会释放变量的内存。Python引用了内存计数这一简单的计数来控制。下面是引用计数的知识:1) 增加引用计数 当对象被创建并(将其引用)赋值给变量时,该对象的引用计数被设置为1。对象的引用计数增加的情况:对象被创建:x = 3.14另外的别名被创建:y = x被作为参数传递给函数(新的本地引用):foobar(x)成为容器对象的一个元素:myList = [123, x, 'xyz']2) 减少引用计数 对象的引用计数减少的情况:一个本地引用离开了其作用范围。如foobar()函数结束时对象的别名被显式销毁:del y对象的一个别名被赋值给其他对象:x = 123对象被从一个窗口对象中移除:myList.remove(x)窗口对象本身被销毁:del myList3) del语句 Del语句会删除对象的一个引用,它的语法如下:del obj[, obj2[, ...objN]]例如,在上例中执行del y会产生两个结果:从现在的名称空间中删除yx的引用计数减1import sysx = 3.14print("原始引用值:", sys.getrefcount(x))y = xprint("被y引用后:", sys.getrefcount(x))x = 4.0print("重新赋值后:", sys.getrefcount(x))del yprint("删除y引用后:", sys.getrefcount(x))原始引用值: 3被y引用后: 4重新赋值后: 3删除y引用后: 3当一个变量的引用计数为0的时候,就会被解释器回收。当然在交互模式下,内存不会马上释放,重新启动解释器就会释放了。

ylrf1212 2019-12-02 01:08:33 0 浏览量 回答数 0

问题

有没有一种方法可以强制webbrowser打开一个新窗口,而不是仅仅打开当前窗口中的选项卡?

kun坤 2019-12-26 14:43:07 1 浏览量 回答数 1

回答

举一些常用的例子: flink中提供的大量的算子,下面将介绍常用的算子操作方式: map DataStream --> DataStream:输入一个参数产生一个参数,map的功能是对输入的参数进行转换操作。 flatMap DataStream --> DataStream:输入一个参数,产生0、1或者多个输出,这个多用于拆分操作 filter DataStream --> DataStream:结算每个元素的布尔值,并返回为true的元素 keyBy DataSteam --> DataStream:逻辑地将一个流拆分成不相交的分区,每个分区包含具有相同key的元素,在内部以hash的形式实现的。以key来分组。 注意:以下类型无法作为key POJO类,且没有实现hashCode函数 任意形式的数组类型 reduce KeyedStream --> DataStream:滚动合并操作,合并当前元素和上一次合并的元素结果。 fold KeyedStream --> DataStream:用一个初始的一个值,与其每个元素进行滚动合并操作。 aggregation KeyedStream --> DataStream:分组流数据的滚动聚合操作:min和minBy的区别是min返回的是一个最小值,而minBy返回的是其字段中包含的最小值的元素(同样元原理适用于max和maxBy) window KeyedStream --> DataStream:windows是在一个分区的KeyedStreams中定义的,windows根据某些特性将每个key的数据进行分组(例如:在5s内到达的数据)。 windowAll DataStream --> AllWindowedStream:Windows可以在一个常规的DataStream中定义,Windows根据某些特性对所有的流(例如:5s内到达的数据)。 注意:这个操作在很多情况下都不是并行操作的,所有的记录都会聚集到一个windowAll操作的任务中 window apply WindowedStream --> DataStream AllWindowedStream --> DataStream:将一个通用的函数作为一个整体传递给window。 window reduce WindowedStream --> DataStream:给窗口赋予一个reduce的功能,并返回一个reduce的结果。 window fold WindowedStream --> DataStream:给窗口赋予一个fold的功能,并返回一个fold后的结果。 aggregation on windows WindowedStream --> DataStream:对window的元素做聚合操作,min和minBy的区别是min返回的是最小值,而minBy返回的是包含最小值字段的元素。(同样原理适用于max和maxBy) union DataStream --> DataStream:对两个或两个以上的DataStream做union操作,产生一个包含所有的DataStream元素的新DataStream。 注意:如果将一个DataStream和自己做union操作,在新的DataStream中,将看到每个元素重复两次 window join DataStream,DataStream --> DataStream:根据给定的key和window对两个DataStream做join操作 window coGroup DataStream,DataStream --> DataStream:根据一个给定的key和window对两个DataStream做CoGroups操作。 connect DataStream,DataStream --> ConnectedStreams:连接两个保持它们类型的数据流。 coMap、coFlatMap ConnectedStreams --> DataStream:作用于connected数据流上,功能与map和flatMap一样。 split DataStream --> SplitStream:根据某些特征把一个DataStream拆分成两个或多个DataStream select SplitStream --> DataStream:从一个SplitStream中获取一个或多个DataStream iterate DataStream --> IterativeStream --> DataStream:在流程中创建一个反馈循环,将一个操作的输出重定向到之前的操作,这对于定义持续更新模型的算法来说很有意义的。 extract timestamps DataStream --> DataStream:提取记录中的时间戳来跟需要事件时间的window一起发挥作用。

茶什i 2019-12-02 03:19:28 0 浏览量 回答数 0

问题

关于日志服务采集配置的问题

apple201808 2019-12-01 20:59:09 2029 浏览量 回答数 2

回答

从开始菜单中运行Anaconda提示符并输入: jupyter lab --generate-config 使用你最喜欢的文本编辑器打开这个位置的配置文件: C:\Users\<User>\.jupyter\jupyter_notebook_config.py 添加这一行到配置文件的结尾: c.NotebookApp.browser = "C:/Program Files (x86)/Google/Chrome/Application/chrome.exe --app=%s" 导航到 "C:\Users\Serendipity\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Anaconda3 (64-bit)" 复制一个木星笔记本快捷方式并命名为木星实验室 右击新建的Jupyter Lab快捷方式,进入Properties,将图标更改为您下载的图标,将评论字段更改为“Jupyter Lab”。在目标区域,上面写着木星-记事本-脚本。把它改成木星-实验室-脚本- py。 目标字段应该是这样的: C:\Users\Serendipity\Anaconda3\python.exe C:\Users\Serendipity\Anaconda3\cwp.py C:\Users\Serendipity\Anaconda3 C:\Users\Serendipity\Anaconda3\python.exe C:\Users\Serendipity\Anaconda3\Scripts\jupyter-lab-script.py %USERPROFILE% 运行快捷方式,它应该产生一个命令提示符运行服务器实例,和木星实验室Chrome应用程序窗口。 你可以创建一个快捷方式连接到一个本地服务器与右键点击->新的>快捷方式,并使用这个作为位置目标: "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --app=http://localhost:8888/ 你也可以通过在Anaconda提示控制台输入jupyter lab -no-browser来启动服务器,而不需要生成Chrome应用程序窗口。

kun坤 2019-12-26 15:44:46 0 浏览量 回答数 0

问题

Windows 实例磁盘空间满的问题处理及最佳实践

chenchuan 2019-12-01 21:36:14 575 浏览量 回答数 0

问题

C语言学生评教系统实现:报错

kun坤 2020-06-08 18:51:19 0 浏览量 回答数 1

问题

批量生成带序号的html代码

杨冬芳 2019-12-01 20:01:58 760 浏览量 回答数 1

问题

Spring MVC 使用Json格式传输数据,XXX.xxx 的嵌套数据无法解析 请求报错 

kun坤 2020-05-29 22:43:09 0 浏览量 回答数 1

回答

Apache Flink是用于统一流和批处理的框架。由于并行任务之间的管道数据传输(包括管道随机播放),Flink的运行时本机支持两个域。记录从生产任务立即发送到接收任务(在收集到网络传输的缓冲区中之后)。批处理作业可以选择使用阻止数据传输来执行。 Apache Spark是一个还支持批处理和流处理的框架。Flink的批处理API看起来非常相似,并且解决了与Spark类似的用例,但是内部结构有所不同。对于流传输,两个系统都采用非常不同的方法(迷你批处理与流传输),这使它们适用于不同类型的应用程序。我会说比较Spark和Flink是有效和有用的,但是,Spark不是与Flink最相似的流处理引擎。 谈到最初的问题,Apache Storm是一个没有批处理功能的数据流处理器。实际上,Flink的流水线引擎在内部看起来与Storm类似,即Flink并行任务的界面类似于Storm的螺栓。Storm和Flink的共同点在于,它们旨在通过流水线式数据传输来实现低延迟流处理。但是,与Storm相比,Flink提供了更高级的API。Flink的DataStream API并未提供具有一个或多个阅读器和收集器的螺栓功能,而是提供了诸如Map,GroupBy,Window和Join之类的功能。使用Storm时,必须手动实现许多此功能。另一个区别是处理语义。Storm保证了至少一次处理,而Flink提供了一次。提供这些处理保证的实现方式相差很多。尽管Storm使用记录级确认,但是Flink使用Chandy-Lamport算法的变体。简而言之,数据源会定期将标记插入到数据流中。每当操作员收到此类标记时,它都会检查其内部状态。当所有数据接收器都收到一个标记时,该标记(以及之前已处理的所有记录)都将被提交。如果发生故障,当所有源操作员看到最后提交的标记时,它们将重置为其状态,并继续进行处理。这种标记检查点方法比Storm的记录级确认更轻便。这个 数据源定期将标记插入数据流中。每当操作员收到此类标记时,它都会检查其内部状态。当所有数据接收器都收到一个标记时,该标记(以及之前已处理的所有记录)都将被提交。如果发生故障,当所有源操作员看到最后提交的标记时,它们将重置为其状态,并继续进行处理。这种标记检查点方法比Storm的记录级确认更轻便。这个 数据源定期将标记插入数据流中。每当操作员收到此类标记时,它都会检查其内部状态。当所有数据接收器都收到一个标记时,该标记(以及之前已处理的所有记录)都将被提交。如果发生故障,当所有源操作员看到最后提交的标记时,它们将重置为其状态,并继续进行处理。这种标记检查点方法比Storm的记录级确认更轻便。这个 当看到最后提交的标记并继续处理时,所有源操作员将重置为其状态。这种标记检查点方法比Storm的记录级确认更轻便。这个 当看到最后提交的标记并继续处理时,所有源操作员将重置为其状态。这种标记检查点方法比Storm的记录级确认更轻便。这个幻灯片集和相应的讨论讨论了Flink的流处理方法,包括容错,检查点和状态处理。 Storm还提供了一次仅称为Trident的高级API。但是,Trident基于迷你批处理,因此与Flink相比更类似于Spark。 Flink的可调延迟是指Flink将记录从一个任务发送到另一个任务的方式。我之前说过,Flink使用流水线数据传输并在产生记录后立即转发记录。为了提高效率,这些记录收集在一个缓冲区中,一旦缓冲区满或达到某个时间阈值,该缓冲区就会通过网络发送。此阈值控制记录的延迟,因为它指定了记录将保留在缓冲区中而不发送到下一个任务的最长时间。但是,它不能用于为记录从进入到离开程序所花费的时间提供严格的保证,因为这还取决于任务中的处理时间以及网络传输的数量。 回答2: 添加到Fabian Hueske的答案中: Flink还通过以下方式对Storm进行了改进: 背压:当不同的运营商以不同的速度运行时,Flink的流运行时表现良好,因为尽管网络层管理缓冲池,但下游运营商对上游运营商的背压却很好。 用户定义的状态:Flink允许程序在您的操作员中维护自定义状态。该状态实际上可以参与容错性的检查点,从而为自定义用户定义状态提供一次精确的保证。请参见操作员内部用户定义状态机的此示例,该示例机与数据流一起始终被检查点检查。 流窗口:流窗口和窗口聚合是分析数据流的关键构建块。Flink带有功能强大的窗口系统,该系统支持多种类型的窗口。

游客bnlxddh3fwntw 2020-05-19 13:27:33 0 浏览量 回答数 0

回答

12月17日更新 请问下同时消费多个topic的情况下,在richmap里面可以获取到当前消息所属的topic吗? 各位大佬,你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据? 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的?kafka connector 的原理是定时去轮询,这样如果表多了,会不会影响业务库的性能?甚至把业务库搞挂? 有没有flink 1.9 连接 hive的例子啊?官网文档试了,没成功 请问各位是怎么解决实时流数据倾斜的? 请问一下,对于有状态的任务,如果任务做代码升级的时候,可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢?是否会有影响数据逻辑的地方呢? 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗? 比如五分钟输出一次,就是7点输出0点到7点的累计用户,7:05输出0点到7:05的累计用户。 但是我这里有多个维度,现在用redis来做的。 想知道有没有更好的姿势? 实时数仓用什么存储介质来存储维表,维表有大有小,大的大概5千万左右。 各位大神有什么建议和经验分享吗? 请教个问题,就是flink的窗口触发必须是有数据才会触发吗?我现在有个这样的需求,就是存在窗口内没有流数据进入,但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值!现在没有流数据进入窗口结束时如何触发? kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费,有些topic有效,有效topic无效,大佬们有遇到过吗? 各位大佬,flink两个table join的时候,为什么打印不出来数据,已经赋了关联条件了,但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊? 各位大佬,我的程序每五分钟一个窗口做了基础指标的统计,同时还想统计全天的Uv,这个是用State就能实现吗? 大佬们,flink的redis sink是不是只适用redis2.8.5版本? 有CEP 源码中文注释的发出来学习一下吗? 有没有拿flink和tensorflow集成的? 那位大神,给一个java版的flink1.7 读取kafka数据,做实时监控和统计的功能的代码案例。 请问下风控大佬,flink为风控引擎做数据支撑的时候,怎么应对风控规则的不断变化,比如说登录场景需要实时计算近十分钟内登录次数超过20次用户,这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存?广播没办法改CEP flink支持多流(大于2流)join吗? 谁能帮忙提供一下flink的多并行度的情况下,怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥? flink 一个流计算多个任务和 还是一个流一个任务好? flink 1.9 on yarn, 自定义个connector里面用了jni, failover以后 就起不来了, 报错重复load so的问题。 我想问一下 这个,怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题,部署到集群就会报错了,可能什么问题? 请教一下对于长时间耗内存很大的任务,大家都是开checkpoint机制,采用rocksdb做状态后端吗? 请问下大佬,flink jdbc读取mysql,tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器,Hive集成,Python API这几个功能好像都是预览版,请问群里有大佬生产环境中使用这些功能了吗? 想做一个监控或数据分析的功能,如果我flink 的datastreaming实现消费Kafka的数据,但是我监控的规则数据会增加或修改,但是不想停这个正在运行的flink程序,要如何传递这个动态变化的规则数据,大神给个思路,是用ConnectedStream这个吗?还是用Broadcast ?还有一个,比如我的规则数据是存放在Mysql表中,用什么事件隔30秒去触发读取mysql规则表呢?谢谢! 想做一个监控或数据分析的功能,如果我flink 的datastreaming实现消费Kafka的数据,但是我监控的规则数据会增加或修改,但是不想停这个正在运行的flink程序,要如何传递这个动态变化的规则数据,大神给个思路,是用ConnectedStream这个吗?还是用Broadcast ?还有一个,比如我的规则数据是存放在Mysql表中,用什么事件隔30秒去触发读取mysql规则表呢?谢谢! 各位大佬,在一个 Job 计算过程中,查询 MySQL 来补全额外数据,是一个好的实践嘛?还是说流处理过程中应该尽量避免查询额外的数据? Flink web UI是jquery写的吗? 12月9日更新 成功做完一次checkpoint后,会覆盖上一次的checkpoint吗? 数据量较大时,flink实时写入hbase能够异步写入吗? flink的异步io,是不是只是适合异步读取,并不适合异步写入呀? 请问一下,flink将结果sink到redis里面会不会对存储的IO造成很大的压力,如何批量的输出结果呢? 大佬们,flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后,从这一个流中获取数据进行两条业务线的操作,是可以的吗? flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗? 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们,task端rocksdb状态 保存路径默认是在哪里的啊?我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗? 求助各位大佬,一个sql里面包含有几个大的hop滑动窗口,如15个小时和24个小时,滑动步长为5分钟,这样就会产生很多overlap 数据,导致状态会很快就达到几百g,然后作业内存也很快达到瓶颈就oom了,然后作业就不断重启,很不稳定,请问这个业务场景有什么有效的解决方案么? 使用jdbcsink的时候,如果连接长时间不使用 就会被关掉,有人遇到过吗?使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题? 请问各位公司有专门开发自己的实时计算平台的吗? 请问各位公司有专门开发自己的实时计算平台的吗? 有哪位大佬有cdh集成安装flink的文档或者手册? 有哪位大佬有cdh集成安装flink的文档或者手册? 想问下老哥们都是怎么统计一段时间的UV的? 是直接用window然后count嘛? Flink是不是也是这样的? 请问现在如有个实时程序,根据一个mysql的维表来清洗,但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql,然后存在对象中,流清洗的时候读取这个数据,这个想法可行吗?我目前在主类里面定义一个对象,然后往里面更新,发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗? 12月3日更新 请教一下,为什么我flume已经登录成功了keytab认证的kafka集群,但是就是消费不到数据呢? flink 写入mysql 很长一段时间没有写入,报错怎么解决呢? flink timestamp转换为date类型,有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务,出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ? 各位大佬,请问有Flink写S3的方案吗? flink 连接hbase 只支持1.4.3版本? onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢? Tumbling Window里的数据,是等窗口期内的数据到齐之后一次性处理,还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性,请问大家如何解决 stream processing with apache flink,这本书的中译版 现在可以买吗? flink on yarn时,jm和tm占用的内存最小是600M,这个可以修改吗? 各位大佬,使用默认的窗口Trigger,在什么情况下会触发两次啊?窗口关闭后,然后还来了这个窗口期内的数据,并且开了allowedLateness么? flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗? 各位大佬,flink任务的并发数调大到160+以后,每隔几十分钟就会出现一次TM节点连接丢失的异常,导致任务重启。并发在100时运行比较稳定,哪位大佬可以提供下排查的思路? 感觉stateful function 是下一个要发力的点,这个现在有应用案例吗? 我有2个子网(a子网,b子网)用vpn联通,vpn几周可能会断一次。a子网有一个kafka集群,b子网运行我自己的flink集群和应用,b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是,如果vpn断开,flink consumer会异常整个作业退出吗?如果作业退出,我重连vpn后,能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗?flink的checkpoint除了保存自己开发的算子里的state,kafkaconsumer里的partition/offset也会保存和恢复吗? flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka,可以从指定时间消费的吗?目前提供的接口只是根据offset消费?有人知道怎么处理? flink 的Keyby是不是只是repartition而已?没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗? 我比较倾向用数据库,因为有些数据需要join其他表,flink充当了什么角色,对这个有点迷,比如统计当天订单量,卖了多少钱,各个省的销量,销售金额,各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来,有大神知道吗? 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后,什么都不改,直接重启,还是能接着继续运行吗?如果可以的话,savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗,能不能分享一下操作的流程方法 checkpoint是有时间间隔的,也就可以理解为checkpoint是以批量操作的,那如果还没进行ckecnpoint就挂了,下次从最新的一次checkpoint重启,不是重复消费了? kafka是可以批量读取数据,但是flink是一条一条处理的,应该也可以一条一条提交吧。 各位大佬,flink sql目前是不是不支持tumbling window join,有人了解吗? 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗? 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位,这段代码里面,我想加一个trigger,实现每次有数据进window时候,就输出,而不是等到window结束再输出,应该怎么加? 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满,大家如配置的? Flink1.9 启动 yarn-session报这个错误 怎么破? yarn 模式下,checkpoint 是存在 JobManager的,提交任务也是提交给 JobManager 的吧? heckpoint机制,会不会把window里面的数据全部放checkpoint里面? Flink On Yarn的模式下,如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job,一般用什么方案?shell脚本还是api的方式? 各位大佬,开启增量checkpoint 情况下,这个state size 是总的checkpoint 大小,还是增量上传的大小? 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的? 你们有试过在同样的3台机器上部署两套kafka吗? 大家有没有比较好的sql解析 组件(支持嵌套sql)? richmapfuntion的open/close方法,和处理数据的map方法,是在同一个线程,还是不同线程调用的? flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ,我不是只启动了5个container么? Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候,怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限? 用java api写的kafka consumer能消费到的消息,但是Flink消费不到,这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么? flink1.7.2,场景是一分钟为窗口计算每分钟传感器的最高温度,同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗?也就是说flink客户端需要向Flink集群进行kerberos认证,认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗? 如果要对客户端提交作业到flink进行访问控制,你们有类似的这种使用场景吗? flink可以同时读取多个topic的数据吗? Flink能够做实时ETL(oracle端到oracle端或者多端)么? Flink是否适合普通的关系型数据库呢? Flink是否适合普通的关系型数据库呢? 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次,从source 到flink到sink? 在SQL的TUMBLE窗口的统计中,如果没数据进来的,如何让他也定期执行,比如进行count计算,让他输出0? new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做?我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗? 有人用增量cleanupIncrementally的方式来清理状态的嘛,感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗? 有个问题咨询下大家,我的flinksql中有一些参数是要从mysql中获取的,比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取,我用普通的jdbc进行连接可以获的,但是有一个问题,就是我mysql的数据改了之后必须重启flink程序才能解决这个问题,但这肯定不符合要求,请问大家有什么好的办法吗? flink里怎样实现多表关联制作宽表 flink写es,因为半夜es集群做路由,导致写入容易失败,会引起source的反压,然后导致checkpoint超时任务卡死,请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压? flink 写parquet 文件,使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现,我看实现了CleanupState可更新过期时间删除当前key状态的接口,是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉,就不会存在内存泄漏的问题了? flink1.7.2 想在Table的UDAF中使用State,但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private,无法使用,大佬,如何在Table的UDAF中使用State啊? Flink有什么性能测试工具吗? 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后,META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错,请问有什么解决办法吗? 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬,以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下,我要做一个规则引擎,需要动态改变规则,如何在flink里面执行? flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎,需要动态改变规则,如何在flink里面执行? 我要用sql做一个规则引擎,需要动态改变规则,如何在flink里面执行? 一般公司的flink job有没有进程进行守护?有专门的工具或者是自己写脚本?这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小? Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景,数据从binlog消费,这个信息是订单信息,同一个订单id,会有不同状态的变更 问大家个Hive问题,新建的hive外部分区表, 怎么把HDFS数据一次性全部导入hive里 ? flink里面的broadcast state值,会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时,如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗?比如kafka里的写数据没停,窗口计算的应用停掉一段时间再开起 请问下,想统计未退费的订单数量,如果一个订单退费了(发过来一个update流),flink能做到对结果进行-1吗,这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重,有哪位同学实践过吗? 你们的去重容许有误差?因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果,你们会认为是同一条记录? 我就运行了一个自带的示例,一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗? NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗? flink 可以把大量数据写入mysql吗?比如10g flink sql 解析复杂的json可以吗? 在页面上写规则,用flink执行,怎么传递给flink? 使用cep时,如何动态添加规则? 如何基于flink 实现两个很大的数据集的交集 并集 差集? flink的应用场景是?除了实时 各位好,请教一下,滑动窗口,每次滑动都全量输出结果,外部存储系统压力大,是否有办法,只输出变化的key? RichSinkFunction close只有任务结束时候才会去调用,但是数据库连接一直拿着,最后成了数据库连接超时了,大佬们有什么好的建议去处理吗?? 为啥我的自定义函数注册,然后sql中使用不了? 请问一下各位老师,flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢? 用asyncIO比直接在map里实现读hbase还慢,在和hbase交互这块儿,每个算子都加了时间统计 请教一下,在yarn上运行,会找不到 org.apache.flink.streaming.util 请问下大佬,flink1.7.2对于sql的支持是不是不怎么好啊 ,跑的数据一大就会报错。 各位大佬,都用什么来监控flink集群? flink 有那种把多条消息聚合成一条的操作吗,比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算(Blink)支持这4个源数据表吗?DataHub Kafka MQ MaxCompute? 为啥checkpoint时间会越来越长,请问哪位大佬知道是因为啥呢? 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧,那剩下的算子并行度呢? Flink有 MLIB库吗,为什么1.9中没有了啊? 请教一下,有没有flink ui的文章呢?在这块内存配置,我给 TM 配置的内存只有 4096 M,但是这里为什么对不上呢?请问哪里可以看 TM 内存使用了多少呢? 请教个问题,fink RichSinkFunction的invoke方法是什么时候被调用的? 请教一下,flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢?没有设计为一个 key 一个 watermark 呢? 就比如说有 key1、key2、key3,有3个 watermark,有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢? 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ;2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题,flink中设置什么配置可以取消Generic这个泛型,如图报错: 有大佬在吗,线上遇到个问题,但是明明内存还有200多G,然后呢任务cancel不了,台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景,数据从binlog消费,这个信息是订单信息,同一个订单id,会有不同状态的变更,如果订单表与商品明细join查询,就会出现n条重复数据,这样数据就不准了,flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows,但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的? flink 有办法 读取 pytorch的 模型文件吗? 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows,但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的? flink timestamp转换为date类型,有什么函数吗 flink 写入mysql 很长一段时间没有写入,报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗? 有没有大佬知道实时报表怎么做?就是统计的结果要实时更新,热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下,flink里怎么实现batch sink的操作而不导致数据丢失

问问小秘 2019-12-02 03:19:17 0 浏览量 回答数 0

问题

常见问题 - 购买 - MySQL IOPS 使用率高的原因和解决方法

李沃晟 2019-12-01 21:41:36 901 浏览量 回答数 0

问题

释放实例、关闭自动释放

boxti 2019-12-01 21:40:15 1383 浏览量 回答数 0

问题

OSS学院:为什么我的图片会被下载?怎么在线播放影音?

leehon 2019-12-01 21:28:58 28524 浏览量 回答数 15

回答

在1024*768或者800*600的分辨率下可以自动调整成适用于该客户端分辨率的大小。 第一种方法:做一个网页解决问题(长了点) 如果只是因为浏览者改变了浏览器的设置,或者因为浏览器不兼容,使自己精心制作的网页变得"面目全非",那多令人沮丧!下面我们以网页爱好者的常用工具Dreamweaver(以下简称DW)为例,列出几个网页制作初学者较常见的网页布局问题以及解决方法,希望对初学者们有所帮助。 一、消除任意缩放浏览器窗口对网页的影响 一番辛苦做出来的网页,在全屏状态下浏览一切正常。但在改变浏览窗口大小之后,网页就变得"不堪入目"了,这是个很值得注意的问题。 问题的根源还得从网页的布局说起,在DW中,网页内容的定位一般是通过表格来实现的,解决表格的问题也就成功了大半。 大家应该注意到,在DW中表格属性面板的高宽设定选择上提供了两种不同类型:百分比和像素值。百分比的使用将会产生前面说到的那个毛病。这里所说的百分比是指表格的高或宽设置为上层标记所占区域高或宽的百分比,如在一个表格单元的宽度是600,在它里面嵌入了另外一个表格,表格宽度占表格单元的50%,则这个表格的宽度为300,依此类推,如果在一个表格不是嵌于另一个表格单元中,则其百分比是相对于当时窗口的宽度的。IE浏览器中,随便改动主页窗口的大小时,表格的内容也随之错位、变形,就是因为表格的百分比也要随着窗口的大小而改变成相应的百分比宽度。 自然,解决这个问题的办法就是将表格宽度设置成固定宽度(也就是像素值)。另外如果外层表格已做好固定宽度设置,内层表格也可以适当使用百分比设置。清楚这个原则以后,如果出现类似的问题大家也知道怎么解决。 二、让网页居中 说到了窗口大小就会顺着路子想到分辨率的问题,在800×600分辨率下制作的网页在1024×768分辨率的机器上打开,整个网页就会跑到左边;1024×768分辨率的网页在800×600分辨率的机器上有时也会变得"不堪入目"。两种分辨率各做一个吧?做起来费时,看起来也费劲。怎么办呢? 现在大多数网民都还在用800*600的分辨率,所以我们一般可以以此分辨率为主,要想让网页在1024*768时居中,只要在网页原代码的<body>后紧加一句<center>,</body>前加一句</center>就OK了。不过有几个问题这是要注意一下,第一个就是上面说到的百分比的问题,表格、单元格的宽度单位最好要使用像素单位,而不要用百分比。例如width=770。如果你的表格宽度设的是百分比,那么使用大于800×600的像素时,网页就会拉宽,这样网页可能会变形。在<body>中加入leftmargin=0,即<body leftmargin=0>这种情况下,800×600支持的表格宽度为780像素时不会出现滚动条。还有一点要注意的是不能用DW中的层来定位。 以下是引用片段: <html> <head></head> <body topmargin=0 leftmargin=0> <center> <table cellspacing cellpadding width=760><tr><td></td></tr></table> </center> </body> </html> 三、定义固定大小的文字 大家都知道,在IE浏览器的功能设置中,有一个可以自由设置窗口内容字体大小的功能,这样由于不同访问者的设置习惯不同,呈现在他们面前的网页有时也会不不相同。比如你可能本来设计时用的是2号字体,结果由于用户对浏览器的额外设定,变的更大了,这时你的网页也可能变得"不堪入目"。虽然不是你的错,但客户是上帝。 如果使用了网页中的CSS样式表技术,就不会出现上述情况了。使用快捷键"Shift+F11"打开样式表"CSS style"编辑器,在窗口中单击鼠标右键执行"New CSS style..."命令新建一个样式表,然后在给出的列表中选择"类型"选项,定义文字属性参数(一般文字的大小选择12px较为适宜)。完成后选择网页编辑窗中的文本,单击新的样式表名称,可以看到选中的文本发生了变化。预览时试试定义的文本字体尺寸还会不会随浏览器的选择字体大小而改变。 四、让网页适应不同的浏览器 浏览器的格局现在是两分天下,一分是IE,另一分是NetScape,在国内Ie有绝对的占有率,在这种情况下我们设计的网页只要兼容它就行了,但NetScape在国外还是有很多人使用,毕竟它是浏览器的元老。 虽然没有办法做出让所有浏览器都兼容的网站,但只要注意以下几点,做出来的网页在各个浏览器都中能达到比较好的显示效果: 不要混合使用层和表格排版,如果是父子关系,如层中表格,不在此原则范围内。 内联式的 CSS 在 Netscape Navigator 中经常会出现问题,使用链式或内嵌式。 有时需要在空层插入表格或者透明图片,以保证在 Netscape Navigator 里的效果。 对于只有几个像素宽度或高度的层,改用图片来实现。 避免使用 W3C 组织不推荐的排版属性,用 CSS 代替。 第二种方法:做两个适合不同分辨率的页面,一个是800×600,一个是1024×768,在800×600的页面中加入一下代码就可以实现跳转了: 解决分辨率问题在Dreamweaver中没有此项功能,我们只能手动加入一段Javascript代码。首先在change-ie.html或change-nc.html页面代码中的< head>和< /head>中加入以下代码: 以下是引用片段: < script language=JavaScript> < !-- function redirectPage(){ var url800x600=〃index-ie.html〃; //定义两个页面,此处假设index-ex.html和1024-ie.html同change-ie.html在同一个目录下 var url1024x768=〃1024-ie.html〃; if ((screen.width==800) && (screen.height==600)) //在此处添加screen.width、screen.height的值可以检测更多的分辨率 window.location.href= url800x600; else if ((screen.width==1024) && (screen.height==768)) window.location.href=url1024x768; else window.location.href=url800x600; } // --> < /script> 然后再在< body…>内加入onLoad=〃redirectPage()〃 最后,同样地,在< body>和< /body>之间加入以下代码来显示网页的工作信息: 以下是引用片段: < script language=JavaScript> < !-- var w=screen.width var h=screen.height document.write(〃系统已检测到您的分辨率为:〃); document.write(〃< font size=3 color=red>〃); document.write(w+〃×〃+h); document.write(〃< /font>〃); document.write(〃正在进入页面转换,请稍候…〃); // --> < /script> 答案来源网络,供参考,希望对您有帮助

问问小秘 2019-12-02 03:01:07 0 浏览量 回答数 0

回答

简介 TCP提供一种面向连接的、可靠的字节流服务。 面向连接:两个使用TCP的应用(通常是一个客户端和一个服务器)在彼此交换数据之前就需要建立连接。在一个TCP连接中,仅有两方进行彼此通信。广播和多播不能用于TCP。 可靠 应用数据被分割成TCP认为最适合发送的数据块。这和UDP完全不同,应用程序产生的数据报长度将保持不变。 (将数据截断为合理的长度) 当TCP发出一个段后,它启动一个定时器,等待目的端确认收到这个报文段。如果不能及时收到一个确认,将重发这个报文段。(超时重发) 当TCP收到发自TCP连接另一端的数据,它将发送一个确认。这个确认不是立即发送,通常将推迟几分之一秒 。 (对于收到的请求,给出确认响应)(之所以推迟,可能是要对包做完整校验) TCP将保持它首部和数据的检验和。这是一个端到端的检验和,目的是检测数据在传输过程中的任何变化。如果收到段的检验和有差错,TCP将丢弃这个报文段和不确认收到此报文段。 (校验出包有错,丢弃报文段,不给出响应,TCP发送数据端,超时时会重发数据) 既然TCP报文段作为IP数据报来传输,而IP数据报的到达可能会失序,因此TCP报文段的到达也可能会失序。如果必要,TCP将对收到的数据进行重新排序,将收到的数据以正确的顺序交给应用层。 (对失序数据进行重新排序,然后才交给应用层) 既然IP数据报会发生重复,TCP的接收端必须丢弃重复的数据。(对于重复数据,能够丢弃重复数据) TCP还能提供流量控制。TCP连接的每一方都有固定大小的缓冲空间。TCP的接收端只允许另一端发送接收端缓冲区所能接纳的数据。这将防止较快主机致使较慢主机的缓冲区溢出。(TCP可以进行流量控制,防止较快主机致使较慢主机的缓冲区溢出)TCP使用的流量控制协议是可变大小的滑动窗口协议。 可靠性总结: 数据截断为数据报的长度 计时重传 推迟验证 重新排序 舍弃重复数据 流量控制

谙忆 2020-01-09 10:23:35 0 浏览量 回答数 0

问题

MySQL IOPS 使用率高的原因和解决方法

云栖大讲堂 2019-12-01 21:32:15 2893 浏览量 回答数 0

问题

MaxCompute快速入门:运行SQL

行者武松 2019-12-01 22:01:39 1282 浏览量 回答数 0

回答

使用os.system("cmd")特点是执行的时候程序会打出cmd在linux上执行的信息。import osos.system("ls")使用Popen模块产生新的process现在大部分人都喜欢使用Popen。Popen方法不会打印出cmd在linux上执行的信息。的确,Popen非常强大,支持多种参数和模式。使用前需要from subprocess import Popen, PIPE。但是Popen函数有一个缺陷,就是它是一个阻塞的方法。如果运行cmd时产生的内容非常多,函数非常容易阻塞住。解决办法是不使用wait()方法,但是也不能获得执行的返回值了。Popen原型是:subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0) 参数bufsize:指定缓冲。参数executable用于指定可执行程序。一般情况下我们通过args参数来设置所要运行的程序。如果将参数shell设为 True,executable将指定程序使用的shell。在windows平台下,默认的shell由COMSPEC环境变量来指定。参数stdin, stdout, stderr分别表示程序的标准输入、输出、错误句柄。他们可以是PIPE,文件描述符或文件对象,也可以设置为None,表示从父进程继承。参数preexec_fn只在Unix平台下有效,用于指定一个可执行对象(callable object),它将在子进程运行之前被调用。参数Close_sfs:在windows平台下,如果close_fds被设置为True,则新创建的子进程将不会继承父进程的输入、输出、错误管 道。我们不能将close_fds设置为True同时重定向子进程的标准输入、输出与错误(stdin, stdout, stderr)。如果参数shell设为true,程序将通过shell来执行。参数cwd用于设置子进程的当前目录。参数env是字典类型,用于指定子进程的环境变量。如果env = None,子进程的环境变量将从父进程中继承。参数Universal_newlines:不同操作系统下,文本的换行符是不一样的。如:windows下用’/r/n’表示换,而Linux下用 ‘/n’。如果将此参数设置为True,Python统一把这些换行符当作’/n’来处理。参数startupinfo与createionflags只在windows下用效,它们将被传递给底层的CreateProcess()函数,用 于设置子进程的一些属性,如:主窗口的外观,进程的优先级等等。subprocess.PIPE在创建Popen对象时,subprocess.PIPE可以初始化stdin, stdout或stderr参数,表示与子进程通信的标准流。subprocess.STDOUT创建Popen对象时,用于初始化stderr参数,表示将错误通过标准输出流输出。Popen的方法:Popen.poll() 用于检查子进程是否已经结束。设置并返回returncode属性。Popen.wait() 等待子进程结束。设置并返回returncode属性。Popen.communicate(input=None)与子进程进行交互。向stdin发送数据,或从stdout和stderr中读取数据。可选参数input指定发送到子进程的参数。 Communicate()返回一个元组:(stdoutdata, stderrdata)。注意:如果希望通过进程的stdin向其发送数据,在创建Popen对象的时候,参数stdin必须被设置为PIPE。同样,如 果希望从stdout和stderr获取数据,必须将stdout和stderr设置为PIPE。Popen.send_signal(signal) 向子进程发送信号。Popen.terminate()停止(stop)子进程。在windows平台下,该方法将调用Windows API TerminateProcess()来结束子进程。Popen.kill()杀死子进程。Popen.stdin 如果在创建Popen对象是,参数stdin被设置为PIPE,Popen.stdin将返回一个文件对象用于策子进程发送指令。否则返回None。Popen.stdout 如果在创建Popen对象是,参数stdout被设置为PIPE,Popen.stdout将返回一个文件对象用于策子进程发送指令。否则返回 None。Popen.stderr 如果在创建Popen对象是,参数stdout被设置为PIPE,Popen.stdout将返回一个文件对象用于策子进程发送指令。否则返回 None。Popen.pid 获取子进程的进程ID。Popen.returncode 获取进程的返回值。如果进程还没有结束,返回None。例如:p = Popen("cp -rf a/* b/", shell=True, stdout=PIPE, stderr=PIPE) p.wait() if p.returncode != 0: print "Error." return -1使用commands.getstatusoutput方法这个方法也不会打印出cmd在linux上执行的信息。这个方法唯一的优点是,它不是一个阻塞的方法。即没有Popen函数阻塞的问题。使用前需要import commands。例如:status, output = commands.getstatusoutput("ls") 还有只获得output和status的方法:commands.getoutput("ls") commands.getstatus("ls")

xuning715 2019-12-02 01:10:25 0 浏览量 回答数 0

回答

方案一:Hook 到文件系统内部的事务机制 方案 1 的问题是功能有限,而且很多文件系统没有直接对用户暴露事务。功能有限例如没有回滚机制等。Btrfs 提供了一对系统调用使得内部的事务机制可以对用户暴露。基于 Btrfs 的 FileStore 第一版是依赖于这些系统调用的,但是它没有回滚机制导致很痛苦——具体来说,如果 Ceph OSD 在事务过程中遇到了一个 fatal 事件,例如软件崩溃或者 kill 信号,Btrfs 会提交一个部分(partial)事务,留给存储后端一个不一致状态。 Ceph 团队和 Btrfs 团队都接受的解决方法包括提供一个 entire transaction 系统调用,或者基于快照实现回滚,但这两个方案都有很高的成本。最近 Btrfs 废弃掉了事务系统调用,和微软对 NTFS 的决定类似。 方案二:在用户态实现 WAL 方案二是可行的,但是受三个主要问题的影响: 读取-修改-写入速度 一个用户态 WAL 实现每个事务需要三步:第一步、先对事务序列化,写入到日志;第二步、通过 fsync 持久化日志;第三步、执行事务内的操作 这样最终导致整个 WAL 的延迟很高,无法实现高效的 pipeline 非幂等操作 FileStore 中对象通过文件表示,对象集合会映射到目录。 在这种数据模型下,crash 之后重放 WAL 因为一些操作非幂等会导致很有难度。在 WAL 定时 trim 时,总会有一个时间窗口事务日志已经提交到文件系统但事务还没有完成(a window of time when a committed transaction that is still in the WAL has already been applied to the file system)。举个例子,考虑一个事务包含三个操作:①克隆a到b②更新a③更新c如果在第二步之后发生 crash 了,replay WAL 会破坏 b在考虑另一个例子,事务有四个操作:①更新b②将b重命名为c③将a重命名为b④更新d如果在第三个操作之后发生了 crash,重放 WAL 会破坏 a(也就是现在的 b),然后因为 a 已经不存在而失败。 基于 Btrfs 的 FileStore 通过对文件系统做周期性快照和对 WAL 做快找时间的标记来解决这一问题。当恢复时,最近的一个快照被恢复,然后 WAL 从相应时间点那一刻开始 replay。 但因为现在已经使用 XFS 来替代 Btrfs,XFS 缺乏快照带来了两个问题。首先,XFS 上 sync 系统调用是将文件系统状态落盘的唯一选择,但对一个典型的多磁盘构成的节点来说,sync 过于昂贵因为会对所有磁盘生效。这个问题已经被增加 syncfs 调用解决——只同步指定的文件系统。 第二个问题是在 WAL replay 后,恢复文件系统到指定状态会因为上面说的缺乏幂等性而产生问题。为此 Ceph 又引入了 Guards(序列号 sequence numbers )来避免 replay 非幂等操作。但庞大的问题空间导致在复杂操作下 guards 的正确性也很难验证。Ceph 通过工具产生复杂操作的随机排列,然后加上错误注入来半自动的验证正确性,但最终结果是 FileStore 的代码很脆弱而且难以维护。 双写。最后一个问题是数据会被写两次,一份到 WAL 一份到文件系统,减半了磁盘的带宽。核心原因是大部分文件系统都只对元数据修改记录到日志,允许在 crash 后丢失数据。然而 FileStore 对文件系统的使用(namespace、state)因为一些 corner case(例如对多文件部分写 partially written files)导致 FileStore 不能像文件系统一样只在日志中记录元数据修改。 尽管可以说 FileStore 这种对文件系统的使用是有问题的,但这种选择也有技术原因的。如果不这么做就需要实现数据和元数据的内存 cache 以等待 WAL 的任何更新——而内核已经有了 page 和 inode 的缓存。 方案三:使用有事务的 KV 数据库 在 NewStore 方案中,元数据保存在 RocksDB,一个有序 KV 数据库,而对象数据继续在文件系统上以文件形式表示。这样,元数据操作直接在数据库执行;数据的覆盖写被记录到 RocksDB 然后延迟执行。下面介绍 NewStore 如何解决前面说到的用户态 WAL 的三个问题,然后介绍后面因为在一个日志文件系统上运行带来的极高的一致性成本。 首先,因为 KV 数据库的接口允许我们直接读取对象状态而不需要等待上一个事务完成,从而避免了缓慢的“读取-修改-写入”。 其次 replay 非幂等操作的问题通过在准备事务时在读取侧解决。举个例子,克隆 a 到 b,如果对象比较小,那么就复制一份并插入到事务,如果对象比较大,那么就用 COW 机制,将 a 和 b 指向到同一数据,并把数据标记为只读。 最后,双写的问题也解决了,因为对象的命名空间已经和目录结构解耦,新对象的数据都会先写到文件系统然后自动添加引用到数据库。 尽管上面说了许多好处,但与 journal on journal 类似,日志文件系统与 RocksDB 的组合会带来很高的一致性开销。在 NewStore 上创建对象需要两步: 写入一个文件并执行 fsync 同步将对象元数据写入到 RocksDB,也会导致一次 fsync 理想状态下,每次 fsync会导致一次昂贵的 FLUSH CACHE 操作到磁盘。但实际上在日志文件系统上每次 fsync会带来两次 flush command:一次是写数据,一次是文件系统提交元数据日志。这样导致在 NewStore 上创建对象会产生四次昂贵的 flush操作。 下面用一个模拟测试来展示这一开销,测试方法是模拟存储后端创建大量对象,每轮会先写 0.5MB 数据然后插入 500Byte 的元数据到 RocksDB。先模拟 NewStore (在 XFS 上)的实现,然后模拟在裸盘上的实现。

kun坤 2020-04-23 19:49:36 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播