游客dew6wbsuwerqa_个人页
游客dew6wbsuwerqa
文章
2
问答
1181
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
2022年03月
-
03.28 19:45:05
回答了问题
2022-03-28 19:45:05
云服务器是什么?
赞0 踩0 评论0 -
03.28 19:43:48回答了问题
2022-03-28 19:43:48
如今哪些大型企业都在使用ECS服务器?
赞0 踩0 评论0 -
03.28 19:37:52回答了问题
2022-03-28 19:37:52
1. 传统服务器的缺点是什么？
赞0 踩0 评论0 -
03.17 00:39:04
提交了问题
2022-03-17 00:39:04
-
03.17 00:38:22提交了问题
2022-03-17 00:38:22
-
03.17 00:37:09提交了问题
2022-03-17 00:37:09
-
03.17 00:35:08提交了问题
2022-03-17 00:35:08
-
03.17 00:34:05提交了问题
2022-03-17 00:34:05
-
03.17 00:33:08提交了问题
2022-03-17 00:33:08
-
03.17 00:31:56提交了问题
2022-03-17 00:31:56
-
03.17 00:30:51提交了问题
2022-03-17 00:30:51
-
03.17 00:28:28回答了问题
2022-03-17 00:28:28
ARMS应用监控是什么？
赞0 踩0 评论0 -
03.17 00:25:40提交了问题
2022-03-17 00:25:40
-
03.17 00:23:54提交了问题
2022-03-17 00:23:54
-
03.17 00:23:02提交了问题
2022-03-17 00:23:02
-
03.17 00:21:59提交了问题
2022-03-17 00:21:59
-
03.17 00:20:24提交了问题
2022-03-17 00:20:24
-
03.17 00:19:25提交了问题
2022-03-17 00:19:25
-
03.17 00:17:58提交了问题
2022-03-17 00:17:58
-
03.17 00:16:49提交了问题
2022-03-17 00:16:49
-
03.17 00:15:16提交了问题
2022-03-17 00:15:16
-
03.17 00:14:14提交了问题
2022-03-17 00:14:14
-
03.17 00:12:09提交了问题
2022-03-17 00:12:09
-
03.17 00:03:41提交了问题
2022-03-17 00:03:41
-
03.17 00:02:57提交了问题
2022-03-17 00:02:57
-
03.17 00:01:54提交了问题
2022-03-17 00:01:54
-
03.16 23:58:54提交了问题
2022-03-16 23:58:54
-
03.16 23:57:59提交了问题
2022-03-16 23:57:59
-
03.16 23:56:58提交了问题
2022-03-16 23:56:58
-
03.16 23:55:45提交了问题
2022-03-16 23:55:45
-
03.16 23:54:31提交了问题
2022-03-16 23:54:31
-
03.16 23:53:12提交了问题
2022-03-16 23:53:12
-
03.16 23:52:07提交了问题
2022-03-16 23:52:07
-
03.16 23:51:10提交了问题
2022-03-16 23:51:10
-
03.16 23:50:12提交了问题
2022-03-16 23:50:12
-
03.16 23:49:12提交了问题
2022-03-16 23:49:12
-
03.16 23:48:15提交了问题
2022-03-16 23:48:15
-
03.16 23:47:15提交了问题
2022-03-16 23:47:15
-
03.16 23:46:15提交了问题
2022-03-16 23:46:15
-
03.16 23:45:16提交了问题
2022-03-16 23:45:16
-
03.16 23:44:11提交了问题
2022-03-16 23:44:11
-
03.16 23:43:10提交了问题
2022-03-16 23:43:10
-
03.16 23:41:57提交了问题
2022-03-16 23:41:57
-
03.16 23:40:49提交了问题
2022-03-16 23:40:49
-
03.16 23:39:29提交了问题
2022-03-16 23:39:29
-
03.16 23:38:28提交了问题
2022-03-16 23:38:28
-
03.16 23:37:10提交了问题
2022-03-16 23:37:10
-
03.16 23:36:10提交了问题
2022-03-16 23:36:10
-
03.16 23:34:39提交了问题
2022-03-16 23:34:39
-
03.16 23:33:57回答了问题
2022-03-16 23:33:57
云拨测是什么？
赞0 踩0 评论0
-
提交了问题
2022-11-01
spark 的架构是什么样的呢？
-
回答了问题
2022-11-01
RDD中的DataFrame有什么特点吗？
1.分布式数据集合2.内存中结构化的表3.带有Schema信息4.更丰富的API 5.从不同的数据源获得数据(SQL/Hive/MongoDB/JSON/CSV/RDD/.….赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD中stage内部为什么要尽可能多地包含具有窄依赖关系的transformations操作呢？
每个阶段stage内部尽可能多地包含一组具有窄依赖关系的transformations操作，以便将它们流水线并行化（pipeline)。边界有两种情况:一是宽依赖上的Shuffle操作;二是已缓存分区。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD转换或者动作时出现stage 是什么意思啊？
RDD在做转换或者动作时，分stage进行，Stage 之间的依赖关系则形成了有向无环图，Spark 会根据 RDD 之间的依赖关系将 DAG 图划分为不同的阶段赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD中的窄依赖有什么特点吗？
因为每一个RDD只对应其前面RDD的一个分区，如果其前面的RDD 丢失，窄依赖只需计算丢失RDD的父分区，不同节点间可以并行计算，能更有效地进行节点的恢复。赞0 踩0 评论0 -
回答了问题
2022-11-01
如果是两个RDD的表在进行合并，合并的基础是什么？
如果是两个RDD的表在进行合并，合并的基础是这两个表都用某种hash算法做分区。因为是用hash算法来做的，所以有关相同用户的数据只会出现在相同的区。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD中的宽依赖有什么特点吗？
宽依赖往往意味着Shuffle操作，可能涉及多个节点的数据传输，当RDD分区丢失时，Spark会对数据进行重算。 宽依赖中，重算的子RDD分区往往来源自多个父RDD分区，其中只有一部分数据用于恢复，造成了不必要的冗余，甚至需要整体重新计算。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD动作中的Wide Dependencies是什么意思呢？
Wide Dependencies是宽依赖，就是父RDD的每个分区都可能被多个子RDD分区所使用。因为没有分区，需要把所有数据拿出来做合并。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD动作中的Narrow dependencies 是什么意思呢？
Narrow dependencies是窄依赖，也就是父RDD的每个分区只被子RDD的一个分区所使用，例如 map, union等等。赞0 踩0 评论0 -
回答了问题
2022-11-01
如果数据在一个大的RDD中不做分区，怎么样对一个记录用户订阅信息的表周期性的合并、查询？
如果带分区，就会把该分区用一定的逻辑去处理，Spark知道其为哈希分区，在执行join时会利用这一信息。赞0 踩0 评论0 -
回答了问题
2022-11-01
数据在一个大的RDD中不做分区，如何对一个记录用户订阅信息的表周期性的合并、查询呢？
数据在一个大的RDD中，不做分区，join操作不知道数据集中的主键如何分区，userData需要周期性地进行Hash并Shuffle，即使其没发生任何变化。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD中为什么会有 Shuffle这个动作产生呢？
因为RDD可能在多个集群上进行的，所以其操作会有一个Shuffle的动作，以及每一个map在执行时，会按照指定的逻辑，将他们产生的结果写到不同的地方。并且会有不同的Reduce去读不同的地方。赞0 踩0 评论0 -
回答了问题
2022-11-01
Spark程序的流程是什么样的啊？
基本流程示例 -从外部数据创建一些作为输入的RDD -使用类似filter之类的变换来定义出新的RDD -要求Spark对需要重用的任何中间RDD进行persist -启用类似count之类的动作进行并行计算赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD 动作中的count有什么作用吗？
count是计算RDD里面元素的数量，例如下面的代码： print 'Input had” + badLinesRDD.count() + 'concerning lines'赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD 动作中的reduce是怎么执行的啊？下面的代码是什么意思呢？
reduce的意思是对于RDD里面的元素x和y，计算x+y，这是一个lambda表达式，也就是把一维数组中的元素全部加起来得到一个值sum，这个值就不再是一个RDD（就是一个单一的值）。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD 变换中的union方法是如何使用的？
union的意思是把两个RDD 合在一起，用法如下： badLinesRDD = errorsRDp.union( warningsRDD)赞0 踩0 评论0 -
回答了问题
2022-11-01
以下有关过滤这个动作的代码是什么意思呢？
filter是在过滤，代码中有一个输入的RDD，对于该输入RDD里面的每一个元素，过滤其中包含error的元素，并放在一个errorRDD中，包含warning的放在warningsRDD中。赞0 踩0 评论0 -
回答了问题
2022-11-01
以下使用了flatMap方法的代码是什么意思？
有两个字符串，对于lines里的每一个元素，对line的每一个元素断开，断开后会产生一个结果，但是不想得到像二维数组一样的结果赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD 变换中的flatMap 动作有什么作用吗？
为每个输入元素产生多个输出元素（不是产生一对一的元素），例如下面的代码，有两个字符串，对于lines里的每一个元素，对line的每一个元素断开，断开后会产生一个结果，但是不想得到像二维数组一样的结果，所以用 flatMap。flat就是摊平的意思，也就是把元素断开后摊平变成一维数组一样的RDD。赞0 踩0 评论0 -
回答了问题
2022-11-01
RDD 变换中的map 如何使用？
例如下面的代码： nums = sc.parallelize([1，2，3，4]) squared = nums.map( lambdax * x).collect() map 这个动作中执行的操作是自己写的，最终是要产生一个新的RDD。也就是对nums这个RDD里面包含的四个值计算，对x计算为x*x，然后把结果放在一个集合类中，返回squared这样一个RDD。赞0 踩0 评论0
滑动查看更多
暂无更多信息