• 关于

    什么是大数据

    的搜索结果

问题

【精品问答】大数据技术、大数据计算五十问第一期

问问小秘 2019-12-01 21:51:57 100 浏览量 回答数 1

问题

【精品问答】大数据面试合集五十问-第二期

问问小秘 2019-12-01 21:55:01 56 浏览量 回答数 1

问题

【精品问答】大数据计算技术1000问

问问小秘 2019-12-01 21:57:13 6895 浏览量 回答数 2

Quick BI 数据可视化分析平台

2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

问题

对大数据平台中的元数据管理是怎么理解的,元数据收集管理体系是怎么样的,会对大数据应用有什么样的影响

Runt 2020-04-14 18:23:15 1 浏览量 回答数 1

回答

目前大数据基本是用java的。不过java要必要转大数据吗,看起来就不太懂大数据。 大数据其实分很多领域:有基础组件、有大数据业务系统、也有机器学习等。 就看题目理解的大数据是什么,想做什么。

封神 2020-03-22 12:16:14 0 浏览量 回答数 0

回答

4V 第一个V——高容量 这个最好理解,数据量一定要大,才好意思称自己为大数据嘛。大到什么程度呢?依目前行情来看,至少也要到TB级,很多案例都是PB甚至更高。但如果是GB级,非说自己是大数据也不是不可以,就是有点无颜见江东父老啊…… 第二个V——多样化 这个很关键了!是区别于以往海量数据挖掘的最主要特征。它有两层含义,一是数据来源多样化,系统数据、设备日志、传感器、文件系统等等来源。二是数据结构多样化,这是核心特征!要包含结构化数据、非结构数据(包括所谓半结构化数据)。 总结起来就是,多源异构。这就是为什么有人认为使用NoSQL数据库(如MongoDB)就是大数据了,因为满足了多样化的特征,但其实还不够。 第三个V——高速 即时效性,基本上至少也要达到亿级数据一秒查询,做的比较好的可以达到千亿级数据一秒查询。这个特征几乎决定了传统技术架构无法满足要求,因此Hadoop架构的出现催化了大数据的发展,也是有人认为Hadoop就是大数据的原因。 第四个V——价值 这个很好理解,数据一定要有价值、而后才能产生价值。就好比存商品的叫才能仓库,存垃圾的叫垃圾填满坑一样。没价值的数据就像一个垃圾填满坑,这也是为什么数据治理在大数据实施中非常重要的原因之一。 最后,也是最重要的,以上4个V是逻辑与的关系,即需同时、注意是同时满足上述四个特征,就可以放心的说自己是大数据了!

33128992 2019-12-02 03:11:10 0 浏览量 回答数 0

回答

什么时候要分页? 当表中数据量大的时候就应该考虑分页什么时候要有limit限制?同上什么时候可以直接痛快的获取全部数据?当表中数据量不大的时候可以一次取所有数据读取20条数据和读取5000条乃至更多的数据,性能上肯定是20条更快的。而且这个快,不光体现在数据库上,还体现在网络上的传输过程中(数据量小传得当然快),页面的渲染中(数据量少展示页面就更快)。另外,即使你一次展示5000条数据,但用户绝大多数情况下也就能看到二三十条,并不会将5000条全看完,所以多余的数据也就是浪费的。如果是小型元素(比如只有文字,或者信息量较少的元素),单页量设置在100以下。如果是大型元素(信息量大,带图文一类的),单页量最好控制在30以下。

a123456678 2019-12-02 03:02:58 0 浏览量 回答数 0

回答

1.什么时候要分页? 当表中数据量大的时候就应该考虑分页2.什么时候要有limit限制? 同上3.什么时候可以直接痛快的获取全部数据? 当表中数据量不大的时候可以一次取所有数据读取20条数据和读取5000条乃至更多的数据,性能上肯定是20条更快的。而且这个快,不光体现在数据库上,还体现在网络上的传输过程中(数据量小传得当然快),页面的渲染中(数据量少展示页面就更快)。另外,即使你一次展示5000条数据,但用户绝大多数情况下也就能看到二三十条,并不会将5000条全看完,所以多余的数据也就是浪费的。如果是小型元素(比如只有文字,或者信息量较少的元素),单页量设置在100以下。如果是大型元素(信息量大,带图文一类的),单页量最好控制在30以下。

蛮大人123 2019-12-02 01:46:27 0 浏览量 回答数 0

问题

实时计算 Flink是什么?

李博 bluemind 2019-12-01 20:26:47 707 浏览量 回答数 1

问题

[@talishboy][¥20]对于大数据

1686544233885091 2019-12-01 19:29:18 1685 浏览量 回答数 2

问题

利用大数据技术做营销推广是种什么体验

青丝入流年 2019-12-01 19:23:16 1655 浏览量 回答数 1

问题

大数据是什么 前景如何

康康——康 2019-12-01 20:17:34 952 浏览量 回答数 1

问题

什么是云计算?什么是大数据?二者有何联系?

游客zjzrwaq6vobbi 2019-12-21 11:39:37 33 浏览量 回答数 1

问题

是否需要将 MySQL 换成 MongoDB?

李博 bluemind 2019-12-01 19:37:23 370 浏览量 回答数 1

回答

大数据可以说是人工智能的前序步骤,也可以当成子集。 大数据可以理解为大的excel,你在excel做的所有操作,都和大数据中做的类似,这些结果可以作为特征输入模型中,这种情况下是人工智能的前序步骤。 大数据也可以直接当做人工智能的子集。比如,微信每年出的报告,今年中国有多少亿人聊了什么,最火热的话题是什么,这些可以直接在一个大的excel里面做出来,不需要模型辅助,在这方面,大数据是宽泛人工智能意义上的子集。

1296995534731106 2020-03-13 16:27:04 0 浏览量 回答数 0

问题

请问如何对大数据进行排序?

我的中国 2019-12-01 19:45:38 1228 浏览量 回答数 3

回答

刚开始我也有些奇怪,为什么没有这种书,为什么学不会。 后来才明白,python不需要数据结构。因为它已经的几个结构,特别是list和dict几乎可组合成所有想要的结构。 大部分算法,python里都有了。 如果是专门的算法需要自己写。 java也是一样。所以算法与数据结构适合C语言。C++开始也需要一些。现在大部分语言都不需要“算法与数据结构”这样的书了。 但是算法+数据结构=程序,这个规则没有变。特别是数据结构的设计,是一个高深的技艺。

boxti 2019-12-02 01:22:54 0 浏览量 回答数 0

问题

【精品问答】智能数据构建与管理 Dataphin

montos 2020-04-08 14:22:27 2 浏览量 回答数 1

问题

[@小川游鱼][¥20]云计算与分布式微服务系统有什么区别?

月下丶 2019-12-01 19:27:14 1492 浏览量 回答数 2

回答

对于大多数互联网公司或者工程师而言,大数据实际上只有一个意思,就是把一堆乱七八糟的数据扔到 HDFS 上面然后进行计算。计算的工具有很多,最常见的是 Map-Reduce,但是技术一直在演进,现在还流行 Impala、Spark、Presto 什么的。对于这些搞大数据的工程师而言,这是一个非常好的事情,因为要把这么多异构的数据和系统跑起来,需要很多人写很多代码,还需要有人来做运维。这么一个部门总得需要几十台机器否则还不如单机计算能力强,工程师也得有十来人。然后可能还需要数据分析师,否则这部门跟摆设也没什么区别。如果系统做得不错数据量也有了,总得配个数据科学家搞点数据挖掘或者机器学习什么的吧。所以大数据这件事情可以解决很多就业问题,毕竟很多上了规模的互联网公司都想搞大数据。 但是对于消费者或者互联网所谓的“用户”来说,大数据却是另外一个意思。大数据的意思就是尽可能地搜集跟终端消费者相关的隐私,然后进行营销。从理论上说,大数据公司通过搜集用户行为,可以更好地了解消费者的需求,增强用户体验。但是在实践上,这些所谓的智能推荐还停留在很初级的阶段,因此会有人在淘宝上搜索棺材结果在微博上不停地看到跟丧葬相关的广告。对于微博这样的公司,还意味着它会倾向于通过直接或者间接地暴露你的隐私来获得商业利益。据说,评价一家国内公司的大数据能力是跟被查水表的频繁程度正相关的。就目前而言,大数据对于终端消费者更多的是“被实名”。举一个例子,如果你在 Android 手机上使用 Facebook 账号访问某个 App,那么对不起,你在这个手机上的所有行为都有可能被 Facebook 关联到你真实的身份上。在这种能力上,国内的三巨头排序大概是 T > A >> B。所以最后这家公司的 App 特别流氓甚至超越了数字公司,如果你想帮帮这家公司就多用用他家的地图或者订点外卖。

1748847708358317 2019-12-02 03:11:08 0 浏览量 回答数 0

问题

【教程免费下载】Python数据分析与挖掘实战

沉默术士 2019-12-01 22:07:58 1710 浏览量 回答数 2

问题

数据库三大范式是什么?

剑曼红尘 2020-03-31 10:25:37 0 浏览量 回答数 1

问题

现在公司有数据统计分析的需求,数据库是云数据库 rds版(MySQL 5.6 ),比如我们有学校这个主体,要统计学校每年新增、毕业多少人及占总人数的比例等等。我现在应该开通什么服务。我们已经在用rds数据库,数据库中最大表有千万条数据,每天写入有十万左右,其他大部分表的数据库有几十万条;展现的话,希望能在网页上通过图表的形式展示

祁同伟 2019-12-01 20:21:36 2340 浏览量 回答数 1

问题

大数据 比你更懂自己

柚子 2019-12-01 21:40:32 5650 浏览量 回答数 0

问题

什么是教育大数据平台(天机)?

北山大仙 2019-12-01 20:10:08 985 浏览量 回答数 1

问题

大数据工程师和算法工程师的区别是什么

知与谁同 2019-12-01 20:13:12 731 浏览量 回答数 1

问题

你眼里的大数据是什么?

茶什i 2019-12-01 21:54:45 377 浏览量 回答数 3

问题

是否需要将 MySQL 换成 mongoDB

蛮大人123 2019-12-01 19:48:57 1264 浏览量 回答数 1

回答

第一种:1.方便拓展。2.查询不慢。在user_id上建索引或者user_id和key联合索引,查询并不慢,数据量大上去了也还能分表处理。3.方便开发,程序的语义比第二种好,该拿什么数据拿什么数据。而第一种难免纠结于是否直接select *。第二种是大表啦。做数据分析用,还是可以的。哈。看你和这些数据之间是啥关系了。维护还是分析。

小旋风柴进 2019-12-02 02:04:20 0 浏览量 回答数 0

回答

很好奇是什么数据啊,5G大啊,,,这么大的数据不适合做文本分析了吧,,,,,###### 引用来自“明月惊鹊”的评论很好奇是什么数据啊,5G大啊,,,这么大的数据不适合做文本分析了吧,,,,, 那要怎么做呢? ######1g的文件也太大了吧,没有服务器的话也跑不动啊######大文档使用sax等基于事件的流分析器######什么意思呢?是想化整为零地分割成五个1G的文件分别处理后再合并结果,还是在说别的什么。难道不能借助数据库来做么,而且,只需做过一次这样的处理工作,以后你再处理100GB的XML也不是问题嘛。###### 引用来自“程序猿可爱多”的评论1g的文件也太大了吧,没有服务器的话也跑不动啊 用服务器跑的。。现在是需要把一个5g的分成100份用多线程跑数据到数据库中。但是,只是拆分的时候,解析完,表示读取到了1/5的数据。。######拆分的话得看具体的格式了,要是一条记录拆到两个文件就尴尬了###### 引用来自“wharf_zhang”的评论 什么意思呢?是想化整为零地分割成五个1G的文件分别处理后再合并结果,还是在说别的什么。难道不能借助数据库来做么,而且,只需做过一次这样的处理工作,以后你再处理100GB的XML也不是问题嘛。 拆分,,把5个的拆分,因为源数据都是放在xml中,所以要读数据到数据库中。######当然是一边读一边写数据库,不会一次读入到内存。######回复 @wharf_zhang : 不会有那么大的内存支持啊######不拆分,一次读入数据库不行么###### 引用来自“huan”的评论 大文档使用sax等基于事件的流分析器 解析我做了,现在我需要做的就是拆分xml的问题 ######能解析的话就简单了,记下几个内部节点的开始和结束行号,写个脚本直接复制那几行到新文件里去###### 我还是自己用流读取的方式,分割了文件。。。分成了50M一个的大小的xml...然后用了gc,对于程序工作到一定时候,进行了回收处理。外层则用线程控制。 有一点补充,前面那个解压的问题,是内存占用的问题。内存不够,就可能产生这种现象。 现已经解决。谢谢各位

kun坤 2020-06-06 16:10:28 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板