Presto性能优化
Presto性能优化
查询速度慢, 如何优化?
解决方法1: 避免单节点处理
虽然Presto是分布式查询引擎, 但是一些操作是必须在单节点中处理的. 例如:
count(distinct x)
考虑使用approx_distinct(x)代替
但是需要注意这个函数有个大约在2.
开源大数据周刊-第14期
大数据人才状况；大数据平台相关：数据采集、数据指标的量化、大数据平台建设的选型；性能优化相关：hive、hbase、jvm gc的优化；
有Mysql数据库的情况下为什么要用Hive？
最近接到公司的一个需求，要求使用Hive做数据查询。当时第一反应就是What？Hive是什么鬼？一脸懵逼状。（请原谅一个刚开始实习的Java实习生见识短浅）然后发现了hive的一些问题。下面简单介绍一下Hive
Mysql异常'SET OPTION SQL_SELECT_LIMIT=DEFAULT'
在用hive时遇到这样的一个异常，因为hive的元数据是存储在mysql数据库中，所以对于hive表的操作相应的会操作数据库中表的数据，该问题发生于删除表的时候，创建的时候并未产生该异常。经过查阅资料了解到mysql通过jdbc链接的时候会进行测试'SET OPTION SQL_SELECT_LIMIT=DEFAULT',但是5.6以后的版本弃用了set的方式。
