阿里云“网红"运维工程师白金:做一个平凡的圆梦人 | 9月11号栖夜读
今天的首篇文章,讲述了:他是阿里云的一位 P8 运维专家,却很有野心得给自己取花名“辟拾(P10)”;他没有华丽的履历,仅凭着 26 年的热爱与坚持,一步一个脚印踏出了属于自己的技术逆袭之路;他爱好清奇,练就了能在 20 秒内从20000个像素块里找出不同颜色像素的“特异功能”;他乐观豁达,一言不合就讲段子的性格让他成为身边同事的“开心果”;临近不惑之年的他,经历过很多故事,但他在用自己的行动向这个世界诠释着什么是 IT 工程师告别平庸的“不惑生活”。
打造更适合IoT场景的消息队列实践
随着接触客户越来越多,也越来越颠覆了我对“传统队列”(kafka、rocketmq、rabbitmq...)的看法。 当然本文不是说“传统队列”做得不好, 这些队列系统经过多年打磨,在高性能、海量堆积、消息可靠性等诸多方面都已经做得非常极致了,都做得非常的优秀。 但今天我觉得大家在设计方案时动不动任何一个异步、系统解耦等就来选用队列,然后线上又频繁出一些问题,这些问题的背后我们得看看到底什么场景适合、什么场景过渡使用了、有没有更好解法, 尤其今天IoT领域场景复杂,既有面向自身SAAS业务又要承担多租户PAAS平台化模式,面临更多的队列方面问题,拿来和大家讨论分享。
Kylin查询源码分析
什么是Kylin
Apache Kylin是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
Kylin的查询高性能主要依赖于Cube理论,如图所示:
它将表字段划分为维度和量度,通过预先计算,在维度上进行量度聚合并保存聚合结果,而根据
Hive、Hbase、mysql的区别
1、Hive和HBase的区别
1)hive是sql语言,通过数据库的方式来操作hdfs文件系统,为了简化编程,底层计算方式为mapreduce。
2)hive是面向行存储的数据库。
3)Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑。
4)HBase为查询而生的,它通过组织起节点內所有机器的內存,提供一個超大的內存Hash表 。
5)hbase不是关系型数据库,而是一个在hdfs上开发的面向列的分布式数据库,不支持sql。
6)hbase是物理表,不是逻辑表,提供一个超大的内存hash表,搜索引擎通过它来存储索引