vivo 湖仓架构的性能提升之旅
聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。
在 **即席分析** 场景，StarRocks 使用占比达 70%，查询速度提升 3 倍，P50 耗时从 63.77 秒缩短至 22.30 秒，查询成功率接近 98%。
在 **敏捷 BI** 领域，StarRocks 已完成 25% 切换，月均查询成功数超 25 万，P90 查询时长缩短至 5 秒，相比 Presto 提升 75%。
在 **研发工具平台** 方面，StarRocks 支持准实时数据查询，数据可见性缩短至 3 分钟，查询加速使 P95 延迟降至 400 毫秒，开发效率提升 30%。
如何在IDE中通过Spark操作Hive
通过以上方法和代码示例，你可以在IDE中成功通过Spark操作Hive，实现大规模数据处理和分析。确保理解每一步的实现细节，应用到实际项目中时能有效地处理各种复杂的数据场景。
StarRocks 在爱奇艺大数据场景的实践
本文介绍了爱奇艺大数据OLAP服务负责人林豪在StarRocks年度峰会上的分享，重点讲述了爱奇艺OLAP引擎的演进及引入StarRocks后的显著效果。在广告业务中，StarRocks替换Impala+Kudu后，接口性能提升400%，P90查询延迟缩短4.6倍；在“魔镜”数据分析平台中，StarRocks替代Spark达67%，P50查询速度提升33倍，P90提升15倍，节省4.6个人天。未来，爱奇艺计划进一步优化存算一体和存算分离架构，提升整体数据处理效率。
基于云服务器的数仓搭建-hive/spark安装
本文介绍了在本地安装和配置MySQL、Hive及Spark的过程。主要内容包括：
- **MySQL本地安装**：详细描述了内存占用情况及安装步骤，涉及安装脚本的编写与执行，以及连接MySQL的方法。
- **Hive安装**：涵盖了从上传压缩包到配置环境变量的全过程，并解释了如何将Hive元数据存储配置到MySQL中。
- **Hive与Spark集成**：说明了如何安装Spark并将其与Hive集成，确保Hive任务由Spark执行，同时解决了依赖冲突问题。
- **常见问题及解决方法**：列举了安装过程中可能遇到的问题及其解决方案，如内存配置不足、节点间通信问题等。