基于头脑风暴优化的模糊PI控制系统simulink建模与仿真
本课题基于头脑风暴优化（BSO）算法，对模糊PI控制系统的参数进行优化。BSO是一种模拟人类集体创新过程的群体智能算法，通过种群个体生成与更新寻找最优解。研究利用MATLAB2022a实现Simulink建模与仿真，优化模糊规则权值，提升控制器性能。核心目标包括缩短调整时间、减小稳定后的抖动。仿真设置为1s，但运行速度较慢。最终通过BSO算法获取最优参数并应用于系统控制，实现性能提升。
StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案，针对万亿级日志数据的写入与查询挑战，提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据，结合StarRocks高效计算能力，实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施，解决高并发、大数据量下的查询效率问题。最终，日志查询耗时从分钟级降至秒级，显著提升业务响应速度，并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
实时开发IDE！数据开发效率开挂
杭州奥零数据科技有限公司成立于2023年，专注于数据中台业务，维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务，支持AI大模型应用，助力企业高效利用数据价值。
Amoro + Flink CDC 数据融合入湖新体验
本文总结了货拉拉高级大数据开发工程师陈政羽在Flink Forward Asia 2024上的分享，聚焦Flink CDC在货拉拉的应用与优化。内容涵盖CDC应用现状、数据入湖新体验、入湖优化及未来规划。文中详细分析了CDC在多业务场景中的实践，包括数据采集平台化、稳定性建设，以及面临的文件碎片化、Schema演进等挑战。同时介绍了基于Apache Amoro的湖仓融合架构，通过自优化服务解决小文件问题，提升数据新鲜度与读写平衡。未来将深化Paimon与Amoro的结合，打造更高效的入湖生态与自动化优化方案。
Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持
Apache Flink CDC 3.4.0 版本正式发布！经过4个月的开发，此版本强化了对高频表结构变更的支持，新增 batch 执行模式和 Apache Iceberg Sink 连接器，可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交，优化了 MySQL、MongoDB 等连接器，并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈！
【赵渝强老师】Scala编程语言
Scala 是一种集成面向对象与函数式编程特性的多范式语言，运行于 Java 平台并兼容 Java 程序。学习 Scala 为掌握 Spark 和 Flink 打下基础。本文通过视频讲解及代码示例，展示如何用 Scala 在 Spark 和 Flink 中实现 WordCount 程序，包括环境配置、数据处理及输出操作，帮助理解其实际应用。
构建数据中枢：数据中台指标体系如何赋能企业运营
杭州奥零数据科技有限公司成立于2023年，专注于数据中台业务，维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务，支持AI大模型应用，助力企业高效利用数据价值。
Flink x Paimon 在抖音集团生活服务的落地实践
本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享，聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分：背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon，解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题，显著提升了开发运维效率、节省资源并增强了任务稳定性。同时，文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用，并介绍了其核心技术优化与未来规划。
实时开发平台，为企业数据开发难题配备“智能导航”
杭州奥零数据科技有限公司成立于2023年，专注于数据中台业务，维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务，支持AI大模型应用，助力企业高效利用数据价值。