关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

简介: 随着互联网、云计算、物联网、社交网络等技术的兴起和普及,全球数据的增长快于任何一个时期,可以称作是爆炸性增长。收集大量数据,并在数据中发现趋势,能使企业能够更快、更平稳、更有效地发展。然而,大数据对许多企业和数据专业人员来说,它仍然很难理解,那么,什么是大数据分析?如何利用阿里云数加平台进行海量数据分析,帮助企业更好地利用数据资源?“天德π客”众创空间特举办本期论坛——“基于阿里云的大数据实践——海量日志分析”,邀请华北电力大学电力系统及其自动化博士,阿里云大数据高级认证讲师宋亚奇主讲。

随着互联网、云计算、物联网、社交网络等技术的兴起和普及,全球数据的增长快于任何一个时期,可以称作是爆炸性增长。收集大量数据,并在数据中发现趋势,能使企业能够更快、更平稳、更有效地发展。然而,大数据对许多企业和数据专业人员来说,它仍然很难理解,那么,什么是大数据分析?如何利用阿里云数加平台进行海量数据分析,帮助企业更好地利用数据资源?“天德π客”众创空间特举办本期论坛——“基于阿里云的大数据实践——海量日志分析”,邀请华北电力大学电力系统及其自动化博士,阿里云大数据高级认证讲师宋亚奇主讲。现将论坛活动相关事宜通知如下:

一、论坛题目:基于阿里云的大数据实践——海量日志分析

二、主讲嘉宾:宋亚奇(华北电力大学电力系统及其自动化博士,阿里云大数据高级认证讲师)

三、主办单位:华北电力大学大学科技园

                           “电谷E创”众创空间

四、论坛地点:大学科技园(朝阳北路与北二环路口西北)5号楼101

五、论坛时间:2017年4月12日(星期三)

                           上午9:30—11:30

六、论坛安排:

9:30-11:00  基于阿里云的大数据实践——海量日志分析

11:00-11:30 现场互动

七、论坛提纲:

    1、阿里云数加平台介绍

(1)MaxCompute介绍

(2)DataIDE介绍

(3)QuickBI介绍

    2、数据采集

(1)本地数据同步

(2)RDS数据同步

    3、数据加工——用户画像

(1)数据建模

(2)工作流设计

(3)工作流调度与测试

    4、数据分析展现:可视化报表及嵌入应用

(1)数据源配置

(2)编辑数据集

(3)制作工作表

(4)制作仪表板

(5)报表发布

八、联系方式:

联系人:武华双

电 话:0312-3370051 

邮 箱:hddxkjy@163.com

九、其它事项:

         为使论坛有序进行,请参加单位于4月12日前将参会人员回执表(附件二)及时报至联系人邮箱。

附件一:讲师介绍

附件二:参会人员回执表

 

                        保定华电天德科技园有限公司

                                               2017年3月31日

附件一、 讲师介绍

      宋亚奇,华北电力大学电力系统及其自动化博士,阿里云大数据高级认证讲师。

      北京云顶云科技有限公司技术顾问,天津小猫科技有限公司大数据技术专家。培训的客户包括中国邮政研究院、中国电信,保险交易所,sys cloud以及多家阿里云合作伙伴公司。

      主要研究方向为阿里云云计算技术、大数据处理技术以及云计算技术在电力系统中的应用。专长于应用阿里云MaxCompute、数加平台、Stream Compute等技术解决大数据存储、并行数据处理、流式数据处理以及大数据可视化等问题。深度理解阿里云OSS、ECS、MaxCompute、数加平台、EMapReduce等服务,熟悉JAVA SDK以及API编程。

      近年来参与国家自然科学基金项目1项,主持中央高校科研业务专向资金资助项目3项,参与“输变电设备监测流式大数据的快速处理存储及分析技术”、“面向智能电网的输电线路在线监测与诊断系统”等国家电网公司的研究课题多项,发表的论文成果主要包括:《中国电机工程学报》(EI(JA),2015,35(2):255-267),《电网技术》(EI(JA),2013,37(4):927-935)、《电工技术学报》(EI(JA),2013,28(2):337-344)、《电力自动化设备》(EI(JA),2013,33(10):150-156)、《计算机科学》(中文核心,2013,40(1):81-84)等刊物以及POWERCON2014国际会议论文集(EI,1331-1337)。

附件二:

参会人员回执表

单位名称


联系人


电 话


出席会议人员名单

姓 名

部 门

职 位

手 机













参会人员回执表请于4月12日前发送至邮箱hddxkjy@163.com



相关文章

《云数据·大计算:海量日志数据分析与应用》Workshop-入口


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
2044 76
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
2806 23
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
1463 1
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
3642 126
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
1426 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
637 1
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
2593 267
云上数据安全保护:敏感日志扫描与脱敏实践详解
|
Web App开发 存储 监控
iLogtail 开源两周年:UC 工程师分享日志查询服务建设实践案例
本文为 iLogtail 开源两周年的实践案例分享,讨论了 iLogtail 作为日志采集工具的优势,包括它在性能上超越 Filebeat 的能力,并通过一系列优化解决了在生产环境中替换 Filebeat 和 Logstash 时遇到的挑战。
907 121
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
1379 43
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
1417 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute