简单高效,解决问题
写在前面:最近有些抵触写东西,总感觉自己没有清晰的表达思路和专业的知识体系,写的东西都是更偏向个人经验的一家之谈;之前总想着把文章结构做好,图片做好,表达做好,这样能更容易让大家理解,可以让更多的人接受所要表达的观点;但是,这样写太痛苦了,似乎是为了达到某种结果而刻意为之。。。最终还是回归表达的本质,传播思路和想法,把这个说清楚就可以了,不管是三言两语还是长篇大论,让看到的人能知道有这么一种观点和
背景:正在做一个odps查询相关的工具,使用sofaboot引入odps的sdk,一切都很顺利,之前技术验证的代码都是跑通的;然后,引入配置文件获取配置信息,再启动。。。就出现了下列的错误:Exception in thread "main" com.aliyun.odps.ReloadException: No such object. at com.aliyun.od
更新: 内部olap工具终于来了 https://deepinsight.alipay.com/index.htm#/list/self-analysis ----------------------------------------------------- 最近一年在蚂蚁接触了很多的数据分析需求,会用到各种交付工具,总的来说是非常方便的,唯一一个没有找到最佳实践的需求场景是OL
场景:境外银行作为第一家云上银行,不同区域和环境采用阿里云主账号进行隔离,不同的子账号登录态无法共存或者切换,工作中需要频繁进行工作环境切换时就需要先退出再重新登录,非常繁琐,且容易造成混乱,引起不必要的误操作问题。经安全大佬 @先本 指导,利用chrome的多身份功能,完美解决~分享给大家,希望可以帮助大家提高工作效率启用chrome多身份:1、打开chrome浏览器,点击用户头像,点击添加按钮
背景:因近期境外银行业务全面提速,各种业务项目、建站项目并行推进,数据团队数据资产建设的需求也接踵而至,但我们一直跟随业务快速开发迭代,数据资产特别是中间层资产缺少统一的方法指导,造成各个项目负责同学被动建设,数据资产无法体系化,为后续使用和维护上带来很多困难,所以本次先从数仓建模方法方面为大家进行简单的总结介绍,希望帮助大家形成相对统一的数仓建模方法论。常见的两种数仓建模理论:【维度建模】维度建
背景:当一个新的数据仓库、数据集市从零开始建设时,我们通常会纠结如何按照经典的数仓分层理论进行设计,然后按照经验规范进行所有的开发工作;但从实际开发过程中,会发现这种思路类似建设一个大型系统,想在设计阶段就把各种需求考虑完整,然后再花时间统一建设,这种思路需要非常完整的专家领域经验及建模方法论,对人员及时间的要求非常高,不适合当前快速发展的业务需要,所以我们需要对数仓建设的敏捷实践进行探索。数据层
基本概念:数据资产质量:是指数仓数据资产表的质量,包含表的设计质量、开发质量、产出质量;设计质量:指资产表在业务数据链路中的定位是否合理,信息覆盖与整合是否达到要求;开发质量:指资产表在数据开发编码过程中,是否遵循约定的开发规范,数据加工逻辑是否正确;产出质量:指资产表对应任务的产出时间是否符合预期,产出结果数据是否达到要求;影响因素:信息因素:开发人员是否了解资产表的具体需求目标,是否了解具体的
数据资产的质量管理
数据资产特别是中间层资产缺少统一的方法指导,造成各个项目负责同学被动建设,数据资产无法体系化,为后续使用和维护上带来很多困难,所以本次先从数仓建模方法方面为大家进行简单的总结介绍,希望帮助大家形成相对统一的数仓建模方法论
一个新的数据仓库、数据集市从零开始建设时,我们通常会纠结如何按照经典的数仓分层理论进行设计,然后按照经验规范进行所有的开发工作;但从实际开发过程中,会发现这种思路类似建设一个大型系统,想在设计阶段就把各种需求考虑完整,然后再花时间统一建设,这种思路需要非常完整的专家领域经验及建模方法论,对人员及时间的要求非常高,不适合当前快速发展的业务需要,所以我们需要对数仓建设的敏捷实践进行探索
OLAP工具的使用场景与设计思路,现有的这些工具基本上都无法直接给到需求方使用;所以特地总结一下olap相关的一些工具设计思路,希望能给平台产品有些帮忙。
数据仓库数据管理与治理实践经验总结