瓴羊Dataphin
瓴羊Dataphin_个人页
瓴羊Dataphin
文章
132
问答
3
视频
6
个人介绍
Dataphin智能数据建设与治理官方出口。
擅长的技术
-
发表了文章 2024-12-13
【产品升级】Dataphin V4.4重磅发布：开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级，包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能，大幅提升数据处理与资产管理效率。此外，还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术，进一步优化用户体验。
-
发表了文章 2024-11-29
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
-
发表了文章 2024-11-12
数据魔力，一触即发 —— Dataphin数据服务API，百炼插件新星降临！
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例，介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件，用于智能应用的开发，提升企业智能化应用水平。
-
发表了文章 2024-11-11
聚焦AI与BI融合，引领数智化新潮流 | 【瓴羊数据荟】瓴羊数据Meet Up城市行第一站完美收官！
当BI遇见AI，洞见变得触手可及 —— 瓴羊「数据荟」数据Meet Up城市行·杭州站启幕，欢迎参与。
-
发表了文章 2024-10-25
【企业实践】雅戈尔: 3 亿行数据表构成的“孤岛”，如何真正为决策提效?
雅戈尔通过 Dataphin 进行数据建设与治理，在业务应用过程中为决策提供依据，提升效率。
-
发表了文章 2024-10-23
【荣誉奖项】荣获2024数据治理优秀产品！瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖，本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”，助力提升全民数据素养。
-
发表了文章 2024-10-21
【产品升级】Dataphin V4.3重大升级：AI“弄潮儿”，数据资产智能化
DataAgent如何助理业务和研发成为业务参谋？如何快速低成本的创建行业数据分类标准？如何管控数据源表的访问权限？如何满足企业安全审计需求？
-
发表了文章 2024-10-09
【企业实践】在伊利，看见中国数智化的最佳样本
在伊利对外展现的不断进化的产品底层，这家国民乳制品企业已经建立起了精密、庞大的以数据中台为底层的数智化模型，真正做到了“以数据为业务导向”。 如今，这不仅是伊利的故事，更是中国一众大型供应链企业的新故事。
-
发表了文章 2024-10-09
数据治理，是时候打破刻板印象了
瓴羊智能数据建设与治理产品Datapin全面升级，可演进扩展的数据架构体系为企业数据治理预留发展空间，推出敏捷版用以解决企业数据量不大但需构建数据的场景问题，基于大模型打造的DataAgent更是为企业用好数据资产提供了便利。
-
发表了文章 2024-09-30
预算10万的数据中台大单，把我气笑了…
数据治理的新风向来了：从普惠、低成本的SaaS化敏捷版，到平滑升级可持续演进的数据体系架构，再到智能化DataAgent的加入~ 瓴羊Dataphin，让企业数据治理有更多选择，也更便捷！
-
发表了文章 2024-09-26
Dataphin中集成SelectDB以支持报表分析和API查询
本文介绍了一家零售企业如何利用SelectDB进行BI分析及数据服务API的查询。通过Dataphin的数据集成、SQL研发等功能，将CRM、ERP等系统数据汇聚加工，并推送至SelectDB构建销售数据集市层，以支持报表分析及API查询。SelectDB具备实时、统一、弹性及开放特性，适用于多种实时分析场景。文章详细描述了在Dataphin中集成SelectDB的整体方案、数据源配置、数据集成、数据开发及数据服务流程。
-
发表了文章 2024-09-23
数据源表权限：实现数据消费的精细化权限管理
为满足数据消费中单表消费的场景，Dataphin在V4.3 版本支持对MySQL和Oracle类型的数据源表进行权限管控。
-
发表了文章 2024-09-23
支持配置审计日志的存储数据库
审计日志作为企业监管平台的重要依据，同时也是“等保三级”认证的必要考察项之一。Dataphin V4.3版本支持设置平台日志的存储数据源，帮助用户快速获取审计日志，同时介绍了不同部署模式的Dataphin如何查看审计日志的方法。
-
发表了文章 2024-09-09
自动上架，助力高效资产管理和运营
Dataphin推出的资产自动上架功能，旨在解决资产运营人员手动维护和上架大量资产的繁琐工作。支持不同类型的规则配置，并提供灵活的执行配置和排序功能，从而高效管理不同特性的资产，也能有效避免冲突，助力提升工作效率，为资产运营提供了更多可能性。
-
发表了文章 2024-09-09
Dataphin功能Tips系列（23）-如何通过kafka构建实时标签
如何通过kafka构建实时标签
-
发表了文章 2024-07-31
【产品升级】Dataphin V4.2重大升级：上线敏捷版，打通数据资产管理和消费，开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台，旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中，Dataphin敏捷版上线助力企业打造轻量版数据中台，打通数据资产管理和消费，陪伴企业迈入数据高价值应用新阶段。
-
发表了文章 2024-07-29
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化，尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同，湖仓一体架构通过将数据存储和处理融为一体，不仅提升了数据访问速度和处理效率，还简化了数据管理流程，降低了资源成本。企业可以更轻松地实现数据治理和分析，从而快速决策。paimon是国内开源的，也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
-
发表了文章 2024-07-26
Dataphin推出“资产消费”功能，助力提升数据分析效率与体验
在数据驱动的时代，企业数据资产的有效管理与高效利用成为了企业数字化转型的关键。面对复杂多变的业务场景和日益增长的数据需求，如何确保数据资产的安全访问、便捷查找与灵活消费，成为众多数据平台负责人的共同挑战。Dataphin，作为一站式大数据智能建设与管理平台，在V4.2版本中全新推出“资产消费”新功能，旨在通过统一权限管理并打通 BI 平台，为企业数据资产管理与消费带来便捷体验。
-
发表了文章 2024-07-24
高效元数据采集与管理 -- Dataphin新功能助力数据驱动业务增长
Dataphin作为领先的数据开发与治理一体化平台，全新推出元数据采集与管理功能，可支持多种采集源，并能对采集到的元数据对象进行统一管理和运营，同时可对接丰富的下游应用，为企业在数据管理各个环节提供强有力的支持。
-
发表了文章 2024-07-16
基于Dataphin+Flink构建期货交易监察实时应用
新一代证券交易监察系统利用大数据和实时计算技术强化风险控制、交易数据处理、识别异常交易等能力。通过Dataphin与Flink结合，构建期货交易监察实时数据应用；借助QuickBI用于打造实时看板和预警体系，实现期货交易监察的实时可视化分析和自动化预警。
-
发表了文章 2024-06-27
Dataphin实时研发任务资源预估与资源配置
在企业用户使用Dataphin的实时研发模块时，有两个基本问题是必须考虑的： 1. 短期上线一个实时业务，需要准备多少资源？企业在未来一年中，需要提前准备多少服务器/云资源？ 2. 上线实时任务时，怎么配置需要的资源？ 本文对这两个问题做简单介绍，期望企业用户能够快速理解资源预估原理和资源配置方法。
-
发表了文章 2024-06-21
Dataphin中如何使用Hologres外表查询MaxCompute
Hologres支持通过创建外部表来加速MaxCompute数据的查询，此方法用户直接在Hologres环境中访问和分析存储在MaxCompute中的数据，从而提高查询效率并简化数据处理流程。本文将介绍在 Dataphin 产品中如何实现这一操作。
-
发表了文章 2024-06-21
Dataphin中重跑与强制重跑的区别
本文主要解析了Dataphin产品中重跑与强制重跑的区别及运行原理，推荐用户根据不同的场景选择适合的操作。
-
发表了文章 2024-06-17
行级权限登场，向繁琐的视图授权说拜拜
为了解决视图授权和维护繁琐的问题，Dataphin V4.1 推出行级权限功能，支持灵活控制不同账号对计算引擎表的可见范围，帮助统一构建数据基座的企业，实现各子公司、大区、业务部之间的数据隔离。
-
发表了文章 2024-06-17
一文入门Dataphin实时集成
Dataphin实时集成的读取和写入原理是什么？Dataphin实时集成和实时研发的区别是什么？Dataphin实时集成有哪些优势？本文一次讲清
-
发表了文章 2024-06-13
妙用Dataphin的Python三方包管理
Dataphin 中的 Python 计算任务不随意增加内置 module 是为了避免安装包过大和升级时间延长。用户可通过执行 "pip list" 或 "pip3 list" 查看内置 module 列表。 Dataphin 的 Python 环境在镜像中固定，无法用户直接修改，但 v3.14 版本起支持在线安装或上传安装三方包，预安装后在任务中显式引入。对于依赖操作系统库的 module，用户需上传包含相应程序的自定义安装包进行预安装。此外，此功能也可扩展用于管理 shell 任务所需的系统程序。
-
发表了文章 2024-06-05
【企业实践】台州银行携手瓴羊Dataphin共建数据平台，打造小微金融治理新标杆
台州银行数据治理项目携手瓴羊Dataphin，荣获中国信息通信研究院评为“2023年铸基计划高质量数字化转型典型优秀案例”、数字化研究机构沙丘社区选为“2024中国数据资产管理最佳实践案例”双重认可。
-
发表了文章 2024-06-05
DataphinV4.1大升级： 支持Lindorm开启高性价比数据治理，迎来“公共云半托管”云上自助新模式
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台，旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中，Dataphin 引入了Lindorm等多项新功能，并开启公共云半托管模式，优化代码搜索，为用户提供更加高效、灵活、安全的数据管理和运营环境，提升用户体验，促进企业数据资产的建设和价值挖掘。
-
发表了文章 2024-05-31
为API设置默认排序规则结果数据的正确性
Dataphin数据服务支持API调用时通过OrderByList自定义排序，确保数据返回符合业务需求。默认排序在API设计时至关重要，因为它影响用户体验、数据一致性及查询正确性。新版本 Dataphin 提供了排序优先级设置，允许在SQL脚本或OrderByList中指定排序，以适应不同场景。
-
发表了文章 2024-05-17
公共日历调度及数据筛选：更符合业务场景的数据产出方式！
在证券行业，数据处理和分析是核心任务之一，对于提供决策支持和市场分析至关重要。由于股市的特殊性，不同的市场（如沪深、港股等）拥有各自的交易日历，这意味着在非交易日，如周末或特定节假日，市场是关闭的，不产生任何交易数据。因此，证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度，以确保数据的准确性和实时性。
-
发表了文章 2024-05-16
再见手动编码，标准自动化编码规则来帮忙！
标准管理员小S面临数据标准编码管理的挑战：编码格式不统一、编码值不可读活相关性差，手动管理耗时易出错。Dataphin新推出“标准编码规则”功能，可以实现一次配置批量生成编码，并通过自增序列、固定字符串和所属标准集编码的组合，保证编码相关性和灵活性，同时提供了编码规则变更后的批量订正功能，大大简化管理工作。小S对此表示高度满意。
-
发表了文章 2024-04-12
Dataphin功能Tips系列（9）-Dataphin中安全的使用账号密码（2）
在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥)，如何在shell或者Python任务中安全的使用账号密码？
-
发表了文章 2024-04-03
DataphinV4.0来啦：自定义全局角色 ，实时研发覆盖全部署场景，个性化企业配置看本期
本次V4.0版本升级，Dataphin支持自定义全局角色、自定义逻辑表命名规范、Flink on K8s的部署模式，提升企业级适配能力，灵活匹配企业特色；将集成任务快速从组件模式切换为脚本模式、支持外部触发类型节点等，提升研发平台易用性，助力高效开发便捷运维。
-
发表了文章 2024-03-29
Dataphin功能Tips系列（6）-月调度周期任务补数据的业务日期选择
一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度，但是有一天调整了计算口径后希望重新计算过去几个月的销售额，此时补数据任务的业务日期应该如何选择？
-
发表了文章 2024-03-29
Dataphin功能Tips系列（7）-维表版本策略
在创建普通维度逻辑表和事实逻辑表关联维度时，如何配置维表版本策略？
-
发表了文章 2024-03-22
Dataphin 内置pyhive使用说明
Dataphin内置pyhive使用说明
-
发表了文章 2024-03-21
Dataphin实时集成Oracle CDC相关问题排查
本文档提供了Dataphin平台Oracle CDC实时集成相关问题排查指南，覆盖了权限等常见问题，旨在帮助快速定位和解决Oracle数据库变更数据捕获（CDC）集成过程中所可能遇到的技术难题，确保数据的实时、准确同步。
-
发表了文章 2024-03-20
有了 Dataphin v4.0，跨系统调度依赖再也不是难题
Dataphin v4.0引入了新的触发式节点，用于解决多数据平台间的调度问题。当上游系统（如Unix的crontab）完成数据采集后，可通过触发式节点通知Dataphin开始拉取数据，避免传统轮询方式的效率低和资源占用。触发式节点需满足Dataphin OpenAPI开通和网络连通条件，并通过SDK进行外部触发。示例展示了如何创建和使用触发式节点，以及使用Java SDK模拟触发请求。
-
发表了文章 2024-03-19
治理工作台升级，可手动录入质量问题，实现反馈有渠道、整改可跟踪
Dataphin V4.0版本升级治理工作台，支持手动录入数据质量问题，新增对“标签”对象的问题管理，并且可对问题进行分类。问题清单和整改流程也进行了优化，手动录入的问题和自动识别的问题可统一整改追踪，并提供操作记录，以增强数据质量管理的响应速度和效率。
-
发表了文章 2024-03-19
质量规则支持自定义属性，规则管理更便捷
随着企业数据治理开展到一定阶段，对质量监控规则的精细化管理诉求进一步提升，需要为质量规则配置更多属性信息以支持后续的统计的分析。Dataphin V4.0版本新增了自定义质量规则属性的能力，通过简单的配置即可实现灵活、高效的规则管理，满足多样化诉求。
-
发表了文章 2024-03-20
Dataphin补数据又双叒叕升级了，支持筛选节点类型，支持输入或粘贴节点名称批量补数据
Dataphin 4.0版本针对补数据操作进行了升级，旨在提升用户体验。在面对数据缺失问题时，如某企业因上游系统故障需紧急回刷历史数据，Dataphin提供了按节点类型筛选下游节点的功能，减少了手动操作的错误和时间消耗。对于大规模任务管理，如银行数据中心的历史数据补充，Dataphin支持按照节点名称批量补数据，提高了效率和准确性。此外，还优化了逻辑表补数据的性能，并允许配置超时任务自动重跑，以应对调度高峰。
-
发表了文章 2024-03-19
自定义全局角色，实现按岗赋权
Dataphin作为企业级数据建设和治理平台，提供了丰富的产品功能，在日常使用的过程中，如何分配权限是管理员一直关心的问题。Dataphin V4.0版本支持自定义全局角色功能，帮助管理员实现按岗赋权，使管理员能够自由配置每个角色在Dataphin中的菜单和功能权限，确保平台的权限安全。
-
发表了文章 2024-03-19
智能推荐映射关系，加速数据标准落地进程
在V4.0版本中，Dataphin推出了智能推荐映射关系功能，用户可以基于内置特征或创建自定义特征，对数据内容进行表示，并将其与数据标准关联，进而智能映射映射关系，尤其在字段分布广泛和命名多变的情况下，可以提高映射的准确性和效率，加速了数据标准实施。
-
发表了文章 2024-05-08
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能，允许任务间传递消息。输出节点（如SQL、Shell、Python任务）能输出参数，输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括：金融企业的币种转换，其中汇率任务（输出节点）提供汇率，转换任务（输入节点）使用该汇率；以及产品目录更新检查，通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数，并在运维中进行补数据操作。
-
发表了文章 2024-03-01
Dataphin功能Tips系列（2）-关联逻辑表主题式查询
关联逻辑表主题式查询
-
发表了文章 2024-02-23
【一周快讯】数据治理洞察快讯2024.02.27
第一时间了解数据治理领域的最新动态
-
发表了文章 2024-02-04
DataphinV3.14全新升级：数据研发突破全域覆盖，资产治理更加灵活可控
DataphinV3.14支持传统数据库调用，带来全新高效研发体验，及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。
-
发表了文章 2024-02-04
Dataphin公共云多租户数据源上云网络方案
通过Dataphin公共云多租户的方式，可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。Dataphin部署在阿里云上，已有的数据源部署在本地机房，因此数据上云第一步，首先要打通网络。本文将介绍本地IDC机房的数据源网络打通的不同方案。
-
发表了文章 2024-02-04
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下，企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景，但在将处理后的数据进一步同步至在线数据库系统，如ADB MySQL 3.0（阿里云自研的新一代云原生关系型数据库MySQL版）以支持实时查询、业务决策等需求时，可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度，实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中，显著提升数据迁移的速度和效率。
-
发表了文章 2024-03-29
Dataphin功能Tips系列（8）-Dataphin中安全的使用账号密码（1）
在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥)，如何在shell或者Python任务中安全的使用账号密码？
暂无更多信息
-
发表了文章
2024-12-13
【产品升级】Dataphin V4.4重磅发布：开发运维提效、指标全生命周期管理、智能元数据生成再升级
-
发表了文章
2024-11-29
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
-
发表了文章
2024-11-20
Dataphin的数据共享的应用场景和方案
-
发表了文章
2024-11-18
API明细日志及运维统计日志全面提升API可运维性
-
发表了文章
2024-11-12
数据魔力，一触即发 —— Dataphin数据服务API，百炼插件新星降临！
-
发表了文章
2024-11-11
聚焦AI与BI融合，引领数智化新潮流 | 【瓴羊数据荟】瓴羊数据Meet Up城市行第一站完美收官！
-
发表了文章
2024-11-06
Hadoop集群管理：向繁琐的计算源创建Say ByeBye
-
发表了文章
2024-10-25
【企业实践】雅戈尔: 3 亿行数据表构成的“孤岛”，如何真正为决策提效?
-
发表了文章
2024-10-23
【荣誉奖项】荣获2024数据治理优秀产品！瓴羊Dataphin联合DAMA发布数据管理技能认证
-
发表了文章
2024-10-21
【产品升级】Dataphin V4.3重大升级：AI“弄潮儿”，数据资产智能化
-
发表了文章
2024-10-17
Dataphin功能Tips系列（28）-跨节点参数
-
发表了文章
2024-10-17
Dataphin功能Tips系列（26）-事实逻辑表配置数据延迟
-
发表了文章
2024-10-17
Dataphin功能Tips系列（31）-自定义资源组
-
发表了文章
2024-10-17
Dataphin功能Tips系列（29）-计算任务版本对比/版本回滚
-
发表了文章
2024-10-17
Dataphin功能Tips系列（30）-限流配置
-
发表了文章
2024-10-17
Dataphin功能Tips系列（27）-排他编辑锁
-
发表了文章
2024-10-09
【企业实践】在伊利，看见中国数智化的最佳样本
-
发表了文章
2024-10-09
数据治理，是时候打破刻板印象了
-
发表了文章
2024-09-30
预算10万的数据中台大单，把我气笑了…
-
发表了文章
2024-09-26
Dataphin中集成SelectDB以支持报表分析和API查询
滑动查看更多
-
回答了问题
2024-12-13
dataphin的合作企业有哪些？
瓴羊Dataphin 提供企业级数据建设、治理、消费的一体化平台能力，在消费零售、工业制作、互联网、金融等行业拥有较为丰富的行业经验和大规模数据实时调用分析的处理能力，目前在各行各业落地实践并获得企业一致认可。合作案例请参考：https://www.lydaas.com/cases赞59 踩0 评论0 -
回答了问题
2024-12-13
最近产品的版本发布的功能有哪些？
您好，产品最新发布版本详细内容请参考https://developer.aliyun.com/album/170 也可以加入Dataphin钉钉群交流哦（搜索群号：23381533）赞57 踩0 评论0 -
回答了问题
2024-10-18
Dataphin这个数据库产品无法链接到maxcompute，怎么解决？
需要看下具体原因哈，可以扫码加入Dataphin答疑群帮点对点解决——钉钉群号：23381533赞0 踩0 评论0
滑动查看更多
-
【企业实践】河股份：一块屏管理8000+ 经销商发布时间：2024-11-13 20:58:14 视频时长：1分25秒 播放量：59组织数字化：洋河借助瓴羊Dataphin、Quick BI，构建了四个层级的组织架构，即“总部- 事业部- 分办- 业务员”，形成业务洞察横纵数字互通。每个层级既可以横向洞察业务运营状态，出现问题时，还可以纵向 -
【企业实践】销量破千万，这家车企看到了40岁货车司机的痛点发布时间：2024-11-13 20:56:06 视频时长：2分53秒 播放量：46行业中，有这么一家“隐形冠军”走在前列：成立于1996年的北汽福田，连续19年拿下国内商用车销量第一、连续13年海外出口商用车销量第一，拥有品种齐全、规模庞大的商用车产品，2021年成为中国汽车工业史上首个销量突破千万辆的商用车企。 -
【企业实践】在伊利，看见中国数智化的最佳样本发布时间：2024-10-30 17:03:20 视频时长：3分28秒 播放量：56伊利的数智化实践样本 -
【企业实践】雅戈尔：5年造数据中台，最高节省70%日常精力发布时间：2024-10-24 10:35:55 视频时长：2分1秒 播放量：65“数据中台从来不是昙花一现或脑门一热的项目，必须是一个长期过程。”————王歆（雅戈尔集团CIO） -
【产品能力】Dataphin·DataAgent发布时间：2024-10-23 19:18:18 视频时长：2分9秒 播放量：43让每个数据人都拥有专属智能体。 -
【产品能力】Dataphin智能数据建设与治理发布时间：2024-10-23 19:14:19 视频时长：3分46秒 播放量：64瓴羊企业数智服务旗下核心数据管理产品，由阿里巴巴数据中台创始团队打造，十余年实战方法论植入，致力于解决企业数据口径不一致的问题，从设计、开发、运营、消费提供全链路保障，助力企业实现标准、规范、统一、融通的大数据体系。
滑动查看更多