Dataphin功能Tips系列
67内容
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
448 5
Dataphin功能Tips系列(58)- 支持OAuth2.0认证方式的API数据源
在数据集成过程中,Dataphin需通过API从外部系统获取数据,而这些系统常采用动态令牌鉴权机制。本文介绍如何在Dataphin中配置支持OAuth 2.0认证的API数据源,实现自动获取和刷新访问令牌,确保安全高效地进行数据请求与集成。
297 8
Dataphin功能Tips系列(8)-Dataphin中安全的使用账号密码(1)
在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥),如何在shell或者Python任务中安全的使用账号密码?
472 1
Dataphin功能Tips系列(8)-Dataphin中安全的使用账号密码(1)
Dataphin功能Tips系列(65)-如何实现StarRocks外表到目标库的血缘链路可视化
客户需将StarRocks外部Catalog数据写入内部Default Catalog目标库,并希望在Dataphin中查看内表上游血缘信息以实现全链路追踪。由于Dataphin目前不支持直接采集StarRocks外部Catalog元数据,可通过以下方式实现:在Dataphin中创建StarRocks数据源并配置采集任务,开发时使用三段式表引用格式,在SQL任务中自动解析血缘信息,最终在资产清单中查看血缘关系。
280 0
Dataphin功能Tips系列(61) -空间名称变量:代码零改动实现开发与生产隔离
在数据开发中,为避免测试任务影响生产数据,开发者常通过“_dev”后缀区分环境,但发布时需手动修改代码。使用“空间名称变量”功能,可自动根据运行环境替换项目名,无需手动调整,实现开发与生产的无缝切换,提升效率与准确性。
264 8