传统企业从零搭建数据平台 - 日记20251215

简介: 前公司裁员后,我加入传统企业从零搭建数据中台,推进AI Agent建设。经历线上技术面试与三轮线下考核,初期完成数据摸排、API优化,并自学Django。目前聚焦营销与财务数据,逐步深入业务,推动数据体系完善。(238字)

由于前外企公司退出,我们公司全员被裁,我也经历了一段时间,最终入职了一家传统企业,担任大数据开发,从零搭建数据中台,最终辅助建立企业的AI Agent。

面试流程

线上初面是一位人工智能的博士,担任技术总监,他也懂大数据。

我的自我介绍就是做过传统Java Spring Boot ETL;然后数据量增大和实时性要求,使用了Flink;最后加入市场风控压力测试项目,使用spark+hive进行数据风险计算和入库。他觉得比较合适,然后给了通过

线下是3轮面试,分别和一位高管,财务和数据工程师,IT工程师面试。其中遇到了一些有点尖锐的问题,就是数据分层挺好的,但是数据量不大,为啥需要大数据spark。其实后来了解,还有些高分子的数据,这些数据量其实很大。


工作的第一周

和我同一天入职的有数据总监。第一天,数据总监就上传了整体的技术架构 spark+Iceberg;而我上传了公司现有的技术栈,一个很简陋的文档。

趁着提交培训材料的机会,我预约了和技术总监的两周一次的One One talk。


我的第一份工作

我的第一份工作是完善全公司的数据摸排,就是统计数据量,数据类型,当前问题和数据例子。通过打电话

其实我挺不喜欢打电话的。索性后来数据总监说做的还行。如果这份工作做的再好一点,应该再总结出来公司部门之间的数据关系,但是这又需要打电话,我觉得很有压力。不确定是不是还要做再好一些,还是这样就可以了。

另外,对接了一个化学分析的项目,任务是提升一个API的性能,目前这个API比较慢,需要JOIN别的表,还需要计算text distance,转结构。我需要了解Django,因为之前没做过。和这个同事一起我是有所学习的,Django的debug,setup,约定优于配置。

因为还没有服务器,我在本地搭建了spark,iceberg等。


我同事做的事情

我同事直接去接触财务数据了,他是了解了数据层,存储过程等。


我需要提升的地方

技术总监和数据总监说要准备营销数据,他就主动牵头开了会,做了数据收集列表,完成了计划

技术总监和我说希望我做财务数据,我却等待。最终因为我被压了数据摸排和化学分析事情。但是我觉得还有时间,慢慢来吧。我会继续接触财务数据的。

未来还有搭建平台,需要学的还不少。


相关文章
|
1月前
|
人工智能 运维 监控
JMeter自搭与压测平台:2025年效率成本对比及平台推荐
2025年企业性能测试需求增长,自搭JMeter与SaaS压测平台在效率、成本等方面差异明显。自建方案灵活但成本高,适合技术强团队;SaaS平台即开即用、弹性资源,适配快速迭代场景。文章对比两者痛点、主流方案优劣,给出选择建议及实践参考。
|
1月前
|
存储 人工智能 安全
无影GPU云电脑,焕新升级!
在AI与3D技术爆发时代,阿里云「无影云AI工作站」以RTX 5880 Ada GPU打造云端超级终端,提供192GB显存、4K低延迟体验,支持实时渲染、AIGC、数字人直播。全球11地部署、按需付费、数据加密安全可控,免本地硬件投入,让创意与科研高效前行。
|
1月前
|
人工智能 物联网 测试技术
ModelScope魔搭社区发布月报 -- 25年12月
魔搭社区12月重磅更新DeepSeek 3.2、Mistral-3等模型,Z-Image-Turbo引领文生图生态,平台全面升级加速开源模型落地。
275 8
|
30天前
|
SQL 关系型数据库 数据库
Postgresql入门之psql用法详解(一)- 命令行参数详解
`psql` 是 PostgreSQL 的命令行客户端,支持交互式或批量执行 SQL 查询。它提供丰富的元命令、脚本自动化、格式化输出(如 CSV、HTML)、连接 URI/服务配置及 LDAP 集成,并可通过命令行选项控制连接、事务与错误处理,适用于日常操作与系统管理。
|
1月前
|
消息中间件 人工智能 NoSQL
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
基于 RocketMQ SDK 实现了 A2A 协议的 ClientTransport 接口(部分核心代码现已开源),并与 AgentScope 框架深度集成,共同构建了全新的 A2A 智能体通信基座,为多智能体应用提供企业级、高可靠的异步协同方案。
366 50
|
17天前
|
人工智能 数据处理 API
TextIn大模型加速器+火山引擎: 文档结构化数据处理工具扣子智能体工作流创建指南
合合信息联合火山引擎推出TextIn xParse插件,助力企业高效处理合同、财报、发票等非结构化文档。通过coze平台创建智能体工作流,结合大模型实现图表、表格精准解析,支持API调用与多场景应用,广泛适用于金融、制造、电商等领域,提升数据处理效率,推动AI工程化落地。(239字)
197 0
TextIn大模型加速器+火山引擎: 文档结构化数据处理工具扣子智能体工作流创建指南
|
1月前
|
SQL 分布式计算 架构师
数据湖不是湖,是江湖:Delta Lake / Iceberg / Hudi 到底该选谁?
数据湖不是湖,是江湖:Delta Lake / Iceberg / Hudi 到底该选谁?
161 2
|
17天前
|
人工智能 监控 数据可视化
企业常用的BI工具有哪些?2026主流BI工具对比分析
本文盘点国内10款主流BI工具,从数据源支持、核心功能、部署模式等维度对比分析,重点解读瓴羊Quick BI、Tableau、Power BI等产品优势,结合企业选型常见问题,提供实战选型建议,助力数据驱动决策。