由于前外企公司退出,我们公司全员被裁,我也经历了一段时间,最终入职了一家传统企业,担任大数据开发,从零搭建数据中台,最终辅助建立企业的AI Agent。
面试流程
线上初面是一位人工智能的博士,担任技术总监,他也懂大数据。
我的自我介绍就是做过传统Java Spring Boot ETL;然后数据量增大和实时性要求,使用了Flink;最后加入市场风控压力测试项目,使用spark+hive进行数据风险计算和入库。他觉得比较合适,然后给了通过
线下是3轮面试,分别和一位高管,财务和数据工程师,IT工程师面试。其中遇到了一些有点尖锐的问题,就是数据分层挺好的,但是数据量不大,为啥需要大数据spark。其实后来了解,还有些高分子的数据,这些数据量其实很大。
工作的第一周
和我同一天入职的有数据总监。第一天,数据总监就上传了整体的技术架构 spark+Iceberg;而我上传了公司现有的技术栈,一个很简陋的文档。
趁着提交培训材料的机会,我预约了和技术总监的两周一次的One One talk。
我的第一份工作
我的第一份工作是完善全公司的数据摸排,就是统计数据量,数据类型,当前问题和数据例子。通过打电话
其实我挺不喜欢打电话的。索性后来数据总监说做的还行。如果这份工作做的再好一点,应该再总结出来公司部门之间的数据关系,但是这又需要打电话,我觉得很有压力。不确定是不是还要做再好一些,还是这样就可以了。
另外,对接了一个化学分析的项目,任务是提升一个API的性能,目前这个API比较慢,需要JOIN别的表,还需要计算text distance,转结构。我需要了解Django,因为之前没做过。和这个同事一起我是有所学习的,Django的debug,setup,约定优于配置。
因为还没有服务器,我在本地搭建了spark,iceberg等。
我同事做的事情
我同事直接去接触财务数据了,他是了解了数据层,存储过程等。
我需要提升的地方
技术总监和数据总监说要准备营销数据,他就主动牵头开了会,做了数据收集列表,完成了计划
技术总监和我说希望我做财务数据,我却等待。最终因为我被压了数据摸排和化学分析事情。但是我觉得还有时间,慢慢来吧。我会继续接触财务数据的。
未来还有搭建平台,需要学的还不少。