我的职业生涯
作为一个一直学纯数学的同学,在被迫转硕后不得不思考今后的人生:换个学校继续读博,但不想再浪费时间;直接去当个高中老师,但尚未实现自身的价值;因为一直对计算机比较感兴趣,最终决定换个方向从头开始,希望在接受社会的毒打后能够证明自己的价值。本篇文章将记录职业生涯一路走来的点点滴滴~
自学:2019-01~2019-07
在得知转硕的结果到最终毕业其实只有一年的时间,只在大一学过的一点C语言等计算机基础知识早已遗忘,但从高中开始一直自学的我相信:
只要明确整个知识框架,具体细节对一个学数学的人来说不是问题~
于是通过网络找寻各种资料,开启了半年宅寝室的学习之旅:
从基础开始
编程语言
人生苦短,我用Python
数据结构与算法
数据结构与算法-Python语言描述: 基于Python语言讲解
Algorithms-illuminated: 斯坦福经典课程
操作系统
鸟哥的Linux私房菜:通俗易懂
计算机网络
计算机网络(第7版) 谢希仁:全面系统
应用
前端
HTML/CSS/JavaScript:内容/样式/交互
后端
Flask Web开发实战:从学习到实战
数据库
MySQL:SQL Is All Your Need
数据
数据采集
Python3网络爬虫开发实战:知识的综合运用
数据分析
Python for Data Analysis:利用Python处理数据
大数据
大数据技术原理与应用:大数据技术简要介绍
AI
机器学习
深度学习
神经网络与深度学习:理论要扎实
Python深度学习:上手实践
深度学习理论与实战:提高篇:跟上AI的发展
NLP
统计自然语言处理: 这本书我真的看过吗》
知识图谱:Things Not Strings
工具: 工欲善其事,必先利其器
oh my zsh
vscode
git
conda
docker
面试
半年的时间,有了一个大概的框架,一份毫无含金量的简历,以及多了一个胖成球的人。。
校招:2019-08~2019-10
专业不对口,没有实习经历,也不喜欢背八股文以及刷算法题,在一次次地失败后一度陷入了自我怀疑中:
提前批:不用笔试,凭着教育背景还可以直接参与面试
iHandy(后端):第一次面试,10分钟就把我请了出去
美团(算法):面试官教我如何面试
阿里(算法):总算撑过了完整的1小时面试,但技术细节没有说清楚
正式批:前期笔试都通过不了,积累经验后才有了一些面试机会
百度(算法):被质疑文凭了
字节(后端):两次机会都没有抓住
华为(算法):面试官帮我进入下一轮面试
到了10月底,我还没拿到任何一家公司的offer,不过还好老天最后给我开了一扇窗。这个时候网易将我调剂到了测试开发的职位上,意外地很顺利就通过面试,然后很快就拿到了意向书。悬着的心终于可以放下了,感谢网易游戏给了我这样一个机会,来到了广州开启了我的职业生涯~
网易:2020-01~2023-05
试用期:2020-01~2020-05
学数学给人的第一印象应该做算法,所以试用期交给我的任务就是实现动捕数据自动修复算法:
而当时正值疫情居家办公期间,组内之前也没有做过类似工作,接受到这个任务后,还是按照之前学生的思维:独自查阅相应资料熟悉背景,看论文比较不同方案,缺少了和需求方的交流。因为对深度学习的方法也没有什么经验,最终只是复现了一个矩阵补全的算法,编写了个插件把整个流程跑通了,通过了试用期。
但其实这个插件也没有用起来,因为动捕软件更新后推出了自动修复数据的功能。后续也发现网易AI LAB也做了相应的工作,看来还是得专业的人来做专业的事~
探索期:2020-05~2020-12
接着被安排做数据中台的项目,但之前部门并没有做过什么数据相关的工作,对数据中台没有清晰的概念,所以做了很多探索性的工作,在一些场景里摸着石头过河:
奖励监控:对比了业界许多异常检测的方法后,对美团外卖订单量预测异常报警模型照猫画虎,调包Prophet简单跑通了个流程。但老板们对进度不太满意,没有继续研究下去了,虽然后面才知道做算法,其实最关键的是做好特征工程,而当时的我却忽略了这一点。
支付转化:算是做大数据的开始吧,但其实最开始采用的是从ELK上拉数据到本地,然后用Python分析的方案。后面才接触到公司的大数据组件,成为了一个SQL Boy,做了点数仓建设的工作。但其实这件事最大的成功点是数据挖掘,找到了之前计费、用户体验等部门都没有注意到的价值。
性能报表:其实就是一个工具人,做了一段时间API开发,但也算是之前自己做后端工程师的想法得到了满足。
成长期:2021-01~2022-06
之后天降猛男,来了个总监级别的大佬,新成立中台部门,招了一些专业的人来做专业的事,带来了新的协同与组织关系。而这时的我也不满足于做一个SQL Boy,开始学习Java,用Flink进行实时开发:
奖励监控:利用Flink开发出了一个动态规则引擎,可以让业务人员自由地配置告警规则,实时生效。期间不断地查阅技术文档、开源代码、优化方案,算是第一次有了自己比较满意的技术实现。
安全中台: 不断引入新技术来解决业务问题:引入Flink SQL来解决数据倾斜的问题;引入PyFlink算法策略部署问题;引入Flink AI FLow来解决AI工程化的问题等。围绕着Flink生态做出了一些创新的工作。
这一段时间感觉每天都在学习成长,业务在不断发展,工作做着很开心,职级也三连跳,这算是梦想的职场生活了吧~
迷茫期:2022-07~2023-05
但好景不长,随着互联网行业降本增效之风席卷而来,业务的发展方向和我的个人兴趣出现了分歧,对自己的职业规划产生了迷茫,团队里看不到想做的事情。经过长时间的思考后,还是决定再去外面看一看,我的网易生涯就暂时告一段落了:
社招:2023-02~2023-05
这个时候我依然抱着学习的心态,我觉得我的职业生涯还没有定型,还是可以做任何事。但社招主要看是否合适 ,企业已经没有耐心再花时间培养了:
网易雷火:内部机会,不太合适,需要后端经验。
字节:依然两次机会:第一次不太合适,离线数仓经验欠缺;第二次关注的Flink技术点不一致。
拼多多:实时场景可能还有些欠缺,算法题也没有回答上来。
其实我觉得仅通过几次面试并不能了解一个人的特点,这就是我开始写文章记录自己所思所想的部分原因。 虽然发现像证券、基金这些公司对我这种教育背景不错,有大厂经历的人感觉还不错,但我还是想再学点技术。于是我完全没有给自己留后路地来到了杭州,希望可以继续在大数据领域中深入~
蚂蚁:2023-06~2024-05
离线数据:2023-06~2024-01
虽然转换了行业和技术,但来到了专门做数据的部门,确实数据做得比较成熟,有很多可以学习的地方:职业划分比较细,每个方向上都有比较深的沉淀;金融业务对数据要求高,非常注重数据质量和合规;数据体量大,业务场景也足够复杂等。但做了一段时间后,发现自己的工作集中在取数工具人和历史包袱治理上,技术上也重新回到了SQL boy,没有什么沉淀和价值感,找不到兴趣点。
不过好在这边转岗比较方便,我发现当我听到湖仓一体的时候,我本能的就比较感兴趣,于是我又回到了实时技术中,开启了新一段旅途。
实时数据:2024-01~2024-05
由于实时涉及的组件众多以及其状态计算等独特性,和离线其实有较大差异,但其实也算是回归到老本行,在适应了下相应的技术栈后,也可以很快上手。同时也有机会利用数据湖技术来重塑实时研发范式,实现降本增效,看起来似乎是回归到理想的职业发展轨道上来了?
但对于数据研发职业发展而言,要么更深入底层,做数据平台或引擎的开发,要么更贴近上层,利用数据驱动业务发展。而我由于非科班出身,又做上层数据应用多年,所以更适合将我定义为一个问题解决者:综合利用数据等技术手段系统地解决业务问题。同时由于一直没有找到价值感,所以我再次踏上了新的征程,寻找一个更适合自我发展机会~
字节:2024-06~至今
从广州网易到杭州蚂蚁再到北京字节,一路向北,命运又让我回到了曾经跌倒的城市,但这次是忧是喜,就得让子弹飞一会儿了~
未完待续
机缘巧合下进入了大数据领域,并逐渐建立起了自己的知识体系,貌似已经习惯了打工人的生活。但其实我依然没有变,还是像之前学数学一样,针对一个问题,喜欢不断寻求更好地解法。然而在工作中,可能更需要立体的思考,形成一套解决方案。如何将爱好特长和工作结合起来,发挥出自己的全部潜能,这是一个需要我持续探索的问题。