工作的这五年 作者回顾了数学专业转向技术领域的五年职业历程,从广州到杭州再至北京,涉足游戏、金融、广告行业的大数据应用领域。初期通过自学技术克服经验不足,逐步构建大数据体系认知,经历离线数仓建设与实时场景开发的技术转型。工作中探索SQL工具外的灵活解决方案,应对数据治理与资源效率的挑战,并深入流批一体技术实践。面对职业瓶颈时,强调技术沉淀与业务价值平衡,持续在实时计算、跨语言开发等领域尝试创新。文章反思职业定位 2025-01-12 人生 #总结
我的职业生涯 作为一个一直学纯数学的同学,在被迫转硕后不得不思考今后的人生:换个学校继续读博,但不想再浪费时间;直接去当个高中老师,但尚未实现自身的价值;因为一直对计算机比较感兴趣,最终决定换个方向从头开始,希望在接受社会的毒打后能够证明自己的价值。本篇文章将记录职业生涯一路走来的点点滴滴~ 2023-11-01 人生 #职业#总结
我所了解的Flink 工作后做了一段时间的SQL BOY,但从20年底开始不满足于现状,正好业务也有越来越多的实时需求,所以开始学习实时计算。从Java写起到回归SQL再到结合Python的探索,算是对Flink有了一定程度上的了解,本文将回顾个人学习经历,供自省与借鉴~ 2023-10-21 数据 #Flink#总结
我的数学生涯 曾经问过自己为什么选择数学,当时给出的答案是因为除了数学其他什么也不会。记忆里对数学一直很感兴趣,一路学到了中国的最高殿堂,只可惜最后迷路了,没有坚持下去。但一路走来,有过欣喜,有过悲伤,值得记录一下沿途的风景~ 2023-10-21 人生 #数学#总结
你本可以发现谱序列——Timothy Y.Chow 本文旨在通过“自发现”的视角,揭示谱序列(spectral sequence)的本质与动机,消除其因复杂符号和索引带来的学习障碍,并展示其如何从过滤复形的自然分解中逐步涌现。 2025-03-30 数学 #翻译
湖流一体:重塑实时开发 传统实时架构依赖Kafka与Flink组合存在多重瓶颈:Kafka缺乏数据去重能力与高效查询支持,数据回溯成本高且网络开销大;Flink面临状态管理和回撤机制挑战。湖流一体架构通过Flink+Paimon+Fluss技术栈实现突破,采用SinkUpsertMaterializer处理Changelog乱序,借助主键Partial更新与外键Delta Join优化双流关联,利用Lakehouse的U 2025-03-08
北京定居那些事 一个人自由自在,可以毫无顾虑地从广州到杭州再到北京,但如果想稳定地在一个城市生活,就不得不走上买房买车之路。对于一个已经工作五年、迈入而立之年、初来乍到的普通人,还有机会在北京这座生活成本高的城市安定下来嘛? 2025-02-09 人生 #教程
大数据组件 作为数据开发人员,可能已经接受了SQL Boy的自嘲,但了解背后大数据技术的发展历史,形成知识框架,也算是往前了一步。本文就结合自身的经历,谈一谈对大数据常用组件的认识,希望可以在不同的场景选择合适的技术方案。 2024-09-17 数据 #总结
计算广告:互联网商业变现的市场与技术 一切付费的信息、产品或服务的传播渠道,都是广告——广告主通过媒体达到低成本的用户接触;而计算广告的核心问题是为一系列用户和上下文的组合找到最合适的广告投放策略以优化整体广告活动的利润。 2024-05-08 读书笔记 #总结