工作的这五年
作者数学专业毕业，因考试失利转向技术领域，自学后端、算法等知识进入大数据应用。五年间从广州到杭州再到北京，服务于游戏、金融、广告行业，参与数据中台建设，从离线SQL开发到实时处理（如Flink、OLAP引擎），探索流批一体方案。面临数据治理、效率与质量平衡等挑战，强调技术实践与问题解决能力。职业发展注重从点到面思考，坚持钻研细节，追求基于兴趣的统一架构演进，在数据价值挖掘中成长。
我的职业生涯
作为一个一直学纯数学的同学，在被迫转硕后不得不思考今后的人生：换个学校继续读博，但不想再浪费时间；直接去当个高中老师，但尚未实现自身的价值；因为一直对计算机比较感兴趣，最终决定换个方向从头开始，希望在接受社会的毒打后能够证明自己的价值。本篇文章将记录职业生涯一路走来的点点滴滴~
我所了解的Flink
工作后做了一段时间的SQL BOY，但从20年底开始不满足于现状，正好业务也有越来越多的实时需求，所以开始学习实时计算。从Java写起到回归SQL再到结合Python的探索，算是对Flink有了一定程度上的了解，本文将回顾个人学习经历，供自省与借鉴~
我的数学生涯
曾经问过自己为什么选择数学，当时给出的答案是因为除了数学其他什么也不会。记忆里对数学一直很感兴趣，一路学到了中国的最高殿堂，只可惜最后迷路了，没有坚持下去。但一路走来，有过欣喜，有过悲伤，值得记录一下沿途的风景~
大数据性能调优
分布式计算中数据倾斜问题可通过增加资源和针对性调优解决。文章以SQL示例展示关联操作中处理无意义Key和热点Key的方法，如空值随机打散和热点Key复制；聚合操作采用两阶段聚合分散热点。JOIN优化策略包括Hash Join的Broadcast、Shuffle、Bucket Shuffle、Colocate方式及Runtime Filter应用。总结强调大数据量级下需深入理解数据分布和引擎特性进行
SQL Is All Your Need：SQL2API
数据开发人员通常使用BI工具创建报表，但定制数据产品需API服务，涉及后端工程。SQL2API模式通过SQL直接生成API，将前端参数映射到动态SQL查询，返回JSON结果，提升效率。工具如Dataphin支持此功能，复杂业务可通过DAG编排处理。需明确职责分工：数据开发负责轻逻辑数据服务，后端处理复杂业务服务。
你本可以发现谱序列——Timothy Y.Chow
本文旨在通过“自发现”的视角，揭示谱序列（spectral sequence）的本质与动机，消除其因复杂符号和索引带来的学习障碍，并展示其如何从过滤复形的自然分解中逐步涌现。
湖流一体：重塑实时开发
传统实时架构中，Kafka和Flink组合存在不支持去重、查询能力弱、数据回溯困难、状态过大和网络成本高等问题。湖流一体方案通过Flink、Paimon和Fluss集成，优化changelog处理、减少状态依赖、降低回溯成本，并实现流批一体的增量计算，重塑实时开发流程，提升效率与性能。