1. 文档解构数据引擎:大数据生态是一个拆开的数据库一个数据库把存储、页格式、事务、系统目录、日志和执行器封在一个进程里;大数据生态把它们拆成对象存储、文件格式、表格式、Catalog、流存储和计算引擎,每一层都是独立的开源组件,靠公开的规范拼在一起。本文先把 HDFS、Parquet、Iceberg、Kafka、Spark、Flink、Doris 这些常用组件放回它们在数据库里对应的那一块,再在本机用 RustFS、Iceberg、REST Catalog 和 DuckDB 搭一个最小的湖仓,跟着一次写入和一次查询走一遍:查 10 月 21 日晚高峰各城市的销售额,在 60 MB 的表里只读了 0.9 MB。最后看拆开的代价。
  2. 文档数据湖:从 Hive 表到湖表,变了什么数据湖是放在对象存储上、用开放的表格式组织、可以被多种引擎读写的表。和传统的 Hive 表相比,它带来四个变化:能按行更新,不用每天全量重算;能流式提交,数据从 T+1 变成分钟级;元数据里带着统计信息,OLAP 引擎直接查湖表,湖仓一体;表格式成为开放标准,批、流、AI 共用同一份数据。本文用一张订单表走完这四个变化,说清数据湖是什么、解决了什么问题、带来了什么,也说清它的代价。
  3. 文档Fluss:重塑实时开发实时数仓的很多麻烦,根子在中间层用的 Kafka 是为事件流设计的,而实时业务大多是分析场景。本文从这个错配出发,看面向分析的流存储 Fluss 如何用主键表、部分列更新、Delta Join、全局字典、存储层聚合和湖流一体,把原本压在 Flink 状态里的工作交还给存储。