Syntomic

数据目录
  1. 文档从数仓到多模态：哪些数据直觉要改做过数仓的人，对数据的直觉是一行几百字节、SQL 扫一遍做聚合、按天分区回溯。多模态数据把这些直觉逐一打破：一行 99% 是图像和视频，训练要随机抽样而不是扫描，模型一升级就要给全表加列，加工的主力是解码和 GPU 推理，「像不像」成了一种查询，关联靠时间而不是主键。本文逐条讲清这六处差异、数仓的做法为什么不够，以及 Lance、Daft 这类新工具分别接手了哪一处；分层、质量规则、血缘这些经验则可以照搬。
  2. 文档Lance：为随机读、加列和版本而设计多模态数据有三处差异落在存储上：训练要随机抽样，模型一升级就要给全表加列，「像不像」成了一种查询。为扫描聚合设计的 Parquet + Iceberg 正好不擅长这三件事。本文讲 Lance 的三个核心原理：把列式文件的最小读取单位做小，用片段、清单和版本让加列只写新列，以及在表里直接建向量索引。
  3. 文档Daft：让解码和推理流起来多模态数据的加工主力从 SQL 换成了解码和模型推理：解码在 CPU，推理在 GPU，模型要常驻显存，解码后的图像比压缩前大十几倍。为 SQL 设计、分阶段落盘的引擎在这里处处别扭。本文讲 Daft 的做法：图像和向量是原生类型，算子可以声明要几张 GPU、开几个常驻实例，各阶段流式执行；再用一个可调参数的实验找流水线的瓶颈。
  4. 文档例子：机器人数据闭环走一圈把前三篇放回一个真实场景：20 台双臂机器人做抓取和放置，新策略上线后在透明玻璃杯上频频失手。本文跟着一轮数据闭环走一圈：多路传感器怎样按时间对齐成明细表，数据怎样入湖、打标、算向量，再用失败案例做向量检索挖出难例，生成下一版可复现的训练集。每一步都对照数仓里熟悉的做法。