1Raw source sample
SOURCE:TUM 原始 RGB 视频;16-bit depth 是 Raw supervision,Dataset Report 不展示 heatmap target。
2任务定义
| 字段 | 候选值 |
|---|---|
| 分类 | A 理解与标注 |
| 下游领域 | 具身机器人 |
| Input | 原始 RGB 视频;16-bit depth PNG 仅作为 Raw supervision |
| Target | 固定 meter range 的彩色热力图;invalid pixels 保持黑色 |
| Prompt | Convert the RGB sequence into a temporally consistent metric-depth heatmap. |
| 评价重点 | 像素对应、固定色标、无效值处理、跨帧无色阶跳变 |
3为什么不重复
任务输出是稠密的逐像素几何标注,不是 RGB 语义分割、单目深度“估计”,也不是障碍告警。这里的核心是把已有传感器真值规范化成稳定的视频监督目标。
4源数据与标定
| 项目 | 值 |
|---|---|
| Sequence | rgbd_dataset_freiburg1_xyz |
| Depth | 640×480、30 Hz、16-bit PNG;TUM PNG 深度值按官方 scale 转为米 |
| Color policy | 整个 sample 使用固定 min_depth_m/max_depth_m,禁止逐帧自动拉伸 |
| License | 数据 CC BY 4.0;保留官方 attribution |
5Pipeline 计划
depth/*.png + depth.txt → decode uint16 metric depth → invalid mask → clip to configured meter range → one fixed colormap for every frame → H.264/yuv420p target.mp4 → task.json + index.jsonl + samples/<id>/
数据工程要点:逐帧 percentile 会让同一个距离在不同帧变成不同颜色,属于标签漂移。正式 pipeline 必须把 meter range 写入 config 和 sample metadata,使结果可重现、可审计。
6入库检查
| Gate | 状态 |
|---|---|
| 来源与 license | 已核验 |
| 视觉 prototype | 120 帧 / 12 秒已生成 |
| 正式 Task ID | Task_101 |
| 16-bit PNG archive | 已下载、解压并验证 scale |
| S3 final | prototype 已验证;全量 Final 待 Gate A/B/C |
Compiled 2026-07-20 · Task_101 Dataset Report draft · Demo available at Task_101_demo.html.