Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 

Repository files navigation

Overview

RWESS(RealWorld Event Stream System)是一个面向具身智能(Embodied AI)的现实世界数据基础设施项目。

它的目标不是“做机器人”,而是:

让现实世界的数据能够被统一采集、同步、存储、回放、分析与训练。

RWESS 尝试解决一个长期被忽视的问题:

现实世界缺少统一的数据结构。

互联网天然数字化,因此:

  • 文本
  • 图片
  • 视频
  • 网页

都具有成熟的数据标准。

但现实世界并不是。

现实世界中的:

  • 人类动作
  • 触觉
  • 力反馈
  • 工具状态
  • 空间关系
  • 多设备协同
  • 长时间行为过程

仍然处于:

  • 数据碎片化
  • 时间不同步
  • 无统一 schema
  • 无 replay 能力

的阶段。

而这正是具身智能时代最大的基础设施缺口之一。


Why This Project Exists

AI 已经理解数字世界

大模型已经能够:

  • 理解文本
  • 理解代码
  • 理解图像
  • 理解知识

但:

AI 仍然无法真正理解现实世界中的“操作”。

例如:

  • 如何擦拭
  • 如何抓取
  • 如何装配
  • 如何维修
  • 如何拔牙
  • 如何避障
  • 如何动态调整动作

因为这些能力并不只是: “视觉识别”。

它们本质上是:

时间连续的、多模态的、状态驱动的行为过程。


当前现实世界数据的问题

今天的现实世界数据通常是:

  • camera.mp4
  • imu.csv
  • sensor.json
  • force.bin

彼此独立。

缺少:

  • 全局时间轴
  • 多模态同步
  • 行为语义
  • 状态关联
  • replay 能力

因此:

无法真正形成“现实世界行为数据”。


RWESS 的核心理念

RWESS 的核心思想:

Time is the primary axis of reality.

现实世界中的所有感知与行为, 都必须被统一到:

同一个时间轴。

因此:

Everything is an Event.

RWESS 使用:

Event = (timestamp, source, type, payload)

作为基础抽象。


Core Goals

RWESS 的核心目标包括:

1. 多模态统一采集

统一接入:

  • RGB Camera
  • Depth Camera
  • IMU
  • Tactile Sensor
  • Force Sensor
  • Audio
  • Robot State
  • Human Motion
  • Environment State

2. 时间同步

实现:

  • Global timestamp alignment
  • Drift correction
  • Latency compensation
  • Multi-device synchronization

3. Event Stream Architecture

RWESS 不以“文件”为中心。

而以:

Event Stream

为核心抽象。


4. Reality Replay

RWESS 希望构建:

现实世界回放系统(Reality Replay System)

能够:

  • 时间轴回放
  • 多模态同步查看
  • 任意时间跳转
  • 行为分析
  • 训练数据生成

类似:

“现实世界版 IDE / Debugger / Blackbox”


5. Embodied AI Dataset Infrastructure

RWESS 最终目标之一:

是成为:

具身智能时代的数据基础设施层。


Potential Use Cases

RWESS 可用于:

Robotics

  • Robot Learning
  • Imitation Learning
  • Teleoperation Recording

Healthcare

  • Dental Operation Recording
  • Surgical Training
  • Rehabilitation Analysis

Industrial

  • Assembly Line Operation
  • Expert Worker Motion Capture
  • Maintenance Workflow Analysis

Service Industry

  • Cleaning Workflow Analysis
  • Human-Robot Collaboration
  • Hospitality Automation

Research

  • Multimodal AI Dataset
  • Behavior Modeling
  • World Model Training

What Makes This Different

RWESS 并不是:

  • 普通视频录制系统
  • ROS bag 替代品
  • 单一传感器采集工具

RWESS 的核心目标是:

建立“现实世界行为数据结构”。

它更接近:

  • Reality Operating System
  • Real-World Event Database
  • Embodied AI Data Infrastructure

Long-Term Vision

RWESS 的长期目标可能包括:

1. Reality Event Standard

建立:

  • 现实世界事件格式
  • 多模态行为 schema
  • 时间同步协议

2. Reality Replay Engine

构建:

  • 多模态 replay
  • 行为调试系统
  • 现实世界时间轴 IDE

3. Embodied AI Training Layer

支持:

  • Imitation Learning
  • Behavior Cloning
  • Action Model Training
  • World Model Training

4. Reality Operating System

最终:

RWESS 可能演化为:

Real-World Operating System

即:

现实世界的数据操作系统。


Design Principles

Event First

现实世界是事件流, 不是文件集合。


Time First

时间同步比采集本身更重要。


Schema Evolvable

现实世界复杂度极高, schema 必须允许持续扩展。


Multimodal Native

系统必须天然支持:

  • Vision
  • Audio
  • Tactile
  • Force
  • Spatial
  • Temporal

Replayable Reality

现实世界行为必须可以:

  • replay
  • inspect
  • debug
  • annotate

Current Status

当前项目仍处于:

Early Architecture Exploration Stage

现阶段重点:

  • Event Model
  • Time Synchronization
  • Multimodal Ingestion
  • Replay Architecture
  • Schema Design

而不是:

  • 机器人控制
  • AI 模型训练
  • 商业化产品

Philosophy

RWESS 相信:

AI 进入现实世界之前, 必须先让现实世界变得可计算。

而“现实世界数字化”, 可能会成为具身智能时代最重要的基础设施之一。


Future

未来:

互联网世界可能围绕:

  • token
  • text
  • image

构建。

而现实世界 AI:

可能围绕:

synchronized multimodal event streams

构建。

RWESS 希望成为这件事的一部分。


License

TBD


Contributors

TBD


Warning

This project is highly experimental.

The architecture, schema, and system boundaries may evolve significantly over time.

RWESS is not attempting to solve robotics directly.

Instead, it focuses on:

Reality Data Infrastructure

which may become a foundational layer for future embodied intelligence systems.

About

A Real-World Multimodal Time-Synchronized Event Stream Infrastructure for Embodied AI

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors