llm.c TensorBoard Logger

Утилита для визуализации обучения llm.c через TensorBoard. Парсит лог-файл и отображает метрики в реальном времени.

Что логируется

Из стандартного лога llm.c извлекаются:

Метрика	Описание
train_loss	Лосс на обучении
val_loss	Лосс на валидации
lr	Learning rate
norm	Gradient norm

Файлы

log_to_tensorboard.py — живое логирование во время обучения. Следит за файлом лога и пишет новые метрики по мере их появления (аналог tail -f).

logfile_to_tensorboard_once.py — разовый импорт готового лог-файла. Полезно если обучение уже завершено и нужно визуализировать историю.

tensorboard_auto_logging.bat — Windows-скрипт для запуска всего сразу одной командой:

1. Ждёт запуска Docker
2. Создаёт venv и устанавливает зависимости (если нет)
3. Запускает TensorBoard на http://localhost:6006
4. Запускает live logger
5. Запускает Docker-контейнер llm.c с нужными маунтами

Структура директорий

├── llm-checkpoints/
│   └── main.log          # лог llm.c (читается скриптами)
├── llm-data/             # данные для обучения (монтируется в контейнер)
├── runs/
│   └── llm_train/        # TensorBoard events (создаётся автоматически)
├── log_to_tensorboard.py
├── logfile_to_tensorboard_once.py
└── tensorboard_auto_logging.bat

Использование

Живое логирование (во время обучения)

pip install tensorboardX tensorboard

# В одном терминале — запустить TensorBoard
tensorboard --logdir runs --port 6006

# В другом — запустить логгер
python log_to_tensorboard.py

Открыть http://localhost:6006.

Разовый импорт готового лога

python logfile_to_tensorboard_once.py
tensorboard --logdir runs --port 6006

Windows — всё одной командой

tensorboard_auto_logging.bat

Скрипт сам создаст venv, установит зависимости, поднимет TensorBoard и запустит контейнер llm.c.

Зависимости

tensorboardX
tensorboard