Zero-Shot Image Classification с использованием Open CLIP

Этот проект реализует zero-shot классификацию изображений, используя модель Open CLIP. Функциональность разделена на два модуля:

1. embedding_extractor.py
   Модуль для извлечения эмбеддингов из изображений. Скрипт проходит по датасету, извлекает эмбеддинги для каждого изображения и сохраняет их в файл (pickle).

2. zero_shot_evaluator.py
   Модуль для оценки модели на основе извлечённых эмбеддингов. Скрипт выполняет разделение датасета на train/test, вычисляет центроиды классов, проводит zero-shot оценку и визуализирует результаты.

Требования

Убедитесь, что у вас установлены все необходимые библиотеки. Список зависимостей приведён в файле requirements.txt.

Установка

1. Клонируйте репозиторий или скачайте исходные файлы.
2. Создайте и активируйте виртуальное окружение (рекомендуется):

   python -m venv venv
   source venv/bin/activate   # Для Linux/macOS
   venv\Scripts\activate      # Для Windows

3. Установите зависимости:

   pip install -r requirements.txt