Fix tests

.github/workflows/compute_task1_score.yaml

@@ -17,12 +17,12 @@ jobs:
           python-version: ${{ matrix.python-version }}
       - name: Install dependencies
         run: |
-          python -m pip install --upgrade pip
-          pip install flake8 pytest numpy
-          if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
+          python -m pip install pip
+          python -m pip install flake8 pytest numpy
+          if [ -f requirements.txt ]; then python -m pip install -r requirements.txt; fi
       - name: Install task1 package
         run: |
-          pip install -e task1/
-      - name: COMPUTE SCORE
+          python -m pip install -e task1/
+      - name: Compute task1 score
         run: |
-          python -m course_ocr_t1.metrics ${{ github.actor }}
+          python -m course_ocr_t1.metrics ${{ github.actor }}

.github/workflows/compute_task2_score.yaml

@@ -18,11 +18,11 @@ jobs:
       - name: Install dependencies
         run: |
           python -m pip install --upgrade pip
-          pip install flake8 pytest numpy
+          python -m pip install flake8 pytest numpy
           if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
       - name: Install task2 package
         run: |
-          pip install -e task2/
-      - name: COMPUTE SCORE
+          python -m pip install -e task2/
+      - name: Compute task2 score
         run: |
           python -m course_ocr_t2.evaluate ${{ github.actor }}

.github/workflows/compute_task3_score.yaml

@@ -18,11 +18,11 @@ jobs:
       - name: Install dependencies
         run: |
           python -m pip install --upgrade pip
-          pip install flake8 pytest numpy shapely
+          python -m pip install flake8 pytest numpy shapely
           if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
       - name: Install task3 package
         run: |
-          pip install -e task3/
-      - name: COMPUTE SCORE
+          python -m pip install -e task3/
+      - name: Compute task3 score
         run: |
           python -m course_ocr_t3.evaluate ${{ github.actor }}

README.md

@@ -1,4 +1,4 @@
-# Курс ABBYY "Автоматическая обработка и распознавание документов"
+# Курс кафедры А4 МФТИ "Автоматическая обработка и распознавание документов"
 
 Репозиторий содержит материалы домашних заданий для студентов. Детальные описания заданий смотрите в README соответствующих разделов.
 

task1/README.md

@@ -7,7 +7,7 @@
 ## Задача
 Реализовать какой-либо алгоритм кропа с использованием нейросетей, обучить и протестировать его на публичном датасете [MIDV-500](https://github.com/fcakyon/midv500).
 
-Можно либо скачать полноразмерную версию датасета по официальной инструкции пакета (\~70Gb), либо [скачать](https://disk.yandex.ru/d/dibfy51-opgACw) сжатую версию датасета(`max(w,h)=800pix`, \~7Gb).
+Можно либо скачать полноразмерную версию датасета по официальной инструкции пакета (\~70Gb), либо [скачать](https://disk.yandex.ru/d/8ZxmzGCbgfe5OQ) сжатую версию датасета(`max(w,h)=800pix`, \~7Gb).
 
 ## Метрика
 Для каждого примера датасета **из test сплита** вам необходимо предсказать четырехугольник документа (смотрите пример baseline).
@@ -46,9 +46,9 @@ GroundTruth четырехугольники сохранены в `task1/gt_qua
 
 
 ## Сроки
-При выполнении дз в период \[21.02.2023-14.03.2023\] засчитывается полный набранный балл в соответствии с критериями.
+При выполнении дз в период \[04.03.2024-31.03.2024\] засчитывается полный набранный балл в соответствии с критериями.
 
 Далее за каждую неделю позже срока (с округлением вверх): -5b
 Например:
-- 15.03.2023: -5b
-- 29.03.2023: -15b
+- 01.04.2024: -5b
+- 15.04.2024: -15b

task1/pyproject.toml

@@ -0,0 +1,25 @@
+[build-system]
+build-backend = "flit_core.buildapi"
+requires = ["flit_core >=3.8.0,<4"]
+
+[project]
+name = "course_ocr_t1"
+version = "0.1.1"
+authors = [
+    {name = "Boris Zimka", email = "zimka@phystech.edu"},
+]
+description = "Task1 for OCR course."
+requires-python = ">=3.7"
+classifiers = [
+    'Development Status :: 3 - Alpha',
+    'Intended Audience :: End Users/Desktop',
+    'Intended Audience :: Science/Research',
+    'Operating System :: OS Independent',
+    'Programming Language :: Python :: 3 :: Only',
+    'Topic :: Scientific/Engineering'
+]
+dependencies = [
+    "numpy",
+    "matplotlib",
+    "shapely"
+]

task2/README.md

@@ -1,41 +1,48 @@
-# Задание 2: распознавание рукописных китайских иероглифов
+# Задание 2: распознавание номеров автомобилей
 
 ## Описание
 
-Предлагается реализовать и протестировать обучаемое распознавание символов на примере датасета `CASIA Offline Chinese Handwriting`
+Предлагается реализовать и протестировать end-to-end модель распознавания на примере датасета [CCPD](https://github.com/detectRecog/CCPD) (Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline)
 
-Данные можно взять [тут](https://drive.google.com/drive/folders/13hx2EY658ebmyOvkmfBPTcyNNeUZfIQt?usp=sharing), от оригинальных отличаются переводом формата из бинарного в архив с .png изображениями. Лицензию на использование данных можно посмотреть на [официальном сайте](http://www.nlpr.ia.ac.cn/databases/handwriting/Application_form.html)
+Данные можно взять [тут](https://disk.yandex.ru/d/66ZlIo_zarluNA), автомобильные номера вырезаны по разметке и приведены к размеру 64x172
 
 ## Задача
 
-Реализовать алгоритм распознавания китайских рукописных символов и протестировать его на данной тестовой выборке. Можно использовать как идеи с лекции, так и любые другие способы, которые покажутся вам уместными.
+Реализовать алгоритм распознавания китайских автомобильных номеров и протестировать его на данной тестовой выборке. Можно использовать как идеи с лекции, так и любые другие способы, которые покажутся вам уместными
 
 ### Условия
 
 - Разрешается использовать готовые реализации стандартных и нестандарных слоев или лоссов
-- Разрешается использование дополнительных синтетических данных при обучении (псевдорукописные шрифты и прочее), однако способ их получения должен быть описан в решении
+- Разрешается использование дополнительных синтетических данных при обучении, однако способ их получения должен быть описан в решении
 - Разрешается модифицировать ОБУЧАЮЩУЮ выборку любым способом, аугментации приветствуются. Тестовую выборку использовать кроме как для тестирования запрещено
-- Запрещено использовать любые другие датасеты, а также альтернативные сплиты casia hwdb (в них часть тестовой выборки может оказаться в вашей обучающей)
+- Запрещено использовать любые другие датасеты, а также альтернативные сплиты CCPD
 
 ## Метрика
 
-Accuracy по результатам на тестовой выборке. Код для сохранения результата и локального вычисления метрики можно найти в `Baseline.ipynb`
+Character accuracy по результатам на тестовой выборке
 
-Для работы автоматического подсчета метрики в github actions нужно закоммитить файл pred.txt в свой репозиторий. Если github actions не включены - включите их в `https://github.com/{USERNAME}/course_ocr/actions`
+$$CharAccuracy = (1 - CER) * 100\% $$
+$$CER = \frac{\sum_0^n edit\_distance(pred_i, gtruth_i)}{\sum_0^n len(gtruth_i)}$$
+
+Для работы автоматического подсчета метрики в github actions нужно закоммитить файл pred.txt в свой репозиторий. Пример заполнения pred.txt и работы с кодом чтения датасета см. в `Baseline.ipynb`
+
+Если github actions не включены - включите их в `https://github.com/{USERNAME}/course_ocr/actions`
 
 ## Оценка
 
 За домашнюю работу можно получить 0-100%, плюс некоторый бонус за высокую метрику. Чтобы решение было зачтено, весь код (модели, скрипты, ноутбуки) для воспроизведения результатов должен быть в вашем репозитории
 
 ### Критерии
 
-1. Обучена и сдана какая-то отличная от baseline модель, успешно посчиталась метрика через gitlab actions: +30%
-2. Качество модели на тесте не ниже `Baseline.ipynb` (80%+): +20%
-3. Модель использует ArcFace либо другой специальный лосс, дающий существенно разделимые образы классов: +20%
-4. Качество модели на тесте не ниже 86%: +10%
-5. Качество модели на тесте не ниже 90%: +20%
-6. За каждый процент выше 90 - бонус +5% (91 - бонус 5%, 93 - бонус суммарно 15% и тд)
+1. Обучено и сдано какое-то решение, успешно посчиталась метрика через gitlab actions, качество выше 50%: +30%
+2. Метрика на тесте не ниже 80% И в решении используется end-to-end подход: +20%
+3. Метрика на тесте не ниже 90%: +10%
+4. Метрика на тесте не ниже 92%: +10%
+5. Метрика на тесте не ниже 93%: +10%
+6. Метрика на тесте не ниже 94%: +10%
+7. Метрика на тесте не ниже 95%: +10%
+8. За каждый процент выше 95 - бонус +5% (96 - бонус 5%, и тд)
 
 ## Дедлайн
 
-Дедлайн - 19.04.2022, не включительно. При сдаче после этого срока все баллы за задание уменьшаются в два раза
+Дедлайн - 01.05.2024, включительно. При сдаче после этого срока все баллы за задание уменьшаются в два раза

task2/course_ocr_t2/evaluate.py

@@ -1,29 +1,31 @@
 from pathlib import Path
+import editdistance
 
 def evaluate(gt_path, pred_path):
     gt = dict()
     with open(gt_path) as gt_f:
         for line in gt_f:
-            name, cls = line.strip().split()
-            gt[name] = cls
+            name, gtruth = line.strip().split()
+            gt[name] = gtruth
 
-    n_good = 0
-    n_all = len(gt)
+    ed_sum = 0
+    len_sum = 0
     with open(pred_path) as pred_f:
         for line in pred_f:
-            name, cls = line.strip().split()
-            if cls == gt[name]:
-                n_good += 1
+            name, pred = line.strip().split()
+            ed = editdistance.eval(pred, gt[name])
+            ed_sum += ed
+            len_sum += len(gtruth)
 
-    return n_good / n_all
+    return 1 - ed_sum / len_sum
 
 
 def _run_evaluation():
     base = Path(__file__).absolute().parent.parent
     gt_path = base / 'gt.txt'
     pred_path = base / 'pred.txt'
     score = evaluate(gt_path, pred_path)
-    print('Accuracy = {:1.4f}'.format(score))
+    print('Char Accuracy = {:1.4f}'.format(score * 100))
 
 
 if __name__ == '__main__':