В этом тестовом задании вам нужно разработать модель машинного обучения, которая будет решать задачу оценки эмоций на странице комиксов.
В качестве входа модель имеет доступ к изображению страницы комикса, а также к тексту на этой странице, заранее распознанному с помощью OCR модели. В качестве выхода модель должна предсказать одну или несколько меток классов эмоций, размеченных для каждой страницы: ["angry", "disgust", "fear", "happy", "sad", "surprise", "neutral", "other"].
Примеры работы с датасетом можно посмотреть в example.ipynb, там же есть пример вычисления метрик для валидационного подмножества датасета.
Вам необходимо выложить решение в открытый доступ и прислать ссылку на решение. В решении должны быть:
- ваш ридми с описанием решения - что вы сделали, чем пользовались, какие метрики получили на валидацонном датасете
- сохраненный файл предсказаний для валидационного датасета (см example.ipynb)
- весь код и материалы, необходимые для воспроизведения вашего решения
В этой задаче может быть много разных подходов, и нет одного правильного. Вы можете использовать любые предобученные модели и методы, имеющиеся в открытом доступе - но нужно хорошо разобраться в том, как они работают, чтобы рассказать.