Данный датасет является расширенной версией бенчмарка DiaASQ, который состоит из диалогов пользователей китайского форума о характеристиках различных устройств, а также снабженныё структурированными высказываниями, содержащими смысл диалогов. На основании этих истинных высказываний процедурно был сгенерирован пул вопросов к данным диалогам.
Вопросы по своей структуре разделены на 10 типов:
-
compare questions - сравнение двух устройств по заданному параметру. Пример: Which device is better in battery life: Apple or k30u?
-
device sentiment - вопрос о мнении пользователя о заданном устройстве в заданный момент времени. Пример: Kayla has positive, negative or neutral opinion about video of 10PRO on 25.11.2020?
-
compare sentiment - модель должна определить по извлеченным триплетам, какое мнение пользователей об устройстве преобладающее. Пример: The majority of speakers have positive, neutral or negative sentiment about system of vivo?
-
same devices - нужно найти общее устройство двух пользователей. Пример: Do Brianna and Joseph have any common devices (which Brianna and Joseph both use)? If so, list common devices. Otherwise, answer ’No’.
-
same manufacturers - нужно найти устройства одного и того же производителя двух пользователей. Данный вопрос требует поиск глубины 2 в графе. Пример: Do Lily and Jenna prefer the same device manufacturer?
-
similar device opinions - нужно определить, мнения какого из двух пользователей более похожи на мнение заданного пользователя об устройствах. Пример: Whose opinions from Anthony and Grace about devices are most similar to Faith’s?
-
similar manuf opinions - вопрос аналогичен similar device opinions, только о производителях устройств. Пример: Whose opinions from Evan and James about manufacturers are most similar to Abigail’s?
-
which people about devices - вопрос о пользователе, который имеет заданное мнение об устройстве в заданную дату. Пример: Which people have negative opinion about video of 10PRO on 25.11.2020?
-
dominant opinion - вопрос о преобладающем мнении пользователя о компоненте устройства. Пример: What Jessica’s opinion (positive, negative or neutral) about signal of Apple was dominant during using Apple?
-
last opinion - вопрос о последнем мнении пользователя о компоненте устройства. Пример: What opinion (positive, negative or neutral) about scheduling of IQOO9 was last during Zachary’s experience of IQOO9?
Статистика датасета:
| QA pairs | Documents | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Amount | Questions length (in characters) |
Answers length (in characters) |
Amount | Length (in characters) |
||||||
| median | mean | std | median | mean | std | median | mean | std | ||
| 5698 | 114 | 109 | 19 | 8 | 8 | 2 | 3483 | 556 | 613 | 324 |
Работы, в которых был использован датасет:
- PersonalAI: A Systematic Comparison of Knowledge Graph Storage and Retrieval Approaches for Personalized LLM Agents
- PersonalAI 2.0: Enhancing knowledge graph traversal/retrieval with planning mechanism for Personalized LLM Agents
Тех. поддержка: Telegram, m.menschikov@skoltech.ru