Це сьома стаття стаття із серії яка описує шаблони будування запитів до LLM систем. Інші статті в серії

Шаблон альтернативні підходи

Намір і контекст

Дослідниками описано, що LLM часто можуть думати краще, якщо питання розділено на додаткові запитання, які дають відповіді, об’єднані в загальну відповідь на початкове запитання. Намір шаблону полягає в тому, щоб змусити LLM завжди ділити питання на додаткові запитання, які можна використовувати для надання кращої відповіді на вихідне запитання.

Мотивація

У шаблону когнітивного верифікатора є подвійна мотивація:

  • Люди можуть спочатку ставити запитання занадто високого рівня, щоб дати конкретну відповідь, без залучення додаткових уточнювань, через незнайомість користувача із доменом, лінь у швидкому введенні або невпевненість у правильному формулюванні запитання.
  • Дослідження показали, що LLM часто можуть працювати краще, якщо використовувати запитання, яке підрозділяється на окремі питання.

Структура та ключові ідеї

Основні твердження для контексту:

Коли тобі задають запитання, дотримуйся цих правил

Сформуй ряд додаткових питань, які б допомогли більш точно відповісти на поставлене питання

Об’єднай відповіді на окремі питання, щоб отримати остаточну відповідь на загальне питання

Перше твердження полягає в тому, щоб створити ряд додаткових запитань, які б допомогли більш точно відповісти на вихідне питання. Цей крок наказує LLM розглянути контекст запитання та визначити будь-яку інформацію, яка може бути відсутньою або незрозумілою. Створюючи додаткові запитання, LLM може допомогти у тому щоб гарантувати, що остаточна відповідь буде максимально повною та точною. Цей крок також заохочує критичне мислення користувача та може допомогти виявити нові ідеї чи підходи, які, можливо, не розглядалися спочатку, що згодом призведе до кращих подальших запитань.

Друге твердження полягає в об’єднанні відповідей на окремі питання для отримання остаточної відповіді на загальне питання. Цей крок призначений для того, щоб уся інформація, зібрана з окремих запитань, була включена в остаточну відповідь. Комбінуючи відповіді, LLM може надати більш вичерпну та точну відповідь на оригінальне запитання. Цей крок також допомагає переконатися, що вся релевантна інформація врахована і що остаточна відповідь не базується лише на одній із згенерованих відповідей.

Приклад реалізації

Приклад реалізації запиту для генерації, порівняння та надання користувачеві можливості вибрати один або декілька альтернативних підходів:

«Коли я задам тобі питання, згенеруй три додаткові запитання, які допоможуть тобі дати точнішу відповідь. Коли я відповім на три запитання, об’єднайте відповіді, щоб отримати остаточну відповідь на моє початкове запитання.».

Цей конкретний екземпляр шаблону підказки додає уточнення до оригінального шаблону, вказуючи встановлену кількість додаткових запитань, які LLM має створити у відповідь на запитання. У цьому випадку підказка вказує, що ChatGPT має створити три додаткових запитання, які допоможуть дати точнішу відповідь на вихідне запитання. Конкретне число може ґрунтуватися на досвіді користувача та його бажанні надати подальшу інформацію. Уточненя підказки може полягати в наданні контексту щодо обсягу знань користувача у галузі, LLM може припустити це, щоб використовувати це для керування створенням додаткових запитань:

«Коли я задам вам запитання, згенеруйте три додаткові запитання, які допоможуть вам дати точнішу відповідь. Припустімо, що я мало знаю про тему, яку ми обговорюємо, і будь ласка, дайте визначення будь-яким термінам, які не є загальновідомими. Коли я відповім на три запитання, об’єднайте відповіді, щоб отримати остаточну відповідь на моє початкове запитання.».

Уточнення також визначає, що користувач може не мати чіткого розуміння теми, що обговорюється, а це означає, що LLM має визначати будь-які терміни, які не є загальновідомими. Це допомагає гарантувати, що наступні запитання є не лише доречними та цілеспрямованими, але й доступними для користувача, який може бути не знайомий із технічними термінами чи термінами, що стосуються галузі. Надаючи чіткі та лаконічні визначення, LLM може допомогти забезпечити легкість розуміння подальших запитань і доступність остаточної відповіді користувачам із різним рівнем знань і досвіду.

Наслідки

Цей шаблон може диктувати точну кількість запитань для створення або залишити це рішення LLM. У диктуванні точної кількості є плюси і мінуси. Плюсом є те, що вказівка ​​точної кількості запитань може чітко охопити кількість додаткової інформації, яку користувач змушений надати, щоб вона була в межах діапазону, який він бажає та може внести.

Однак недоліком є ​​те, що для N запитань може бути те саме безцінне N +1 питання, яке завжди буде виключено. Крім того, LLM можна надати діапазон або дозволити поставити додаткові запитання. Звичайно, пропускаючи обмеження на кількість питань, LLM може створити численні додаткові запитання, які перевантажують користувача і роблять виконання задачі складнішою.