Контекст OpenAI в Телеграм боте

Функционал переключения контекста диалога в Telegram боте

Проблема: В настоящий момент отсутствует функция для отключения контекста диалога в ChatGPT, что приводит к неэффективному расходованию токенов, поскольку часть пользователей не нуждается в сохранении истории общения.

Предложение решения: Реализовать возможность для пользователя включать или отключать контекст диалога через настройки интерфейса, позволяя таким образом экономить количество используемых символов и токенов.

Инструкция пользователя:

1. Пользователь заходит в раздел настроек (/settings).
2. Находит раздел "Контекст диалога" с подробным описанием:
   
   

   "Контекст диалога потребляет больше символов. Отключение контекста диалога позволит вам сэкономить символы. Отключайте контекст только тогда, когда он не требуется. При отключении контекста диалога ChatGPT не будет помнить историю общения. Общение без контекста подходит только для одноразовых задач."

3. Предоставляется переключатель для управления контекстом диалога с двумя состояниями:
   
   • Отключить: Контекст включен по умолчанию. При нажатии кнопка меняется на «Включить».
   • Включить: Если контекст был отключен, при нажатии кнопка меняется обратно на «Отключить».

Требования к реализации:

• Разработать пользовательский интерфейс в разделе настроек для управления состоянием контекста диалога.
• Обеспечить корректное функционирование переключателя, сохраняя выбор пользователя между сессиями.

Цель: Предоставить пользователям гибкие настройки для управления контекстом, улучшив тем самым общее пользовательское впечатление от использования ChatGPT в нашем проекте.
-

Управление состоянием на стороне клиента

Для веб-интерфейсов или приложений, где пользователи могут включать или отключать контекст диалога:

• Хранение настроек пользователя: Необходимо реализовать механизм на стороне клиента для сохранения выбранной пользователем настройки use_context (например, в cookies или в локальном хранилище браузера).
• Передача настройки в запросы: При каждом обращении к ChatGPT из интерфейса пользователя, выбранное значение use_context должно передаваться в запросе к API.

1. Изменения в API OpenAI

Добавление параметра для управления контекстом

• API Endpoint Modification: Все соответствующие API-методы для ChatGPT должны быть дополнены новым параметром, например, use_context, который может принимать значения true или false. По умолчанию, use_context должен быть установлен в true, чтобы сохранить совместимость с текущим поведением.

Логика обработки запросов

• Обработка без контекста: Когда параметр use_context установлен в false, API должно обрабатывать запрос, игнорируя предыдущий контекст диалога. Это означает, что ответ будет сгенерирован исключительно на основе предоставленного в текущем запросе текста.

2. Изменения в Python-клиенте

Для Python-клиентов, работающих с API OpenAI, следует добавить поддержку нового параметра use_context в функции и методы, отвечающие за отправку запросов к ChatGPT.

Пример кода для Python-клиента

import openai

def chat_with_gpt(prompt, use_context=True):
    response = openai.ChatCompletion.create(
        model="gpt-4", # или актуальная версия модели
        prompt=prompt,
        use_context=use_context
    )
    return response.choices[0].text

Обновление документации и примеров

• Документация API и SDK: Необходимо обновить документацию API OpenAI и соответствующие SDK, включая Python SDK, для описания нового параметра use_context, его назначения и примеров использования.
• Примеры использования: Предоставить разработчикам примеры кода, демонстрирующие, как включать и отключать контекст диалога при отправке запросов к ChatGPT.