Как преобразовать ChatGPT в расширенный голосовой помощник

ChatGPT-3 не нуждается в представлении. Вы задаете ему любой вопрос, и он мгновенно отвечает. Но ответ приходит в виде текста. О каком if вы могли бы говорить с ним, как и с любым голосовым помощником, например Siri?

Не секрет, что ChatGPT произвел революцию в мире AI. В отличие от других ботов AI, он способен понимать контекст разговора и отвечать, создавая ощущение, будто вы общаетесь с человеком, а не с машиной.

POC-видео на английском языке:

Видео: https://www.youtube.com/watch?v=LnHWh5Ib0kw

POC-видео на хинди:

Видео: https://www.youtube.com/watch?v=sFa2SPG4xB4

Но поскольку это все-таки своего рода чат-бот, вам нужно ввести вопрос и получить ответ в виде текста. Это не так увлекательно, как общение с ботом.

Эта мысль натолкнула меня на мысль запрограммировать ChatGPT так, чтобы его можно было использовать в качестве голосового помощника под названием VoiceGPT. Я начал с использования обработки естественного языка (NLP) для распознавания голоса, а затем перенес распознанный голос в механизм ChatGPT в виде запроса с использованием API. Получив разумный ответ от ChatGPT, я снова использовал NLP, чтобы преобразовать его в человеческий голос.

Для этого мне нужен был хороший инструмент NLP, и OpenAI его предоставляет, то есть Whisper. Но из-за ограниченности времени и места я решил использовать Google Natural Language API.

Пошаговое руководство по созданию VoiceGPT

Нам нужно начать с объединения NLP для службы ttX с ChatGPT. Для этого нам нужна машина, которая сможет запустить открытый API, передать запрос, полученный от NLP, и повторно обработать ответ, данный ChatGPT, в человеческий голос, используя NLP.

Вы можете использовать любой ноутбук, но для всего этого я выбрал Raspberry Pi. Для улавливания голоса для распознавания я прикрепил голосовой капот; микрофон USB также можно использовать с Raspberry Pi. Однако, if вы используете ноутбук для запуска кода VoiceGPT, микрофон USB не требуется; вы можете использовать встроенный микрофон ноутбука.

Теперь нам нужно создать учетную запись и войти в ChatGPT (см. рис. 2).

Далее нам нужно получить ключ API для проведения исследований и экспериментов с кодом ChatGPT, как показано на рис. 3.

Вы можете создать ключ API, используя опцию API в правом углу вашей учетной записи OpenAI (рис. 4).

После создания ключа OpenAI API скопируйте его и сохраните. Он понадобится нам позже в нашем коде для разработки VoiceGPT.

Теперь нам нужно установить открытый AI в системе, где мы собираемся запустить VoiceGPT. Здесь вы можете использовать компьютер с любой установленной версией Linux. Я использовал для этого Raspberry Pi.

Затем откройте терминал и установите открытый AI и другие модули Python, которые помогут нам в обработке естественного языка. Здесь вы можете использовать Whisper от OpenAI или любой другой модуль NLP. Я использовал Google NLP и объединил его с ChatGPT.

Вы можете установить эти модули с помощью следующей команды. После этого вы можете либо создать собственный открытый разговорный контент в OpenAI, либо использовать простой чат на игровой площадке. Здесь вы также можете установить температуру, частоту и другие параметры для вашего помощника VoiceGPT.

sudo pip3 install openai
sudo pip3 install SpeechRecognition
sudo pip3 install gTTSНа рис. 5 и рис. 6 показано, как клонировать OpenAI ChatGPT и выполнить настройку.

Далее установите температуру, частоту и модель чата, как показано на рис. 7.

Программирование ChatGPT для использования в качестве VoiceGPT

Во-первых, нам нужно импортировать модуль OpenAI Python в код, чтобы поиграть с OpenAI и провести эксперимент с ChatGPT. Далее мы импортируем модули для NLP. После этого мы импортируем pygame, чтобы воспроизвести файл, который обработал ответ человеческим голосом, используя модель NLP.
Далее нам необходимо настроить модель ChatGPT (см. рис. 8). Здесь мы можем выбирать из названий моделей, таких как Davinci, Ada и т. д. Каждая модель имеет свой собственный опыт, и стоимость использования этих моделей варьируется. Но не беспокойтесь, потому что разработчики получают кредит в размере 18 долларов США на разработку и экспериментирование с OpenAI.

Далее нам нужно установить API в коде. При этом мы создали функцию подключения к ChatGPT для обработки запроса и получения от него ответа.

импортировать voice_recognition как SR
импортировать математические значения
время импорта
импортировать серийный номер
из espeak import espeak
импортировать систему
импортировать openai
импортировать pygame
из gtts импортировать gTTS
pygame.mixer.init()
#model_to_use="text-davinci-003" # больше всего
способен
#model_to_use="text-curie-001"
#model_to_use="text-babbage-001"
model_to_use="text-ada-001" # самый низкий
стоимость токена
r = sr.Recouncer()
openai.api_key=»******Ваш ключ
Здесь******»
defchatGPT(запрос):
response = openai. Completion.create(
model-model_to_use,
prompt=query,
температура=0,
max_tokens 1000
)
return str.strip(response['choices'][0]
[’text’]), ответ[’usage’][’total_
токены]

После этого мы создаем основную функцию, а затем делаем цикл while. Здесь мы используем NLP для непрерывного захвата голоса, извлечения того, что мы сказали, с помощью модели NLP и сохранения его в виде запроса. Затем мы передаем этот запрос в ChatGPT и получаем от него ответ.

def main():
print('LED включена, кнопка while включена
нажата (Ctrl-C для выхода).’)
while Верно:
с sr.Microphone() в качестве источника:
r.adjust_for_ambient_noise (источник)
print("Скажи что-нибудь!")
audio r.listen(source)
print(“Распознавая сейчас...”)
command=str(r.recounce_google (аудио))
print(“Распознавание речи Google думает
вы сказали + команда)
query=command
(res, использование) =chatGPT (запрос)
печатать(рез)
tts gTTS(text=res, lang=’en’)
tts.save(“good.mp3”)
pygame.mixer.music.load(“good.mp3”)
pygame.mixer.music.play()
#espeak.synth(res)

if __name__ == ‘__main__’:
main()

После этого мы снова используем NLP, чтобы преобразовать ответ ChatGPT в человеческий голос, а затем воспроизводим этот голос. Все это происходит непрерывно, создавая впечатление реального разговора между двумя людьми.

Этот VoiceGPT дает вам возможность настраивать и выбирать модели. Он позволяет вам выбирать из GPT моделей, таких как Ада, Давинчи или Бэббидж. Он использует бесплатную службу распознавания речи, которую можно настроить для работы с автономными службами распознавания речи, такими как Sphenix.

Тестирование VoiceGPT

Чтобы протестировать VoiceGPT, запустите код на Python, и он предложит вам задать вопрос или начать разговор. Вы можете спрашивать все, что хотите; он распознает ваш голос, передает запрос в ChatGPT, а затем отвечает вам человеческим голосом.

Теперь вы можете общаться с ChatGPT так же, как с Google Assistant, Alexa или Siri. Приятного общения с VoiceGPT!

Загрузить исходный код

Примечание автора. Это первая версия VoiceGPT. Я все еще экспериментирую с этим, и очень скоро вы получите все новые обновления на https://www.opensourceforu.com.

Ашвини Кумар Синха — технический журналист-энтузиаст Интернета вещей и AI в EFY