Описание проекта ❤️

Это проект из серии «Говорящие коты».

Вводное видео первой версии: Я сделал кота с голосовым диалогом на ChatGPT

Сравнение версий:

• Первая версия — на Orange Pi (Linux), распознавание и синтез речи через платный Baidu Speech API, ChatGPT через платный API. Работает быстро, но крупная (двe платы плюс аккумуляторы требуют большой коробки), зато самодостаточна.
• Вторая версия — на ESP32, распознавание через PySpeechRecognition, синтез через Vits, ChatGPT через обратную библиотеку веб-версии. Медленнее, но компактная (влезает в мягкую игрушку) и дешёвая; требует компьютер или сервер.

Первая версия обновлением ПО может делать всё то же, что вторая, поэтому деление идёт по железу: Linux-версия и ESP32-версия. Linux — выше потолок функций и больше автономность; ESP32 — компактность и низкая цена.

Что нового 🔍

Май 2024

• Обратная библиотека GPT, похоже, больше не обновляется, и Linux-версия перешла на драйвер one-api, к которому можно подключить разные большие языковые модели.
• Исправлен баг с перевёрнутым OLED-экраном (почему только сейчас?). Экран должен работать, но кода адаптации ещё нет.
• Orange Pi быстро обновляется; новый Zero3 и мощнее, и дешевле, но габариты совсем другие. Так что от серии Orange Pi я отказываюсь в пользу Lite Taishan. Плата уже нарисована — с микрофоном, динамиками, питанием от аккумулятора и экраном, — но в 2024-м из-за подготовки к экзаменам почти нет времени на испытания.

Что умеет 🎈

• Играть роль милого кота, с которым можно поговорить, или знающего голосового помощника.
• С помощью функции вызовов ChatGPT управлять физическими устройствами.

Схемотехника 🧩

Linux-версия

Эта версия состоит из базовой Linux-платы и шаблона расширения для языковых функций. В проекте дана плата расширения для Orange Pi Zero, которую доработкой можно приспособить под большинство подобных «пай». Orange Pi выбран за компактность и хорошее соотношение цена/качество. В будущем появятся платы расширения для Raspberry Pi и других.

Модуль расширения даёт вход микрофона и усилитель, а также систему заряда-разряда литиевого аккумулятора для автономности. Схема очень простая, собрать несложно.

ESP32-версия

Из-за нехватки производительности ESP32 этой версии нужен сервер для обработки голоса. Поэтому она состоит из двух частей: сервер и оконечное устройство (ESP32). Сервер выполняет тяжёлые задачи — распознавание речи, синтез — и общается с ChatGPT. Задача ESP32 проста: записать голос, отправить на сервер и воспроизвести полученный оттуда синтезированный ответ. Плата в целом совместима с ESP32-LyraT-Mini, и при использовании библиотеки ADF в коде нужно поправить только назначение кнопок.

Это краткое изложение проекта. Полную версию с подробностями смотрите на сайте оригинала: https://oshwlab.com/oshwhub.com/gpt-voice-dialogue-cat-cat-chatm