Meta выпустила открытый набор Muse Gadgets SDK для ESP32 и Raspberry Pi

Набор позволяет подключать к персональному ИИ-агенту Muse платы ESP32 и одноплатные компьютеры с Linux. Он выложен на GitHub под лицензией Apache 2.0, а в комплект входят готовые навыки для принтеров, телевизоров, устройств ESPHome и умного дома.

Meta, материнская компания Facebook, выпустила открытый набор средств разработки Muse Gadgets SDK, рассчитанный на работу с платами ESP32 и одноплатными компьютерами на Linux вроде Raspberry Pi.

Тут нужны пояснения. Meta, как выяснилось, 6 сентября представила Muse — очередного персонального ИИ-агента. А в начале этого месяца Нат Фридман, руководитель продуктового направления Meta Superintelligence Labs, рассказал в записи в X о «побочном проекте» Muse Gadgets: его цель — заставить устройства на ESP32 и Linux работать с Muse, то есть дать аппаратных наблюдателей с ИИ и физический ИИ на базе Muse.

Набор Muse Gadgets SDK выложен на GitHub под лицензией Apache 2.0 (для большей части кода) и содержит два основных каталога. Третий каталог хранит навыки для самой разной техники: колонки Apple HomePod Mini, принтеров Brother и Epson, устройств ESPHome, трёхмерных принтеров, разных телевизоров, приборов умного дома и прочего.

Для начала Meta советует брать Raspberry Pi 5 из линейки с Linux, отладочный набор Waveshare ESP32-S3-Touch-AMOLED-1.75C (с сенсорным экраном AMOLED на 1,75 дюйма, громкоговорителем, микрофоном и аккумулятором) или цветной терминал с электронными чернилами Seeed reTerminal E1002, но при некоторых усилиях подойдут и другие похожие устройства. Обещана также поддержка приставки-брелока с разъёмом HDMI, но подробностей пока нет.

Джей-Джей Энглерт показал одну из демонстраций — Muse, работающий на устройстве Waveshare с ESP32: по его словам, агент заработал на плате, и ему даже добавили голос.