Создайте ИИ-робота с использованием Android-смартфона, ESP32 и micro:bit [Udemy] [Пол Чин]

Складчина: Создайте ИИ-робота с использованием Android-смартфона, ESP32 и micro:bit [Udemy] [Пол Чин]

Build an AI Robot Using Android Phone with ESP32 & micro:bit [Udemy][Paul Chin]
Язык английский



Оживите своего собственного персонального спутника с искусственным интеллектом! В этом практическом курсе вы научитесь создавать интерактивного, выразительного робота по имени SAM (Simulated Autonomous Multi-Intelligence), работающего на Android-смартфоне и плате разработки ESP32 или наборе Micro:bit. Используя MIT App Inventor в качестве основного инструмента разработки, вы увидите, насколько просто создавать сложные ИИ-приложения с помощью его интуитивной блочной системы программирования — идеально для новичков и доступно даже без предварительного опыта программирования.
Android-телефон будет служить «мозгом» вашего робота, обеспечивая распознавание речи, естественное общение, личность, преобразование текста в речь, отслеживание лица, распознавание объектов и лицевые выражения прямо на экране. ESP32 (или micro:bit) выступает телом робота, управляя моторами и простой аппаратной частью, которые оживляют вашу разработку. Для сборки физического робота вам понадобится лишь несколько недорогих и легко доступных компонентов, поэтому проект остаётся доступным и дружелюбным для новичков.

Инструменты и программное обеспечение (всё бесплатно)

MIT App Inventor и Microsoft MakeCode — это веб-инструменты, которые работают прямо в браузере и не требуют установки. Arduino IDE также можно бесплатно скачать и использовать. Для продвинутых ИИ-функций вы можете по желанию использовать OpenAI API, для чего потребуется создать API-ключ. Это необязательно, а расходы на использование обычно очень низкие. В зависимости от вашей конфигурации также можно использовать бесплатные или локальные альтернативы.
Обратите внимание, что этот курс задуман как гибкий, и вы не обязаны покупать какое-либо оборудование, если не хотите.

Вы можете выбрать один из следующих трёх подходов:

Три способа собрать вашего ИИ-робота (важно!)

1. Автономный робот SAM (дополнительное оборудование не требуется)

• Создайте SAM, используя только Android-телефон и блочное программирование в MIT App Inventor
• Сконцентрируйтесь на ИИ, речи, зрении и больших языковых моделях (LLM)
• Идеально, если вы хотите изучить концепции ИИ-робота без затрат на электронику

2. Робот SAM + ESP32

• Используйте ESP32 для управления моторами — программирование через Arduino IDE
• Android-телефон остаётся ИИ-«мозгом» — создаётся с помощью блочного программирования в MIT App Inventor
• Отлично подходит для новичков, которым нужна практическая робототехника с минимальной сложностью
• SAM (Android-телефон) отправляет команды Bluetooth Classic на ESP32

3. Робот SAM + micro:bit

• Используйте micro:bit для более продвинутого управления и расширения — программирование с помощью блочного программирования в Microsoft MakeCode
• Подходит для студентов, которым нужна большая гибкость и производительность
• Включает возможность использовать встроенные датчики, уже доступные в наборе micro:bit, для более богатого взаимодействия
• SAM (Android-телефон), созданный с помощью блочного программирования в MIT App Inventor, отправляет Bluetooth BLE-команды на micro:bit

Покупка оборудования ESP32 или micro:bit не является обязательной.
Вы можете полностью пройти и получить пользу от этого курса, создав автономного робота SAM только с помощью Android-телефона.
Фокус курса: общение важнее аппаратной сложности
В своей основе главная цель этого курса — исследовать общение, личность и взаимодействие, а не сложную или высокоточную аппаратную инженерию.
Этот курс не сосредоточен на создании роботов, которые автономно перемещаются в сложной среде, выполняют высокоточные движения или реагируют на физический мир с механической точностью. Вместо этого акцент делается на обучении созданию робота, который ощущается как присутствующий, увлекательный и personable — того, кто слушает, говорит, вдумчиво отвечает и создаёт ощущение связи с пользователем.
Вы сосредоточитесь на создании личности, разговорного поведения, выражений и ИИ-взаимодействия, используя программное обеспечение и интеллект, а не сложное оборудование. Аппаратная часть, когда используется, служит простым расширением присутствия робота, а не центральным элементом опыта.
Такой подход позволяет сосредоточиться на том, что делает робота живым: общение, выражение, понимание контекста и осмысленное взаимодействие.

Вдохновение и философия

Этот курс был вдохновлён роботом LOOI. LOOI демонстрирует мощную идею использования смартфона как центрального интеллекта персонального робота — с применением экрана, камеры, микрофона, динамиков и ИИ-возможностей телефона для создания естественного взаимодействия, выразительной визуализации и разговорного поведения. Его доступный форм-фактор и акцент на личности, присутствии и человекоподобном взаимодействии показывают, насколько убедительными могут быть роботы, построенные вокруг устройств, которые у многих уже есть. SAM следует той же базовой философии, переводя её в дружелюбный для новичков учебный проект, который вы можете полностью собрать, настроить и понять с помощью доступных инструментов и оборудования.
Этот курс поможет вам создать робота, который слушает ваш голос, отвечает речью и ведёт осмысленные разговоры с использованием современных ИИ- и LLM-технологий. Ваш робот сможет рассказывать шутки, составлять компанию, отвечать на вопросы и вести себя как дружелюбный персональный помощник. С помощью датчиков и камеры телефона вы добавите возможность отслеживания пользователя и объектов, чтобы робот мог автоматически поворачиваться к пользователю лицом, создавая эффект живого присутствия.
Вы также создадите выразительные цифровые глаза, которые моргают, следят за пользователем и показывают эмоции, а также получите возможность создать собственные лица или анимации. По ходу курса вы получите базовые навыки Bluetooth-связи, интеграции ИИ и LLM, распознавания речи, преобразования текста в речь, распознавания лиц, поведения чат-бота, отслеживания объектов и многого другого.
К концу этого курса у вас будет полностью функциональный робот на базе ИИ, который объединяет аппаратную часть, программное обеспечение, креативность и разговорный интеллект — и всё это будет создано вами с нуля!
Записывайтесь сегодня и присоединяйтесь ко мне, чтобы оживить вашего ИИ-робота — и вашу креативность!

Для кого этот курс:

1. Новички, интересующиеся ИИ и робототехникой и желающие начать с простого и понятного проекта
2. Студенты и любители, которые хотят собрать настоящего интерактивного ИИ-робота из недорогих деталей
3. Мейкеры и энтузиасты DIY, которые хотят объединить аппаратную часть, программное обеспечение и креативность в одном проекте
4. Преподаватели и STEM-наставники, которые хотят обучать ИИ, программированию и робототехнике через практические занятия

Требования:

1. Android-телефон. Это единственное обязательное устройство. Электронное оборудование (ESP32 или набор micro:bit) является необязательным
2. ПК с Windows. Используется для MIT App Inventor, Microsoft MakeCode и настройки ESP32 (если применимо)
3. Необязательно: базовые знания электроники (начальный уровень). Нужны только в том случае, если вы решите собирать физического робота с использованием ESP32 или micro:bit. Достаточно уметь подключать простые компоненты
4. Готовность изучать блочное программирование. Предварительный опыт программирования не требуется. MIT App Inventor и Microsoft MakeCode дружелюбны для новичков и используют блочный (визуальный) подход
5. Интерес к ИИ, робототехнике или DIY-проектам. Любопытство важнее технического бэкграунда
6. Необязательно (только для пользователей ESP32): полезно базовое знакомство с Arduino IDE, если вы выберете путь робота на ESP32. Все необходимые шаги полностью показаны в курсе
7. Для продвинутых ИИ-функций вы можете по желанию использовать OpenAI API, для чего потребуется создать API-ключ. Это необязательно, а расходы на использование обычно очень низкие. В зависимости от вашей конфигурации также можно использовать бесплатные или локальные альтернативы

Чему вы научитесь:

1. Создавать полностью функционального ИИ-робота на базе Android-телефона с использованием ESP32, набора micro:bit или только автономного телефона
2. Использовать блочное программирование MIT App Inventor для создания интерактивного Android-приложения без предварительного опыта программирования
3. Понимать и реализовывать Bluetooth-связь между Android-телефоном (мозгом) и ESP32 (телом) или набором micro:bit
4. Интегрировать диалог на базе LLM, чтобы робот мог говорить, отвечать и вести осмысленные взаимодействия
5. Использовать распознавание речи и преобразование текста в речь, чтобы дать роботу естественный голосовой интерфейс
6. Отображать выразительные цифровые глаза, которые моргают, отслеживают пользователей и показывают эмоции на экране телефона
7. Добавлять распознавание лиц и отслеживание объектов, чтобы робот мог автоматически поворачиваться к пользователю и следовать за ним
8. Управлять моторами и простой аппаратной частью, чтобы анимировать и двигать робота в реальном времени
9. Реализовывать функции чат-бота, такие как шутки, эмоциональные ответы и персонализированные разговоры
10. Настраивать внешний вид и поведение робота, включая необязательные лицевые анимации или изменения личности
11. Устранять неполадки и отлаживать типичные проблемы в Bluetooth- и BLE-связи, управлении моторами и логике приложения
12. Применять базовые концепции робототехники, ИИ, LLM, датчиков и разработки мобильных приложений
13. Повысить уверенность в объединении аппаратной части и программного обеспечения для создания реальных интерактивных ИИ-проектов

Материалы курса:

Что мы создаём

1. Введение
2. Что мы будем создавать

Создание корпуса робота

1. Необходимые аппаратные компоненты
2. Припаивание проводов к моторам
3. Сборка шасси робота — часть 1
4. Сборка шасси робота — часть 2
5. Модернизация аккумулятора

Программирование ESP32

1. Установка Arduino IDE
2. Как работает управление ESP32
3. Тестирование управления ESP32

Программирование Android-телефона

1. Настройка App Inventor
2. Bluetooth-связь
3. Распознавание речи
4. Распознавание лица
5. Отслеживание лица
6. Глаза робота
7. Чат-бот
8. Создание APK-приложения

Добавление новых функций

1. Голосовая команда для Bluetooth и сна
2. Создание собственного расширения камеры
3. Распознавание изображений
4. Создание собственного расширения для чат-бота

Локальный запуск LLM

1. Установка LM Studio
2. Запуск Sam с локальной LLM

Необязательное обновление Microbit

1. Обновление Microbit
2. Необязательное обновление аккумулятора для Microbit Sam
3. Программирование micro:bit
4. Программирование Android-телефона для micro:bit

Ввод IP, дальнейшие улучшения и устранение неполадок

1. Демонстрация ввода IP
2. Объяснение того, как работает кнопка IP и другие улучшения
3. Устранение типичных проблем с Sam

Долговременная память и Sam API

1. Введение в Sam API
2. Установка Sam API
3. Как работает Sam API

Ресурсы для дальнейшего изучения

1. Ресурсы для дальнейшего изучения

Спойлер: Оригинал

Bring your own personal artificial intelligence companion to life! In this hands-on course, you’ll learn how to build an interactive, expressive robot called SAM (Simulated Autonomous Multi-Intelligence) powered by an Android smartphone and an ESP32 development board, or, a Micro:bit (also commonly written as "microbit") kit. Using MIT App Inventor as the core development tool, you’ll discover just how easy it is to build complex AI applications through its intuitive block-based coding system—perfect for beginners and accessible to anyone without prior programming experience.
The Android phone will serve as the “brain” of your robot, enabling speech recognition, natural conversation, personality, text-to-speech, facial tracking, object recognition and facial expressions displayed right on the screen. The ESP32 (or micro:bit) acts as the robot’s body, controlling motors and simple hardware that bring your creation to life. You’ll only need a handful of inexpensive, easily available components to assemble the physical robot, making this project both affordable and beginner-friendly.

Tools and Software (All Free)

MIT App Inventor and Microsoft MakeCode are web-based tools that run directly in your browser and do not require installation. The Arduino IDE is also free to download and use. For advanced AI features, you may optionally choose to use the OpenAI API, which requires creating an API key. This is optional, and usage costs are typically very low. Free or local alternatives can also be used depending on your setup.
Note that this course is designed to be flexible, and you are NOT required to buy any hardware unless you want to.

You can choose any one of the following three approaches:

Three Ways to Build Your AI Robot (Important!)

1. Standalone SAM Robot (No Extra Hardware Required)

• Build SAM using only an Android phone using MIT App Inventor block-base coding
• Focus on AI, speech, vision, and Large Language Models (LLMs)
• Ideal if you want to learn AI robot concepts without spending on electronics

2. SAM + ESP32 Robot

• Use an ESP32 to control motors - program using Arduino IDE
• The Android phone remains the AI “brain” - built using MIT App Inventor block-based coding
• Great for beginners who want hands-on robotics with minimal complexity
• SAM (android phone) sends Bluetooth Classic commands to ESP32

3. SAM + micro:bit Robot

• Use a micro:bit for more advanced control and expansion - program using Microsoft Makecode block-based coding
• Suitable for students who want greater flexibility and performance
• Includes the potential to use built-in sensors already available on the micro:bit kit for richer interactivity
• SAM (android phone), built using MIT App Inventor block-based coding, sends Bluetooth BLE commands to the micro:bit

Buying ESP32 or micro:bit hardware is NOT compulsory.
You can fully follow and benefit from this course by building the standalone SAM robot using just your Android phone.
Course Focus: Companionship Over Hardware Complexity
At its core, the main objective of this course is to explore companionship, personality, and interaction, rather than advanced or precision hardware engineering.
This course is not focused on building robots that autonomously navigate complex environments, perform high-accuracy movements, or react to the physical world with mechanical precision. Instead, the emphasis is on learning how to design a robot that feels present, engaging, and personable—one that listens, speaks, responds thoughtfully, and builds a sense of connection with the user.
You’ll focus on crafting personality, conversational behavior, expressions, and AI-driven interaction, using software and intelligence rather than complex hardware. The hardware, when used, serves as a simple extension of the robot’s presence—not the centerpiece of the experience.
This approach allows you to concentrate on what makes a robot feel alive: communication, expression, context awareness, and meaningful interaction.

Inspiration and Philosophy

This course was inspired by the LOOI robot. LOOI demonstrates the powerful idea of using a smartphone as the central intelligence of a personal robot—leveraging the phone’s screen, camera, microphone, speakers, and AI capabilities to create natural interaction, expressive visuals, and conversational behavior. Its approachable form factor and emphasis on personality, presence, and human-like engagement show how compelling robots can be built around devices many people already own. SAM follows this same core philosophy, translating it into a beginner-friendly, educational project that you can fully build, customize, and understand using accessible tools and hardware.
This course will guide you in designing a robot that listens to your voice, responds using speech, and holds meaningful conversations powered by modern AI and LLM technologies. Your robot can tell jokes, offer companionship, answer questions, and behave like a friendly personal assistant. Through the phone’s sensors and camera, you’ll add user-tracking and object-tracking abilities so the robot can automatically turn to face the user, giving it lifelike presence.
You’ll also build expressive digital eyes that blink, track the user, and show emotions—plus the option to create your own custom faces or animations. Along the way, you’ll gain foundational skills in Bluetooth communication, AI and LLM integration, speech recognition, text-to-speech, facial recognition, chatbot behaviour, object tracking, and more.
By the end of this course, you’ll have a fully functional, AI-driven robot that blends hardware, software, creativity, and conversational intelligence—all built by you from the ground up!
Enroll today and join me inside to bring your AI robot—and your creativity—to life!

Who this course is for:

1. Beginners interested in AI and robotics who want a simple, approachable project to get started.
2. Students and hobbyists who want to build a real, interactive AI robot from affordable parts.
3. Makers and DIY enthusiasts looking to combine hardware, software, and creativity into one project.
4. Educators and STEM instructors who want to teach AI, programming, and robotics through hands-on activities.

Requirements:

1. An Android phone. This is the only required device. Electronics hardware (ESP32 or a micro:bit kit) is optional
2. A windows PC. Used for MIT App Inventor, Microsoft MakeCode, and ESP32 setup (if applicable)
3. Optional: Basic electronics knowledge (beginner level). Only needed if you choose to build a physical robot using an ESP32 or micro:bit. Just enough to connect simple components.
4. Willingness to learn block-based programming. No prior coding experience required. MIT App Inventor and Microsoft MakeCode are beginner-friendly and block-based (visual)
5. An interest in AI, robotics, or DIY projects. Curiosity is more important than technical background.
6. Optional (ESP32 users only): Beginner-level Arduino IDE familiarity is helpful if you choose the ESP32 robot path. All required steps are fully guided in the course.
7. For advanced AI features, you may optionally choose to use the OpenAI API, which requires creating an API key. This is optional, and usage costs are typically very low. Free or local alternatives can also be used depending on your setup.

What you’ll learn:

1. Build a fully functional AI-powered robot using an Android phone with an ESP32, or, micro:bit kit, or, just the standalone phone
2. Use MIT App Inventor’s block-based coding to create an interactive Android app without needing prior programming experience.
3. Understand and implement Bluetooth communication between the Android phone (brain) and the ESP32 (body), or, micro:bit kit
4. Integrate LLM-powered conversation to enable your robot to speak, respond, and hold meaningful interactions.
5. Use speech recognition and text-to-speech to give your robot a natural voice interface.
6. Display expressive digital eyes that blink, track users, and show emotions using the phone’s screen.
7. Add facial recognition and object tracking to allow your robot to automatically face and follow the user.
8. Control motors and simple hardware to animate and move the robot in real-time.
9. Implement chatbot features such as jokes, emotional responses, and personalized conversations.
10. Customize the robot’s appearance and behavior, including optional facial animations or personality tweaks.
11. Troubleshoot and debug common issues in Bluetooth and BLE communication, motor control, and app logic.
12. Apply foundational concepts in robotics, AI, LLMs, sensors, and mobile app development.
13. Build confidence in combining hardware and software to create real-world interactive AI projects.

Course content

What we are building

1. Introduction
2. What we will be building

Building the robot body

1. Hardware components needed
2. Soldering wires to motors
3. Assembling the robot chassis - part 1
4. Assembling the robot chassis - part 2
5. Upgrading the battery

Programming the ESP32

1. Installing Arduino IDE
2. How the ESP32 control works
3. Testing the ESP32 controls

Programming the Android phone

1. Setting up app inventor
2. Bluetooth communication
3. Speech recognition
4. Face detection
5. Face tracking
6. Robo Eyes
7. Chatbot
8. Building the apk app

Adding more features

1. Voice command for bluetooth and sleep
2. Make your own camera extension
3. Image recognition
4. Make your own chatbot extension

Running LLM locally

1. Installing LM studio
2. Running Sam with local LLM

Optional Microbit upgrade

1. Microbit upgrade
2. Optional battery upgrade for Microbit Sam
3. Programming the micro:bit
4. Programming the android phone for micro:bit

IP Entry, Further Improvements and Troubleshooting

1. Demo of IP Entry
2. Explaining how the IP button works and other improvements
3. Troubleshooting common problems with Sam

Long term memory and Sam API

1. Intro to Sam API
2. Installing Sam API
3. How Sam API works

Resources for further study

1. Resources for further study

Цена 1650 руб. (19,99 долларов)
Скрытая ссылка