Умное стекло, которое может читать книги людям с ослабленным зрением

Ранее мы создали умные очки, способные обнаруживать присутствие людей и распознавать их для людей с ослабленным зрением. Расширяя эту самодельную версию до второй версии, теперь мы собираемся создать умные очки, которые поддерживают распознавание текста и используют компьютерное зрение. Камера, установленная на передней части стекла для выполнения вышеперечисленных действий, позволит читать людям с ослабленным зрением.

Спецификация

В этой версии вам также понадобятся очки. 

Обязательное условие 

Во-первых, нам нужно установить некоторые необходимые модули и библиотеки для нашего проекта. Поскольку умное стекло основано на обработке видео в реальном времени, с помощью OCR мы извлекаем текст из изображения. Здесь необходим модуль, способный захватывать изображения с камеры. С помощью модуля синтеза речи текст на захваченных изображениях можно преобразовать в речь.

Итак, сначала нам нужно установить следующие библиотеки

Чтобы установить их, используйте ссылки ниже:

sudo apt-get install espeak



sudo apt-get install espeak python-espeak



sudo pip3 install opencv2 

Кодирование

Импортируйте в код необходимые библиотеки, а затем задайте путь, по которому будут сохраняться видеокадры для дальнейшей обработки для извлечения текста.

Далее создайте в коде цикл while, который будет захватывать видео с камеры в реальном времени. Используя cv2, преобразуйте изображение в BGR и сохраните его по ранее установленному пути. Затем вызовите PyTesseract, который откроет сохраненный видеокадр для обработки изображения и извлечения из него текста. Затем с помощью eSpeak речевой движок преобразует весь этот текст в аудио и читает его.

Тестирование

Закрепите камеру на очках и запустите код. Если положить книгу перед камерой и подождать несколько минут, не двигаясь, она автоматически начнет читать книгу. Чтобы услышать его по радио, подключите наушники к разъему TRRS для наушников Raspberry Pi. Вы также можете подключить любые наушники Bluetooth.

КОД