Умное стекло, которое может читать книги

Мы видели множество умных очков, которые определяют расстояние между объектами или помогают людям с ослабленным зрением распознавать лица людей. Здесь мы расширяем его до следующего уровня, используя оптическое распознавание символов (OCR). Расширяя проект DIY до следующей версии, мы теперь подробно рассказываем о создании умного стекла, которое может читать текст с помощью оптического распознавания символов и компьютерного зрения. Таким образом, камера, установленная на передней части стекла для оптического распознавания символов и компьютерного зрения, позволит людям с нарушениями зрения также читать. В этой версии вам также понадобятся очки.

Предварительные условия

Во-первых, нам нужно установить некоторые необходимые для проекта модули и библиотеки. Поскольку «умное стекло» основано на обработке видео в реальном времени, с помощью оптического распознавания символов мы можем извлекать текст со страниц, которые могут содержать изображения. Здесь необходим модуль, способный захватывать изображения с камеры. С помощью модуля синтеза речи текст на захваченных изображениях можно преобразовать в речь.

Во-первых, нам необходимо установить следующие библиотеки:

Чтобы установить их, используйте команды ниже:
sudo apt-get install espeak
sudo apt-get install espeak python-espeak
sudo pip3 install opencv2

Кодирование

Импортируйте в код необходимые библиотеки, а затем укажите путь, по которому будут сохраняться видеокадры для извлечения текста.

Создайте в коде цикл while, который будет захватывать видео с камеры в реальном времени. Используя cv2, преобразуйте изображение в BGR и сохраните его по ранее установленному пути. Затем вызовите PyTesseract, который откроет сохраненный видеокадр для обработки изображения и извлечения из него текста. Используя eSpeak, речевой движок преобразует весь этот текст в аудио и читает его.

Примечание

Для четкого вывода голоса, который не будет звучать роботизированно, вы можете использовать платные или другие службы преобразования текста в речь, такие как gtts, Watson Speech и т. д.
Тестирование

Закрепите камеру на очках и запустите код. Если положить книгу перед камерой и подождать несколько минут без какого-либо движения, она автоматически начнет читать книгу. Чтобы услышать его, подключите наушники к разъему TRRS для наушников Raspberry Pi или к любому динамику с усилителем. Вы также можете подключить любые наушники Bluetooth.

Ашвини Кумар Синха — любитель электроники и технический журналист EFYi