Управляйте ПК с помощью глаз

По мере развития технологий цифровые гаджеты стали важной частью нашей жизни. Хотя люди трудоспособного возраста могут эффективно ими управлять, люди с ограниченными физическими возможностями часто сталкиваются с проблемами при этом. Следует отметить, что миллионы людей по всему миру страдают от нервно-сопряженного расстройства или какой-либо другой формы паралича, из-за которого они не могут двигать никакими частями тела, кроме головы и глаз. 

Чтобы преодолеть эту проблему, мы создадим умный компьютер, который позволит человеку с ограниченными возможностями управлять вычислительной системой с помощью движений лица. Это наша первая версия прототипа, и вскоре мы обновим ее следующей версией с дополнительными улучшениями в системе управления. 

Видео: https://www.youtube.com/watch?v=D3c_Y7whxdI

Координация движений на ПК =(1080,720) до (0,0)

 где x= 1080, y= 720

mapx=(x), mapy=(y)

Решение выполняет три разные функции: 

<ол>

Обнаружение моргания правого глаза при работе системы

Обнаружение движения глаз с помощью обработки изображения 

Перевод движения глаз и моргания для управления GUI ПК

Проблемы

Вышеуказанные функции связаны с несколькими различными проблемами, которые мы решили с помощью различных шагов, чтобы устройство работало идеально. Это:

<ул>

Как отличить естественное и намеренное моргание 

Наши глаза непроизвольно моргают через определенные промежутки времени, чтобы защититься от пыли и влаги. Для того, чтобы выполнить щелчок левой или правой кнопкой мыши, здесь глазам придется намеренно моргнуть. Однако должна быть какая-то форма различия между непроизвольным и намеренным морганием глаз, чтобы функция устройства выполнялась правильно. 

Для этого объедините два датчика, чтобы, когда оба они одновременно обнаруживали моргание, это считалось естественным морганием. Если моргание происходит только в одном глазу (левом или правом), то оно распознается как намеренное моргание, в результате чего происходит щелчок левой или правой кнопкой мыши. 

Хотя этот метод весьма эффективен, есть одна проблема — он увеличивает стоимость материалов до нескольких сотен рупий. Также этим решением не смогут воспользоваться люди, имеющие проблемы с одним глазом.

Поэтому это решение было модифицировано с включением кода, в котором if глаз моргает в течение секунды, затем это распознается как естественное. А if глаз моргает более нескольких секунд, тогда это распознается как намеренное. 

<ул>

Обнаружение движения глаз с помощью обработки изображения

<р> Для перемещения курсора мыши человеческий глаз должен обратиться хотя бы к одному объекту и переместить мышь относительно него. Используя движения глаз, человек с ограниченными возможностями может легко управлять компьютером. Но обработка изображений движений глаз не дает точных результатов, работа в условиях плохой освещенности/полной темноты и весь процесс достаточно труден.

Таким образом, свет, установленный на датчике, отслеживает движения глаз всякий раз, когда человек двигает головой.

.Передача движения глаз и моргания для управления GUI ПК

Мы разработали решение для обнаружения моргания глаз и установили движение света на очках. Но их значение бесполезно без установки их на ПК GUI для получения точного перемещения курсора мыши. Хотя голова человека должна покрывать всю длину и ширину монитора ПК, она может двигаться только до определенной степени. Чтобы решить эту проблему, небольшое движение головы должно преобразоваться в большое движение пикселя курсора мыши.

Предварительные требования 

Мы обсудили цели и задачи проекта. Теперь нам нужно разработать основы.  

Сначала подготовьте SD-карту с последней версией Raspbian OS и проверьте, есть ли на ней предустановленный Python IDLE. Затем установите для проекта следующие библиотеки и модули Python: 

<ул>

OpenCV

pynput

numpy 

гпиозеро 

Для этого откройте терминал и используйте следующие команды: 

sudo pip3 install python-opencv

sudo pip3 install numpy

sudo pip3 install gpiozero

sudo pip3 install pynput

sudo pip3 установить nmap

 

После установки всех библиотек включите официальный репозиторий OpenCV GitHub в Raspberry Pi с помощью следующей команды.

клон git https://github.com/opencv/opencv

Теперь мы готовы писать код. 

Кодирование

Здесь вам нужно будет изменить пример кода, найденный в папке библиотеки OpenCV, и добавить в него свой код для подготовки устройства. Для этого откройте папку OpenCV → папка платформ → python и выберите код mouse.py. Скопируйте и вставьте его в новый текстовый файл с именем headcontrolGUI.py, а затем сохраните.

Вам потребуется получить от датчика последовательность морганий глаз для щелчка мыши. Чтобы получить его, получите доступ к контактам gpio и импортируйте модуль gpiozero в код, чтобы прочитать данные датчика моргания. 

Кроме того, импортируйте модуль pynput, чтобы создать ввод виртуальной мыши для GUI Raspberry Pi OS. 

<р>

Далее создайте условие if для проверки состояния глаза. Если статус глаз = моргание, установите четыре секунды, чтобы определить if, моргание это намеренное или естественное. Если моргание намеренное, передайте команду pynput на щелчок левой или правой кнопкой мыши виртуальной мыши.

Строительство

Поместите датчик моргания на стекло и подключите его к контакту Raspberry Pi. Подключите камеру к плате RPi и поместите ее на расстоянии более 15 см посередине обоих глаз так, чтобы все лицо идеально помещалось в кадр камеры. 

Тестирование 

Наденьте очки и запустите код. Обязательно отметьте красный свет в глазу (как показано в кадре видео) с помощью мыши для отслеживания. В случае успеха человек может управлять компьютером движениями глаз. Чтобы переместить мышь, переместите глаз влево, вправо, вверх и вниз. Чтобы щелкнуть мышью, моргните глазом до четырех секунд.

<час/>