Окулография

02.02.2021

Окулография (отслеживание глаз, трекинг глаз; айтрекинг) — определение координат взора («точки пересечения оптической оси глазного яблока и плоскости наблюдаемого объекта или экрана, на котором предъявляется некоторый зрительный раздражитель»).
Отслеживатель глаз — устройство, используемое для определения ориентации оптической оси глазного яблока в пространстве (то есть для отслеживания глаз). Отслеживатели глаз используются в исследованиях зрительной системы, психологии, когнитивной лингвистике. Для отслеживания глаз используется несколько методов. Самый популярный — покадровый анализ видеосъёмки глаза, также используются контактные методы, такие как электроокулография.

История

В XIX веке все исследования в области отслеживания глаз проводились исключительно методом наблюдения.

В 1879 году в Париже Луи Эмиль Жаваль обнаружил, что в процессе чтения напечатанного текста глазные яблоки не движутся монотонно, как предполагали ранее. Вместо этого они совершают короткие остановки, которые Жаваль назвал фиксациями, и резкие передвижения — саккады. Данное наблюдение привело к возникновению важных вопросов о природе процесса чтения, которые были решены уже в XX веке: На каких словах концентрирует своё внимание человек? Как долго это происходит? Зачем нужен возврат взгляда к словам, которые испытуемый уже видел?

Пример появления фиксаций и саккад. На рисунке типичная траектория движения глаз по тексту. Глаза никогда не движутся равномерно по тексту.

Эдмунд Хью создал первое устройство для отслеживания глаз. Устройство представляло собой некоторое подобие контактной линзы с отверстием для зрачка. Устройство соединялось с алюминиевой указкой, которая двигалась синхронно с глазным яблоком. Хью использовал квантованные регрессии (только малая доля саккад являются регрессиями на самом деле).

Первый неинвазивный отслеживатель глаз был создан Ги Томасом Бушвеллом в Чикаго. Бушвелл использовал отражения световых лучей от глазного яблока на светочувствительную плёнку. Таким образом он проводил исследования процессов чтения и изучения статических изображений.

В 1950-х годах в Москве русский учёный Альфред Ярбус проделал важные исследования в области отслеживания глаз и его монография 1967 года крайне высоко была оценена мировым научным сообществом. Он показал, что формальная задача, поставленная испытуемому, имеет огромное влияние на результат эксперимента по отслеживанию глаз.

Он также писал о взаимосвязи между мотивацией испытуемого и фиксациях его взгляда: «Проведенные исследования… показывают, что характер движения глаз либо совсем независим, либо крайне мало зависим от содержимого зрительного стимула». Серия экспериментов показала, что результат эксперимента зависим не только от визуального стимула, но и от задачи, поставленной испытуемому, а также от информации, которую испытуемый рассчитывает получить из визуального стимула.

Записи экспериментов по оценке движения глаз показали, что только небольшая часть элементов изображения привлекает внимание испытуемого и его глаза совершают фиксации на этих элементах. Процесс движения глаз отражает процесс мышления человека. Взгляд с некоторым отставанием следует за точкой, куда направлено внимание испытуемого. Таким образом, достаточно просто определить, какие элементы изображения привлекают внимание испытуемого, в каком порядке и как часто.

Часто внимание испытуемого привлекали элементы, которые не могут дать важной информации, но по его личному мнению могут это сделать. Часто глаз испытуемого фиксируется на элементах, которые просто напросто необычны в данной обстановке.

Двигаясь от одной точки фиксации к другой, глаз испытуемого часто возвращается к тем элементам изображения, которые он уже видел, то есть дополнительное время используется на вторичный осмотр наиболее важных элементов вместо осмотра менее важных элементов.

В 1970-е годы исследования по отслеживанию глаз резко ускорились, особенно в области теории чтения. Хороший обзор этих исследований был проведён Райнером.

В 1980 году Джаст и Карпентер сформулировали гипотезу о взаимосвязи визуальной системы и сознания человека. «Не существует значительного расхождения между тем, на чём фиксирует свой взгляд человек и тем, что он пытается осмыслить». Если эта гипотеза верна, то когда испытуемый смотрит на слово или на объект, он или она думает о нём (когнитивный процесс), причем данный процесс сопоставим по длительности с записанной длительностью фиксации. На данную гипотезу часто ссылаются современные исследователи в области айтрекинга.

В 80-е года данная гипотеза развивалась в свете проблемы скрытого внимания. Вопрос скрытого внимания расшифровывается таким образом, что люди не всегда смотрят на то, что на самом деле вызывает их внимание. Скрытое внимание наблюдается на записях движения глаз, во время которых след взгляда и точки фиксации часто проходят мимо объектов, к которым реально привлекалось внимание, и только иногда показывают непродолжительные по времени фиксации. Из этого следует, что не во всех случаях существует однозначная взаимосвязь между результатами эксперимента по айтрекингу и когнитивным процессом.

В соответствии с работой Хофмана, точка, к которой привязано внимание испытуемого, всегда слегка (на 100—250 мс) опережает движение глаз. Однако непременно при передвижении точки внимания на новую позицию глаза будут пытаться следовать за ней.

Все ещё невозможно установить механизм протекания когнитивных процессов напрямую из результатов экспериментов по отслеживанию глаз. Например, фиксация взгляда на лице или картинке не может показывать, что лицо или картинка нравится или не нравится испытуемому. Поэтому технология айтрекинга часто используется с такими методами, как интроспективный вербальный протокол.

Методы и их реализация

На сегодняшний день самыми широко применяемыми являются отслеживатели глаз на основе видеозаписи глаз. Камера снимает один или оба глаза и регистрирует их движения, пока испытуемый рассматривает визуальный стимул. Большинство современных отслеживателей глаз используют контраст между зрачком и радужной оболочкой, который возникает при инфракрасной подсветке. Кроме того, анализируется положение блика инфракрасной подсветки, благодаря чему становится возможным определить ориентацию оптической оси глазного яблока.

Используется два основных типа подобных систем:

  • системы, основанные на методе яркого зрачка;
  • системы, основанные на методе тёмного зрачка.

Их разница заключается в расположении источника подсветки относительно камеры. В случае, если подсветка расположена параллельно оптической оси камеры, глаз работает как вторичный отражатель света, который поступает от подсветки и отражается от сетчатки, создавая эффект яркого зрачка, аналогичный эффекту красных глаз в фотографии. В случае, если источник подсветки сдвинут относительно оптической оси камеры, зрачок становится чёрным, поскольку вторичное отражение от сетчатки не поступает в камеру. Эффект яркого зрачка позволяет вести айтрекинг в не зависимости от цвета радужной оболочки испытуемого. Это также способствует преодолению влияния тёмной глазной туши и ресниц, частично закрывающих зрачок. Это также позволяет проводить отслеживания глаз при световых условиях от полной темноты до высокой освещенности, однако техники яркого глаза не эффективны для отслеживания глаз в условиях улицы, вследствие наличия дополнительных источников инфракрасного излучения.

Устройства для отслеживания глаз в своей аппаратной реализации очень сильно отличаются. Некоторые из них монтируются на голову испытуемого, другие требуют неподвижного закрепления головы испытуемого, остальные функционируют удаленно и автоматически компенсируют движения головы. Большинство систем функционируют при скорости съёмки не менее 30 кадров в секунду. Несмотря на то, что наиболее часто используемой скоростью съёмки является 50/60 кадров в секунду, большинство отслеживателей глаз, основанных на видео съёмке глаз работают на скоростях 12, 300, 500 или даже 1000/1250 кадров в секунду. Это необходимо для обеспечения регистрации 100 % движений глаз.

Движения глаза традиционно разделяются на фиксации и саккады, то есть глаз фиксируется в некоторых позициях и затем быстро передвигается на следующую позицию. Результирующие серии фиксаций и саккад называются путём взгляда (scanpath). Основное количество информации зрительный анализатор человеческого мозга получает во время фиксации. Центр зрительного поля, который образован телесным углом в 2 стерадиана даёт большую часть визуальной информации. Сигнал с оставшейся части зрительного поля менее информативен. Как следствие положения точек фиксаций, которые нам даёт scanpath объективно показывают точки привлекающие внимание на зрительном стимуле. Средняя продолжительность фиксаций находится в диапазоне от 200 мс во время чтения текста до 350 мс во время изучения статического изображения. Процесс движения взгляда от одной точки фиксации к другой (саккада) занимает до 200 мс.

Пути взгляда полезны при анализе когнитивных процессов, а также выявлении точек интереса. Другие биологические факторы, например пол, также могут оказать влияние на путь взгляда. Таким образом айтрекинг может быть использован в юзабилити исследованиях, а также в управлении внешними устройствами с помощью контроля движений глаз.

Виды отслеживателей глаз

Отслеживатели глаз определяют ориентацию оптической оси глазного яблока и динамику изменения этой ориентации во времени. Это делается несколькими способами, но их можно разделить на три больших группы.

Первый тип использует механический контакт с глазом. Это могут быть контактные линзы со встроенными зеркалами, это может быть миниатюрное устройство, создающее магнитное поле. Измерения, проведённые с помощью специальных контактных линз показали записи, чрезвычайно чувствительные к движению глаз. Данные методы часто используются исследователями, изучающими динамику и скрытую физиологию движения глаз.

Следующая обширная категория использует бесконтактные оптические методы регистрации движения глаз. Как правило используется инфракрасная подсветка, которая отражается глазным яблоком и регистрируется видеокамерой или другим специально разработанным оптическим сенсором. В процессе обработки видеозаписи получается информация о ориентации глазного яблока в пространстве и её временная динамика. Отслеживатели глаз, основанные на видеозаписи, часто используют отражение инфракрасной подсветки от роговицы глаз (первое изображение Пуркине) для расчёта направления на центр глазного яблока и дальнейшего сравнения с координатами центра зрачка. Более сложный тип айтрекера использует как отражение от роговицы, так и отражение от хрусталика глаза. Наиболее сложные айтрекеры данного типа анализируют также расположение сосудов на роговице глаза и его сетчатке. Данная категория отслеживателей глаз наиболее часто используется в задачах гейзтрекинга (нахождение точки пересечения оптической оси глазного яблока и плоскости экрана, на котором предъявляется некоторый визуальный стимул), которые требуют, чтобы процедура эксперимента была неинвазивна, а оборудование было относительно недорогим.

Третья категория использует электрические потенциалы, измеряемые электродами, расположенными вокруг глаз. Каждый глаз является источником стабильного электрического поля, которое может быть обнаружено в условиях полной темноты или когда испытуемый закрывает глаза. Глаз может быть приравнен к диполю, положительный полюс которого находится на роговице, а отрицательный на сетчатке. Электрический сигнал может быть получен путём использования двух пар электродов, устанавливаемых на кожу вокруг одного из глаз, данных метод называется электроокулограммой (ЭОГ). Если глаза двигаются из центральной позиции к периферийной, то сетчатка приближается к одному электроду, а роговица к другому. Данный процесс меняет ориентацию диполя, как следствие меняется электрическое поле и, следовательно, меняется измеряемый ЭОГ сигнал. Таким образом, анализ этих электрических сигналов может быть использован для отслеживания глаз. Благодаря тому, что используется две пары электродов, возможно разделение горизонтальных и вертикальных компонент движения глаз. Третьим ЭОГ компонентом является радиальный ЭОГ канал, который является разницей между средним значением 4-х ЭОГ электродов и дополнительного электрода, закреплённого на голове. Этот радиальный канал чувствителен к потенциалам, вызываемым саккадическими спайками глазодвигательных мышц, что позволяет проводить детекцию даже крайне незначительных саккад.

Из-за временной нестабильности потенциалов сигналов ЭОГ и длительности саккад, становится затруднительным использование ЭОГ для измерения медленных движений глаз и определения позиции взгляда. Однако ЭОГ является весьма устойчивой техникой определения саккадического движения глаз, связанного с изменением направления взора, а также детекции моргания глаз. В противоположность методам, основанным на видеозаписи, ЭОГ позволяет проводить регистрацию движений глаз даже когда глаза закрыты и, таким образом, ЭОГ может быть использована в исследованиях процесса сна. Это весьма малоресурсоемкий подход, который в противоположность методам, основанным на видеозаписи, не требует мощного компьютера, работает при различных световых условиях и легко может быть выполнен в виде мобильного устройства. Таким образом, этот метод хорош для мобильного айтрекинга в повседневных ситуациях, а также в исследованиях стадии быстрых движений глаз во время сна.

Айтрекинг и гейзтрекинг

Отслеживатели глаз определяют ориентацию глазного яблока относительно некоторой системы координат. Если айтрекер монтируется на голову испытуемого, например, как в системе, основанной на ЭОГ, то необходимо заложить компенсацию движения головы испытуемого относительно этой системы координат. Вследствие этого, задача по определению точки взгляда испытуемого усложняется. В случае, если айтрекер неподвижно закреплен, то расчёт точки взора приводит к меньшим вычислительным затратам. Во многих системах голова испытуемого фиксируется с помощью офтальмологической рамки, вследствие этого становится возможным избежать дополнительных вычислений, связанных с движением головы испытуемого. В других системах выполняется компенсация движения головы с помощью магнитных сенсоров или дополнительного анализа видеоизображения.

Для устройств, монтируемых непосредственно на голове испытуемого, позиция головы и её ориентация в пространстве складываются с вектором направления взгляда человека. Для систем с неподвижным айтрекером направление головы вычитается из направления взгляда для того, чтобы определить позицию глаз на лице.

Информация о механизме и динамике движения глазного яблока пользуется большим спросом в научных исследованиях, однако, в большинстве случаев конечной задачей айтрекинга является определение точки взгляда, то есть гейзтрекинг.

Выбор отслеживателя глаз

Одно из трудностей при оценки систем айтрекинга является то, что глаз испытуемого крайне редко находится в неподвижном состоянии, бывает крайне трудно оценить небольшие, но крайне быстрые и иногда хаотические движения, связанные с воздействием источника шума внутри самого механизма систем айтрекинга. Одним из полезных приёмов борьбы с этим эффектом является параллельная запись двух глаз испытуемого и проверка позиции одного глаза по другому глазу. Глаза здорового человека очень хорошо связаны между собой и разница в направлении оптических осей в вертикальном направлении обычно не превышает ± 2 угловых минут. Правильно функционирующая и чувствительная система айтрекинга должна показать эту степень согласованности глаз испытуемого. Любое возникновение более высокой угловой разницы может рассматриваться как ошибка измерения.

Применение отслеживания глаз на практике

Конечный потребитель может быть заинтересован, например, какие именно фрагменты изображения привлекли внимание испытуемого. Важным моментом является то, что айтрекер, в принципе, не может провести точное определение точки, которая привлекла внимание испытуемого. Тем не менее, айтрекинг весьма эффективен для определения примерной последовательности точек, привлекающих интерес. Для того, чтобы определить точку взгляда испытуемого, необходимо провести процедуру калибровки. В ходе подобных процедур, испытуемому предлагается последовательно направлять свой взгляд на серию калибровочных маркеров. Параллельно с этим отслеживатель глаз записывает координаты зрачка, которые соответствуют каждой из позиций калибровочных маркеров. Даже те техники, которые исследуют расположение сосудов на сетчатке глаза не позволяют создать устройство, которое калибруется один-единственный раз на всех возможных испытуемых, поскольку, расположение сосудов на сетчатке является уникальным для каждого испытуемого. Точная и надежная калибровка необходима для получения правильных и воспроизводимых экспериментальных данных. Это может стать значительным препятствием при проведении экспериментов по отслеживанию глаз с испытуемыми с нестабильным взглядом.

Каждый метод айтрекинга имеет свои преимущества и недостатки и выбор оборудования для айтрекинга зависит от его стоимости и сферы применения. Существует офлайн и онлайн методы. Существует зависимость между ценой и точностью системы. Большинство высокочувствительных систем стоят десятки тысяч долларов и требуют высокой квалификации персонала для настройки оборудования к экспериментам у конечного потребителя. Высокие темпы развития компьютерных технологий и технология обработки видео привели к возникновению относительно недорогих систем, которые пригодны в большинстве областей применения айтрекинга и простые в управлении. Интерпретация результатов все ещё требует некоторого уровня подготовки, кроме того, плохо откалиброванная система может привести к значительным погрешностям в процессе эксперимента.

Использование отслеживания глаз при вождении автомобиля в сложных ситуациях

Движение глаз двух групп водителей были отсняты айтрекером, монтируемым на голове испытуемого. Исследования проводились в шведском федеральном технологическом институте. Водители-новички и водители с многолетним опытом принимали участие в данном эксперименте. Эксперимент заключался в проезде по очень узкой дороге. Серии снимков водителя-новичка и опытного водителя приведены на рисунке.Последовательность снимков охватывает временной интервал в 0,5 секунды.

Серия снимков показывает, как распределялись фиксации у новичка и у опытного водителя. Сравнение первых снимков показывает, что опытный водитель отслеживает в первую очередь искривление проезжей части, в то время как водитель-новичок фиксируется на припаркованном автомобиле. На средних снимках видно, что опытный водитель концентрируется на области, где теоретически может появиться встречная машина, а водитель-новичок по прежнему смотрит на припаркованные машины. На нижних снимках видно, что водитель-новичок оценивает дистанцию между стеной слева и припаркованным автомобилем, в то время как опытный водитель может использовать боковое зрение и по прежнему концентрирует свой взгляд на опасном повороте дороги: если в этой области появится встречная машина, у него будет путь отхода, то есть прижаться к обочине и остановиться между припаркованными машинами.

Технология отслеживания взгляда при обучении скорочтению

Специальное оборудование «Eye-Tracker» отслеживает траекторию движения взгляда при чтении и выполнении упражнений. Программа в реальном времени анализирует информацию о движении глаз и автоматически проверяет правильность выполнения задания. Информация оперативно передается преподавателю, который помогает исправить ошибки и сделать обучение более результативным.

Отслеживание глаз более молодых и более пожилых испытуемых

Более пожилые испытуемые в большей степени опираются на центральное зрение. Их скорость передвижения при ходьбе меньше, чем у более молодых испытуемых. Более молодые испытуемые в процессе ходьбы используют как центральное, так и периферийное зрение. Их периферийное зрение позволяет лучше контролировать обстановку вокруг и как следствие ходить быстрее.

Области использования

Широкое разнообразие дисциплин, которые используют системы айтрекинга, включает в себя: когнитивные науки, психологию (особенно психолингвистику и изучение процессов чтения), взаимодействие человек-машина, маркетинговые исследования, медицинские исследования (неврологическая диагностика). Специфические приложения включают в себя изучения движения глаз при чтении на разных языках, чтение музыкальных нот, изучение взаимодействия между людьми, восприятие рекламы, спортивные соревнования. Использование включает в себя:

  • когнитивные исследования
  • медицинские исследования
  • человеческий фактор
  • юзабилити исследования
  • исследования процесса перевода с одного языка на другой
  • симуляция транспортных средств
  • исследования в реальных транспортных средствах
  • технологии виртуальной реальности
  • исследование взрослых пациентов
  • исследования подростков
  • исследование пожилых пациентов
  • исследования обезьян
  • спортивные тренировки
  • регистрация в fMRI/MEG/EEG
  • коммерческий айтрекинг (веб юзабилити, реклама, маркетинг, банкоматы)
  • оптимальный выбор одного из нескольких вариантов
  • коммуникационные системы для полностью парализованных людей
  • улучшенные системы видеокоммуникации
  • детекция жизнеспособности

Коммерческие приложения

В последние годы резко увеличилась сложность систем айтрекинга и простота в их использовании, что привело к резкому увеличению интереса к ним со стороны коммерческого сектора. Применения систем включают в себя веб-юзабилити, рекламу, оптимизацию внешнего дизайна продукции и автоматизацию разработки. В общем коммерческое использование отслеживания глаз в большинстве сводится к тому, что группе потребителей предъявляется один и тот же визуальный стимул, в то время как отслеживаются движения глаз. Примерами конечных стимулов могут быть веб-сайты, телевизионные программы, трансляции спортивных состязаний, фильмы, рекламные ролики, страницы журналов, страницы газет, упаковки некоторых продуктов и прилавки магазинов, также банкоматы и пользовательские интерфейсы программного обеспечения. Результирующие данные могут быть статистически анализированы и графически отражены для того, чтобы показать справедливость сделанных выводов. Путём исследования фиксаций, саккад, изменения размера зрачка, морганий и ряда других параметров исследователи в значительной степени могут определить эффективность созданного информационного ресурса или продукта. Пока некоторые компании пытаются решить подобные задачи внутренними ресурсами, другие привлекают фирмы, предлагающие услуги отслеживания глаз.

Наиболее многообещающее поле использования коммерческого отслеживания глаз это веб-юзабилити. Несмотря на то, что традиционные техники юзабилити дают достаточно адекватные данные путём анализа кликов мышкой и прокручивания, айтрекинг даёт возможность анализировать связь между поведением пользователя и кликами мышкой. Это даёт значительное улучшение оценки того, какие фрагменты веб-сайта являются наиболее привлекательными для пользователя, какие фрагменты веб-сайта вызывают трудности у конечного пользователя и какие пользователем не замечаются. Айтрекинг также может быть использован для оценки эффективности поиска, правильности концепции бренда, онлайн-исследования, юзабилити перехода между страницами, эффективности общего дизайна и многих других аспектов веб-дизайна. В процессе исследования может быть проведено сравнение двух сайтов-конкурентов.

Отслеживание глаз традиционно используется для оценки эффективности рекламы на различных медиаресурсах. Телевизионные видеоролики, рекламные буклеты, реклама на интернет-сайтах, показ эмблемы спонсоров в телепрограммах, все это открывает обширное поле деятельности для коммерческого отслеживания глаз. Анализируются заметность упаковки с продуктом или некоторого логотипа на витрине магазина, газеты, веб-сайта и телепрограммы. Это позволяет исследователям с высокой детализацией оценивать то, как потребители замечают или не замечают логотип конечного продукта, упаковку, POS. Таким образом, специалист по рекламе может оценить эффективность рекламной компании благодаря реальному визуальному восприятию.

Отслеживание глаз позволяет разработчикам упаковки продукта оценить её эффективность. Таким образом могут быть оценены заметность, привлекательность и соответствие современным трендам исследуемой упаковки с целью оптимального выбора. Отслеживание глаз часто используется, пока коммерческий продукт ещё находится на стадии прототипа. Прототипы часто тестируются парами для выявления наиболее эффективного своего дизайна, а также сравнение с решениями конкурентов.

Одно из наиболее многообещающих применений отслеживания глаз это оптимизация дизайна уличных терминалов. В настоящее время исследователи дошли до того, что предлагают интегрировать айтрекеры в серийно производимые уличные терминалы. Основной задачей этого является уменьшения времени взаимодействия между человеком и устройством.

Отслеживатели глаз могут также использоваться для оптимизации системы автофокуса цифровой фотокамеры (резкость наводится туда, куда смотрит пользователь).

The National Highway Traffic Safety Administration (NHTSA) утверждает, что интеграция отслеживателей глаз в автомобиле может сократить количество ДТП на 100 тысяч в год. В соответствие с их исследованиями до 80 % ДТП происходят в результате неправильных действий водителя в течение 3-х секунд перед аварией. Экипировка автомобилей айтрекерами позволит значительно увеличить класс безопасности этих автомобилей. «Лексус» обещает оснастить модель LS460 встроенным отслеживателем глаз, подающим предупреждающий сигнал в случае, если водитель отвлекается от дороги.

С 2005 года система айтрекинга используется в коммуникационном оборудовании для полностью парализованных людей. Они позволяют набирать текстовые сообщения, отправлять электронную почту, работать в интернете, используя исключительно их глаза. Отслеживание глаз позволяет достичь положительных результатов даже в случае церебрального паралича, при котором пациент совершает непроизвольные движения. Айтрекер и интерфейс "взгляд-мышь" позволяет управлять компьютером или обучать людей с нарушенной координацией движений.