Что такое tof датчик

Что за TOF камера в смартфонах? Это именно объектив или датчик? Для че.

Что за TOF камера в смартфонах? Это именно объектив или датчик? Для чего нужен?

И датчик, и объектив :-). Если обратиться к терминологии, то объектив это оптическая система, являющаяся частью оптического прибора, обращённая к объекту наблюдения или съёмки.

ToF-датчик (расшифровывается как Time of Flight, он же датчик глубины или времяпролетная камера) — это специальный сенсор, который излучает свет и регистрирует скорость его отражения от объекта. Зная время отражения, на основе скорости света (она постоянна в воздухе) можно вычислить точное расстояние до объекта, как это делает лазерный дальномер.

Таким образом, ToF-сенсор фиксирует не свет (как это делают обычные камеры для фотосъемки), а расстояние. Если измерить расстояние до разных точек, можно получить трехмерную картинку наблюдаемого объекта. И все это в реальном времени.

Сейчас датчики глубины популярны в смартфонах хуавей, хонор, оппо, самсунг и так далее. А первым смартфоном с такой камерой стал iPhone X в 2017 году. Именно для этого у него такая объемная «челка» — дополнительная ToF-камера стала ключевым элементом системы распознавания лица FaceID.

Для чего нужны датчики глубины? Пока что их применение ограничено, но перспективы большие. Реальное применение на данный момент — разблокировка по лицу, создание анимированный эмодзи на основе лица владельца телефона. В теории с такими камерами можно создавать вымышленных персонажей, которые будут похожи на своих «человеческих» прототипов и иметь живую мимику.

Также это позволит кому угодно делать комбинированные видеосъемки с «левыми» объектами, которые будут вести себя и располагаться в пространстве как реальные. Это полезно и для технологий дополненной реальности. Используется уже сейчас — например, можно онлайн примерить мебель к своей квартире. Или пририсовать виртуальные стикеры к каким-то вещам. Или играть в сетевую игру с виртуальными объектами, глядя на них через камеры ваших смартфонов. Вот ролик по теме от Sony с милым саундтреком:

Также ToF-камеры позволят создавать трехмерные модели объектов (например, для 3D-печати). Человек, сооружение, прибор — неважно. А комбинация обычной камеры и ToF позволяет получать такие модели в реальных цветах.

Источник

Time of flight

Знаете, меня порой удивляет причудливая структура общественного мнения. Взять к примеру технологию 3D-визуализации. Огромный общественный резонанс вызывают в последнее время технологии очков виртуальной реальности: Oculus Rift, Google Glass. Но ведь ничего нового тут нет, первые шлемы виртуальной реальности появились ещё в конце 90-х. Да, они были сложны, они опередили своё время, но почему тогда это не вызывало такого WOW-эффекта? Или 3D-принтеры. Статьи о том, как они круты или как быстро они захватят мир появляются в информационном поле два раза в неделю последние года три. Я не спорю, это круто и мир они таки захватят. Но ведь эта технология была создана ещё в 80х и с тех пор вяло прогрессирует. 3D-телевидение? 1915 год…

Технологии все эти хороши и любопытны, но откуда столько шумихи из-за каждого чиха?

Что, если я скажу, что в последние 10 лет была изобретена, разработана и внедрена в массовое производство технология 3D съёмки, очень сильно отличающаяся от любой другой? При этом технология уже повсеместно используемая. Отлаженная и доступная простым людям в магазинах. Вы слышали про неё? (наверное только специалисты по робототехнике и сопутствующим областям науки уже догадались, что я говорю про ToF-камеры).

Что такое ToF камера? В русской Википедии (англ) вы не найдёте даже коротенького упоминания о том, что это такое. «Time of flight camera» переводится как «Времяпролётная камера». Камера определяет дальность через скорость света, измеряя время пролёта светового сигнала, испускаемого камерой, и отражённого каждой точкой получаемого изображения. Сегодняшним стандартом является матрица 320*240 пикселей (следующее поколение будет 640*480). Камера обеспечивает точность измерения глубины порядка 1 сантиметра. Да-да. Матрица из 76800 сенсоров, обеспечивающих точность измерения времени порядка 1/10,000,000,000 (10^-10) секунды. В продаже. За 150 баксов. А может вы ею даже пользуетесь.
А теперь чуть подробнее про физику, принцип работы, и где вы встречали эту прелесть.

Существуют три основных типа ToF-камер. Для каждого из типов используется своя технология измерения дальности положения точки. Самая простая и понятная — «Pulsed Modulation» она же «Direct Time-of-Flight imagers ». Даётся импульс и в каждой точке матрицы измеряется точное время его возвращения:

По сути матрица состоит из триггеров, срабатывающих по фронту волны. Такой же способ используется в оптических синхронах для вспышек. Только тут на порядки точнее. В этом-то и основная сложность этого метода. Требуется очень точное детектирование времени срабатывания, что требует специфических технических решений (каких — я не смог найти). Сейчас такие сенсоры тестирует NASA для посадочных модулей своих кораблей.

А вот картинки которые она выдаёт:

Подсветки на них хватает, чтобы триггеры срабатывали на оптический поток отражённый с расстояния порядка 1 километра. На графике приведено число сработавших в матрице пикселя в зависимости от расстояния 90% работают на расстоянии в 1км:

Второй способ — постоянная модуляция сигнала. Излучатель посылает некоторую модулированную волну. Приёмник находит максимум корреляции того, что он видит с этой волной. Это определяет время, которое сигнал потратил на то, чтобы отразиться и прийти на приёмник.

Пусть излучается сигнал:

где w — модулирующая частота. Тогда принятый сигнал будет выглядеть как:

где b-некий сдвиг, a-амплитуда. Корреляция входящего и исходящего сигнала:


Но полную корреляцию со всеми возможными сдвигами по времени произвести достаточно сложно за реальное время в каждом пикселе. Поэтому используется хитрый финт ушами. Полученный сигнал принимается в 4 соседних пикселя со сдвигом в 90⁰ по фазе и коррелируется сам с собой:

Тогда сдвиг по фазе определяется как:

Зная полученный сдвиг по фазе и скорость света получаем дальность до объекта:

Эти камеры чуть попроще, чем те, что построены по первой технологии, но всё равно сложны и дороги. Делает их вот эта компания. И стоят они порядка 4килобаксов. Зато симпатишные и футуристичные:

Третья технология — » Range gated imagers «. По сути затворная камера. Идея тут до ужаса проста и не требует ни высокоточных приёмников, ни сложной корреляции. Перед матрицей стоит затвор. Предположим, что он у нас идеальный и работает моментально. В момент времени 0 включается освещение сцены. Затвор закрывается в момент времени t. Тогда объекты, расположенные дальше, чем t/(2∙c), где с — скорость света видны не будут. Свет просто не успеет долететь до них и вернуться назад. Точка, расположенная вплотную к камере будет освещаться всё время экспозиции t и иметь яркость I. Значит любая точка экспозиции будет иметь яркость от 0 до I, и эта яркость будет репрезентацией расстояния до точки. Чем ярче — тем ближе.
Осталось сделать всего пару мелочей: ввести в модель время закрытия затвора и поведение матрицы при этом событии, неидеальность источника освещения (для точечного источника света зависимость дальности и яркости не будет линейной), разную отражающую способность материалов. Это очень большие и сложные задачи, которые авторы устройств решили.
Такие камеры самые неточные, но зато самые простые и дешёвые: всю сложность в них составляет алгоритм. Хотите пример того как выглядит такая камера? Вот он:

Да-да, во втором Kinect стоит именно такая камера. Только не стоит путать второй Kinect с первым (на хабре когда-то давно была хорошая и подробная статья где всё же перепутали). В первом Kinect используется структурированная подсветка. Это куда более старая, менее надёжная и более медленная технология:

Там используется обычная инфракрасная камера, которая смотрит на проектируемый паттерн. Его искажения определяют дальность (сравнение методов можно посмотреть вот тут).
Но Kinect далеко не единственный представитель на рынке. Например Intel выпускает камеру за 150 долларов, которая выдаёт 3д карту изображения. Она ориентирована на более ближнюю зону, но у них есть SDK для анализа жестов в кадре. Вот ещё один вариант от SoftKinetic (у них тоже есть SDK, плюс они как-то завязаны на texas instruments).


Сам я, правда до сих пор не сталкивался ни с одной из этих камер, что жалко и досадно. Но, думаю и надеюсь, что через пяток лет они войдут в обиход и моя очередь настанет. Насколько я знаю, их активно используют при ориентации роботов, внедряют в системы распознавания по лицам. Круг задач и применений очень широк.

Источник

Что делают 3D-сенсоры в смартфонах? РАЗБОР

Все чаще мы видим в смартфонах так называемые 3D-сенсоры, или сенсоры глубины. Большинство из них также называют ToF-сенсорами аналогично одноименной технологии. По слухам, такой сенсор будет установлен и в новом iPhone (там он называется LiDAR, подробнее мы об этом рассказывали в другом материале). Эти сенсоры довольно дорого стоят, но зачем они нужны понятно не всем. Производители уверяют, что сенсоры позволяют делать лучше фото и портреты или добавляют фишки в дополненную реальность. Но так ли это на самом деле?

Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.

Что такое 3D сенсор (сенсор глубины)

Для начала, давайте разберемся, а что такое 3D-сенсор? Фотокамеры захватывают проекцию окружающего мира на плоскость. По одной лишь фотографии не понять реальный размер объекта — размером ли он с бутылку или с Пизанскую башню. И расстояние до него тоже не понять.

Для того, чтобы понимать реальные размеры объектов на фото, масштабы съемки, отличать, что ближе к камере, а что дальше, и нужны 3D-сенсоры. Они уже давно и активно применяются в робототехнике, автономном транспорте, играх, медицине и много где еще. Более того, наши глаза — это тоже 3D сенсор. При этом, в отличие от LiDAR’а и ToF-сенсоров в смартфонах, глаза — пассивный 3D-сенсор. То есть не излучающий никакого света, а работающий только на основе поступающего света. Только благодаря этому мы можем хоть как-то перемещаться в пространстве и взаимодействовать с окружающими объектами. Теперь 3D-сенсоры появились и в смартфонах.

Как работает ToF?

LiDAR в iPad’е, а также все 3D-сенсоры в Android-смартфонах — это time-of-flight или сокращенно ToF-сенсоры. Они определяют расстояния до объектов вокруг, напрямую измеряя сколько времени понадобится свету, чтобы долететь от камеры до объекта и вернуться обратно. Это очень похоже на эхо в пещере, оно тоже после отражения от стенок возвращается к нам с запаздыванием. Чтобы пролететь 1 метр свету нужно 3 наносекунды, для 1 см — 30 пикосекунд. Вроде бы все понятно. Но есть проблема.

Это очень маленькие промежутки времени. Как камера может такое замерить? Не будет же она делать миллиард кадров в секунду, а потом их сравнивать? Есть 2 основных подхода для решения этой проблемы: dToF (direct ToF) и iToF (indirect ToF). И чтобы вас заинтриговать еще сильнее: абсолютное большинство Android-смартфонов используют как раз iToF сенсоры, тогда как LiDAR в Apple iPad и скорее всего в грядущих iPhone — это редкий представитель семейства dToF сенсоров. Так чем же они отличаются?

iToF — indirect ToF

Начнем с iToF. В таких сенсорах излучатель отправляет высокочастотный модулированный свет, то есть этот свет постоянно включается и выключается с частотой десятки миллионов раз в секунду. За счет того, что свету нужно время для полета до объекта и обратно, фаза, то есть вот это состояние где-то между включенностью и выключенностью, света, вернувшегося в камеру, немного отличается от фазы света в момент отправки. На сенсоре исходный и отраженный обратно от объекта сигналы накладываются друг на друга, и за счет этого определяется сдвиг фаз, который и позволяет понять расстояние до каждой точки объекта.

dToF — direct ToF

dToF работает немного иначе. В таких сенсорах напрямую измеряется разница во времени между отправкой света и детектированием его отражения на сенсоре. Для этого используются так называемые SPAD: single photon avalanche diodes. Они могут детектировать крайне маленькие импульсы света, фактически даже ловить единичные фотоны. Такие SPAD расположены в каждом пикселе сенсора. А в качестве излучателя в таких сенсорах используются как правило так называемые VCSEL — Vertical Cavity, Surface Emitting Laser. Это лазерный излучатель, подобный тем, что используются в лазерных мышках и много где еще. dToF сенсор в LiDAR разработан совместно с Sony и является первым массовым коммерческим dToF сенсором.

Можно лишь гадать, почему в iPad используется dToF сенсор, но давайте отметим преимущества такого сенсора. Во-первых, в отличие от iToF сенсора излучатель испускает не сплошную стену света, а лишь светит в отдельных направлениях, что позволяет экономить батарейку. Во-вторых, dToF сенсор меньше подвержен ошибкам в измерении глубины из-за так называемой multipath interference. Это типичная проблема iToF сенсоров. Она возникает из-за переотражения света между объектами перед попаданием обратно в сенсор и искажает измерения сенсора.

Как это работает, разобрались, давайте теперь посмотрим, а зачем вообще 3D-сенсоры используются в смартфонах.

Зачем это нужно в смартфонах

1. Безопасность

Первым массовым внедрением 3D-сенсоров в смартфонах мы обязаны Apple и технологии Face ID. Распознавание лиц при использовании трёхмерных данных намного точнее и надежнее классического распознавания лиц по фото. Для Face ID Apple использует технологию структурированной подсветки, на ней мы остановимся подробнее как-нибудь в следующий раз.

Большинство производителей заявляют, что именно более качественный и точный режим дополненной реальности является главной задачей 3D-сенсоров. Более того, это также поддерживается непосредственно компанией Google. Буквально недавно они представили грядущее обновление своей библиотеки дополненной реальности ARCore, позволяющее более реалистично размещать виртуальные объекты в реальности и взаимодействовать с реальными объектами.

Для этой же задачи Apple встроили LiDAR в iPad Pro. Такое можно делать и без 3D-сенсора, но с ним все работает точнее и надежнее, плюс задача становится вычислительно сильно проще и разгружает процессор. 3D-сенсор выводит AR на другой уровень.

3. Улучшение фотографий

Ряд производителей, например, Samsung и HUAWEI заявляют, что 3D-сенсор используется в первую очередь для более качественного размытия фона и более точного автофокуса при съемке видео. Другими словами, он позволяет увеличить качество обычных фото и видео.

4. Прочее

Доступ к данным сенсоров у некоторых смартфонов открыт, поэтому появляется все больше приложений, предлагающих новые применения. Так, например, с помощью внешних приложений 3D-сенсор можно использовать для измерения объектов, трехмерного сканирования и motion tracking’а. Есть даже приложение, позволяющее сделать из своего смартфона прибор ночного видения.

Тесты

С тем как это работает в теории разобрались, давайте теперь посмотрим, как это работает на практике, и есть ли какой-то толк от этих дорогущих 3D-сенсоров в флагманах. Для тестов мы взяли Redmi Note 9S, у него есть ToF-сенсор и мы сделали несколько снимков в портретном режиме, но во втором случае просто закрыли 3D-камеру пальцем. И вот что получилось.

Всё просто — размытие действительно больше и лучше, если ToF работает.

И для частоты эксперимента мы взяли Samsung Galaxy S20 Ultra, который также получил ToF-камеру.

И найдите хотя бы одно отличие?

Что получается? Дело в том, что в зависимости от производителя ToF-камера используется по-разному и в разной степени.

Можно сказать, что часть производителей смартфонов располагает ToF-датчики в своих смартфонов не для маркетинга, чтобы добавить ещё одну камеру, а скорее на всякий случай. А дальше уже алгоритмы решают — использовать эту камеру или нет?

При этом на сегодняшний момент необходимости в LiDAR или ToF-камерах прямо нет. Так что это видимо чуть больше маркетинг.

Источник

Лидарные датчики ToF и 10 их потрясающих применений

Лидарные датчики, также известные как датчики ToF имеют множество применений, как в беспилотной системе, так и на земле.

Лидарные датчики Time-of-Flight могут использоваться для сканирования объектов, измерения расстояния, навигации в закрытом пространстве, обхода препятствий, распознавания жестов, отслеживания объектов, измерения объёмов, для измерения высоты, для 3D съёмки, для игр с дополненной реальностью и т.д.

Эта статья о том, что представляет из себя технология Time of flight, как она работает и в каких сферах её лучше использовать. Кроме того, мы рассмотрим некоторых производителей ToF-камер. Ниже приведена дополнительная информация о преимуществах применения лидарных датчиков ToF в той или иной сфере.

Дроны оказывают огромное влияние на многие секторы. Больше об этом вы можете прочитать в статье о наилучшем применении дронов. Реальное их преимущество заключаются в том, что установив на дрон те или иные датчики – вы расширяете спектр полезного применения устройства.

Информация, представленная здесь, включает видео о ToF, в котором рассказывается о применении технологии ToF как на земле, так в воздухе.

Что из себя представляют ToF-камеры? – Ответ

Time-of-Flight камеры имеют огромное преимущество перед другими технологиями, так как способны измерять расстояние в пределах зоны, отображаемой видеокамерой, за один снимок.

ToF является одним из многих методов, известных как Дальностное отображение. Устройство, которое используется для получения информации о расстоянии, иногда называют камерой дальности. Дальностное отображение также включает: стереотриангуляцию, триангуляцию листа света, структурированный свет, интерферометрию и кодовую апертуру.

Принцип работы датчика Time of Flight

Лидарные датчики ToF не оснащены сканером, это означает, что вся зона захватывается одним световым сигналом (вспышкой), а не поточечно лазерным лучом. Времяпролетные камеры фиксируют всю зону в трёх измерениях с помощью специального датчика изображения, и поэтому не нуждаются в движущихся деталях.

Как работает ToF-камера

Трёхмерный лазерный радар Time-of-Flight с быстрой ПЗС-камерой с усиленным пропусканием сигналов обеспечивает разрешение с точностью до миллиметра. С помощью этой техники короткий лазерный импульс освещает зону, а усиленная ПЗС-камера открывает высокоскоростной затвор всего на несколько сотен пикосекунд.

Информация 3D рассчитывается на основе серии 2D изображений, которая была собрана с увеличением задержки между лазерным импульсом и открытием затвора.

Вот видео, в котором понятно рассказывается, что такое технология Time-of-Flight.

Лидарные датчики Time of Flight или Flash LiDAR против Lidar

Времяпролетные камеры также называются Flash LiDAR или Time-of-Flight LiDAR. Между технологиями Flash-LiDAR Time-of-Flight и LiDAR существует большая разница. Чтобы объяснить все различия, вот отличное видео под названием «Датчики LiDAR и Time-of-Flight». В этом видео также рассказывается о компьютерном зрении для создания визуальных эффектов.

Вы также можете прочитать наш пост о датчиках Lidar, под названием «12 лучших лидарных датчиков для БПЛА и другие применения».

Новые решения с применением 3D ToF-камер

Новая 3D-Time-Of-Flight камера обеспечивает точную информацию при высокой частоте кадров по недорогой цене. Дополнительное третье измерение выводит стандартную обработку изображений и понимание изображений на совершенно новый уровень и может открыть множество новых способов применения в области промышленного контроля, автоматизации и логистики, а также в медицине и взаимодействия человека с компьютером.

Технология ToF с или без распознавания жестов

3D Time of Flight-камеры могут работать как с жестами, так и без них. Используя режим жестов, вы тем самым выбираете непосредственное участие человека и более высокую скорость; а работая без жестов – вы выбираете точность. Приложения для жестов преобразуют движения человека (лицо, руки, пальцы или все тело) в символьные директивы на командный пульт управления, smart-телевизор или портативное вычислительное устройство. Например, переключать каналы можно размахом руки, а листать слайды презентации можно перебирая пальцами. Эти приложения обычно требуют быструю скорость отклика, малый и средний диапазон, уровень точности до см, а также энергопотребление. Microsoft Kinect 2 использует датчики Time-of-Flight с управлением жестами.

Датчики дальности ToF 3D имеют очень много применений без управления жестами. Автоиндустрия опережает БПЛА в использовании ToF-камер. Например, ToF-камера повышает уровень безопасности в автомобиле, уведомляя водителя (даже если машина едет на автопилоте) о нахождении людей или каких-либо предметов в непосредственной близости от автомобиля. В работе с роботизированном или автоматизированном оборудованием, датчики ToF способствуют обнаружению дефектов и обеспечивает безопасность людей и роботов, работающих в непосредственной близости.

Некоторые из приложений, не использующих жестов, предназначены для сканирования объектов, навигации в замкнутом пространстве, навигации в открытом пространстве, обнаружения препятствий, предотвращения столкновений, отслеживания объектов, измерений объёмов, измерения высот, съёмки трёхмерных изображений, игр с дополненной реальностью и многого другого.

Несущие сигналы Flash Lidar Time of Flight

ToF использует различные типы сигналов (так называемые несущие сигналы), причём звуковые и световые являются наиболее распространёнными.

Несущий световой сигнал

Несущий звуковой сигнал

Ультразвуковые датчики используются для определения дальности объектов (отражателей) при навигации робота или БПЛА. Для этой задачи чаще всего используют является датчик Time-of-Flight, который вычисляет расстояние до ближайшего объекта (отражателя), используя скорость звука и время возврата испускаемого сигнала и эха.

Преимущества лидарных датчиков Time of Flight

Будучи новой технологией, Time-of-Flight или 3D Flash LIDAR имеет ряд преимуществ по сравнению с обычными точечными (однопиксельными) камерами и стереоскопическими камерами, в том числе:

В отличие от стереозрения или триангуляции, вся система очень компактна: освещение располагается рядом с объективом, тогда как другим системам требуется определённая базовая линия. В отличие от систем лазерного сканирования, здесь не нужны механические движущиеся части. Большим преимуществом камеры Time-of-Flight является то, что она способна создавать трёхмерное изображение всего за один снимок. Многие другие системы 3D-зрения требуют намного больше изображений и махинаций.

Времяпролетные 3D-камеры способны измерять расстояния в пределах всей зоны за один снимок. Поскольку камеры делают до 160 кадров в секунду, они идеально подходят для использования в приложениях реального времени.

По сравнению с другими технологиями 3D-сканирования, такими как системы камер / проекторов со структурированным светом или лазерные дальномеры, технология ToF стоит довольно недорого.

Технологические преимущества ToF Flash Lidar

• Полная информация time-of-fligh (3D-изображение), собранная с помощью одного лазерного сигнала

• Однозначный прямой расчет дальности

• Без размытия изображения, без искажения движения

• Совместная регистрация диапазона и интенсивности для каждого пикселя

• Четкость каждого пикселя в кадре

• Возможность представлять объекты, которые наклонены к камере

• Нет необходимости в точных сканирующих механизмах

• Объединение 3D Flash LIDAR с 2D камерами (EO и IR) для создания 2D текстуры

• Возможность объединения нескольких камер 3D Flash LIDAR для создания полноценной трехмерной картины.

• Меньше по размеру и легче, чем точечные системы сканирования

• Нет движущихся частей

• Способность «видеть» в затруднённых условиях (туман, дым, пар, дымка, дождь)

Стоимость камеры ToF

Что действительно впечатляет в 3D-камерах Time-of-Flight, так это то, что они стоят довольно недорого. Как правило, цены на камеры ToF стартуют примерно с 150 долларов США за такую камеру, как TeraRanger One.

В то же время, цены на камеры ToF могут доходить до тысяч долларов.

Датчики ToF имеют широкий спектр функций, спецификаций и применений, поэтому их трудно сравнивать между собой.

AMS / Heptagon: располагает большим ассортиментом лидарных датчиков Time-of-Flight для самых разных решений. 3D-датчики Time-of-Flight от Heptagon Laura и Lima используются для БПЛА и роботов.

Heptagon перешёл под юрисдикцию AMS в январе 2017 года. Уже более 20 лет Heptagon работает на рынке лидарных датчиков ToF и владеет всем арсеналом технологий ToF, включая структуру пикселей, разработку аналоговых и смешанных сигналов, разработку ASIC и разработку встроенного программного обеспечения.

Вывод трёхмерных данных используется для обеспечения автономных операций (например, сближение, удаление, посадка и т. д.).

• TeraRanger One помогает системе видеоконтроля «умных» дронов

• Обнаружение стеклянных поверхностей с помощью инфракрасных датчиков Time-of-Flight

• Используя дроны TeraRanger One нмного проще следить за состоянием виноградников

• Подключи и играй сенсорные матрицы

• Автоматическая реинициализация и восстановление после сбоя

• Возможность летать в лесу, обходя препятствия

Теперь ознакомьтесь с ToF-камерой от TeraRanger One.

В датчике AdaFruit VL53L0X ToF расположен крошечный лазер и соответствующий датчик. VL53L0X может определить «время полета» или время, необходимое для того, чтобы свет вернулся к датчику. Поскольку он использует очень узкий источник света, он подходит для определения дальности объекта, находящегося непосредственно перед ним.

В отличие от гидролокаторов, которые отражают ультразвуковые волны, сенсорное «ядро» очень узкое. В отличие от ИК-датчиков дальности, которые измеряют отраженный свет, VL53L0x намного точнее и не имеет проблем с линейностью или «двойной визуализацией», когда невозможно определить, находится ли объект очень далеко или очень близко.

VL53LoX является «старшей сестрой» лидарного датчика ToF VL6180X и способен измерять расстояние от 50 до 1200 мм. Если вам нужен более короткий/ близкий диапазон, попробуйте VL6180X, который может измерять от 5 мм до 200 мм, а также оснащён датчиком освещённости.

Комбинация датчиков Flash Lidar ToF с другими датчиками

Многие компании комбинируют камеры ToF с другими датчиками, программным обеспечением и алгоритмами для получения комплексного решения. Например, один дрон может объединять датчики Time-of-Flight, LiDAR, Stereo Vision и ультразвуковые датчики, чтобы обеспечить множество автономных режимов полёта, а также систему предотвращения столкновений. Другим примером могут служить такие продукты, как технология Microsoft Kinect 2 в XBox One или режимы жестов на дронах для съёмки селфи. Они объединяют такие технологии, как компьютерное зрение, обработка сигналов и машинное обучение, и технологию Time-of-Flight при создании продукта или функции в продукте.

Сельскохозяйственные дроны оснащены многоспектральными датчиками, среди которых также датчики ToF для наблюдения за состоянием сельскохозяйственных культур. Подробнее об этом позже.

Дронах, способные предотвращать столкновения, оснащены не только датчиками ToF, но также Vision или LiDAR, чтобы обходить препятствия. Датчики ToF способны измерять высоту. Подробнее об этом дальше в этой статье.

Вот еще одна серия потрясающих статей о дронах, оснащенных разными датчиками для расширения спектра применений.

Изображения можно просматривать в режиме реального времени. Тем не менее, их можно переместить и сохранить. Затем, с помощью специализированного программного обеспечения, генерируется трехмерное изображение, карта или фильм, где его можно анализировать и интерпретировать в полноценную информацию, с которой можно работать дальше.

Вот пример устройства Kespry для подсчета объема складских запасов (камень, гравий, породы, бумага, бревна, щепа, мульча, навоз и т.д.)

Кроме того, для расчета веса и стоимости запасов можно ввести коэффициенты плотности и стоимости, что идеально подходит для проведения инвентаризации. С помощью этого устройства ToF можно точно измерить даже запасы нестандартной формы, находящиеся у стен.

Какие бывают применения датчиков Flash Lidar ToF, установленных на дронах? – Ответ

Камеры Time-of-Flight чаще всего применяются следующим образом:

• Навигация в замкнутом пространстве

• Наблюдение за целевой зоной

• Подсчет предметов или людей

• Дополненная реальность / Виртуальная реальность

• Оценка размеров и формы объектов

Технология ToF используется не только на дронах, но и в различных областях, таких как:

• Логистика / на складах

• Наблюдение и безопасность

Дроны дополненной реальности с технологией Flash Lidar ToF 3D

Дроны дополненной реальности с технологией ToF для игр

Дрон Walkera Aibao вместе и его приложение позволят вам играть в виртуальной реальности в реальном мире. Это первый дрон, который позволяет реальному миру переплетаться с виртуальным.

Вы можете вывести этот дрон в открытый космос, летать и сражаться в космосе. В играх доступны режимы Гонок, Битвы и Коллекции. Вот короткое ознакомительное видео о дроне Aibao Game. Очень занимательно.

Дроны с технологией Flash Lidar ToF 3D для навигации в замкнутом пространстве

Достаточно непросто обеспечить, чтобы дрон или даже робот успешно и безопасно осуществлял навигацию в замкнутом пространстве. Автоматизированное картирование, одновременная локализация и картирование являются вычислительными операциями, заключающимися в построении или обновлении карты неизвестной среды, при этом с отслеживанием местоположения оператора в ней.

Давайте сформулируем еще проще. С помощью одновременной локализации и картирования, дрон создаёт карту неизвестной среды, в то же время перемещаясь по этой среде с помощью карты. Приведем пример того, как беспилотный летательный аппарат, использующий камеру дальности, перемещается в замкнутом пространстве.

Вы можете прочитать больше об этом в следующих статьях.

Камеры Flash Lidar ToF для трёхмерного сканирования

В настоящее время дроны широко используются для создания точных трёхмерных моделей сооружений и памятников. Съемки и создание 100% точных моделей древних памятников и объектов наследия сформировали свой рынок. В 2015 году с помощью дрона было успешно создано трёхмерное изображение статуи Христа-Спасителя в Бразилии. До этого точной модели этой статуи не было. При картировании статуи Христа-Спасителя использовалась 3D фотограмметрия, это значит, что дрон летал вокруг статуи, делая тысячи снимков, которые затем были объединены с помощью специальной программы для 3D картирования.

Другие технологии 3D-сканирования используют специализированные и сложные датчики, такие как камеры со структурированным светом / системы проекторов или лазерные дальномеры. Несмотря на то, что они дают данные высокого качества, стоят они довольно дорого и требуют специальных знаний.

Гарвардский университет разработал экономичное решение для 3D-сканирования с использованием камеры Time-of-Flight. На этот раз, устройство было наземным. Однако оно будет продолжать работать при установке на дрон.

С дальнейшим развитием этой отрасли, и стабильными инвестициями, камеры ToF станут экономичной альтернативой для сканирования различных крупных объектов и памятников. Больше о проекте Гарвардского университета, под названием «3D-сканирование с помощью Time-of-Flight камеры», можно прочитать здесь.

Применение дронов с технологией Flash Lidar ToF в сельском хозяйстве

В сельском хозяйстве используются дроны с мультиспектральными датчиками, позволяющие фермеру следить за урожаем и почвой. Эти сельскохозяйственные дроны с мультиспектральной визуализацией используют технологию дистанционного зондирования в зеленом, красном, красном крае спектра и ближнем инфракрасном диапазоне, чтобы захватывать как видимые, так и невидимые изображения культур и растительности. Благодаря наличию данных с мультиспектральных датчиков становится возможным предотвратить засорения и заражение инфцекциями. Они также помогают фермеру при расчетах необходимого количества воды, удобрений и растворов для опрыскивания сельскохозяйственных культур.

Камеры ToF можно использовать несколькими способами. С помощью камер Time-of-Flight можно быстро и точно измерять объемы. Они охватывают всю целевую зону всего за один снимок. 3D-датчики ToF идеально подходят для вычисления плотности посевов и сбора данных о запасах мульчи и навоза.

Чем стабильнее летает дрон, тем точнее будут данные, изображения и видео о посеве. Плавный полет способствует сбору данных, а также увеличивает длительность автономного полета.

Датчики ToF, среди которых TeraRanger One, можно использовать для измерения высоты. По сравнению с лазерными системами с очень узким полем зрения, камера TeraRanger ToF предоставляет более плавный и более стабильный показатель относительной высоты, поскольку дрон летает как над землей, так и над виноградными лозами. Вот интересное видео, в котором рассказывается о сельскохозяйственном мультиспектральном решении для виноградников во Франции от Chouette. Их дроны оснащены камерами ToF TeraRanger One ToF, которые выполняют роль прецизионного высотомера для более стабильного полета и лучшего сбора данных.

Камера дальности Flash Lidar ToF для измерения объемов

ToF-камеры Flash-lidar используются также для измерения объемов, например, пространство в ящиках на фабрике или на складах. На открытом воздухе дроны или краны, оснащённые камерами ToF, способны подсчитывать объемы запасов на складах или сырья, загруженного в грузовики.

Дрон, оснащённый камерой ToF способен частично или полностью облетать область хранения и быстро рассчитывать количество материала, хранимого на складе, или совокупную загрузку грузовика.

Узнайте, как Whitaker Contracting экономит 22% в год, на затратах, используя дроны с камерами ToF при подсчёте складских запасов. Кроме того, что компания экономит круглую сумму, они также подсчитывают свои запасы в 2 раза чаще. Вы можете сократить время, затрачиваемое на подсчёт запасов, на 75%.

Вот ещё несколько интересных статей о том, как с помощью датчиков ToF можно замерять и подсчитывать объемы.

Времяпролетная (TOF) камера измеряет объем коробки

Использование времяпролетной 3D-камеры в измерении объёма

Камера дальности Flash Lidar ToF для измерения расстояний

Датчики Time of Flight обеспечивают быстрое измерение расстояния между датчиком ToF и объектом на основе разницы во времени между излучением сигнала и его возвратом после отражения от объекта.

В следующем видео показан очень простой и экономически эффективный способ измерения расстояния с использованием датчика расстояния SODIAL ToF для Arduino. Датчик ToF очень прост в использовании особенно в работе с библиотекой Adafruit. Плата ToF очень маленького размера, и потому датчики подходят для использования на дронах.

Дроны для фотосъемки с 3D-камерами ToF

Технология 3D все больше набирает популярность в индустрии телевидения и кино. Режиссеры, фотографы и рядовые потребители ищут камеры, которые способны генерировать 3D-контент, будь то видео или фото. 3D-технология основана на датчиках ToF. В отличие от обычной камеры, используя камеры ToF вы получаете не только яркие снимки, но и карту дальности, включающую данные о расстоянии для каждого пикселя, полученные путем подсчёта времени, необходимого свету для достижения объекта и возврата к камере (принцип ToF).

Больше информации о 3D-камерах на DPReview.

Применение дронов с технологией Flash Lidar ToF для работы на складах

За последние несколько месяцев было опубликовано немало статей о компаниях, которые занимаются производством дронов для работе на складах. Вот статья о дронах, использующих технологию RFID для подсчета поддонов и инвентаря на складах. Камеры ToF можно использовать для сканирования объектов и подсчета объема.

В другой статье рассказывается об использовании лидарных датчиков ToF на дроне Eyesee от Hardis Group. Дрон Eyesee оснащен встроенной камерой и технологией геолокации в помещении, которая позволяет ему перемещаться с использованием заранее определенного плана полета и получать соответствующие данные о поддонах, хранящихся на складе. Затем дрон связывает полученное изображение с его расположением на складе и автоматически переводит свое пространственное положение в логистический адрес (место хранения).

Распознавание жестов на дронах с технологией ToF

Microsoft Kinect 2 использует датчики Time-of-Flight 3D в сочетании с компьютерным зрением, обработкой сигналов и машинным обучением. Многие смартфоны вскоре также будут выполнять больше жестовых команд, интегрированных в приложения.

На нашем рынке представлено несколько дронов с режимом жестов, который пригодиться при съемке селфи. DJI Mavic Pro и Phantom 4 Pro поддерживают режим жестов.

Последний квадрокоптер DJI Mavic Air использует расширенные функции распознавания жестов и мимики лица для полета и съемок. Больше об этом вы можете прочитать и посмотреть видео в обзоре DJI Mavic Air.

DJI не дает подробной информации о технологии, стоящей за режимом жестов. Известно, что для автономных режимов полета и предотвращения столкновений они комбинируют датчики Vision и Ultrasonic вместе со сложными алгоритмами. Так или иначе, вскоре мы увидим больше дронов с жестовыми управлением и автономными режимами полета, в которых ToF играет свою роль.

Применение дронов с технологией Flash Lidar ToF в автоиндустрии

В автомобильной промышленности разрабатывается целый ряд систем, в том числе и систем безопасности, использующих лидарные датчики Time-Of-Flight. Вот почему я считаю, что БПЛА индустрия также начнет инвестировать время и ресурсы в технологию Time-of-Flight. Приведем несколько примеров инноваций в автоиндустрии с применением технологии ToF;

• Мониторинг состояния водителя, например, определение положения головы и распознавание сонливости

• Классификация пассажиров, используемая для автономной установки заранее заданных предпочтений пассажиров, оптимизированной визуальной индикации на лобовом стекле и оптимально настроенного усилия раскрытия подушки безопасности.

• Бесконтактное управление жестами, например, информационно-развлекательные, навигационные и климатические системы

• Окружающий вид для помощи при парковке и обнаружения препятствий

Например, ToF-датчик камеры MLX75123 является полностью интегрированным сопутствующим чипом для Melexis. Он идеально подходит для использования в автоиндустрии и не только, включая, помимо прочего, распознавание жестов, мониторинг водителя, обнаружение людей или препятствий и мониторинг движения.

Вот потрясающее видео о новейшей лидарной камере Melexis, которая будет использоваться для повышения безопасности в автоиндустрии.

Дроны с системами предотвращения столкновений

Ниже приведен краткий обзор БПЛА, которые оснащены автономными системами предотвращения столкновений, и датчики, которые они используют.

Если говорить об автономности полета, DJI Matrice M200 сочетает несколько датчков для обнаружения препятствий и предотвращения столкновений. Направленная вверх лазерная сенсорная камера Time-of-Flight распознает объекты, находящиеся над M200. Matrice 200 использует датчики стереозрения для обнаружения объектов, находящихся под и перед дроном.

Датчик R200 использует статическую ИК-«точку» а также пассивную ИК-стереоскопию. Чем-то похоже на то, как работает Kinect 1. Поэтому Yuneec Typhoon H не использует технику ToF.

Источник