Что такое kinect камера
Использование камеры Microsoft Kinect 360 в ROS Indigo
Добрый день, уважаемые хабрачитатели!
Последние наблюдения и собственный опыт показали, что с подключением камеры Microsoft Kinect Xbox 360 для ее использования в ROS Indigo из под Ubuntu 14.04 часто возникают проблемы. В частности, при запуске ROS пакета openni_launch не удается определить устройство и выдается ошибка «No device connected». В этой статье я опишу свой пошаговый метод настройки окружения для использования Microsoft Kinect из ROS Indigo. Кто заинтересован, прошу под кат!
Камера Microsoft Kinect
Об этом сенсоре уже подробно писали в статье. В двух словах, Microsoft Kinect это 3D (RGB-D, то есть, red, green, blue и depth) камера, основанная на технологии Structured light, которая позволяет получить карту глубины поверхностей объектов, попавших в поле зрения камеры. Карту глубины можно трансформировать в трехмерное «облако» точек, в котором каждая точка имеет точные координаты X, Y и Z в пространстве и в некоторых случаях цвет в формате RGB. «Облака» точек используются в задачах реконструкции объектов, построении карт местности в сервисной робототехнике, распознавании объектов и многих других задачах в области компьютерного зрения в 3D.
ROS предоставляет поддержку для сенсора Kinect. «Облако» точек, получаемое сенсором, можно визуально показать в программе rviz.
Для использования сенсора Kinect в ROS имеется специальные пакеты openni_launch и openni_camera.
Установка драйвера для сенсора Microsoft Kinect
Для начала необходимо установить библиотеку OpenNI, предназаначенную для ряда RGB-D сенсоров (Kinect, ASUS Xtion, PrimeSense).
Установим некоторые дополнительные пакеты, которые OpenNI требует для установки:
Теперь непосредственно установим OpenNI 1.5.4 из исходников:
Теперь скачаем библиотеку avin-KinectSensor для сенсора Kinect отсюда.
В зависимости от типа системы (32 или 64 бита) выберем соответствующий установочник. Для 32 битной системы выполним следующие шаги:
Для 64 битной системы выполним:
И наконец выполним установку:
Установка openni_* пакетов
Последнее что нам нужно сделать — это установить пакеты openni_launch и openni_camera, которые позволяют получать и работать с данными OpenNI-совместимых камер глубины в ROS. Установить эти пакеты очень просто:
Проверка установки драйверов
Теперь все готово! Проверяем успешность установки. Запускаем в разных терминалах:
Установка аргумента depth_registration:=true указывает, что мы хотим включить OpenNI регистрацию и получать XYZRGB данные с камеры (глубину и цвет).
Для начала в rviz развернем секцию Global options в левой колонке Displays и поставим значение /camera_link для поля Fixed frame как на снимке:
Таким образом мы задали необходимую систему координат для корректного отображения данных с камеры Kinect.
В rviz создаем новый дисплей. Для этого нажимаем кнопку Add и выбираем тип дисплея PointCloud2 как на снимке:
Выбираем топик /camera/depth_registered/points для нового дисплея
После этого выбираем для поля Color Transformer значение «RGB8».
Теперь мы увидим подобную картину:
Значение «RGB8» позволяет отобразить цветное «облако точек», где каждая точка имеет координаты X, Y, Z и цвет RGB.
Хочу обратить ваше внимание, что Microsoft Kinect Xbox 360 работает только с USB 2.0. Подключение камеры через USB 3.0 может приводить к ошибке обнаружения устройства, о которой я говорил в самом начале статьи.
На официальном портале ROS есть туториалы по работе с данными RGB-D камер с помощью библиотеки Point Cloud Library. Эти туториалы дают всю необходимую информацию, достаточную для начала работы с «облаками точек».
Желаю вам удачи в использовании RGBD камер в ROS для решения своих задач компьютерного зрения!
Kinect превратился в устройство для охоты на призраков
Google и Meta оштрафовали в России на 7,22 и 1,9 млрд рублей
В Epic Games Store началась бесплатная раздача Prey — шутера от Arkane Studios
«Человека-паук: Нет пути домой» хотят выдвинуть на «Оскар» — лента стала самым кассовым голливудским кинорелизом года
«Одна из самых оригинальных игр»: Креативный директор The Last of Us Part II Нил Дракманн похвалил российскую Loop Hero
Battlefield V обошла Battlefield 2042 по суточному онлайну в Steam
Камера была замечена в таких шоу, как Paranormal Lockdown, Ghost Adventures и Ghost Hunters. Многие сыщики на YouTube также используют Kinect не только ради запечатления, но и для общения с призраками.
Концепция довольно проста. Kinect был создан для отслеживания даже малейших движений. Он может видеть как в видимом диапазоне, так и в инфракрасном. Кроме того, Kinect может похвастаться чем-то вроде тепловизионной камеры, что позволяет ему различать людей и предметы. Благодаря простоте и цене, охотники с радостью принялись его использовать, причем не только версию 2.0, но и оригинальную.
Kinect уже используют для развлечения орангутанов, в медицине, на границах и таможнях стран, и во многих других сферах. Теперь и в «охоте за приведениями».
Подписывайтесь на наш Telegram канал, там мы публикуем то, что не попадает в новостную ленту, и следите за нами в сети:
Kinect: жизнь до и после смерти Статьи редакции
Достижения и история контроллеров движения Microsoft от DTF.
Kinect мёртв. Microsoft больше не верит в устройство, с прошлого года компания перестал его выпускать, а с января сняла с производства адаптеры для Xbox One S и Xbox One X. А ведь когда-то из него пытались сделать конкурента Wii Remote. В первые месяцы после выхода контроллер движения даже бил рекорды продаж.
И хотя в игровой индустрии у Kinect нет будущего, он всё ещё полезен в других сферах, да и его технологию продолжают использовать отдельно. Сейчас в устройство продолжают верить по меньшей мере учёные, бизнесмены, врачи и организаторы выставок.
Первый намёк на контроллер движения для Xbox 360 появился ещё в 2007 году. На конференции D5 в совместном интервью со Стивом Джобсом Билл Гейтс говорит об управлении играми с помощью камеры. Что вскоре достаточно будет взять бейсбольную биту и взмахнуть ей перед специальной камерой, чтобы спортсмен повторил действие в виртуальном мире.
В следующем году в прессе появляются первые слухи о новом устройстве Microsoft. Инсайдеры сообщают, что компания работает над своим контроллером движения и собирается составить конкуренцию Nintendo Wii. В следующем обновлении дашборда Xbox 360 журналисты находят элементы интерфейса, адаптированные под новое устройство управления.
Слухи продолжили распространяться вплоть до E3 2009, где на своей конференции Microsoft представила сенсор Project Natal. Его возможности продемонстрировали на примере программы для рисования и технодемке Ricochet, в которой нужно отбивать мячи руками и ногами. Последняя позднее послужит основой для полноценной игры Kinect Adventures.
Устройство не нуждалось в дополнительных контроллерах. Оно отслеживало движения человека с помощью инфракрасного проектора и камеры с сенсором глубины, записывало голосовые команды на микрофон. Проектор светил множеством лучей, а камера рассчитывала расстояние до объектов и их движение. Таким образом жесты и слова управляли персонажем в игре.
Лучше остальных возможности Project Natal тогда отразило демо про мальчика Майло от студии Питера Молиньё. В показанном ролике девушка разговаривала с виртуальным пареньком, изображала, как ловит и надевает очки, брошенные мальчиком, рисовала изображение на бумаге, показывала его перед камерой и оно появлялось в виртуальном мире. Это был своего рода симулятор общения с человеком.
Это настоящая технология будущего. О таком даже в научной фантастике не писали.
Что такое Kinect для Xbox?
Kinect – аксессуар для консоли Xbox 360, который представляет собой видеокамеру и два сенсора, расположенных в верхней части девайса. Кинет «видит» движения пользователей в пространстве, и это позволяет играть в игры без каких-либо контроллеров (джойстиков).
Например, играете вы в бейсбол и вам нужно отбить мяч битой. Делаете характерное движение физически, и персонаж на экране повторяет его, отбивая или промахиваясь по мячу – все зависит от правильности и своевременности вашего движения.
Это упрощено. Технически кинект довольно сложный аксессуар. Здесь задействуются два сенсора:
Между этими сенсорами находится камера – она распознает лица, может делать фотоснимки и снимать видео (например, для видеочата).
Технология эта, кстати, не нова. В статье о выборе игровой приставки мы рассматривали консоль Nintendo Wii со своей уникальной технологией управления Wiimote. В свое время Nintendo Wii была революционной приставкой благодаря Wiimote и возможностью управлять приставкой телодвижениями. Сегодня Kinect – это почти тот же Wiimote, но он для консоли Xbox 360.
Наглядное представление о работе Kinect на видео ниже:
Преимущества и недостатки
На видео это уже было сказано, но нам несложно повториться. Kinect – отличное дополнение для времяпровождения с друзьями. Часто интересно посоревноваться в виртуальный бокс или гонки, физически стараясь при этом победить, а не жать на кнопки джойстика. Однако самому играть в игры с помощью кинекта скучно.
Кинект-игры настолько однообразны, что надоедают примерно через 30 минут. Геймплей при этом слаб – вам нужно делать почти одни и те же движения почти всю игру, а когда приставка неправильно распознает движение (а такое бывает), это жутко раздражает.
Увы, но на данный момент нет хороших сюжетных игр, в которые было бы интересно играть с помощью кинекта, и это самый главный недостаток. Заядлые геймер, который ценит игру как произведение искусства, вообще не воспринимает сей девайс всерьез, а вот папа с сыном или дочкой вполне может поиграть и «убить время», когда нечего делать. Вот что такое Kinect.
В принципе, сей аксессуар неплохо расширяет стандартные возможности консоли Xbox, но не стоит ждать чего-нибудь революционного. Технология давно известна, и с момента появление Wiimote от Nintendo Wii почти ничего нового в плане игр разработчики не придумали.
Обзор Microsoft Kinect: беспроводной контроллер нового поколения
Долой клубки проводов!
Идея беспроводных контроллеров давно будоражила умы масс, и разработчики охотно шли им навстречу. От обычных джойпадов, которые обменивались с ПК или консолями сигналами по радиоканалу, создатели устройств ввода постепенно перешли к более революционным решениям. Можно вспомнить, например, PlayStation EyeToy, который отслеживал движения игрока при помощи камеры, а затем совмещал полученные кадры с изображением на экране. В какой-то мере новый контроллер Microsoft — Kinect (в пору разработки известный как Project Natal) — основан именно на идеях того времени.
Мы дергаем руками и дрыгаем ногами
Для игры потребуется подключить датчики Kinect к Xbox 360, поставить устройство в зоне прямой видимости, и пройти несложную процедуру калибровки. Камера без труда обнаружит живого человека перед телевизором и создаст его аватар (и, кстати, распознает пол).
Именно на этом этапе вы столкнетесь с единственным ограничением, которое новый контроллер накладывает на игроков. Вам потребуется свободное, не сковывающее движений пространство — от 2 до 3 метров от экрана ТВ, шириной около 1,5—2 метров. Это не очень удобно, так как раньше, с геймпадом в руках, мы могли находиться где угодно, в помещении любого размера (и Microsoft не заставлял нас наводить порядок в комнате)!
С этого момента все управление, включая навигацию в меню, будет «завязано» на ваши жесты и слова. Да-да, Kinect распознает фразы, правда, самые простейшие, и пока только на английском и японском языках. Жители Западной Европы могут надеяться, что в ближайшее время выйдут языковые пакеты и для их стран, а вот россиянам придется подождать. Впрочем, не знающие английского в любой момент могут взять в руки классический джойпад и отдавать команды по старинке. Признаемся: иногда это удобнее, чем разговаривать «с самим собою» вслух, совершая при этом нелепые телодвижения.
Как работает Kinect?
Итак, мы движемся перед экраном, Kinect считывает информацию, а Xbox 360 обрабатывает ее, затрачивая на это около 10-15% процессорной мощности. Какие же данные передаются из черной глянцевой коробочки на консоль?