Робототехника: восприятие

По материалам The University of Pennsylvania.

О курсе

Как роботы могут воспринимать мир и свои движения, чтобы выполнять задачи по навигации и манипуляции? В этом модуле мы изучим, как изображения и видео, полученные камерами, установленными на роботах, преобразуются в такие представления, как функции и оптический поток. Такие 2D-представления позволяют нам затем извлекать 3D-информацию о том, где находится камера и в каком направлении движется робот. Вы поймете, как захват объектов облегчается вычислением трехмерного позиционирования объектов, а навигация может осуществляться с помощью визуальной одометрии и локализации на основе ориентиров.

Курс предложен
Университутом Пенсильвании.

Пенсильванский университет (обычно именуемый Penn) - частный университет, расположенный в Филадельфии, штат Пенсильвания, США. Член Лиги плюща, Пенн является четвертым по возрасту высшим учебным заведением в Соединенных Штатах и считает себя первым университетом в Соединенных Штатах, где есть как бакалавриат, так и аспирантура.

Программа курса

4 недели

# 1 Неделя

Геометрия формирования изображения

15 видео (всего 180 мин.), 1 чтение, 9 викторин

Добро пожаловать в Robotics: Perception! Мы начнем этот курс с учебника по стандартным моделям камер, используемых в компьютерном зрении. Эти модели позволяют нам понять геометрическим образом, как свет от сцены попадает в камеру и проецируется на 2D-изображение. Определив эти модели математически, мы сможем точно понять, как точка в 3D соответствует точке на изображении и как изображение будет меняться при перемещении камеры в 3D-среде. В последующих модулях мы сможем использовать эту информацию для выполнения сложных задач восприятия, таких как реконструкция трехмерных сцен из видео.

# 2 неделя

Проективные преобразования

5 видео (всего 69 мин.)

Теперь, когда у нас есть хорошая модель камеры, мы подробно рассмотрим геометрию перспективных проекций. Мы обнаружим, что эта проекция является причиной основной проблемы восприятия, поскольку мы теряем измерение, которое больше не можем наблюдать напрямую. В этом модуле мы подробно узнаем о некоторых свойствах проективных преобразований, таких как точки схода, которые позволяют нам выводить сложную информацию за пределами нашей базовой модели камеры.

# 3 неделя

Оценка позы

8 видео (всего 126 мин.)

В этом модуле мы узнаем об извлечении признаков и оценке позы из двух изображений. Мы узнаем, как находить наиболее заметные части изображения и отслеживать их в нескольких кадрах (то есть в видеопоследовательности). Затем мы узнаем, как использовать функции для определения положения камеры относительно другого опорного кадра на плоскости с помощью гомографий. Мы также узнаем, как сделать эти методы более надежными, используя метод наименьших квадратов для передачи зашумленных характерных точек или RANSAC для удаления полностью ошибочных характерных точек.

# 4 неделя

Многовидовая геометрия

14 видео (всего 221 мин.)

Теперь мы будем использовать то, что мы узнали из геометрии двух представлений, и расширим ее до последовательностей изображений, таких как видео. Мы объясним фундаментальные геометрические ограничения между точечными объектами на изображениях, эпиполярное ограничение и узнаем, как его использовать для извлечения относительных поз между несколькими кадрами. Мы закончим, объединив всю эту информацию вместе для приложения Structure from Motion, где мы будем вычислять траекторию камеры и карты на протяжении многих кадров и уточнять наши оценки с помощью настройки Bundle.