Latest News

Способы сегментации точек в Point Clouds

Поиски общего обзора существующих методов оказались неуспешными, поэтому пришлось собирать информацию самостоятельно. Результат вы можете видеть: здесь собраны наиболее важные и интересные (по моему мнению) статьи за последние несколько лет. Все рассмотренные модели решают задачу сегментации облака точек (к какому классу принадлежит каждая точка).

Эта статья будет полезна тем, кто хорошо знаком с нейронными сетями и хочет понять, как применять их к неструктурированным данным (к примеру графам).

Существующие датасеты

Сейчас в открытом доступе есть следующие датасеты по этой теме:

Stanford Large-Scale 3DIndoor Spaces Dataset (S3DIS) — размеченные сцены внутри зданий ScanNet — размеченные сцены внутри зданий
NYUV2 — размеченные сцены внутри зданий
ShapeNet — объекты разных форм
ModelNet40 — объекты разных форм
SHREC15 — разные позы животных и человека


Особенности работы с Point Clouds

Нейронные сети пришли в эту область совсем недавно. И стандартные архитектуры вроде полносвязных и сверточных сетей не применимы для решения этой задачи. Почему?

Потому что здесь не важен порядок точек. Объект — это множество точек и не важно, в каком порядке их просматривают. Если на изображения у каждого пикселя есть своё место, тут мы можем спокойно перемешать точки и объект не измениться. Результат работы стандартных нейронных сетей, наоборот, зависит от местоположения данных. Если перемешать пиксели на изображение, получится новый объект.

А теперь разберемся, как же нейронные сети адаптировали для решения этой задачи

Наиболее важные статьи

Базовых архитектур в этой области не много. Если вы собираетесь работать с графами или неструктурированными данными, вам нужно иметь представление о следующих моделях:

PointNet
PointNet++
DGCNN


Рассмотрим их поподробнее.

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation Первопроходцы в работе с неструктурированными данными.
как решают: Одна сеть с двумя головами. Модель состоит из следующих блоков:
сеть для определения преобразования (перевод системы координат), которое потом применится ко всем точкам
преобразование, применяемое к каждой точке по отдельности (обычный персепторн)
maxpooling, который объединяет информацию с разных точек и создает глобальный вектор признаков для всего объекта.
далее сеть делится на две части:
голова для классификации: глобальный вектор признаков идет на вход полносвязному слою для определения класса всего облака точек
голова для сегментации: глобальный вектор признаков и подсчитанные признаки для каждой точки идут на полносвязному слою, которая определяет класс для каждой точки.
код

Ronin, Нур-Султан

г.Нур-Султан, пр.Кабанбай-батыра 2/2, БЦ Держава, каб. 201В

2GIS:http://go.2gis.com/atqy7

Телефон : +7 (701) 693-66-44

Телефон :+7 (747) 371-53-57

Email : info@ronin.kz

ТОО «Factum x Ronin»

БИН: 070940000331

ИИК: KZ2296503F0007618266

Директор: Максутов А.Т

Отправить заявку на Ronin.kz