Новая технология искусственного интеллекта команды значительно повышает навыки распознавания роботов

Робот перемещает игрушечную упаковку масла по столу в лаборатории интеллектуальной робототехники и зрения Техасского университета в Далласе. С каждым толчком робот учится распознавать объект с помощью новой системы, разработанной командой ученых-компьютерщиков UT Dallas.

Новая система позволяет роботу перемещать объекты несколько раз, пока не будет собрана последовательность изображений, что, в свою очередь, позволяет системе сегментировать все объекты в последовательности, пока робот не распознает объекты. Предыдущие подходы полагались на одно нажатие или захват роботом, чтобы «изучить» объект.

Команда представила свою исследовательскую работу на конференции «Робототехника: наука и системы» 10-14 июля в Тэгу, Южная Корея. Статьи для конференции отбираются с учетом их новизны, технического качества, значимости, потенциального воздействия и ясности.

День, когда роботы смогут готовить ужин, убирать с кухонного стола и опорожнять посудомоечную машину, еще очень далек. Но исследовательская группа добилась значительного прогресса со своей роботизированной системой, которая использует искусственный интеллект, чтобы помочь роботам лучше идентифицировать и запоминать объекты, сказал доктор Юй Сян, старший автор статьи.

«Если вы попросите робота взять кружку или принести вам бутылку воды, робот должен распознать эти объекты», — сказал Сян, доцент кафедры информатики в Школе инженерии и компьютерных наук Эрика Йонссона.

Технология исследователей UTD предназначена для того, чтобы помочь роботам обнаруживать самые разнообразные объекты, встречающиеся в таких средах, как дома, а также обобщать или идентифицировать похожие версии обычных предметов, таких как бутылки с водой, которые бывают разных марок, форм и размеров.

Внутри лаборатории Сяна находится контейнер, полный игрушечных упаковок с обычными продуктами, такими как спагетти, кетчуп и морковь, которые используются для обучения лабораторного робота по имени Рэмп. Ramp — это мобильный робот-манипулятор Fetch Robotics высотой около 4 футов на круглой мобильной платформе. Рампа имеет длинную механическую руку с семью шарнирами. На конце находится квадратная «рука» с двумя пальцами для захвата предметов.

Сян сказал, что роботы учатся распознавать предметы аналогично тому, как дети учатся взаимодействовать с игрушками.

«После толкания объекта робот учится его распознавать», — сказал Сян. «С помощью этих данных мы обучаем модель ИИ, чтобы в следующий раз, когда робот увидит объект, ему не нужно было снова его толкать. Когда он увидит объект во второй раз, он просто поднимет его».

Новым в методе исследователей является то, что робот нажимает на каждый предмет от 15 до 20 раз, в то время как предыдущие методы интерактивного восприятия используют только одно нажатие. Сян сказал, что несколько нажатий позволяют роботу делать больше фотографий с помощью камеры RGB-D, которая включает в себя датчик глубины, чтобы узнать о каждом объекте более подробно. Это снижает вероятность ошибок.

«После толкания объекта робот учится его распознавать. Используя эти данные, мы обучаем модель ИИ так… когда она увидит объект во второй раз, он просто поднимет его».

Доктор Юй Сян, доцент кафедры информатики Школы инженерии и информатики Эрика Йонссона

Задача распознавания, дифференциации и запоминания объектов, называемая сегментацией, является одной из основных функций, необходимых роботам для выполнения задач.

«Насколько нам известно, это первая система, которая использует долгосрочное взаимодействие роботов для сегментации объектов», — сказал Сян.

Нинад Харгонкар, докторант компьютерных наук, сказал, что работа над проектом помогла ему улучшить алгоритм, который помогает роботу принимать решения.

«Одно дело разработать алгоритм и протестировать его на абстрактном наборе данных; другое дело – протестировать его на реальных задачах», – сказал Харгонкар. «Наблюдение за этим реальным выступлением — это был ключевой опыт обучения».

Следующим шагом исследователей станет улучшение других функций, включая планирование и контроль, что позволит выполнять такие задачи, как сортировка вторсырья.

Среди других авторов статьи из UTD были аспирант информатики Янсяо Лу; старшеклассники по информатике Зешэн Сюй и Чарльз Аверилл; Камалеш Паланисами MS'23; доктор Юнхуэй Го, доцент кафедры информатики; и доктор Николас Руоцци, доцент кафедры информатики. В мероприятии также принял участие доктор Кайю Ханг из Университета Райса.