A nova tecnologia de IA da equipe dá um grande impulso às habilidades de reconhecimento de robôs

Um robô move um pacote de manteiga em torno de uma mesa no Laboratório de Robótica e Visão Inteligente da Universidade do Texas, em Dallas. A cada empurrão, o robô aprende a reconhecer o objeto por meio de um novo sistema desenvolvido por uma equipe de cientistas da computação da UT Dallas.

O novo sistema permite que o robô empurre objetos várias vezes até que uma sequência de imagens seja coletada, o que por sua vez permite ao sistema segmentar todos os objetos na sequência até que o robô os reconheça. As abordagens anteriores dependiam de um único empurrão ou agarramento do robô para “aprender” o objeto.

A equipe apresentou seu trabalho de pesquisa na conferência Robotics: Science and Systems, de 10 a 14 de julho, em Daegu, Coreia do Sul. Os artigos para a conferência são selecionados pela sua novidade, qualidade técnica, importância, impacto potencial e clareza.

O dia em que os robôs poderão preparar o jantar, limpar a mesa da cozinha e esvaziar a máquina de lavar louça ainda está muito longe. Mas o grupo de investigação fez um avanço significativo com o seu sistema robótico que utiliza inteligência artificial para ajudar os robôs a identificar e lembrar melhor os objetos, disse o Dr. Yu Xiang, autor sénior do artigo.

“Se você pedir a um robô para pegar a caneca ou trazer uma garrafa de água, o robô precisa reconhecer esses objetos”, disse Xiang, professor assistente de ciência da computação na Escola de Engenharia e Ciência da Computação Erik Jonsson.

A tecnologia dos pesquisadores da UTD foi projetada para ajudar os robôs a detectar uma ampla variedade de objetos encontrados em ambientes como residências e a generalizar ou identificar versões semelhantes de itens comuns, como garrafas de água de diversas marcas, formatos ou tamanhos.

Dentro do laboratório de Xiang há uma caixa de armazenamento cheia de pacotes de brinquedos com alimentos comuns, como espaguete, ketchup e cenoura, que são usados ​​para treinar o robô do laboratório, chamado Ramp. Ramp é um robô manipulador móvel da Fetch Robotics que tem cerca de 1,20 m de altura em uma plataforma móvel redonda. A rampa possui um longo braço mecânico com sete articulações. No final está uma “mão” quadrada com dois dedos para agarrar objetos.

Xiang disse que os robôs aprendem a reconhecer itens de maneira comparável à forma como as crianças aprendem a interagir com os brinquedos.

“Depois de empurrar o objeto, o robô aprende a reconhecê-lo”, disse Xiang. “Com esses dados, treinamos o modelo de IA para que, da próxima vez que o robô vir o objeto, não precise empurrá-lo novamente. Na segunda vez que vir o objeto, ele simplesmente o pegará.”

A novidade no método dos pesquisadores é que o robô empurra cada item de 15 a 20 vezes, enquanto os métodos de percepção interativa anteriores usavam apenas um único empurrão. Xiang disse que vários empurrões permitem que o robô tire mais fotos com sua câmera RGB-D, que inclui um sensor de profundidade, para aprender mais sobre cada item. Isso reduz o potencial de erros.

“Depois de empurrar o objeto, o robô aprende a reconhecê-lo. Com esses dados, treinamos o modelo de IA para que... na segunda vez que ele vir o objeto, ele simplesmente o pegará.”

Yu Xiang, professor assistente de ciência da computação na Escola de Engenharia e Ciência da Computação Erik Jonsson

A tarefa de reconhecer, diferenciar e lembrar objetos, chamada segmentação, é uma das principais funções necessárias para que os robôs concluam tarefas.

“Até onde sabemos, este é o primeiro sistema que aproveita a interação robótica de longo prazo para segmentação de objetos”, disse Xiang.

Ninad Khargonkar, estudante de doutorado em ciência da computação, disse que trabalhar no projeto o ajudou a melhorar o algoritmo que ajuda o robô a tomar decisões.

“Uma coisa é desenvolver um algoritmo e testá-lo em um conjunto de dados abstrato; outra coisa é testá-lo em tarefas do mundo real”, disse Khargonkar. “Ver esse desempenho no mundo real foi uma experiência de aprendizagem fundamental.”

O próximo passo dos pesquisadores é melhorar outras funções, incluindo planejamento e controle, o que poderia viabilizar tarefas como a triagem de materiais reciclados.

Outros autores do artigo da UTD incluíram o estudante de graduação em ciência da computação Yangxiao Lu; os veteranos em ciência da computação Zesheng Xu e Charles Averill; Kamalesh Palanisamy MS'23; Dr. Yunhui Guo, professor assistente de ciência da computação; e Dr. Nicholas Ruozzi, professor associado de ciência da computação. Dr. Kaiyu Hang da Rice University também participou.