Existem formas fáceis de manipular objectos de realidade aumentada com a sua mão?

A primeira pergunta é: em qual plataforma?

Se você está usando óculos AR, como HoloLens e Meta, geralmente dentro do SDK deles há algo para detectar a posição da mão e algumas mãos acionam.

Se você está usando telefones Android, minha primeira pergunta é: você tem certeza de que está usando a interface de usuário correta? Manter o telefone com uma mão, usar a outra mão atrás da tela resultaria em uma pose estranha do usuário.

Anyway olhando no Google "Hand Tracking library" Encontrei alguns resultados... mas não sei se eles são os que lhe interessam. Caso contrário, você pode tentar usar o OpenCV para implementar algum tipo de rastreador de botões de rosa. Mas tenha em mente que rastreamento de mão usando uma câmera simples de telefone RGB de 30fps não é tão fácil.

A minha sugestão é adicionar algum hardware de rastreamento de mão, como o Leap Motion, que é suportado em telefones Android e tem um SDK que pode detectar a pose da mão de forma fácil e eficaz. O SDK também contém um mecanismo de interação para que a Unidade interaja com objetos na cena.