Que algoritmos são usados em realidade aumentada?

Em princípio, praticamente todas as capacidades de visão por computador podem ser aproveitadas como um recurso de RA.

P>Posição do corpo humano/estimativa da forma? você pode sobrepor peças de vestuário para um aplicativo de moda.

Segmentação semântica? você pode substituir texturas em pisos e paredes.

OCR? Substitua o texto em inglês por chinês, ou ligue um artigo extenso sobre o texto.

Yet, eu tendo a pensar em capacidades gerais de RA em quatro níveis de sofisticação crescente:

1. Ar baseado em marcadores>li>Ar sem marcadores>li>Ar sem marcadores com compreensão do ambiente geométricoli>Ar sem marcadores com compreensão do ambiente geométrico e semântico/li>p>Devo mencionar uma dimensão ortogonal de sofisticação que está combinando o AR com a nuvem, e na qual muitos startups [0,1] estão investindo. Isto é algo que requer muito conhecimento de infra-estrutura, bem como outros algoritmos de visão por computador, por exemplo, para capacidades de mapeamento em grande escala, que não mencionarei separadamente.>

Então, deixe-me listar quais algoritmos são usados nestes níveis de sofisticação:

1. Artificador baseado em RA: Isto geralmente envolve rastrear uma câmera contra um padrão de textura planar, mas às vezes também um objeto 3D.
   >br> Algoritmos chave incluem detecção e correspondência de pontos de interesse [2], assim como RANSAC para filtrar correspondências erradas, mais um modelo geométrico básico da cena, como uma homografia ou matriz essencial/fundamental [3].>li>Ar sem marcadores: Aqui você não precisa colocar marcadores pré-especificados na cena, para que o sistema possa rodar em muitos ambientes logo de cara.
   >br> Algoritmos chave incluem odometria visual e odometria visual-inercial [4,5].li>li>Ar sem marcadores com compreensão do ambiente geométrico: Aqui, além de localizarmos a câmera, visamos a reconstrução densa 3D do ambiente, mesmo que não fixemos etiquetas nas superfícies que recuperamos. Então agora, por exemplo, você pode ter um personagem vagando pela cena, "esconder-se" atrás de um sofá, e planejar um caminho de navegação realista que evite obstáculos.
   br>br>Key algorithms include: dense 3D reconstruction, multiview stereo literature [6,7].li>li>Marker-less AR com entendimento de ambiente geométrico e semântico: Aqui, além de termos uma reconstrução 3D densa, também temos etiquetas para essas superfícies. Então você sabe que uma certa região do espaço em uma cadeira ou mesa, e em sistemas ainda mais maduros, mesmo qual superfície é a superfície "sittable" da cadeira ou qual é a exata pose 3D do martelo ou da bicicleta na cena.
   >br>Key algorithms include: Segmentação semântica, detecção de objetos, localização de objetos 3D [8,9,10,11]

p>Course é possível ter um sistema onde você tem algum grau de compreensão semântica, mas sem compreensão geométrica, ou seja, alguma capacidade de L4, mas nenhuma de L3. No entanto, eu não vejo sistemas mainstream tomando essas rotas.

[0] Blue Vision Labs, que constrói AR 'colaborativo', emerge do stealth com $14.5M liderado por GV

[1] 6D Beta Access

[2] http://www.robots.ox.ac.uk/~vgg/rg/papers/brisk.pdf

[3] Multiple View Geometry in Computer Vision

[4] ORB-SLAM Project Webpage

[5] ethz-asl/okvis

[6] KinectFusion Project Page - Microsoft Research

[7] http://willow.ai.uiuc.edu/ponce_grp/publication/paper/cvpr07a.pdf

[8] https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf

[9] YOLO: Real-Time Object Detection

[10] https://arxiv.org/pdf/1711.08848.pdf

[11] http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Deep_Supervision_With_CVPR_2017_paper.pdf