Augmented Reality overview

A primeira pergunta é “o que esta tal de Realidade Aumentada?”. Selecionei abaixo alguns dos vídeos e definições que melhor explicam esta nova forma de tecnologia que faz o link pela primeira vez entre real e virtual… e promete um tremendo impacto em diversas indústrias!

O que esta tal de Realidade Aumentada?

Realidade Aumentada (RA) é uma linha de pesquisa dentro da ciência da computação que lida com integração do mundo real e elementos virtuais ou dados criados pelo computador. Atualmente, a maior parte das pesquisas em RA está ligada ao uso de vídeos transmitidos ao vivo, que são digitalmente processados e “ampliados” pela adição de gráficos criados pelo computador. Pesquisas avançadas incluem uso de rastreamento de dados em movimento, reconhecimento de marcadores confiáveis utilizando mecanismos de visão, e a construção de ambientes controlados contendo qualquer número de sensores e atuadores.

http://pt.wikipedia.org/wiki/Realidade_aumentada

What is “Augmented Reality”? Augmented Reality is virtual reality added to real imagery, imagine a camcorder where as you look through the viewfinder, you see some computer generated 3D objects drawn on top of the video picture. For example virtual chess pieces could be drawn on top of an empty chess board. The computer must know where the camcorder is relative to the chess board in order to know how to “augment” the image correctly. One way to achieve this is to put marker patterns in the scene, when this marker is recognized in the camera image, the computer rendering the virtual chess pieces knows what position and angle to render them and draw them over the camera image so that it appears natural to you looking through the viewfinder.

A more concise definition is: Augmented Reality (AR), also known as “Mixed Reality” is where virtual and real objects appear together in a real time system. A prominent meeting place and showcase for AR technology is the annual international conference ISMAR http://www.ismar06.org/ .

http://www.artag.net/

A melhor forma contudo de conhecer a Realidade Aumentada é dar uma olhada nas incríveis aplicações que ela possibilita. Tem um pouco de tudo… português, inglês, francês, com “une place d’honneur” para a Total Immersion, uma empresa francesa que é disparada a melhor da área!

Referências em português:

O Jornal da Globo aumentou a realidade

Referências em inglês:

Applications

Alguns insights sobre o impacto da AR no mundo real

… em francês:

La réalité augmentée au Futuroscope

Dans les laboratoires d’Arts et Métiers Paris Tech

Total Immersion:

Total Immersion é uma das principais referências em Realidade Aumentada e merece um capítulo à parte… grande variedade de cases e com qualidade muito superior ao restante do mercado. Vale a pena conferir!

Demor Reel 2007

Demo Reel 2008

Demo reel 2004 – primeiras aplicações

Total Immersion na mídia: Vídeo 1 – Vídeo 2 – Vídeo 3 – Vídeo 4

Em japonês…

Total Immersion on Japan

Link fest

Doritos Late Night

AR em 1h… palestra com uma visão de evolução da tecnologia

Merchandising… aplicação fantástica em lojas virtuais… e reais

Jogo interativo web… integrando facebook e motion capture

Jogos interativos

Cartão de viagem… aplicação comercial bacaninha para revolucionar o mercado de cartões postais

Já batidinho em aplicações em revistas e outras mídias impressas, porém bem feito.

Aplicação solar com potencial, mas com pouco contexto.

Belo exemplo de aplicação para merchandising interativo

Agora entendi porque AR me atraiu tanto! Apesar do tom religioso, o conteúdo vale a pena.

Video: Bruce Sterling’s Keynote – At the Dawn of the Augmented Reality Industry from Maarten Lens-FitzGerald on Vimeo.

Geolocalização com AR + Google maps

LinkFest – case McDonald’s

http://www.mcdonalds.fr/happy-meal/#/experience

Download PDF

Tecnologia: Total Immersion

Case: TwittAround

This week’s video is of a little application you might have heard about, called tweetTwittAround.
It enables you to see tweets overlaid on top of the video input coming from your iPhone 3GS. Tweets are rendered according to the location they are coming from. Interestingly, this project comes from the same guy, Michael Zoellner, that is behind some other coolAR applic

ations.

Case: Coraline’s 3D Garden

http://www.coraline3dgarden.com

Case: The Phone House

http://www.phonehouse.fr/realite-augmente/index.html

Case: sightseeing

Case: NY nearest subway

Case: Sekai Camera Demo Video

Case: Food Tracer

Case: TVNZ cards

Referência para figurinhas ligadas à copa do mundo e futebol! Ao mostrar as figurinhas, filmes de melhores lances, jogos, jogadores aparecem no card!

Tech: Sistemas Parte 3 – outros sistemas AR

Post 3 da série com mais algumas opções em softwares e plataformas para Realidade Aumentada. Os melhores softwares e soluções estão definitivamente nos posts anteriores.

LinkFest – Social Interaction

Augmented video conferência: tecnologia ainda experimental, porém traz uma boa idéia do que pode ser o futuro do celular, instant message e video conferencias..

LinkFest: Live Presentation

Total Immersion – Live Presentations

Demo Total Immersion 2007: sempre um bom exemplo de live presentation

Interatividade com público

Vision: How will our world be like?… uma realidade “AUMENTADA”

Uma seleção de como pode ser nosso mundo com o impacto de tecnologias que permitam a fusão entre real e virtual…

La vie 2.0

World Builder

Xbox 360 – Natal Project

Vision Coca-Cola Avatar

Uma visão publicitária da Coca-Cola em full-iImmersion life. Ok, ~e preciso um pouco de imaginação. Eu quis ver uma mistura de second life en full-immersion com parallel kingdom usando óculos especiais para AR (3 tecnologias que por sina já existem).

The advertiser

The Artvertiser: Augmented Billboards. from Julian Oliver on Vimeo.

Visão sobre varejo

Leitura complementar:

http://www.gamasutra.com/php-bin/news_index.php?story=10809

LinkFest: healthcare

Tecnologias em desenvolvimento

PARIS System: sistema experimental que pode ser usado em cirurgias com sentividade ao toque.

LinkFest: museum

Cases aplicados a museus ainda estão em seus baby steps. A tecnologia contudo já existe e pode transformar completamente a experiência… Por que não unir museu à idéia de parque de atrações??? Será que o filme “Uma noite no museu” não é uma visão do que será possível no futuro?

Louvre case

 

Outros cases

 

PTAMM (série de vídeos): tecnologia experimental da Oxford University aplicada ao Natural History Museum usando tecnologias AR.

LinkFest: miscellaneous

Greeting Card

Business card

Real Time Avatar

Impressão camiseta

Uso em vídeo conferência (simples, porém prático)

USPS Mail Simulator: escolha de produto (neste caso embalagem de mail box)

Magic show

Tech: overview de capacidades técnicas

Os cases de AR crescem exponencialmente em qualidade visual e interatividade. Este post busca listar as principais tecnologias adaptadas aos cases e alguns exemplos que podem ser aplicados posteriormente em campanhas AR.

Um breve resumo das tecnologias observadas em cases e após alguns cases analisados mais de perto em relação às ferramentas utilizadas.

Informações e hiperlinks:

• acesso à informações pré-progradas no programa viewer
• acesso informação web (web pages, blogs, twitter, etc): esta tecnologia integrada com tecnologias de reconhecimento pode revolucionar informações de varejo (ex. informações sobre produtos, preços, etc), turismo (informações turísticas, informações geográficas, etc.

Interatividade com objeto AR:

• reconhecimento de gestos: por exemplo o objeto (um boneco) cai quando se passa a mão por ele; um boneco ri quando se faz cosquinhas, uma ação específica acontece quando próximo à um objeto conhecido (ex: flores, garrafa) ou um marker de AR. Um excelente exemplo é o EyePet da PSP
• alterações de textura do objeto: é possível trocar cor, aumentar escala
• modificações do objeto: se troca uma peça, altera-se o objeto ou os objetos da cena
• movimento do objeto (ex. Ecoimagination)
• interatividade entre objetos AR: reconhecimento entre objetos AR e ações específicas como uma batalha de Pokemons (ex. case Eye of Judgement)

Formas de interatividade

• clique em ambiente web (ex. Star-Trek)
• cliques em hiperlinks no próprio ambiente AR
• interações com sopro (ex. GE-Ecoimagination)
• interação com objeto dinâmico (ex. hair shop)
• interação com hiperlink outdoor (ex. informação de produto)
• manipulação de objetos (ex. varejo de móveis)

Tipos de mídia:

• mobile
• webcam
• goggles
• magic mirror

Tipos de AR:

• objeto 3D estático ou em movimento determinado
• objetos com efeitos especiais (Toops, Star-Trek)
• projeção 3D (ex. BMW)
• vídeo (ex. projeção de jogo)
• cenário 3D (ex. vídeo clip)

Tecnologias de games:

• interação com o usuário (ex. usuário rebatendo bola projetada em AR)
• interatividade com objeto AR (ex. bonequinho baseball rebatendo bola)
• interatividade com cenário (ex. bola bate em certo local e ganha tantos pontos; pacman come moedinha)
• mobilidade do objeto (ex. carrinho andando)
• mobilidade interagindo com terreno AR (ex. carrinho interpreta terreno AR)
• mobilidade interagindo com terreno real (ex. carrinho sobe em objetos reais)

Interatidade com cenário AR:

• efeitos especiais (ex. fogos de artifício)
• troca de cenários
• objeto obedece à gravidade

Reconhecimento:

• reconhecimento geográfico via GPS: esta ferramenta possibilita uma grande variedade de outdoor hiperlinks pela compreensão do local exato para onde está apontado o mobile phone. É uma alternativa bem interessante ao complexo reconhecimento de terreno.
• reconhecimento 3D: da mesma forma que um card ou marker, o sistema reconhece certos elementos de arquitetura ou terreno pré-configuradas e permite interagir com o mesmo. Extremamente útil em aplicações de turismo.
• reconhecimento de movimento: tecnologia ainda experimental permite que gestos humanos controlem o ambiente sem necessariamente um joystick (como com o Wii). O exemplo mais impressionante é o caso do projeto Natal do Xbox 360. Outras utilidades são interação com ambiente da casa (por exemplo acender luz, ligar algum aparelho, etc).

Tracking

• reconhecimento facial: compreensão de um rosto humano, permitindo uma série de customizações. Muito útil em games, promoções virais e áreas ligadas à moda (ex. hair shop).
• tracking de ambiente: ex set de gravação

Análise de Cases

Interatividade web com a escolha de cores para o traço do carro; tracking do movimento do carro;movimento do carro via teclado; não é necessário marker após web cam o ter reconhecido inicialmente.

 

Troca de cor ao clicar na própria brochura, troca de elementos do modelo; vídeo + objeto em movimento

Interatividade web, efeitos especiais (tiro, viagem instelar) ; interação com modelo (troca de cor de partes da nave; black marker não necessário; vídeo, objetos + pop ups simultâneos.

 

Magic mirror, tracking facial com objeto associado (botões aplicados aos olhos)

 

Modelo animado; movimento com sopro (movimento hélices);

 

Interação web e com brochura; reconhecimento de objetos reais (ferramentas).

 

Reconhecimento voz; reconhecimento de objetos reais (motor); projeção óculos.

 

Reconhecimento de fachadas; tracking de perspectiva; Hiperlink outdoor.

 

Efeitos especiais no aparecimento da carta; animação do objeto via teclado; interação sincronizada dos objetos AR (rebater, acertar alvo); objeto em movimento (alvo não estático); cálculo e memória (soma de pontos).

 

Efeitos especiais + objetos animados; interação entre cartas; cálculo, memória.

 

Clique em botões virtuais; troca de cores; conexão com facebook.

 

Tracking facial; interatividade web.

 

Diversos padrões de animação do objeto; interação com gestos (carinho, batida); interação com outros objetos AR (bola; cama elástica, etc); memória de desenhos.

 

Efeito de abertura; reconhecimento de cartas com efeitos no jogo, controle de objetos diferentes agindo independentemente por diferentes cartas.

 

Tracking de cenário; efeitos de gravidade em animação de água; markerless; animação complexa de objeto; comando por gestos (abrir parte da maquete); compreensão de sopro (catavento).

 

Marker não rígido (camiseta); pré-programação de animações (passarinho; corrida de carrinhos); interação com objetos reais (carrinho AR bate em carrinho real); sem necessidade de marker para helicóptero.

LinkFest: automotivo + aeroespacial

LinkFest: automotivo + aeroespacial

Campanha promocional automotivo:

BMW Promocional

 

C3 Picasso

Toyota IQ: visualização da composição do carro (demembramento de todas as peças)

 

Magical Brochure

Interactive Kiosk

Nissan Cube Brochure

 

Infinity Kiosk

Mazda Kiosk

 

New Products Presentation

Renault Kickoff

Outros cases

Virtual Race Car (game AR interagindo com terreno real)

 

Eeroespacial

SNECMA Magic Brochure: brochura com peças de aeronave

<object width=”425″ height=”349″><param name=”movie” value=”http://www.youtube.com/v/p_W7hAJjqAA&rel=0&border=1&color1=0xb1b1b1&color2=0xcfcfcf&hl=en&feature=player_embedded&fs=1″></param><param name=”allowFullScreen” value=”true”></param><param name=”allowScriptAccess” value=”always”></param><embed src=”http://www.youtube.com/v/p_W7hAJjqAA&rel=0&border=1&color1=0xb1b1b1&color2=0xcfcfcf&hl=en&feature=player_embedded&fs=1&#8243; type=”application/x-shockwave-flash” allowfullscreen=”true” allowScriptAccess=”always” width=”425″ height=”349″></embed></ob

 

Eurocopter: interação com ambiente interno do helicóptero