Intel Perceptual Computing SDK

Felipe Pedroso

22Software and Services Group

Felipe Pedroso

• Gerente da Comunidade de Ultrabooks/Windows no grupo de Software da Intel

• Nascido em Sorocaba/SP

• Formado em Engenharia da Computação na FACENS

• Desenvolvedor nas horas vagas (se é que elas existem...)

• Gosta de C, C++, C#, Java, Python, HTML5, Férias ou qualquer coisa que seja programavel.

33Software and Services Group

O que é Perceptual Computing?

44Software and Services Group

• Forma de interação homem-máquina−Ações do usuário são sentidas/percebidas

−Proporciona uma interface natural, imersiva e intuitiva

• Como prover essa interface?−Gestos com as mãos/dedos

−Rastreamento/Análise da face

−Reconhecimento de voz

−Realidade aumentada

O que é Perceptual Computing?

55Software and Services Group

66Software and Services Group

• Biblioteca de detecção de padrões e implementações de algoritmos de reconhecimento (áudio e imagem)

• Muda o foco do desenvolvedor na implementação dos algoritmos para inovações no desenvolvimento das aplicações

• Flexibilidade: Permite trabalhar em alto e baixo nível

• Extensível: permite a adição de novos modos de utilização

• Aceleração de Hardware em plataformas da Intel®

Intel Perceptual Computing SDK

77Software and Services Group

Casos de uso

•Interface de Usuário Interativa

•Jogos

•Segurança

•Realidade Aumentada

•Auxílio a portadores de deficiência

88Software and Services Group

O que usar para desenvolver?

•Linguagens−C++

−C#

−Java

•Frameworks−Unity3D

−Processing

−openFrameworks

99Software and Services Group

Creative* Camera•Captura de imagem HD (720p)

•Sensor de profundidade

•Array de dois microfones

•Alimentação USB (<2.5W)

•Drivers para Windows 7 e Windows 8 (Desktop)

1010Software and Services Group

Câmeras Integradas aos Ultrabooks!

1111Software and Services Group

• 8-bit RGB in RGBA/RGB24/NV12/YUY2−Creative* camera supports up to 1280x720

• 16-bit depthmap, confidence map and vertices.−Creative camera supports up to QVGA (320x240)

−Depthmap smoothing by default

Captura de Imagem

1212Software and Services Group

•Rastreamento dos “nós”−7 pontos: pontas dos dedos, centro da palma e punho

•Gestos e poses padronizadas−Poses: positivo/negativo, paz

−Gestos: swype, círculo, aceno e High-5

Rastreamento de dedos

1313Software and Services Group

• Detecção/rastreamento de múltiplas faces

• Detecção de 7 pontos de referência: olhos, nariz e boca

• Reconhecimento: semelhanças entre um conjunto de faces

• Detecção de atributos: faixa etária, sexo, sorriso e abertura dos olhos (em desenvolvimento)

Rastreamento e Análise de Faces

1414Software and Services Group

• Desenvolvido pela empresa Nuance

• Reconhecimento de comandos pré-definidos

• Ditado

• Sintetização de frases curtas

Reconhecimento e Síntese de Voz

1515Software and Services Group

• Rastreamento de superfícies planas 2D−Posição e orientação

• Rastreamento de objetos 3D−Baseado em modelos 3D

• Orientação de faces

Rastreamento de objetos 2D/3D

1616Software and Services Group

• Informa ao usuário final toda vez que alguma aplicação ativa a câmera

Notificação de privacidade

1717Software and Services Group

Arquitetura

1818Software and Services Group

Hello World

C++class MyPipeline: public UtilPipeline {

public:

MyPipeline(void):UtilPipeline() {

EnableGesture();

}

virtual void PXCAPI OnGesture

(PXCGesture::Gesture *data) {

printf_s(“%d\n”,data->label);

}

};

int wmain(int argc, WCHAR* argv[]) {

MyPipeline pipeline;

pipeline.LoopFrames();

return 0;

}

C#class MyPipeline: UtilMPipeline {

public MyPipeline():base() {

EnableGesture();

}

public override void OnGesture

(ref PXCMGesture.Gesture data) {

Console.WriteLn(data.label);

}

};

class Program {

static void Main(string[] args) {

MyPipeline pipeline=new MyPipeline();

pipeline.LoopFrames();

pipeline.Dispose();

}

}

1919Software and Services Group

Demos

Mas como conseguir uma câmera?

2121Software and Services Group

Programa de Parcerias: Intel + Smyowl

Mais informações sobre parcerias: http://software.intel.com/pt-br/partner-home

2222Software and Services Group

Para desenvolvedores

• Participar ativamente do IDZ :−Apresentar uma proposta de um bom projeto

−Se comprometer a escrever artigos técnicos com a câmera em mãos

−Depende da disponibilidade e do comprometimento do desenvolvedor

• Comprar a câmera: www.intel.com/software/perceptual−149 dólares (+ impostos)

−Entrega no Brasil

• Ou…

2323Software and Services Group

… Perceptual Challenge Brasil!!!

Saiba mais em: http://software.intel.com/perceptualchallengebrasil

Hands-on: Perceptual Tetris!

Dúvidas?

2626Software and Services Group

http://software.intel.com/pt-br/

Quer saber mais?

2727Software and Services Group

Comunidade Ultrabooks/Windows

2828Software and Services Group

http://software.intel.com/pt-br/

https://www.facebook.com/intelswbrasil

Contatos

Felipe Pedroso

felipe.pedroso@intel.com

@felipeapedroso

Muito Obrigado!

2929Software and Services Group

• Intel Perceptual Computing SDK−http://intel.com/software/perceptual

• Documentação−http://software.intel.com/sites/landingpage/perceptual_computing/

documentation/html/

• Guia sobre a interface−http://download-software.intel.com/sites/default/files/article/32594

6/perc-humaninterfaceguidelines.pdf

Referências