1

Prof.: Prof.: Jauvane Jauvane C. de OliveiraC. de OliveiraAluno: ErmAluno: Ermíírio de Siqueira Coutinhorio de Siqueira Coutinho

Rio de Janeiro, 27 de novembro de 2002Rio de Janeiro, 27 de novembro de 2002

7

SumSumááriorio•• IntroduIntroduçãçãoo•• Outras iniciativasOutras iniciativas•• DiferenDiferençças no MPEGas no MPEG--77•• DefiniDefiniçõçõeses•• Componentes da especificaComponentes da especificaçãção MPEGo MPEG--77•• Ferramentas prFerramentas préé--definidas de descridefinidas de descriçãçãoo•• ExemploExemplo

2

IntroduIntroduçãçãoo

•• MPEGMPEG--7: [1]7: [1]–– Multimedia Content Description Multimedia Content Description InterfaceInterface–– ISO/IEC 15938 / JTC 1 / SC 29 / WG 11ISO/IEC 15938 / JTC 1 / SC 29 / WG 11

•• Moving Pictures Expert GroupMoving Pictures Expert Group•• International Standards OrganizationInternational Standards Organization•• International Electrotechnical CommissionInternational Electrotechnical Commission•• Joint Technical Commitee Joint Technical Commitee 11•• SubSub--commitee commitee 2929•• Working group Working group 1111

Outras iniciativasOutras iniciativas

•• IBM QBIC:IBM QBIC: Query By Image Content Query By Image Content [2][2]–– DisponDisponíível vel DB2DB2 Image ExtendersImage Extenders: :

•• CritCritéérios de busca: exemplos de cores e texturasrios de busca: exemplos de cores e texturas•• Usado pelo Usado pelo http://www.hermitagemuseum.org/http://www.hermitagemuseum.org/

(Museu de artes em(Museu de artes em St PetersburgSt Petersburg –– RRúússia)ssia)

•• MIT MIT PhotobookPhotobook (1994) [3](1994) [3]–– GratuitoGratuito–– Possui ferramenta de aprendizado para Possui ferramenta de aprendizado para

consultas posteriores:consultas posteriores: FourEyesFourEyes

3

PhotobookPhotobook –– FourEyesFourEyes (MIT)(MIT)

Outras iniciativasOutras iniciativas

•• MIT MediaMIT Media StreamsStreams & & Stratification Stratification [4][4]–– Desenvolvido entre 1991 e 1997Desenvolvido entre 1991 e 1997–– VocabulVocabuláário com mais de 6000 rio com mais de 6000 ííconescones–– Os Os íícones podem ser combinados para criar cones podem ser combinados para criar

caracteres, objetos e padrcaracteres, objetos e padrõõeses–– CriaCria--se uma gramse uma gramáática que permite intica que permite inúúmeras meras

combinacombinaçõções, permitindo incluires, permitindo incluir--se significadosse significados

4

No que MPEGNo que MPEG--7 difere ?7 difere ?

•• Principal diferenPrincipal diferençça entre MPEGa entre MPEG--7 e outros 7 e outros padrpadrõões de es de metadadosmetadados::–– Procura ser genProcura ser genééricorico–– NNãão esto estáá voltado para uma aplicavoltado para uma aplicaçãção ou o ou

domdomíínio de aplicanio de aplicaçãção especo especííficosficos–– Suporta diversos nSuporta diversos nííveis de abstraveis de abstraçãção: desde a o: desde a

descridescriçãção de caractero de caracteríísticas do sinal atsticas do sinal atééinformainformaçõções semes semâânticasnticas

No que MPEGNo que MPEG--7 difere ?7 difere ?

•• Possibilidade de adaptaPossibilidade de adaptaçãção o àà evoluevoluçãção das o das ttéécnicas envolvidas com som e imagem:cnicas envolvidas com som e imagem:–– MPEGMPEG--7 fixa apenas o formato para descri7 fixa apenas o formato para descriçãção o

de contede conteúúdo, independente das tdo, independente das téécnicas de cnicas de extraextraçãção utilizadas, pois o utilizadas, pois éé o mo míínimo necessnimo necessáário rio para garantir interoperabilidadepara garantir interoperabilidade

–– Algoritmos de extraAlgoritmos de extraçãção no nãão fazem parte do o fazem parte do padrpadrããoo

5

IntroduIntroduçãçãoo

•• Existe um subconjunto de descritores para cada Existe um subconjunto de descritores para cada aplicaaplicaçãção, domo, domíínio de aplicanio de aplicaçãção e contexto de usoo e contexto de uso

•• NNãão ho háá apenas uma apenas uma úúnica descrinica descriçãção corretao correta•• Permite a geraPermite a geraçãção de descrio de descriçãção durante a captura o durante a captura

(real(real--timetime environmentenvironment))•• Dificuldades na extraDificuldades na extraçãção automo automáática:tica:

–– Quanto maior o nQuanto maior o níível de abstravel de abstraçãção, maior a necessidade o, maior a necessidade de intervende intervençãção humanao humana

DefiniDefiniçõçõeses

•• Dado Dado (data):(data): informainformaçãção multimo multimíídia dia descrita usando MPEGdescrita usando MPEG--7, independente de 7, independente de armazenamento, codificaarmazenamento, codificaçãção, apresentao, apresentaçãção, o, transmisstransmissãão, meio ou tecnologia [5]o, meio ou tecnologia [5]

•• CaracterCaracteríística stica ((featurefeature)): caracter: caracteríística do stica do dado que significa algo para algudado que significa algo para alguéém [5]m [5]

6

Conceitos bConceitos báásicossicos

•• Descritor Descritor ((DescriptorDescriptor)): define a sintaxe e a : define a sintaxe e a semsemâântica da representantica da representaçãção da caractero da caracteríísticastica

•• Esquema de descriEsquema de descriçãção o ((Description SchemeDescription Scheme)): : estrutura e semestrutura e semâântica dos relacionamentos entre ntica dos relacionamentos entre componentes (que podem ser descritores ou componentes (que podem ser descritores ou esquemas de descriesquemas de descriçõções)es)

•• DescriDescriçãção o ((DescriptionDescription)): consiste de:: consiste de:–– um esquema de descrium esquema de descriçãção (estrutura)o (estrutura)–– Valores do descritor (instValores do descritor (instââncias) que descrevem o dadoncias) que descrevem o dado

Conceitos bConceitos báásicossicos

•• DDL DDL –– Description Definition LanguageDescription Definition Language::–– linguagem para a crialinguagem para a criaçãção de descritores e esquemas de descritoreso de descritores e esquemas de descritores–– Permite a extensPermite a extensãão e modificao e modificaçãção de esquemas de descritores o de esquemas de descritores

existentesexistentes

•• Ferramentas do Sistema Ferramentas do Sistema ((System ToolsSystem Tools)): dar suporte a:: dar suporte a:–– MultiplexaMultiplexaçãção o de descritoresde descritores–– SincronizaSincronizaçãção de descritores com o conteo de descritores com o conteúúdodo–– Mecanismos de envio Mecanismos de envio ((deliverydelivery))–– CodificaCodificaçãção de representao de representaçõções para armazenamento e transmisses para armazenamento e transmissããoo–– Gerenciamento de proteGerenciamento de proteçãção de direitos autoraiso de direitos autorais

7

Componentes daComponentes daespecificaespecificaçãção MPEGo MPEG--77

•• Parte 1 Parte 1 -- MPEGMPEG--7 7 SystemsSystems::–– especifica as ferramentas do sistemaespecifica as ferramentas do sistema

•• Parte 2 Parte 2 -- DDL:DDL:–– Especifica a DDL (Especifica a DDL (Description Definition LanguageDescription Definition Language))

•• Parte 3 Parte 3 -- Visual:Visual:–– Especifica as ferramentas de descriEspecifica as ferramentas de descriçãção de imagenso de imagens

•• Parte 4 Parte 4 -- AudioAudio::–– Especifica as ferramentas de descriEspecifica as ferramentas de descriçãção de o de audioaudio

Componentes daComponentes daespecificaespecificaçãção MPEGo MPEG--77

•• Parte 5 Parte 5 -- Multimedia Description SchemesMultimedia Description Schemes::–– Descritores e esquemas de descriDescritores e esquemas de descriçãção que no que nãão so sãão o

especespecííficos para ficos para ááudio ou vudio ou víídeodeo

•• Parte 6 Parte 6 -- ReferenceReference software:software:–– ÉÉ uma implementauma implementaçãção de software dos componentes da o de software dos componentes da

especificaespecificaçãção MPEGo MPEG--77–– Normativo no que diz respeito Normativo no que diz respeito àà codificacodificaçãção:o:

•• Todas as implementaTodas as implementaçõções, compates, compatííveis com MPEGveis com MPEG--7, devem 7, devem produzir os mesmos resultados de decodificaproduzir os mesmos resultados de decodificaçãção que o o que o software de refersoftware de referêênciancia

8

Componentes daComponentes daespecificaespecificaçãção MPEGo MPEG--77

•• Parte 7 Parte 7 -- ConformanceConformance::–– Especifica as diretrizes e procedimentos para Especifica as diretrizes e procedimentos para

certificar a compatibilidade de descricertificar a compatibilidade de descriçõções e es e ferramentas com o padrferramentas com o padrããoo

•• Parte 8 Parte 8 -- Extraction and Extraction and use of use of descriptionsdescriptions::–– ProvProvêê informainformaçõções sobre a extraes sobre a extraçãção e uso de o e uso de

algumas ferramentas de descrialgumas ferramentas de descriçãçãoo

Ferramentas Ferramentas prpréé--definidas de descridefinidas de descriçãçãoo

•• Formadas pelo conjunto de Descritores e Esquemas de Formadas pelo conjunto de Descritores e Esquemas de DescriDescriçõções juntos:es juntos:

9

Basic ElementsBasic Elements // Schema ToolsSchema Tools

Basic Elements Basic Elements / / Schema ToolsSchema Tools

•• Elementos bElementos báásicos sicos –– SSãão as entidades bo as entidades báásicas usadas como sicas usadas como building building

blocksblocks por vpor váárias ferramentas de descririas ferramentas de descriçãçãoo•• Ferramentas do esquema:Ferramentas do esquema:

–– SSãão usadas para empacotar ferramentas de o usadas para empacotar ferramentas de descridescriçãção para uso por aplicativoso para uso por aplicativos

–– Inclui ferramentas de empacotamento para Inclui ferramentas de empacotamento para agrupamento de ferramentas de descriagrupamento de ferramentas de descriçãção em o em gruposgrupos

10

Content Description ToolsContent Description Tools

Content Description ToolsContent Description Tools

•• Representam a informaRepresentam a informaçãção propriamente dita o propriamente dita (percept(perceptíível)vel)

•• Ferramentas de descriFerramentas de descriçãção estrutural:o estrutural:–– permitempermitem--nos descrever o contenos descrever o conteúúdo:do:

•• em termos de segmentos espaem termos de segmentos espaççoo--temporaistemporais•• organizados numa estrutura hierorganizados numa estrutura hieráárquicarquica

–– MPEGMPEG--7 Visual 7 Visual description toolsdescription tools–– MPEGMPEG--7 7 Audio description toolsAudio description tools–– MPEGMPEG--7 7 Semantic description toolsSemantic description tools

11

Content Management ToolsContent Management Tools

Content Management ToolsContent Management Tools•• Ferramentas de descriFerramentas de descriçãção de mo de míídias:dias:

–– MMíídia de armazenamentodia de armazenamento–– Formato de codificaFormato de codificaçãçãoo–– Qualidade Qualidade –– Dicas Dicas ((hintshints) ) de de transcodificatranscodificaçãçãoo

•• Ferramentas de descriFerramentas de descriçãção de criao de criaçãção:o:–– Processos de criaProcessos de criaçãção (agentes, materiais, lugares, datas)o (agentes, materiais, lugares, datas)–– ClassificaClassificaçãção (linguagem, go (linguagem, gêênero)nero)–– Materiais relacionadosMateriais relacionados

•• Ferramentas de descriFerramentas de descriçãção de uso:o de uso:–– CondiCondiçõções de uso (direitos e disponibilidade)es de uso (direitos e disponibilidade)–– HistHistóórico (resultados financeiros e audirico (resultados financeiros e audiêência)ncia)

12

Content Organization Tools Content Organization Tools / / Navigation and Navigation and Access Access ToolsTools

•• Permite criar e modelar colePermite criar e modelar coleçõções de contees de conteúúdos multimdos multimíídia dia e descrie descriçõçõeses

Navigation andNavigation and AccessAccess ToolsTools•• Ferramentas de descriFerramentas de descriçãção de sumo de sumáário rio

((summarysummary):):–– NavegaNavegaçãção hiero hieráárquica e seqrquica e seqüüencialencial–– PreviewsPreviews

•• Ferramentas de descriFerramentas de descriçãção de partio de partiçãção e o e decomposidecomposiçãção:o:–– Permite acesso progressivo (tempo e espaPermite acesso progressivo (tempo e espaçço)o)–– Diversas resoluDiversas resoluçõçõeses

•• Ferramentas para descriFerramentas para descriçãção de variao de variaçõçõeses

13

User Interaction ToolsUser Interaction Tools

•• PreferPreferêências e histncias e históórico do usurico do usuááriorio

DDL DDL -- Description Definition Description Definition LanguageLanguage

•• Permite representar e estender descritores, Permite representar e estender descritores, descridescriçõções e esquemas de descries e esquemas de descriçõçõeses

•• Adiciona extensAdiciona extensõões ao XML es ao XML Schema Schema (#) (#) especespecííficas para MPEGficas para MPEG--7 como suporte a:7 como suporte a:–– Vetores (*)Vetores (*)–– Matrizes (*)Matrizes (*)–– ReferReferêências ncias tipadas tipadas ((typed referencestyped references))

(*) implementado como lista de elementos(*) implementado como lista de elementos(#) ver www.w3schools.com(#) ver www.w3schools.com

14

MPEGMPEG--7 7 Elementary StreamsElementary Streams

•• Unidades de acesso Unidades de acesso (Access (Access UnitsUnits))::–– PorPorçõções individuais de dados, acesses individuais de dados, acessííveis veis

individualmenteindividualmente–– VVáárias unidades de acesso consecutivas formam rias unidades de acesso consecutivas formam

umum MPEGMPEG--7 7 elementary streamselementary streams•• DescriDescriçõções podem ser representadas:es podem ser representadas:

–– Formato de textoFormato de texto–– Formato binFormato bináário (rio (BiM BiM –– Binary Format Binary Format for for

MPEGMPEG--7 data)7 data)

MPEG MPEG -- 77

•• ArquivoArquivo–– Elemento raiz: <Mpeg7>Elemento raiz: <Mpeg7>–– Description Metadata HeaderDescription Metadata Header:: metadadosmetadados sobre a sobre a

descridescriçãção: <o: <DescriptionMetadataDescriptionMetadata>>

•• Dois tipos vDois tipos váálidos diferentes:lidos diferentes:–– Unidades de descriUnidades de descriçãção <o <DescriptionUnitDescriptionUnit>>

•• Permite que se envie apenas parte de toda a descriPermite que se envie apenas parte de toda a descriçãção, quando o, quando a aplicaa aplicaçãção fizer uma requisio fizer uma requisiçãção especo especííficafica

–– DescriDescriçõções completas <es completas <DescriptionDescription>>

15

MPEG MPEG -- 77

•• Elementos de Alto NElementos de Alto Níível [6]:vel [6]:–– Organizados em 3 grupos:Organizados em 3 grupos:

•• Content ManagementContent Management•• Content Entity Content Entity (*)(*)•• Content Abstraction Content Abstraction (*)(*)

(*) (*) Content DescriptionContent Description

Content ManagementContent Management

•• Lida com informaLida com informaçõções relacionadas ao es relacionadas ao conteconteúúdo, mas independente do que este do, mas independente do que este vem a ser:vem a ser:–– User descriptionUser description–– Media Media descriptiondescription–– Creation descriptionCreation description–– Usage DescriptionUsage Description–– Classification Scheme DescriptionClassification Scheme Description

16

Content EntityContent Entity

•• Multimedia contentMultimedia content::–– Image Image (Still (Still RegionRegion))–– Video Video ((segmentsegment))–– AudioAudio ((segmentsegment))–– AudioAudio--visual visual ((segmentsegment))–– Multimedia ContentMultimedia Content–– Multimedia CollectionMultimedia Collection–– SignalSignal–– Ink Content Ink Content (*)(*)–– Analytic Edited VideoAnalytic Edited Video

Multimedia contentMultimedia content

–– VideoVideo ((segmentsegment))•• Video Description ToolsVideo Description Tools: ISO/IEC 15938: ISO/IEC 15938--3: permite 3: permite

verificar similaridades em imagens e vverificar similaridades em imagens e víídeosdeos

–– AudioAudio ((segmentsegment))•• Audio Descritption ToolsAudio Descritption Tools: ISO/IEC 15938: ISO/IEC 15938--4: busca 4: busca

e filtragem de e filtragem de ááudioudio

17

Content AbstractionContent Abstraction

•• Semantic DescriptionSemantic Description•• Model DescriptionModel Description•• Summary DescriptionSummary Description•• View DescriptionView Description•• Variation DescriptionVariation Description

Semantic DescriptionSemantic Description

18

Descrevendo propriedades Descrevendo propriedades multimmultimíídiadia

•• Duas opDuas opçõções:es:–– Descrever como um todoDescrever como um todo–– Descrever as partesDescrever as partes

•• InovaInovaçãção com MPEGo com MPEG--7:7:–– DescriDescriçõções segmentadas por espaes segmentadas por espaçço e tempoo e tempo–– Diferentes nDiferentes nííveis de detalheveis de detalhe

Diferentes nDiferentes nííveis de detalheveis de detalhe

19

DescriDescriçõções segmentadas por es segmentadas por espaespaçço e tempoo e tempo

Amarelo: regiAmarelo: regiãão mo móóvelvelVerde: regiVerde: regiãão paradao parada

<Mpeg7<Mpeg7 xmlnsxmlns==httphttp://www.mpeg7.://www.mpeg7.orgorg/2001/MPEG/2001/MPEG--7_7_SchemaSchema xmlxml::langlang==““enen””typetype==““completecomplete””>>

<<ContentDescription xsiContentDescription xsi::typetype==““ContentEntityTypeContentEntityType””>><<MultimediaContentMultimediaContent xsixsi::typetype==““ImageTypeImageType””>><<ImageImage>>

<<MediaLocatorMediaLocator>><<MediaUriMediaUri>>httphttp://www.ermirio.com.://www.ermirio.com.brbr/dunas./dunas.jpgjpg</</MediaUriMediaUri>>

</</MediaLocatorMediaLocator>><<CreationInformationCreationInformation>>

<<CreationCreation>>(...)(...)</</CreationCreation>>

</</CreationInformationCreationInformation>></</ImageImage>></</MultimediaContentMultimediaContent>></</ContentDescriptionContentDescription>></Mpeg7></Mpeg7>

20

Aplicativos [7]Aplicativos [7]

•• Ricoh MovieToolRicoh MovieTool::–– http://www.ricoh.co.jp/src/multimedia/MovieTool/http://www.ricoh.co.jp/src/multimedia/MovieTool/

•• CanonCanon::–– Permite criar um arquivo de descriPermite criar um arquivo de descriçãção MPEGo MPEG--77 AudioAudio

““SpokenContentSpokenContent”” a partir de um a partir de um ““..wavwav””–– Baseado na tecnologia de reconhecimento de fala desenvolvida pelBaseado na tecnologia de reconhecimento de fala desenvolvida pelaa

CanonCanon–– http://www.cre.canon.co.uk/mpeg7asrhttp://www.cre.canon.co.uk/mpeg7asr

•• Interface grInterface grááfica para fica para MPEGMPEG--77 Audio Low Level Audio Low Level DescriptorsDescriptors::–– SiteSite que gera descritores MPEGque gera descritores MPEG--7 para um arquivo de 7 para um arquivo de ááudio (.udio (.wavwav, ,

.mp3) enviado.mp3) enviado–– httphttp://www.://www.whisperwhisper..elecelec..uowuow..eduedu..auau/mpeg7/mpeg7

AplicativosAplicativos

•• Exemplo:Exemplo:

•• IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool -- July 19, 2002July 19, 2002–– httphttp://www.://www.alphaworksalphaworks.ibm.com/.ibm.com/techtech//videoannexvideoannex–– WinWin NT XP 9*NT XP 9*

21

IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool

IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool

22

IBM MPEGIBM MPEG--77 Annotation ToolAnnotation Tool

ConclusConclusããoo

•• MPEGMPEG--7 visa padronizar a maneira de se 7 visa padronizar a maneira de se descrever contedescrever conteúúdo multimdo multimíídiadia

•• Ferramentas poderFerramentas poderãão ser modificadas para o ser modificadas para suportar o padrsuportar o padrããoo

•• Essencial para a criaEssencial para a criaçãção de uma o de uma web web semsemâânticantica

23

ReferReferêênciasncias

[1] [1] LindsayLindsay, A. , A. –– MPEGMPEG--7:7:PuttingPutting itit all togetherall together –– ACMACMMultimediaMultimedia -- SepSep 2001.2001.

[2] QBIC: [2] QBIC: httphttp://://wwwqbicwwwqbic..almadenalmaden.ibm.com.ibm.com[3][3] PhotobookPhotobook: : httphttp://://webweb.media.mit..media.mit.eduedu/~/~tpminkatpminka//photobookphotobook[4] MIT Media[4] MIT Media StreamsStreams && StratificationStratification: :

httphttp://://acgacg.media.mit..media.mit.eduedu//peoplepeople//golangolan//mediastreamsmediastreams[5] [5] MartMartííneznez, J. , J. et et al al –– MPEGMPEG--7 7 The generic multimedia The generic multimedia

content description content description standard standard –– IEEE IEEE Multimedia Multimedia ––AprApr/Jun 2002 pg 78/Jun 2002 pg 78--8787

[6] [6] MartMartííneznez, J., J. etet al al –– OverviewOverview of MPEGof MPEG--7 7 Description Description ToolsTools –– IEEEIEEE MultimediaMultimedia –– Jul/Jul/SepSep 2002 pg 832002 pg 83--9393

[7] MPEG[7] MPEG--7:7: httphttp://www.://www.mpegmpeg--industryindustry.com/.com/