Antonello DAguanno [email protected] Music Information Retrieval - TOOLS.
-
Upload
giuliana-rostagno -
Category
Documents
-
view
214 -
download
0
Transcript of Antonello DAguanno [email protected] Music Information Retrieval - TOOLS.
Antonello D’[email protected]
http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt
““Music Information Retrieval - TOOLS”Music Information Retrieval - TOOLS”
Problemi PresentatiProblemi Presentati
• Pitch Tracking
• Beat Tracking
• Tempo Induction
• Score Extraction
• Genre Extraction
• Automatic Music Synchronization
Comprensione Comprensione dell’informazionedell’informazione
Finalità degli AlgoritmiFinalità degli Algoritmi
Fornire informazioni oggettive (meta-dati) sul contenuto musicale di un determinato brano audio
Stream Audio
Algoritmo
Meta Dati
Low Level Features
Analisi Musicale
Le Caratteristiche dei Le Caratteristiche dei Segnali AudioSegnali Audio
In questo contesto i segnali audio sono caratterizzati da due differenti parametri:
• Numero di strumenti che suonano in un brano
• Monotimbrici Un solo strumento
• Politimbrici Due o più strumenti
• Numero di note presenti contemporaneamente in un brano
• Monofonici Una sola nota
• Polifonici Due o più note
Pitch TrackingPitch TrackingScopo dell’Algoritmo
Estrarre il pitch da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento del pitch rispetto al tempo
Estrazione delle caratteristiche di basso livello
• Autocorrelazione
• Analisi dello spettro alla ricerca di strutture armoniche
Risultati
Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi
Pitch TrackingPitch Tracking
Criticità
• Difficoltà nella segmentazione delle note
• Instabilità del pitch nei segnali vocali e in alcuni strumenti
Analisi musicale e semplificazioni
• Sfruttare la teoria musicale per risolvere situazione di ambiguità ad esempio dando priorità alle note della tonalità
• Non riconoscere esattamente le note ma solo se il pitch aumenta, diminuisce o rimane stabile
Beat TrackingBeat TrackingScopo dell’Algoritmo
Estrarre i beat da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento dei beat rispetto al tempo, fornendo una analisi ritmica del segnale audio
Estrazione delle caratteristiche di basso livello
• Filtraggi ad alte frequenze
• Analisi dello spettro
Risultati
Risultati commerciali per l’individuazione dei beat, problema aperto sulla valutazione della struttura e tessitura ritmica
Beat TrackingBeat Tracking
Criticità
• Non necessariamente è presente una sezione ritmica (batteria)
• Talvolta i beat non sono i punti più energetici del segnale
Analisi musicale e peculiarità
• Sfruttare la teoria musicale per risolvere situazioni di ambiguità ad esempio una struttra ritmica che varia continuamente è poco probabile
• Si devono distinguere i sistemi real time da quelli off line. I primi non compiono analisi sulla struttura ritmica del brano
Tempo InductionTempo InductionScopo dell’Algoritmo
Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno dei pochi algoritmi sviluppati anche su segnali compressi
Estrazione delle caratteristiche di basso livello
• Filtraggi ad alte frequenze
• Analisi dello spettro
Risultati
Risultati commerciali con applicazioni anche su software di editing
Tempo InductionTempo Induction
Criticità
• La maggior parte dei brani non ha BPM perfettamente stabili, ma tendono ad oscillare
• Alcuni brani hanno BPM variabili
• È complesso riconoscere il tempo corretto senza confondere, ad esempio, quarti ed ottavi
Analisi musicale e semplificazioni
Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad esempio un tempo che varia continuamente è poco probabile
Score ExtractionScore ExtractionScopo dell’Algoritmo
Estrarre la partitura da un segnale audio
Metodologie
• Autocorrelazione
• Analisi dello spettro
• …
Risultati
Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi
Score ExtractionScore ExtractionCriticità• Come riconoscere la segnatura di tempo?
• I timbri dei diversi strumenti sono molto differenti
• Separare gli strumenti con pitched da quelli unpitched
• La voce
• Le variazioni di tempo
Un problema composto
In generale lo score extraction può essere considerato come una sorta di contenitore che potrebbe contenere i problemi già visti più altri quali: separazione delle sorgenti, riconoscimento dei timbri e altri
Genre ExtractionGenre ExtractionScopo dell’Algoritmo
Estrarre il genere da un segnale audio e riuscire a riconoscere differenti brani che appartengano ad uno stesso genere
Metodologie
• Estrazione del pitch, del tempo, del beat, del timbro e altro
Risultati
Nessun Risultato commerciale, problema poco sensato su segnali monofonici e monotimbrici.
Genre ExtractionGenre ExtractionDue approcci differenti
• Prescriptive approach: i generi possibili sono decisi a priori l’algoritmo deve scegliere in quale cluster inserire il brano in esame
• Similarity relations approach: l’algoritmo trova le canzoni simili e le pone all’interno dello stesso cluster, non esistono generi scelti a priori
Osservazione
Nel primo caso è oggettiva la classificazione per generi, mentre nel secondo sono oggettive le similarità tra i brani
SincronizzazioneSincronizzazione
Navigazione coerente audio partitura
Ambito di ricerca affrontato nel MIR
Soluzioni proposte solo su stream audio non compressi
Stream Audio
Partitura
Partitura sincronizzata
Sincronizzatore
SincronizzazioneSincronizzazioneScopo dell’Algoritmo
• Sincronizzazione fine: per sistemi di navigazione interattiva e ricerche musicologiche
• Sincronizzazione generica: per sistemi che visualizzano la partitura e l’audio coerentemente
Estrazione delle caratteristiche di basso livello
• Analisi dell’energia
• Analisi dello spettro alla ricerca di strutture armoniche
Risultati
Risultati buoni su segnali monofonici e monotimbrici, problema aperto su segnali più complessi
SincronizzazioneSincronizzazione
Criticità
• Note ribattute, abbellimenti, agogica
• Esecuzioni non pedisseque
Analisi musicale
• Sono comunemente utilizzate tecniche DTW (Dinamic Time Warping) per porre in relazione caratteristiche della partitura con caratteristiche dell’audio
DTWDTW
Problema
• Costo computazionale molto elevato
• Necessarie euristiche