MUSIQUE ALGORITHMIQUE\u000b: Systèmes dynamiques chaotiques, \u000bréseaux de neurones artificiels...

32
MUSIQUE ALGORITHMIQUE Systèmes dynamiques chaotiques réseaux de neurones artificiels récurrents réseaux complexes Andrés Edo. Coca S. Zhao Liang Institut de Mathématiques et Informatique (ICMC) Université de São Paulo Campus São Carlos - Brésil Le 1 octobre 2012 Institut National de Recherche en Informatique et en Automatique (INRIA) Université de Rennes 1

Transcript of MUSIQUE ALGORITHMIQUE\u000b: Systèmes dynamiques chaotiques, \u000bréseaux de neurones artificiels...

MUSIQUE ALGORITHMIQUESystèmes dynamiques chaotiques

réseaux de neurones artificiels récurrentsréseaux complexes

Andrés Edo. Coca S.Zhao Liang

Institut de Mathématiques et Informatique (ICMC)Université de São Paulo

Campus São Carlos - Brésil

Le 1 octobre 2012

Institut National de Recherche enInformatique et en Automatique (INRIA)

Université de Rennes 1

1. “Characterizing Chaotic Melodies in Automatic Music Composition”,Chaos (Woodbury, N. Y. ), v. 20, 2010.

2. “Controlling chaotic melodies”. Encuentro Nacional de Investigación enPosgrados, ENIP 2009.

3. “Generation of composed musical structures through recurrent neuralnetworks based on chaotic inspiration”. In: 2011 International JointConference on Neural Networks (IJCNN’2011).

ARTICULES

Thèse de doctorat

“Mineração de estruturas musicais e composição automática utilizando redes complexas”

“Exploration de Structures Musicales et Composition Automatique en Utilisant Réseaux Complexes”

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 3

MUSIQUE ALGORITHMIQUE

Systèmes dynamiques chaotiques

Partie 1

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 4

INTRODUCTION

LES ÉTATS D'ART

Pressing (1988)

Beyls (1991)Systèmes

dynamiques

Bidlack (1992)

Fonctions non linéaires discrets

1. Algorithme de composition des mélodies chaotiques2. Caractérisation mélodique3. Les différences entre la musique chaotique (continue et discrète) et

la musique classique

Générateursmusicaux

méthodes d'intelligence artificielle

Fonctions chaotiques

Sélection des paramètres: hauter, dynamique, rythme

et l'instrumentation.

D'autres auteurs: Gogins, Harley, Dabby, Leach et Fitch, entre outres

DANS CE TRAVAIL

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

c

5

Étape 1: Génération de l’échelle

b. Vecteur binaire deappartenance

c. Séquence géométrique de l’échelle souhaitée

a. Séquence Géométriquede l’échelle chromatique

d. L'élimination des zéros

(Coca, Liang, Olivar, 2010)

Spécifications relatives à l’ échelle musicale

1. Nombre d'octaves k2. Tonique3. Mode m4. Structure de l’escale

5

Algorithme de Composition Musicale chaotique

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

(Coca, Liang, Olivar, 2010)

Facteur d’écaillage Factor de Translation

Dernière valeur x

Première valeur x

1. Normalisation de x(t)

x(t) – la variable de sortie du système chaotique

Étape 2: Normalisation de la variable

Algorithme de Composition Musicale chaotique6

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Étape 3: Mappage au valeur le plus proche

62 1u

Valeur du seuil

(Coca, Liang, Olivar, 2010)

d. Converter de fréquence à la valeur MIDI

c. Fréquence des notes musicales correspondant à la variable x

b. Fréquence de le tonique avecle son musical dans l'octave

a. Vecteur des valeurs minimaux dechaque ligne de la matrice D

7

Algorithme de Composition Musicale chaotique

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 8

Algorithme de Composition Musicale chaotique

L'algorithme peut être représenté par le schéma-bloc suivant:

1e étape

2e étape

3e étape

Génération de l’échelle

Normalisation de la variable

Mappage au valeur le plus proche

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 9

Résultats expérimentaux

Caractérisation des mélodies chaotiques composées pour l’algorithme

Les mesures mélodiques

Les objectives Les subjectives

• Variété de l'hauteur Vt

• Centré de tonalité Ct

• Dissonance des intervalles Id

• Profils mélodiques Da, Dd, et Dc

• La stabilité du contour mélodique Ec

• Mouvements par pas Mp

• Sauts de retour Sr

• La force du clímax Ic

• Originalité mélodique• Complexité mélodique• Degré de melodiosité

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 10

Les différences entre la musique chaotique (continue et discrète) et la musique classique

Résultats expérimentaux

Mélodies chaotiques continues

Mélodies chaotiques discrètes

Mélodies classiques

L'analysediscriminante

13Systèmeschaotiques

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 11

Selon les fonctions discriminantes les mélodies peuvent être caractérisées ainsi:

Résultats expérimentaux

Quells est la relation entre les propriétés des attracteurs chaotiques et lescaractéristiques mélodiques générés ?

Musique chaotique

• L'Exposant de Lyapunovmaximum L

• L'exposant de Hurst H• La dimension de corrélation C

L'analyse de corrélationcanonique

Mesures mélodiques

Haut H Haut Mp et Bas Ic

Mesures dynamiques

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

LE CONTRÔLE DES MÉLODIES CHAOTIQUES

Techniques de contrôle du chaos

MÉTHODE DE PYRAGAS

SANS CONTRÔLE AVEC CONTRÔLE

Orbites périodiques

Phrases répétitivesMélodie chaotique

MODÈLE DE CHEN

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 13

NON-LINÉARITÉ QUADRATIQUE

MAP GAUSSIENNE

1 intervalle

note soutenue

LE CONTRÔLE DES MÉLODIES CHAOTIQUES

Techniques de contrôle du chaos

1 1 1 0n n nx a x b x a

CONTRÔLE

CONTRÔLE

Méthode d'induction au point fixe (FPIC)

Méthode OGY

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 14

COMPOSITEUR DE MÉLODIES CHAOTIQUESLogiciel

Sélection d'échelle et

les paramètres musicaux

Système dynamique

paramètres et conditions initiales

sélection de variables et simulation

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 15

MUSIQUE ALGORITHMIQUE

Réseaux de neurones artificiels récurrentsAvec inspiration chaotique

Partie 2

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 16

Motivation

1. Il est possible d'obtenir une mélodie similaire à partir d'une originalemélodie d’entraînement en utilisant un réseau de neurones pourapprendre les caractéristiques ou le d'une mélodie d'entrée.

2. Contrôler la similitude entre l'original et la mélodie générée.

1. Il est nécessaire d'envisager une entrée supplémentaire indépendante(mélodie).

Introduction16

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Introduction

Recherche et Collecte d'informations: Base de donnéesEspace de mémoire

Prétraitement temps de l'image

Lesinconvénients

Notes Musicales

“Neural Network Based Systems for Computer-Aided Musical Composition”, (Corrêa, 2008)

Thèse de maîtrise - Université Fédérale de São Carlos (UFScar)

Réseau de neuronesartificiels

BPTT

LSTM

Contours d’imagesDe paysages

naturellesSource d’inspiration

Il est possible de contrôler la similitude de la

mélodie de sortie ?

Source d’Inspiration

Paysage

17

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 18

1. Nous proposons d'utiliser des mélodies générées par un systèmedynamique chaotique comme source d'inspiration.

2. L'une des principales caractéristiques des systèmes chaotiquesdynamiques est la grande sensibilité aux conditions initiales (IC).

3. Il est possible d'obtenir des variations infinies à travers une petitearbitrairement changer dans les paramètres du système.

Chaotique Inspiration

IC et paramètres

Introduction

Notes Musicales

Source d’Inspiration

SystèmeChaotique

Réseau de neurones artificiels

18

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Couches d’entrée

Couche de Contexte

Inspiration chaotique

19

Mélodied’entraînement

Entrée de la réseau

Réseau de neurones artificiels avecentrée de inspiration chaotique

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 20

Mesures mélodiques

2. L'originalité mélodique

• Escaled dans l'intervalle de 0 au 10• Distribution avec forme de U inversé

1. Modèle de la complexité mélodique basé sur l’espérance (Expectancy-basedmodel of melodic complexity)

3. Similarité melodique

• Celui-ci a des valeurs dans l’intervalle [0,1] , 1 est la plus grande similitude • Celui-ci peut-être déterminée selon une propriété: pitch, des durées, des intervalles

• La complexité d’un fragment musicale• Peut-être: Tonale (CBMP), rhythmique (CBMR) ou ensemble (CBMO)

20

Complexity

majorminor

higher

minor

lower

Popularity

medium

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 21

Compas premiers de la deuxième mouvement du Quatre Saisons de Vivaldi

Mélodie d’entraînement

Taux d'apprentissage = 0.1Momentum = 0.01

1 couche cachée - 20 NeuronesNombre de notes d'entrée = 4 (entraînement et simulation)

Système de d'inspiration chaotique – La carte logistique r = 3.9Paramètres

Variation du nombre de notes d'inspiration 0-20

Mélodie composée sans notes d'inspiration chaotique

Résultats expérimentaux

Mélodie composée de quatre notes d'inspiration chaotique

21

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 22

1. La complexité mélodique de hauteur tonale

originalité

Sens notes D’inspiration

avec notes d’inspiration

La complexité de pas de la mélodie de sortie est proportionnelle au

nombre de notes de l'inspiration

2. L'originalité mélodique

Le temps d'entraînement

augmente avec le nombre de notes de l'inspiration

L'originalité avec des inspirations notes est situé proche de la valeur de l'originalité de la

mélodie entraînement

Le chaos a tendance à avoir des effets faibles

Résultats expérimentaux22

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 23

Experimental Results3. Similarité mélodique de hauteur tonale

4. Similarité mélodique des durées

Formation mélodie et la Mélodie sans

inspiration notes

Diminutionde la

similarité

La formation et la Mélodie

avec des notes d'inspiration

Bassesimilarité

grande similarité

Formation mélodie et la mélodie sans inspiration notes

La formation et lamélodie Mélodie avec

des notes d'inspiration

23

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 24

MUSIQUE ALGORITHMIQUE

Réseaux complexes

Partie 3

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 25

Mineração de estruturas musicais e composição automática utilizando redes complexas

” Exploration de Structures Musicales et Composition Automatique en Utilisant Réseaux Complexes”

1. Déterminer les caractéristiques les plus pertinentes des chansons à succèscommercial (HSS, Hit Song Science) à travers des réseaux complexes.

1. Créer de nouvelles mesures pour la caractérisation des réseaux complexesmusicaux.

2. Utiliser des techniques de détection de communautés dans des réseauxcomplexes pour le regroupement et le classification.

3. Développer un algorithme pour automatiquement composer des œuvresmusicales de base (mélodie et l'harmonie) avec (non) succès commercial.

4. Appliquer des tests statistiques multivariées.

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Nouvelle génération de structures Musicaux

Transformation de données musicaux

Réseaux éléments musicaux séparés

Mesures de réseaux complexes (Nouvelles)

L'union de l'information

Méta-Réseau musicale

Détection de communautés

l'application dans HSS

Le Projet

Plan de travail

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Créer un réseau complexe à partir d'une mélodie

1. Création de la Matrice d’adjacence

FichierMIDI

Hauter (pitch)

Rythme

Matrice d’adjacence

Éléments uniques du vecteur d’entrée

Matrice carrée de zéros

Extraire les liens entre les noeuds

Obtenir la matrice d’adjacence

Matrice de notes

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Algorithmes composition à base de réseaux complexes

2. Faire une promenade sur les nœuds du réseau

1. Trois matrices d'adjacence de la mélodie

Contrôle de la marcheOptions dépendance à l'égard

des d'éléments musicaux

Total des options diffèrentes

Matrice rythmique Matrice tonale Matrice mélodique

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Interfaces graphiques d’utilisateur développéesComposition des réseaux complexes à l'aide prédéfinie

Type de compositionalgorithmique

3. aléatoire - Erdös & Rényi

réseau complexeconnu

Connu réseau complexe

1. régulier

2. Le monde est petit

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Composition et analyse à partir des œuvres musicales entrée

Fichier MIDI œuvres classiques

Matriced’adjacence

Mesures de Réseaux

Type de compositionalgorithmique

Réseau complexe musical Graphique parcimonie Distribution loi de puissance

Plano de trabalho: Primeiros Resultados Obtidos

Interfaces graphiques d’utilisateur développées

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes

Quelques résultats de simulationQuatre Saisons de Vivaldi (fragment) Réseaux complexes

Mélodies composées

Dép.

Éléments

Les mesures obtenues

Des valeurssimilaires

Indép.

Plano de trabalho: Primeiros Resultados Obtidos

Musique algorithmique: systèmes chaotiques, réseaux de neurones artificiels, réseaux complexes 32

Merci beaucoup pour votre attention?Des questions ?