Expériences sur un modèle d’apprentissage de règles : observations du modèle de DR-Net

Details

Supervisors

Nijssen, Siegfried

Faculty

Ecole polytechnique de Louvain

Degree label

Master [120] : ingénieur civil en informatique, à finalité spécialisée

Abstract

Le réseau de règles de décision (DR-Net) présente une nouvelle approche dans l'apprentissage automatique basé sur les règles (rules learning) en intégrant en son sein un réseau de neurones dont la structure est composée d'une double couche complètement connectée. Le DR-Net permet de mieux interpréter les règles de décision obtenues comparé aux réseaux de neurones qui fonctionnent souvent comme des boites noires qu'on retrouve en deep learning. En combinant les concepts de rules learning et deep learning, on mélange ainsi l'interprétabilité avec la puissance des réseaux de neurones. L'objectif de ce mémoire est d'étudier l'architecture du DR-Net et ses performances sur des ensembles de données variés aux travers des mesures de précision et de redondance. Une des clés de cette architecture est la stratégie d'alternance des deux couches : quand la premier couche se met à jour, la seconde est à l'arrêt ; puis inversement. L'étude de l'influence des hyper-paramètres du modèle vise à montrer que même si les valeurs de ceux-ci dépendent de la structure des ensembles de données, il est important de trouver le bon équilibre entre le taux d'apprentissage qui agit sur la vitesse d'apprentissage, les coefficients de régularisation propres à chaque couche qui agissent directement sur le nombre et la complexité des règles et enfin sur le nombre de cycles avant de changer de phase. Les résultats suggèrent qu'en trouvant la bonne combinaison des hyper-paramètres, le DR-Net peut équilibrer les règles pour qu'elles ne soient pas trop complexes mais précises tout en conservant une certaine interprétabilité. Cela est donc un outil majeur dans les domaines où il faut allier précision et interprétabilité comme la santé ou les finances. Pour confirmer cette tendance observée pour le DR-Net, il faudra, dans de futures expériences, utiliser des ensembles de données encore plus complexes et/ou plus grands afin de mieux refléter la réalité.