Descripció automàtica d'arxius audiovisuals: NeuralTalk, un model de video-to-text aplicat a l'arxiu de RTVE

• Published in: BiD (Barcelona, Spain) no. 41
• Main Authors: Bazan Gil, Virginia, Guerrero Gómez-Olmedo, Ricardo
• Format: Journal Article
• Language: Catalan
• Published: Universitat de Barcelona 01.12.2018
• Subjects: Audiovisual documents; Inteligencia artificial; Programes informàtics; Análisis de contenido; Arxius de mitjans de comunicació; Mass media archives; Documentos audiovisuales; Archivos de medios de comunicación; Computer programs; Intel·ligència artificial; Anàlisi de contingut; Audiovisual archives; Subject cataloguing; Arxius audiovisuals; Radiotelevisión Española; Artificial intelligence; Archivos audiovisuales; Documents audiovisuals; Programas informáticos
• ISSN: 1575-5886
• DOI: 10.1344/BiD2018.41.6

Objectiu: determinar la maduresa dels sistemes de video-to-text per a la descripció automàtica d'imatges en un arxiu de televisió. Metodologia: es fa una prova de concepte mitjançant un sistema de video-to-text desenvolupat ad hoc. La prova es va articular en tres fases o iteracions diferents entre juny de 2016 i gener de 2017. En les dues primeres iteracions el sistema va analitzar un nombre determinat de continguts procedents de l'arxiu de RTVE, les descripcions es van valorar per establir la taxa d'encert del sistema o, en altres paraules, com de propera era aquesta descripció a la que podia haver subministrat un ésser humà. En una tercera fase, i prèviament a l'anàlisi dels continguts, es va entrenar el sistema utilitzant tècniques d'aprenentatge profund amb l'objectiu de millorar els resultats. Resultats: els resultats obtinguts posen de manifest que es tracta d'una tecnologia prometedora, si bé resulta fonamental aprofundir més en els mecanismes que serien necessaris per a la seva posada en producció en els arxius de televisió.