Statistical models for language representation

  1. Dorado, Rubén
Journal:
Revista ONTARE

ISSN: 2745-2220 2382-3399

Year of publication: 2013

Issue Title: Avances tecnológicos en ingeniería

Volume: 1

Issue: 1

Pages: 29-39

Type: Article

DOI: 10.21158/23823399.V1.N1.2013.1208 DIALNET GOOGLE SCHOLAR lock_openDialnet editor

More publications in: Revista ONTARE

Abstract

ONTARE. REVISTA DE INVESTIGACIÓN DE LA FACULTAD DE INGENIERÍA Este documento discute varios modelos para la representación computacional del lenguaje. En primer lugar, se introducen los modelos de n-gramas que son basados en los modelos Markov. Luego, se toma en cuenta una familia de modelos conocido como el modelo exponencial. Esta familia en particular permite la incorporación de varias funciones para modelar. Como tercer punto, se discute una corriente reciente de la investigación, el enfoque probabilístico Bayesiano. En este tipo de modelos, el lenguaje es modelado como una distribución probabilística. Se utilizan varias distribuciones y procesos probabilísticos para aproximar los fenómenos lingüísticos, tales como la distribución de Dirichlet y el proceso de Pitman-Yor. Finalmente, se discute el problema de la escasez del lenguaje y su solución más común conocida como smoothing o redistribución.