Los modelos básicos preentrenados (PFM) se consideran la base para varias actividades posteriores con diferentes modalidades de datos. Un modelo base preentrenado, como BERT, GPT-3, MAE, DALLE-E y ChatGPT, se entrena en datos a gran escala que proporcionan una inicialización de parámetros razonable para una amplia gama de aplicaciones posteriores. La idea de pre-entrenamiento detrás de los PFM juega un papel importante en la aplicación de modelos grandes. A diferencia de los métodos anteriores que aplican módulos recurrentes y de convolución para la extracción de características, el método de entrenamiento previo generativo (GPT) aplica Transformer como un extractor de características y se entrena en grandes conjuntos de datos con un paradigma autorregresivo. De manera similar, las manzanas BERT se transforman para entrenar en grandes conjuntos de datos como un modelo de lenguaje contextual. Recientemente, ChatGPT muestra un éxito prometedor en modelos de lenguaje grandes, que aplica un modelo de lenguaje autorregresivo con cero disparos o pocas indicaciones de presentación. Con el tremendo éxito de los PFM, la inteligencia artificial ha hecho olas en una variedad de campos en los últimos años. Se han propuesto métodos de evaluación, conjuntos de datos y métricas considerables en la literatura, la necesidad de una encuesta actualizada es cada vez mayor. Este estudio proporciona una revisión exhaustiva de los avances de investigación recientes, los desafíos actuales y futuros y las oportunidades para los PFM en texto, imagen, gráfico y otras modalidades de datos.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW