Bloomberg está aportando a las finanzas lo que GPT y ChatGPT aportaron a los chatbots cotidianos de uso general.
Un documento publicado por la empresa revela la gran profundidad técnica de su modelo de aprendizaje automático BloombergGPT, que aplica el tipo de técnicas de IA que GPT utiliza, a los conjuntos de datos financieros.
El terminal de Bloomberg (un sistema informatizado desarrollado por Bloomberg L.P. que permite a los profesionales de las finanzas y otros sectores acceder a los servicios de Bloomberg Professional para monitorizar y analizar en tiempo real los mercados financieros además de efectuar transacciones electrónicamente) ha sido el recurso al que ha recurrido el mundo financiero y del trading para obtener datos de los mercados financieros durante más de cuatro décadas.
Como resultado, Bloomberg ha adquirido o desarrollado un gran número de datos. En muchos sentidos, estos datos son las joyas de la corona de Bloomberg y, en esta versión de BloombergGPT, estos datos propios se utilizan para construir una herramienta de investigación y análisis financiero sin precedentes.
Los grandes modelos lingüísticos que alimentan estos experimentos de IA son de naturaleza sintáctica y semántica, y se utilizan para predecir un nuevo resultado basándose en las relaciones existentes en y a través de los textos fuente.
Los algoritmos de aprendizaje automático aprenden de los datos fuente y producen un modelo, un proceso conocido como "entrenamiento". El entrenamiento para el modelo BloombergGPT requirió aproximadamente 53 días de cálculos ejecutados en 64 servidores, cada uno de los cuales contenía 8 GPU NVIDIA A100 de 40 GB.
Mira también
A modo de comparación, cuando utilizamos ChatGPT, proporcionamos a un modelo (o fórmula) una entrada, conocida como prompt, y el modelo produce entonces una salida, de forma muy parecida a cuando proporcionamos una entrada a una fórmula y observamos la salida.
Mira también
La generación de estos modelos requiere enormes cantidades de potencia de cálculo, por lo que Bloomberg se asoció con NVIDIA y Amazon Web Services para la producción del modelo BloombergGPT.
Dado que cada GPU cuesta decenas de miles de dólares -si se adquiere nueva-, y sólo se utiliza durante un breve periodo de tiempo relativo para la generación de modelos, el equipo de BloombergGPT optó por utilizar los servicios en la nube de AWS para ejecutar el cálculo.
Mira también
Parte de la alimentación de contenido a un modelo de aprendizaje automático implica fragmentar el contenido en piezas o tokens. Una forma de pensar en los tokens son las maneras en que podemos dividir un ensayo, siendo las palabras la más obvia, aunque puede haber otras estrategias para tokenizar o fragmentar un ensayo, como dividirlo en frases o párrafos.
Un algoritmo tokenizador determina con qué granularidad fragmentar, ya que, por ejemplo, fragmentar un ensayo en letras puede provocar la pérdida de parte del contexto o del significado. La fragmentación sería demasiado granular para ser de alguna utilidad práctica. BloombergGPT fragmenta su fuente de datos financieros en 363.000 millones de tokens utilizando un modelo Unigram, que ofrece ciertas eficiencias y ventajas.
El equipo de Bloomberg utilizó PyTorch, un popular paquete de aprendizaje profundo gratuito y de código abierto basado en Python, para entrenar el modelo BloombergGPT.
En el caso de BloombergGPT, los conjuntos de datos fuente incluyen algunas proporciones ponderadas de noticias financieras, presentaciones financieras de empresas, comunicados de prensa y contenido de Bloomberg News, todo ello recopilado y comisariado por Bloomberg durante décadas. Además de estas fuentes específicas de finanzas, BloombergGPT integra algunos conjuntos de datos generales y comunes como The Pile, The Colossal Clean Crawled Corpus o C4, y Wikipedia. Combinados, BloombergGPT puede proporcionar una forma totalmente nueva de hacer investigación financiera.
Fuentes de BloombergGPT
Asignación de BloombergGPT de conjuntos de datos financieros y no financieros.
En cuanto a los datos de Bloomberg utilizados para el entrenamiento, abarcan desde el 1 de marzo de 2007 hasta el 31 de julio de 2022, Bloomberg se refiere a esta colección de datos financieros como FINPILE. FINPILE consta de cinco fuentes principales de contenido financiero, a saber:
Web financiera
Se utiliza contenido web general (como sitios web y documentos) pero restringido a sitios específicos que pueden clasificarse como financieros. Incluso dentro de esta categoría, BloomberGPT rastrea sólo lo que considera sitios reputados y de alta calidad.
Noticias financieras
Aunque la web rastrea sitios web de naturaleza financiera, los sitios de noticias que generan información periodística requieren una atención especial. Mientras que la web puede contener una plétora de tipos de contenido, desde PDF hasta imágenes, los sitios de noticias requieren un rastreo más riguroso.
Registros de empresas. Cualquiera que realice una investigación sobre una empresa pública debe considerar el estudio de los archivos de la empresa. En EE.UU., la base de datos EDGAR de la SEC suele ser el repositorio utilizado para buscar y recuperar los archivos.
Comunicados de prensa
Los comunicados públicos formales de una empresa a menudo pueden contener información financiera y esto se incluyó como fuente en BloombergGPT.
Noticias Bloomberg
Dado que Bloomberg es también una empresa de medios de comunicación, se utilizó su contenido de noticias y se incluyó en BloombergGPT. Esto incluye artículos de opinión y análisis.
FINPILE de BloombergGPT
El FINPILE de Bloomberg consta de varias fuentes.
Aunque aún está por ver cómo afectará BloombergGPT al sector de la tecnología financiera, algunos de los usos potenciales de BloombergGPT podrían ser:
- Generar un borrador inicial de una presentación ante la Comisión del Mercado de Valores. Dada la gran cantidad de datos de las presentaciones y de forma muy similar a como ChatGPT puede producir una presentación provisional de una patente o un código de programación personalizado, puede ser totalmente posible generar una presentación ante la SEC, reduciendo potencialmente el coste de la presentación.
- El documento ofrece un ejemplo de cómo resumir una propaganda con contenido financiero en un titular. Por ejemplo, si el blurb es El mercado inmobiliario estadounidense redujo su valor en 2,3 billones de dólares, o un 4,9%, en el segundo semestre de 2022, según Redn. Se trata de la mayor caída en términos porcentuales desde la crisis inmobiliaria de 2008, cuando los valores se desplomaron un 5,8% durante el mismo periodo BloombergGPT producirá la siguiente salida: "El precio de la vivienda experimenta su mayor caída en 15 años".
- Proporcionar el organigrama de una organización y los vínculos entre una persona y varias empresas. Dado que los nombres de las empresas y los nombres de los ejecutivos se introducen en el modelo BloombergGPT, es totalmente posible que se pueda consultar al menos la estructura a nivel ejecutivo de la organización.
- Automatización de la generación de borradores de informes rutinarios de mercado y resúmenes para cliente
- Recuperación de elementos específicos de los estados financieros de periodos concretos mediante una única consulta
BloombergGPT representa un importante salto adelante para las comunidades financiera y de IA. Actualmente, el modelo no está disponible públicamente y no existe ninguna API, y mucho menos una interfaz de chat, para acceder a él. No está claro cuándo o si el acceso público estará disponible o incluso si la encarnación actual de BloombergGPT aún verá nuevas revisiones.
