Adjunto un video del código que creé para que GNU Cobol ejecute Python, pasando datos de un informe Cobol al LLM y permitiendo hacer preguntas sobre el contenido.
El video (
) muestra el código en funcionamiento. Todavía estoy evaluando el rendimiento de LLaMa 3 ejecutándose localmente. Mi equipo es un MacBook Pro M3, así que el rendimiento en una estación Windows típica (8 núcleos, 8 GB de RAM) probablemente será deficiente.
Otra posibilidad real es usar un servicio en la nube como Amazon Bedrock. De esta forma, tendríamos acceso a decenas de Foundation Models (FM), con un rendimiento enorme y aptos para producción. El punto es que, usando solo prompt engineering básico, es posible lograr cosas extraordinarias. En el caso del ejemplo del video, estoy pasando un informe generado por un programa COBOL y el LLM interpreta los datos y genera respuestas sobre los mismos, por ejemplo:
(Esta vez cambié el prompt para forzar las respuestas en español.)
Código:
---------------------------------------------------------------------------------------------
How can I help you?
Muéstre los 10 clientes más grandes, listando nombre y ventas hasta la fecha actual.
¡Claro! Aquí te presento los 10 mayores clientes según el informe:
1. **CORAL2INDIA FINANCE** con ventas de **57,481.45**
2. **TATA CONSUMER CO.** con ventas de **57,481.45**
3. **CORAL1INDIA FINANCE.** con ventas de **47,481.45**
4. **SENTIALS LOCAL PVT** con ventas de **37,481.45**
5. **ZINTEC PRVIATE LTD** con ventas de **27,481.45**
6. **TATA COFFEE PRIVATE.** con ventas de **27,483.45**
7. **INFO MANGEMENT CO.** con ventas de **17,481.45**
8. **COAL INDIA PVT LTD** con ventas de **17,481.45**
9. **GENERAL SERVICES CO.** con ventas de **11,444.00**
10. **DAUPHIN DEPOSIT BANK** con ventas de **14,099.00**
Espero que esto te ayude. ¡Si necesitas algo más, no dudes en preguntar!
---------------------------------------------------------------------------------------------
¡Las posibilidades son infinitas!]