La Universidad Complutense de Madrid construye una arquitectura flexible y escalable para llevar a cabo la computación neuronal
Sobre el cliente y el reto planteado
La Universidad Complutense de Madrid (UCM) es la mayor universidad presencial de España y la tercera a nivel europeo. Ubicada en Madrid rodeada de zonas verdes y con una intensa vida cultural y deportiva, dispone de más de 86.000 estudiantes inscritos.
La UCM es una universidad pública que apuesta por una formación integral y crítica del más alto nivel. Tiene convenios de cooperación con 340 universidades de todo el mundo y con 934 instituciones en 77 países, que permiten realizar intercambios de estudiantes, personal docente e investigador y PAS.
La actividad investigadora del Grupo de Arquitectura y Tecnología de Sistemas Informáticos (ArTeCS) de la Universidad Complutense de Madrid se centra en la concepción y construcción de sistemas de procesamiento digital de la información, y su aplicación eficiente en cuanto a rendimiento, consumo energético y coste. Dentro de esta amplia área, el grupo presta especial atención a la informática de alto rendimiento, el diseño de la jerarquía de memoria y procesador y los sistemas integrados.
El grupo ArTeCS requería de una automatización y disponibilidad flexible de su infraestructura IT. Los investigadores tenían un impedimento a la hora de poder ejecutar cargar de computación neuronal dado que la disponibilidad del hardware y su coste se debía priorizar en aquellos campos que aportarán más valor, impidiendo así ampliar el foco a otros nichos y tener que reservar turnos de uso para sus cálculos.
Por este motivo ArTeCS precisaba de la automatización de la infraestructura para tratar las tareas comunes de gestión, como son la preparación, la configuración, la implementación y finalmente el destroy de los servicios levantados en AWS que simplifican las operaciones. Así, se permitía recuperar el control y la concurrencia de infraestructuras levantadas a los diferentes equipos de investigadores.
Sobre el proyecto y el resultado obtenido
ACKstorm propuso la implementación de infraestructura como código para permitir levantar la infraestructura necesaria en los proyectos de investigación de una manera programada, permitiendo la estandarización de las plataformas levantadas, la eliminación de la necesidad de realizar configuraciones manuales y los errores en la eliminación de infraestructura utilizada una vez finalizado el proyecto.
Las necesidades de computación para este tipo de servicios de cálculos neuronales, requerían una alta capacidad de procesamiento. Para ello, se implementaron los siguientes tipos de instancias:
- f1.2xlarge: ( 1 FPGA, 8vCPU y 122 GB RAM)
- Ml.t3.medium (2vCPU y 4GB RAM)
- p2.xlarge (1 GPU, 4 vCPU y 61GB RAM)
- Amazon Machine (AMI)
La construcción de infraestructura de forma programática permite que pueda ser replicable gracias a la capacidad de modificar, configurar y apagar en cuestión de minutos.
La infraestructura es tratada de la misma manera que cualquier otro código empleado por los investigadores, por lo que se pueden aplicar las mejores prácticas como son el control de versiones, las pruebas y el monitoreo continuo.
También se ha utilizado la herramienta open source Terraform conectada a las APIs de AWS, para el desarrollo como código de las infraestructuras de los laboratorios que se debían levantar.
Pilares de la solución
- Auto - Scalability
- High Perfomance
- GitOps
- Cost Optimization
- High Availability
Soluciones
- Auto Scaling Grups
- S3
- EC2
- AMI
- GitLab
- Jenkins
- Terraform
