Contenido

• Pasos
• Consejos
• Advertencias

¿Busca una máquina capaz de realizar cientos de billones de cálculos de punto flotante por segundo? ¿O simplemente quiere presumir con sus amigos sobre la supercomputadora montada en su habitación? Construir un clúster de computación de alto rendimiento, o una supercomputadora, es un desafío que cualquier entusiasta con un fin de semana gratis y algo de dinero sobrante puede intentar lograr. Técnicamente hablando, una supercomputadora multiprocesador es una red de computadoras que trabajan juntas para resolver un problema. Este artículo describirá brevemente cada paso del proceso, centrándose en el hardware y el software.

Pasos

1. 

   Primero, determine los recursos y componentes de hardware necesarios. Necesitará un nodo principal, al menos 12 nodos de red idénticos, un conmutador Ethernet, una unidad de distribución de energía y un bastidor. Determine la demanda de electricidad, refrigeración y espacio necesaria. También decida qué dirección IP desea para sus redes privadas, cómo nombrar los nodos, qué paquetes de software desea instalar y qué tecnología se utilizará para realizar la computación en paralelo (más sobre esto más adelante).
   • Aunque el hardware es caro, todos los programas enumerados en la guía son gratuitos y la mayoría de ellos son de código abierto.
   • Si desea ver qué tan rápido sería en teoría su supercomputadora, use esta herramienta: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Crea los nodos. Deberá montar los nodos o comprar servidores premontados.
   • Elija un chasis de servidor que maximice el uso de espacio, refrigeración y energía.
   • También puede usar varios servidores obsoletos, cuyo costo total será mayor que la suma de las partes, pero aún así ahorrará mucho. Todos los procesadores, adaptadores de red y placas base deben ser idénticos para que el sistema funcione bien. Obviamente, asegúrese de incluir RAM y almacenamiento en cada nodo y al menos una unidad óptica para el nodo principal.

3. 

   
   
   Instale los servidores en el bastidor. Empiece desde abajo, de modo que la parte superior no sea demasiado pesada. Necesitará la ayuda de sus amigos para esto: los servidores densos pueden ser muy pesados ​​y guiarlos por las pistas que los sujetan es difícil.

4. 

   Instale el conmutador Ethernet sobre el chasis del servidor. Tómese este tiempo para configurar el conmutador: habilite tamaños de tramas gigantes de 9000 bytes, establezca las direcciones IP en la dirección estática determinada en el primer paso y desactive los protocolos de enrutamiento innecesarios, como SMTP Snooping.

5. 

   
   
   Instale la unidad de distribución de energía. Dependiendo de la cantidad de corriente que requieran los nodos a plena carga, es posible que necesite 220 voltios para la informática de alto rendimiento.

6. 

   Con todo instalado, puede comenzar el proceso de configuración. Linux es el sistema operativo ideal para los clústeres de HPC; no solo es el entorno ideal para la informática científica, sino que también se puede instalar de forma gratuita en cientos o incluso miles de nodos. Imagínese cuánto costaría instalar Windows en todos estos nodos.
   • Comience instalando la última versión del BIOS y el firmware de la placa base, que debe ser idéntica en todos los nodos.
   • Instale su versión favorita de Linux en cada nodo, con una interfaz gráfica en el nodo principal. Las opciones populares incluyen CentOS, OpenSuse, Scientific Linux, RedHat y SLES.
   • También puede utilizar la distribución de clúster de rocas. Además de instalar todas las herramientas necesarias para que el clúster funcione, Rocks utiliza un método excelente para distribuir múltiples instancias de sí mismo a los nodos muy rápidamente mediante un arranque PXE y el procedimiento 'Kick Start' de Red Hat.

7. 

   Instale la interfaz de mensajería, la gestión de recursos y otras bibliotecas necesarias. Si no instaló Rocks en el paso anterior, deberá configurar manualmente el software necesario para habilitar los mecanismos de cómputo paralelo.
   • Primero, necesitará un sistema de administración portátil a gran escala, como Torque Resource Manager, que le permite dividir y distribuir tareas en múltiples máquinas.
   • Empareje Torque con Maui Cluster Scheduler para completar la instalación.
   • A continuación, deberá instalar la interfaz de transmisión de mensajes, necesaria para que los procesos individuales de los diferentes nodos compartan los mismos datos. OpenMP es fácil de usar.
   • No olvide las bibliotecas matemáticas de subprocesos múltiples para programas informáticos en paralelo. Es realmente más fácil si instala Rocks.

8. 

   Conecte los nodos de la computadora. El nodo principal envía las tareas a los nodos de la computadora, que luego necesitan devolver el resultado, así como enviarse mensajes entre sí. Cuanto más rápido, mejor.
   • Utilice una red Ethernet privada para conectar todos los nodos del clúster.
   • El nodo principal también puede actuar como servidor NFS, PXE, DHCP, TFTP y NTP a través de la red Ethernet.
   • Debe separar esta red de las redes públicas, lo que garantiza que los paquetes de transmisión no interfieran con otras redes de su LAN.

9. 

   Prueba el clúster. Lo último que desea hacer antes de liberar toda esa potencia informática a sus usuarios es probar su rendimiento. El benchmark HPL (High Performance Lynpack) es una opción popular para medir la velocidad computacional del clúster. Deberá compilarlo desde el código fuente con todas las optimizaciones posibles que ofrece el compilador para la arquitectura elegida.
   • Obviamente, necesita compilar desde la fuente con todas las optimizaciones posibles para su plataforma. Por ejemplo, cuando utilice CPU AMD, compile con Open 64 con un nivel de optimización -0fast.
   • ¡Compare los resultados en TOP500.org para comparar su clúster con las 500 supercomputadoras más rápidas del mundo!

Consejos

• IPMI puede facilitar la administración de un clúster grande, proporcionando KVM sobre IP, retransmisión de procesamiento remoto y más.
• Para lograr velocidades de red realmente altas, busque interfaces de red InfiniBand. Sin embargo, los precios no son muy asequibles.
• Use Ganglia para monitorear la carga computacional en los nodos.

Advertencias

• Asegúrese de que su infraestructura pueda manejar la carga que se les impone.