La colaboración entre investigadores, al igual que la comunidad científica se extiende por todo el mundo. Los investigadores de universidades y empresas a menudo colaboran a larga distancia, y requieren un lenguaje común y un proceso seguro para obtener diferentes dispositivos, desde microscopios y sensores hasta servidores y redes del campus, para ver y comprender los datos que cada uno está transmitiendo. La situación se agrava por la cantidad de información que se trasmite y que hay que analizar.
Para resolver el problema, NVIDIA en Super Computing 2022 (SC22) en Dallas presentó una plataforma combinada de IA y computación de Edge para la computación de alto rendimiento que captura y aclara la transmisión de datos desde dispositivos e imágenes científicas, y luego permite que los dispositivos se comuniquen entre sí a lo largo de distancias más largas.
La plataforma consta de tres componentes principales. NVIDIA Holoscan, kit de desarrollo de software, que pueden usar los científicos de datos y expertos en el dominio para desarrollar procesos acelerados por GPU para sensores que transmiten datos; MetroX-3, que extiende la conectividad de la plataforma NVIDIA Quantum-2 InfiniBand; y las DPU NVIDIA BlueField-3 para la migración de datos segura e inteligente.
Investigadores pueden usar la nueva plataforma NVIDIA para computación HPC Edge para comunicarse seguramente y colaborar en resolver problemas y facilitar que diferentes dispositivos y algoritmos puedan operar una supercomputadora.
Holoscan para HPC at the Edge
NVIDIA Holoscan está acelerado por las plataformas de computación con GPU de NVIDIA, incluidas IGX, HGX, DGX, y ofrece el rendimiento extremo necesario para procesar enormes flujos de datos que se generan en los instrumentos científicos líderes del mundo.
NVIDIA Holoscan para HPC equipa a los investigadores con capacidades de Edge revolucionarias, incluidas las nuevas API de workflows para el procesamiento de datos de sensores destinadas a C++ y Python, las capacidades de datos que no son de imagen y una mayor funcionalidad de escalado, lo que ofrece un procesamiento integral de la transmisión de datos en tiempo real desde el Edge.
Holoscan administra la asignación de memoria para garantizar los intercambios de datos sin copia. De esta manera, los investigadores pueden centrarse en la lógica del workflow y no tener que preocuparse por la E/S de archivos y de memoria.
Las nuevas funciones de Holoscan estarán disponibles para todos los desarrolladores de HPC el próximo mes.
MetroX-3; el sistema NVIDIA MetroX-3 de 400 Gb/s de largo alcance. MetroX-3 extiende las últimas capacidades nativas de cloud de la plataforma NVIDIA Quantum-2 InfiniBand desde el Edge hasta el núcleo del centro de datos de HPC.
Al aprovechar el acceso remoto directo a la memoria (RDMA) nativo, los usuarios pueden migrar fácilmente datos y trabajos de computación desde un miniclúster conectado por InfiniBand al centro de datos principal o combinar clústeres de computación dispersos geográficamente para lograr un mayor rendimiento general y escalabilidad.
Los sistemas MetroX-3 pueden ser administrados por NVIDIA Unified Fabric Manager, que permite a los operadores de los centros de datos aprovisionar, monitorear y operar de manera eficiente en todas las redes de data centers conectados por InfiniBand. Los sistemas MetroX-3 estarán disponibles a finales de noviembre.
BlueField para Segura y Eficiente HPC
NVIDIA BlueField equipa la HPC en el Edge con el movimiento rápido de datos, por lo que permite una eficiencia extrema y, lo que es más importante da seguridad. Durante SC22, la empresa de software del sistema Zettar mostró su solución de migración de datos y descarga de almacenamiento, basadas en BlueField-3, las tareas de migración de datos con el software de Zettar se pueden consolidar las tareas de migración de datos en un centro de datos con un espacio de rack de 4U, que hoy requiere 13U con soluciones basadas en x86.