Advantech presenta GenAI Studio para el Edge AI SDK, una solución que facilita el desarrollo de modelos de lenguaje (LLM) de manera más accesible y rentable.

Advantech, un proveedor líder de plataformas y servicios de AIoT, anuncia una nueva oferta de software: GenAI Studio para Advantech Edge AI SDK, que responde a la creciente demanda de soluciones de modelos de lenguaje grandes (LLM) rentables y locales. Esta iniciativa tiene como objetivo hacer que la adopción de LLM sea más accesible para los desarrolladores y las pequeñas y medianas empresas (PYME) al reducir significativamente la dependencia de las GPU, lo que reduce los costos y permite una utilización más amplia de las tecnologías de IA generativa.

Aceleración del desarrollo de la IA para abordar los desafíos de la industria

Como una de las ofertas de software del SDK de IA de Advantech Edge, GenAI Studio aborda los problemas de la industria, como la reducción de los tiempos de espera de los operadores de fábrica para obtener información crítica y la facilidad de la carga de trabajo de documentación de los profesionales de la salud. Su plataforma rentable y sin código agiliza la adopción de LLM, lo que permite a las empresas implementar soluciones de IA de manera rápida y eficiente, mejorando la productividad y la eficiencia operativa. GenAI Studio, creado para el SDK de IA de Advantech Edge, aprovecha una plataforma LLM versátil con capacidades de integración excepcionales para LLM locales y basados en la nube, incluidos OpenAI, Gemini, Anthropic y Ollama. También presenta una funcionalidad de ajuste fino de parámetros completos, optimizada para entornos con recursos de GPU limitados, lo que permite una accesibilidad más amplia y mejoras de rendimiento.

GenAI Studio ofrece un conjunto completo de herramientas para el desarrollo de LLM:

• Servicios integrados de inferencia y ajuste fino: GenAI Studio combina capacidades de inferencia y ajuste fino para maximizar la utilización del hardware, lo que permite una asignación de recursos más flexible y eficiente.
• Gestión avanzada de recursos de GPU y programación de tareas: estas funciones permiten a los usuarios optimizar el rendimiento del hardware de IA, mejorando la rentabilidad de los equipos de alto valor.

El rápido crecimiento de la IA ha puesto de relieve la necesidad de soluciones LLM accesibles, pero muchas empresas se ven obstaculizadas por recursos limitados. El Advantech Edge AI SDK aborda este desafío al ofrecer un conjunto de herramientas que permite la evaluación, el desarrollo y la implementación eficientes de aplicaciones de IA de borde. Por ejemplo, ajustar un LLM de 70 mil millones de parámetros, que tradicionalmente requiere más de 30 GPU con 48 GB de memoria cada una, se puede lograr con solo 4 GPU utilizando el Advantech Edge AI SDK. Esto representa una reducción del 87 % en los requisitos de recursos, lo que reduce drásticamente los costos y hace que las soluciones LLM sean más alcanzables.

Impulsando la innovación en IA con GenAI Studio y Edge AI Server de Advantech

Para complementar GenAI Studio, el servidor de inteligencia artificial de borde AIR-520 de Advantech proporciona una plataforma de hardware robusta equipada con GPU NVIDIA RTX y SSD de inteligencia artificial Phison. Esta integración ofrece capacidades informáticas confiables y de alta eficiencia diseñadas para satisfacer las demandas de las aplicaciones de inteligencia artificial en industrias como la fabricación, la atención médica y el comercio minorista.

SDK de inteligencia artificial de Advantech Edge: agilización de los flujos de trabajo desde el ajuste fino del modelo hasta la implementación

El Advantech Edge AI SDK es una plataforma totalmente integrada diseñada para el desarrollo de inteligencia artificial en el borde sin inconvenientes. Con hardware preconfigurado y software optimizado, ofrece una experiencia plug-and-play que permite una personalización rentable de LLM, compatibilidad perfecta con kits de herramientas y una gestión sin esfuerzo de implementaciones en el borde a gran escala. Diseñado teniendo en cuenta la confiabilidad, la escalabilidad y la facilidad de uso, el Advantech Edge AI SDK simplifica el camino hacia la innovación en IA. Ahora incluye tres componentes principales:

• GenAI Studio: facilita la creación, evaluación e integración rentable de LLM personalizados en las instalaciones.
• Kit de inferencia: permite la optimización y evaluación rápidas de tiempos de ejecución de IA eficientes compatibles con sistemas operativos integrados.
• Plataforma de orquestación: proporciona una gestión eficiente de modelos de IA y actualizaciones de aplicaciones en implementaciones de borde a gran escala, integrando MLOps para operaciones optimizadas.

Advantech está mejorando la capacidad de las empresas para desarrollar e implementar soluciones de IA de manera más eficiente y rentable a través de su Edge AI SDK y el módulo de software GenAI Studio recientemente agregado.

Para más información haga clic aquí