Touchcast, líder en inferencia de inteligencia artificial empresarial, anunció hoy otro hito en el rendimiento de inferencia. Al integrar el hardware LPU™️ de alta velocidad de Groq con la tecnología Cognitive Caching de Touchcast, CogCache ahora ofrece velocidades de inferencia sin precedentes de cientos a más de mil tokens por segundo, al tiempo que mantiene una rentabilidad líder en la industria.

Esta solución integrada brinda a los desarrolladores de IA acceso a un conjunto completo de modelos de IA líderes a través de una única llamada API LLM optimizada, lo que ofrece una flexibilidad y un rendimiento incomparables a medida que las empresas pasan de la prueba de concepto a la producción.

Basándose en el reciente lanzamiento de la Cognitive Content Delivery Network (cCDN) de Touchcast, que incorporó los modelos de vanguardia de OpenAI a CogCache, este importante avance ahora incluye compatibilidad con modelos de Meta, Google y otros proveedores líderes de IA. La integración de la tecnología de hardware de vanguardia de Groq representa un cambio radical en las capacidades de CogCache, ya que mejora drásticamente la velocidad y la eficiencia y, al mismo tiempo, mantiene bajos los costos. Este desarrollo consolida aún más la posición de Touchcast como líder mundial en soluciones de inferencia de IA.

Las principales características y beneficios de la solución incluyen:

Inferencia de hipervelocidad: CogCache combina la aceleración de hardware de Groq con el almacenamiento en caché cognitivo de Touchcast para ofrecer velocidades de inferencia incomparables.

Capacidades de IA mejoradas: la tecnología de mezcla de agentes (MOA) supera el rendimiento del modelo individual, lo que permite aplicaciones de IA innovadoras.

Acceso simplificado: una llamada API proporciona acceso a múltiples modelos, logrando resultados inalcanzables con un solo modelo.

Reducción de costos: el almacenamiento en caché cognitivo en la capa de red acelera las aplicaciones, mejora los resultados y reduce los costos hasta en un 50%.

"Al combinar nuestra tecnología Cognitive Caching con el innovador hardware de Groq, CogCache ahora ofrece la solución de inferencia más rápida del mundo", afirmó Edo Segal, fundador y director ejecutivo de Touchcast. "Esto permite que las aplicaciones de IA se escalen con un rendimiento y una rentabilidad sin precedentes, algo fundamental para las empresas que pasan de la prueba de concepto a la producción a escala industrial".

Esta solución CogCache mantiene una seguridad y una escalabilidad de nivel empresarial, lo que la hace adecuada para una amplia gama de aplicaciones, desde las operaciones diarias hasta las tareas más exigentes y críticas para la misión. Al crear conexiones seguras entre el hardware avanzado de Groq y la nube de Azure, CogCache garantiza una ruta acelerada para una implementación segura de la IA en diversas cargas de trabajo de los clientes, lo que respalda diferentes marcos regulatorios a escala regional y global.

Los clientes pueden experimentar un rendimiento acelerado y comenzar a ahorrar en sus costos de inferencia en minutos con una prueba gratuita en cogcache.com o a través de Microsoft Azure Marketplace , donde las organizaciones pueden usar su Compromiso de consumo de Microsoft Azure (MACC) para pagar sus costos de inferencia.

Acerca de Touchcast

Touchcast está construyendo la superautopista global para la IA, ofreciendo soluciones innovadoras que amplían los límites del rendimiento de la IA, reducen drásticamente los costos y aceleran la adopción en todas las industrias. La tecnología Cognitive Caching y cCDN de la empresa, combinadas con integraciones de hardware de vanguardia, están redefiniendo la vanguardia del desarrollo de infraestructura de IA. Para obtener más información, visite www.touchcast.com