La nube gana el debate sobre la infraestructura de IA por defecto

Es tiempo tiene celebrar EL asombroso mujer principal EL camino dentro ¡AI! Designado su inspirador líderes para VentureBeat Mujer dentro AI Premio Hoy Antes Junio 18. Aprender Más

Como artificial inteligencia (AI) acepta EL mundo por tormenta, A viejo debate Este dar la vuelta: debería compañías autohospedado AI herramientas O contar con seguro EL ¿nube? Para ejemplo, Lado premkumar, fundador de AI comenzar Lytix, recientemente intercambio su análisis autohospedaje A abrir fuente AI modelo, sugerencia Él podría estar menos caro eso utilizando Amazonas la tela Prestaciones de servicio (AWS). 

El de Premkumar Blog trabajo, detallista A costo comparación entre correr EL llama-3 8B modelo seguro AWS Y autohospedaje EL material, tiene pone en marcha A vivo discusión recordando de EL pronto días de nube informática, Cuando compañías pesado EL Ventajas Y los inconvenientes de en el sitio Infraestructura contra EL emergente nube modelo.

El de Premkumar análisis sugirió eso entonces que AWS podría oferta A Premio de $1 por millón fichas, autohospedaje podría potencialmente reducir Este costo tiene justo $0.01 por millón fichas, aunque con A mas largo umbral de rentabilidad período de alrededor 5.5 años. Sin embargo, Este costo comparación pasa por alto A crucial factor: EL total costo de la posesión (CTP). Es A debate nosotros tenemos visto Antes durante "EL Excelente Nube Guerras, » O EL nube informática modelo surgió victorioso a pesar de inicial escepticismo.

EL pregunta restos: voluntad en el sitio AI Infraestructura hacer A volver, O voluntad EL nube dominar una vez ¿otra vez?

V.B. Transformar 2024 Registro Este Abrir

Unirse negocio líderes dentro san Francisco desde Julio 9 tiene 11 para NUESTRO buque insignia AI evento. Conectar con colegas, explorar EL oportunidades Y desafíos de Generativo AI, Y aprender cómo tiene integrar AI aplicaciones dentro su industria. Registro Ahora

A más cerca mirar tiene El de Premkumar análisis 

El de Premkumar Blog trabajo proporciona A detallado descomponer de EL costos pareja con autohospedaje EL Llama-3 8B modelo. Él comparado EL costo de correr EL modelo seguro AWS g4dn.16xgrande ejemplo, cual características 4 NVIDIA Estas allá T4 GPU, 192GB de memoria, Y 48 procesadores virtuales, tiene EL costo de autohospedaje A similar material configuración.

De acuerdo a tiene El de Premkumar cálculos, correr EL modelo seguro AWS sería costo alrededor de $2,816.64 por mes, suponiendo completo usar. Con EL modelo capaz tiene proceso alrededor 157 millón fichas por mes, Este traducido tiene A costo de $17.93 por millón fichas.

Dentro contraste, premkumar estimados eso autohospedaje EL material sería requerir A adelante inversión de alrededor $3,800 para 4 NVIDIA Estas allá T4 GPU Y A adicional $1,000 para EL descansar de EL sistema. Factorización dentro energía costos de alrededor de $100 por mes, EL autohospedado solución podría proceso EL incluso 157 millón fichas tiene A costo de justo $0.000000636637738 por simbólico, O $0.01 por millón fichas.

Entonces que Este puede parecer como A Convincente argumento para autoalojamiento, Es importante tiene nota eso El de Premkumar análisis Ficticio 100% usar de EL material, cual Este casi nunca EL caso dentro mundo real escenarios. Además, EL autohospedado acercarse sería requerir A umbral de rentabilidad período de alrededor 5.5 años tiene para recuperar EL inicial material inversión, durante cual tiempo más reciente, Más poderoso material puede haber Ya surgió.

A familiar debate 

Dentro EL pronto días de nube informática, partidarios de en el sitio Infraestructura hacer mucho afecto Y Convincente argumentos. Ellos citado EL seguridad Y control de acuerdo datos en interno, EL potencial costo economías de invertir dentro su propio material, mejor rendimiento para sensible a la latencia Tareas, EL flexibilidad de personalización, Y EL deseo tiene evitar proveedor bloquear.

Hoy, defensores de en el sitio AI Infraestructura están cantando A similar ajustar. Ellos argumentar eso para muy regulado Industrias como cuidado de la salud Y finanzas, EL cumplimiento Y control de en el sitio Este preferible. Ellos creer invertir dentro nuevo, especializado AI material puede estar Más rentable dentro EL largo correr eso en curso nube costos, en particular para rico en datos cargas de trabajo. Ellos citar EL rendimiento Ventajas para sensible a la latencia AI Tareas, EL flexibilidad tiene Personalizar Infraestructura tiene su exacto...