Jefe de inteligencia artificial del Departamento de Defensa de EE. UU. sobre LLM: "Necesito piratas informáticos que nos digan cómo se rompe esto"
Acceda a nuestra biblioteca bajo demanda para ver las sesiones de VB Transform 2023. Regístrese aquí
En el escenario principal de la conferencia de seguridad DEF CON durante una sesión del viernes por la tarde (11 de agosto), Craig Martell, director digital y de inteligencia artificial del Departamento de Defensa (DoD) de EE. UU., presentó una serie de mensajes clave.
Primero, quiere que la gente entienda que los modelos de lenguaje extenso (LLM, por sus siglas en inglés) son insensibles y realmente no pueden razonar.
Martell y el Departamento de Defensa también quieren más rigor en el desarrollo de modelos para ayudar a limitar las posibilidades de alucinaciones, donde los chatbots de IA generan información falsa. Martell, quien también es profesor adjunto en la enseñanza de aprendizaje automático (ML) de la Universidad Northeastern, trató la sesión principal de DEF CON como una conferencia, pidiendo repetidamente opiniones y respuestas a la audiencia.
La IA en su conjunto fue un gran tema en DEF CON, con AI Village, una comunidad de piratas informáticos y científicos de datos, que organizó una competencia de piratería LLM. Ya sea en una convención como DEF CON o como parte de los esfuerzos de recompensas por errores, Martell quiere más investigación sobre las posibles vulnerabilidades de LLM. Hen ayuda a liderar el grupo de trabajo LIMA del Departamento de Defensa, un esfuerzo por comprender el potencial y las limitaciones de la IA generativa y los LLM en el Departamento de Defensa.
EventoTransformación VB 2023 bajo demanda
¿Te perdiste una sesión de VB Transform 2023? Regístrese para acceder a la biblioteca a pedido de todas nuestras sesiones destacadas.
Regístrate ahora"Estoy aquí hoy porque necesito piratas informáticos en todas partes para que nos digan cómo se rompe esta cosa", dijo Martell. "Porque si no sabemos cómo se rompe, no podemos aclarar los términos de aceptabilidad y si no podemos aclarar los términos de aceptabilidad, no podemos presionar a la industria para que construya lo correcto, para que podamos implementar y úsalo.”
Los LLM son geniales, pero en realidad no razonanMartell dedicó mucho tiempo durante su sesión a señalar que los LLM realmente no razonan. En su opinión, el actual ciclo de publicidad que rodea a la IA generativa ha llevado a una exageración fuera de lugar y a una comprensión de lo que un LLM puede y no puede hacer.
"Evolucionamos para tratar las cosas que hablan con fluidez como seres racionales", dijo Martell.
Explicó que, en el nivel más básico, un modelo de lenguaje grande es uno que predice la siguiente palabra, dadas las palabras anteriores. Los LLM están capacitados en volúmenes masivos de datos con una inmensa potencia informática, pero señala que un LLM es solo un gran modelo estadístico que se basa en el contexto pasado.
"Parecen muy fluidos porque puedes predecir una secuencia completa de las siguientes palabras en función de un contexto masivo, lo que lo hace realmente complejo", dijo.
La falta de razonamiento está ligada al fenómeno de la alucinación según Martell. Argumentó que uno de los objetivos principales de los LLM es la fluidez, no re...
Acceda a nuestra biblioteca bajo demanda para ver las sesiones de VB Transform 2023. Regístrese aquí
En el escenario principal de la conferencia de seguridad DEF CON durante una sesión del viernes por la tarde (11 de agosto), Craig Martell, director digital y de inteligencia artificial del Departamento de Defensa (DoD) de EE. UU., presentó una serie de mensajes clave.
Primero, quiere que la gente entienda que los modelos de lenguaje extenso (LLM, por sus siglas en inglés) son insensibles y realmente no pueden razonar.
Martell y el Departamento de Defensa también quieren más rigor en el desarrollo de modelos para ayudar a limitar las posibilidades de alucinaciones, donde los chatbots de IA generan información falsa. Martell, quien también es profesor adjunto en la enseñanza de aprendizaje automático (ML) de la Universidad Northeastern, trató la sesión principal de DEF CON como una conferencia, pidiendo repetidamente opiniones y respuestas a la audiencia.
La IA en su conjunto fue un gran tema en DEF CON, con AI Village, una comunidad de piratas informáticos y científicos de datos, que organizó una competencia de piratería LLM. Ya sea en una convención como DEF CON o como parte de los esfuerzos de recompensas por errores, Martell quiere más investigación sobre las posibles vulnerabilidades de LLM. Hen ayuda a liderar el grupo de trabajo LIMA del Departamento de Defensa, un esfuerzo por comprender el potencial y las limitaciones de la IA generativa y los LLM en el Departamento de Defensa.
EventoTransformación VB 2023 bajo demanda
¿Te perdiste una sesión de VB Transform 2023? Regístrese para acceder a la biblioteca a pedido de todas nuestras sesiones destacadas.
Regístrate ahora"Estoy aquí hoy porque necesito piratas informáticos en todas partes para que nos digan cómo se rompe esta cosa", dijo Martell. "Porque si no sabemos cómo se rompe, no podemos aclarar los términos de aceptabilidad y si no podemos aclarar los términos de aceptabilidad, no podemos presionar a la industria para que construya lo correcto, para que podamos implementar y úsalo.”
Los LLM son geniales, pero en realidad no razonanMartell dedicó mucho tiempo durante su sesión a señalar que los LLM realmente no razonan. En su opinión, el actual ciclo de publicidad que rodea a la IA generativa ha llevado a una exageración fuera de lugar y a una comprensión de lo que un LLM puede y no puede hacer.
"Evolucionamos para tratar las cosas que hablan con fluidez como seres racionales", dijo Martell.
Explicó que, en el nivel más básico, un modelo de lenguaje grande es uno que predice la siguiente palabra, dadas las palabras anteriores. Los LLM están capacitados en volúmenes masivos de datos con una inmensa potencia informática, pero señala que un LLM es solo un gran modelo estadístico que se basa en el contexto pasado.
"Parecen muy fluidos porque puedes predecir una secuencia completa de las siguientes palabras en función de un contexto masivo, lo que lo hace realmente complejo", dijo.
La falta de razonamiento está ligada al fenómeno de la alucinación según Martell. Argumentó que uno de los objetivos principales de los LLM es la fluidez, no re...
What's Your Reaction?
