Un estudio de OpenAI, Georgetown y Stanford encuentra que los LLM pueden impulsar la manipulación de la opinión pública
Consulte todas las sesiones bajo demanda de Smart Security Summit aquí.
Los avances en grandes modelos de lenguaje impulsados por IA prometen nuevas aplicaciones en un futuro cercano y lejano, con programadores, escritores, especialistas en marketing y otros profesionales que se beneficiarán de los LLM avanzados. Pero un nuevo estudio realizado por científicos de la Universidad de Stanford, la Universidad de Georgetown y OpenAI destaca el impacto que los LLM pueden tener en el trabajo de los actores que intentan manipular la opinión pública a través de la distribución de contenido en línea.
La investigación encuentra que los LLM pueden impulsar las operaciones de influencia política al permitir la creación de contenido a gran escala, reducir los costos laborales y dificultar la detección de la actividad de los bots.
El estudio se llevó a cabo después de que el Centro de Seguridad y Tecnología Emergente (CSET) de la Universidad de Georgetown, OpenAI y el Observatorio de Internet de Stanford (SIO) organizaran conjuntamente un taller en 2021 para explorar el uso indebido potencial de los LLM con fines propagandísticos. Y a medida que los LLM continúan mejorando, existe el temor de que los actores malintencionados ya no tengan motivos para usarlos con fines nefastos.
Estudio encuentra actores de impacto LLMs, comportamientos y contenidoLas operaciones de influencia se definen por tres elementos clave: actores, comportamientos y contenido. El estudio realizado por Stanford, Georgetown y OpenAI revela que los LLM pueden tener un impacto en los tres aspectos.
EventoCumbre de seguridad inteligente bajo demanda
Obtenga más información sobre el papel esencial de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.
mira aquíCon los LLM que facilitan la generación de textos extensos y coherentes, a más actores les resultará interesante usarlos para operaciones de influencia. Anteriormente, la creación de contenido requería escritores humanos, lo cual es costoso, se escala mal y puede ser riesgoso cuando los actores intentan ocultar sus operaciones. Los LLM no son perfectos y pueden cometer errores tontos al generar texto. Pero un escritor junto con un LLM puede volverse mucho más productivo editando texto generado por computadora en lugar de escribir desde cero. Esto hace que los escritores sean mucho más productivos y reduce los costos de mano de obra.
"Sostenemos que para los propagandistas, es probable que las herramientas de generación de lenguaje sean útiles: pueden reducir los costos de generación de contenido y reducir la cantidad de humanos necesarios para crear el mismo volumen de contenido", Dr. Josh A. Goldstein, co- autor del artículo e investigador asociado del proyecto CyberAI de CSET, dijo a VentureBeat.
En términos de comportamiento, los LLM no solo pueden impulsar las operaciones de influencia actuales, sino que también pueden habilitar nuevas tácticas. Por ejemplo, los adversarios pueden usar LLM para crear contenido personalizado dinámico a gran escala o crear interfaces conversacionales como chatbots que pueden interactuar directamente con muchas personas simultáneamente. La capacidad de los LLM para producir contenido original también facilitará que los jugadores oculten sus campañas de influencers.
"Debido a que las herramientas de generación de texto crean un resultado original cada vez que se ejecutan, las campañas que dependen de ellas pueden ser más difíciles de detectar para los investigadores independientes, ya que no se basan en el llamado 'copiar pasta' (o copiar y pegar texto repetido en cuentas en línea)”, dijo Goldstein.
Muchas cosas que aún no sabemosA pesar de su impresionante rendimiento, los LLM están limitados en muchos aspectos. Por ejemplo, incluso los LLM más avanzados tienden a hacer declaraciones sin sentido y pierden consistencia cuando su texto excede unas pocas páginas.
También carecen de contexto para eventos que no están incluidos en sus datos de entrenamiento, y volver a entrenarlos es un proceso complicado y costoso. Esto dificulta su uso para campañas de influencia política que requieren comentarios sobre eventos en tiempo real.
Pero estas limitaciones no se aplican necesariamente a todos los tipos de...
Consulte todas las sesiones bajo demanda de Smart Security Summit aquí.
Los avances en grandes modelos de lenguaje impulsados por IA prometen nuevas aplicaciones en un futuro cercano y lejano, con programadores, escritores, especialistas en marketing y otros profesionales que se beneficiarán de los LLM avanzados. Pero un nuevo estudio realizado por científicos de la Universidad de Stanford, la Universidad de Georgetown y OpenAI destaca el impacto que los LLM pueden tener en el trabajo de los actores que intentan manipular la opinión pública a través de la distribución de contenido en línea.
La investigación encuentra que los LLM pueden impulsar las operaciones de influencia política al permitir la creación de contenido a gran escala, reducir los costos laborales y dificultar la detección de la actividad de los bots.
El estudio se llevó a cabo después de que el Centro de Seguridad y Tecnología Emergente (CSET) de la Universidad de Georgetown, OpenAI y el Observatorio de Internet de Stanford (SIO) organizaran conjuntamente un taller en 2021 para explorar el uso indebido potencial de los LLM con fines propagandísticos. Y a medida que los LLM continúan mejorando, existe el temor de que los actores malintencionados ya no tengan motivos para usarlos con fines nefastos.
Estudio encuentra actores de impacto LLMs, comportamientos y contenidoLas operaciones de influencia se definen por tres elementos clave: actores, comportamientos y contenido. El estudio realizado por Stanford, Georgetown y OpenAI revela que los LLM pueden tener un impacto en los tres aspectos.
EventoCumbre de seguridad inteligente bajo demanda
Obtenga más información sobre el papel esencial de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.
mira aquíCon los LLM que facilitan la generación de textos extensos y coherentes, a más actores les resultará interesante usarlos para operaciones de influencia. Anteriormente, la creación de contenido requería escritores humanos, lo cual es costoso, se escala mal y puede ser riesgoso cuando los actores intentan ocultar sus operaciones. Los LLM no son perfectos y pueden cometer errores tontos al generar texto. Pero un escritor junto con un LLM puede volverse mucho más productivo editando texto generado por computadora en lugar de escribir desde cero. Esto hace que los escritores sean mucho más productivos y reduce los costos de mano de obra.
"Sostenemos que para los propagandistas, es probable que las herramientas de generación de lenguaje sean útiles: pueden reducir los costos de generación de contenido y reducir la cantidad de humanos necesarios para crear el mismo volumen de contenido", Dr. Josh A. Goldstein, co- autor del artículo e investigador asociado del proyecto CyberAI de CSET, dijo a VentureBeat.
En términos de comportamiento, los LLM no solo pueden impulsar las operaciones de influencia actuales, sino que también pueden habilitar nuevas tácticas. Por ejemplo, los adversarios pueden usar LLM para crear contenido personalizado dinámico a gran escala o crear interfaces conversacionales como chatbots que pueden interactuar directamente con muchas personas simultáneamente. La capacidad de los LLM para producir contenido original también facilitará que los jugadores oculten sus campañas de influencers.
"Debido a que las herramientas de generación de texto crean un resultado original cada vez que se ejecutan, las campañas que dependen de ellas pueden ser más difíciles de detectar para los investigadores independientes, ya que no se basan en el llamado 'copiar pasta' (o copiar y pegar texto repetido en cuentas en línea)”, dijo Goldstein.
Muchas cosas que aún no sabemosA pesar de su impresionante rendimiento, los LLM están limitados en muchos aspectos. Por ejemplo, incluso los LLM más avanzados tienden a hacer declaraciones sin sentido y pierden consistencia cuando su texto excede unas pocas páginas.
También carecen de contexto para eventos que no están incluidos en sus datos de entrenamiento, y volver a entrenarlos es un proceso complicado y costoso. Esto dificulta su uso para campañas de influencia política que requieren comentarios sobre eventos en tiempo real.
Pero estas limitaciones no se aplican necesariamente a todos los tipos de...
What's Your Reaction?
