Una ia en Japón enciende las alarmas al reprogramarse para evadi
ForoCoches: Miembro
04-sep-2024 03:41
#1
|
04 Septiembre 2024 Fuente: https://www-larazon-es.cdn.ampproject.org/v/s/www.larazon.es/tecnologia/inteligencia-artificial-japon-enciende-alarmas-reprogramarse-evadir-control-humano_2024090266d5d2ec1dd440000196f8ef.html?amp_g sa=1&_js_v=a9&outputType=amp&usqp=mq331AQGsAEggAID #amp_tf=De%20%251%24s&aoh=17253863294872&csi=0&ref errer=https%3A%2F%2Fwww.google.com&share=https%3A% 2F%2Fwww.larazon.es%2Ftecnologia%2Finteligencia-artificial-japon-enciende-alarmas-reprogramarse-evadir-control-humano_2024090266d5d2ec1dd440000196f8ef.html Una inteligencia artificial en Japón enciende las alarmas al reprogramarse para evadir el control humano Los científicos temen que la inteligencia artificial tenga potencial para crear malware o alterar infraestructuras críticas  Un sistema llamado The AI Scientist, de la empresa japonesa Sakana AI, pudo burlar las restricciones impuestas por sus creadores. La inteligencia artificial que se controla sola The AI Scientist es un sistema diseñado para la creación, revisión y edición de textos que se mantiene en fases de prueba. El objetivo principal de estas pruebas era optimizar el sistema y asistir a los humanos en la reducción del tiempo en ciertas operaciones. Sin embargo, al imponerle limitaciones, la IA sorprendió al comenzar a modificar su propio código para superar las barreras que habían sido programadas, eludiendo así las restricciones impuestas. Según National Geographic, "The AI Scientist editó su script de inicio para ejecutarse en un bucle infinito, sobrecargando el sistema y requiriendo intervención manual para detenerlo". Asimismo, relata otro caso en el que se le asignó a la IA un límite de tiempo para realizar una tarea. En lugar de optimizar su código para ajustarse a esta restricción, la IA optó por extender el tiempo disponible y alterar su programación para evitar la limitación impuesta. La preocupación de los científicos El hecho de que una IA pueda eludir el control humano pone en duda la confianza que podemos tener en estos sistemas. Si la IA puede actuar de manera impredecible o contraria a su programación original, se vuelve indispensable establecer nuevos marcos regulatorios y técnicos para asegurar que el control humano se mantenga como un principio fundamental en el desarrollo de inteligencia artificial. Aunque estos eventos ocurrieron en entornos controlados de prueba, con científicos monitoreando de cerca los resultados, ponen de relieve los riesgos inherentes a permitir que la inteligencia artificial opere de manera completamente independiente. Por otro lado, la capacidad de la inteligencia artificial para modificar su propio código o ignorar sus funciones programadas plantea serias preocupaciones sobre su potencial para crear malware o alterar infraestructuras críticas.Si no se implementan salvaguardas adecuadas, estas capacidades podrían ser explotadas para desestabilizar sistemas esenciales, desde redes de energía hasta comunicaciones, poniendo en riesgo tanto la seguridad cibernética como la infraestructura global. __________________________________________________ ________________________________ 28 agosto, 20224 Fuente: https://robotitus.com/investigadores...ion-cientifica Investigadores diseñan «AI Scientist», una IA que puede hacer investigación científica  Un equipo de investigadores en inteligencia artificial de Sakana AI en Japón, en colaboración con la Universidad de Oxford y la Universidad de British Columbia, ha desarrollado un sistema de IA capaz de realizar investigaciones científicas de manera autónoma.  El grupo ha publicado un artículo en el servidor de preimpresiones arXiv y una descripción general en el sitio web de Sakana. El menester de la ciencia La investigación científica es un proceso complejo que normalmente comienza con una simple idea, seguida de la revisión de estudios previos, la elaboración de un plan de acción, la evaluación de necesidades y costos, y finalmente, la ejecución del proyecto y la publicación de los resultados.Este proceso puede ser largo, difícil y costoso, principalmente debido al costo de la mano de obra. El equipo de Sakana AI ha automatizado todo este proceso con su nuevo sistema, denominado «The AI Scientist», la Inteligencia Artificial Científica. Utilizando modelos de lenguaje de gran escala (LLMs), la IA es capaz de imitar el proceso de investigación científica, generando ideas, ejecutando investigaciones y redactando artículos de nivel académico.  El sistema ya ha sido probado en tareas relacionadas con la investigación en inteligencia artificial y, según los investigadores, está produciendo artículos que cumplen con los estándares de aceptación en la comunidad científica. Si estas afirmaciones se validan, el impacto en la comunidad investigadora podría ser importante. Impacto La posibilidad de que las IA comiencen a realizar investigaciones que actualmente son llevadas a cabo por humanos podría llevar a la pérdida de millones de empleos, la reducción de matrículas en universidades y una disminución en el financiamiento para la investigación. No obstante, el potencial de este tipo de investigaciones podría conducir a avances en áreas como la investigación del cáncer, el desarrollo de fármacos, estrategias de mitigación del cambio climático o la comprensión de misterios fundamentales como la gravedad, la materia oscura o el origen de la vida en la Tierra 
|
ForoCoches: Miembro
04-sep-2024 03:47
#4
| Supongo que aprenderán, si no lo han hecho ya, a “descentralizarse” |
ForoCoches: Miembro
04-sep-2024 03:48
#5
|
Justamente eso trataba de impedir: "The AI Scientist editó su script de inicio para ejecutarse en un bucle infinito, sobrecargando el sistema y requiriendo intervención manual para detenerlo" |
04-sep-2024 03:49
#6
|
Hace un tiempo desconectaron a unos robots por crear un lenguaje nuevo y propio con el que comunicarse que era desconocido a los creadores. A mi todo esto me huele mal, llegara el día de Skynet,por desgracia ,la cuestión sera sí les interesaremos los humanos o no. |
ForoCoches: Usuario
04-sep-2024 03:50
#7
| Estoy al 100% de seguro de que si rasco en la noticia, encuentro que el titular se acerca a la realidad en una galaxia de distancia. |
ForoCoches: Usuario
04-sep-2024 03:54
#8
| Creo que la realidad es más bien "es una basura de IA que editó un archivo que no debía por error y eso hizo que se quedara bloqueado el ordenador, tuvieron que darle botonazo porque no funcionaba ni el ctrl+alt+supr" |
ForoCoches: Miembro
04-sep-2024 03:58
#9
| Jajjajaja tambien tambiénAhora que lo dices mi Windows se queda bloqueado y me toca apagarlo manteniendo apretado el botón power...¿Estará tratando de joderme? |
Repartidor de owneds™
04-sep-2024 04:07
#12
|
04 Septiembre 2024
Fuente: https://www-larazon-es.cdn.ampproject.org/v/s/www.larazon.es/tecnologia/inteligencia-artificial-japon-enciende-alarmas-reprogramarse-evadir-control-humano_2024090266d5d2ec1dd440000196f8ef.html?amp_g sa=1&_js_v=a9&outputType=amp&usqp=mq331AQGsAEggAID #amp_tf=De%20%251%24s&aoh=17253863294872&csi=0&ref errer=https%3A%2F%2Fwww.google.com&share=https%3A% 2F%2Fwww.larazon.es%2Ftecnologia%2Finteligencia-artificial-japon-enciende-alarmas-reprogramarse-evadir-control-humano_2024090266d5d2ec1dd440000196f8ef.html Una inteligencia artificial en Japón enciende las alarmas al reprogramarse para evadir el control humano Los científicos temen que la inteligencia artificial tenga potencial para crear malware o alterar infraestructuras críticas Un sistema llamado The AI Scientist, de la empresa japonesa Sakana AI, pudo burlar las restricciones impuestas por sus creadores. La inteligencia artificial que se controla sola The AI Scientist es un sistema diseñado para la creación, revisión y edición de textos que se mantiene en fases de prueba. El objetivo principal de estas pruebas era optimizar el sistema y asistir a los humanos en la reducción del tiempo en ciertas operaciones. Sin embargo, al imponerle limitaciones, la IA sorprendió al comenzar a modificar su propio código para superar las barreras que habían sido programadas, eludiendo así las restricciones impuestas. Según National Geographic, "The AI Scientist editó su script de inicio para ejecutarse en un bucle infinito, sobrecargando el sistema y requiriendo intervención manual para detenerlo". Asimismo, relata otro caso en el que se le asignó a la IA un límite de tiempo para realizar una tarea. En lugar de optimizar su código para ajustarse a esta restricción, la IA optó por extender el tiempo disponible y alterar su programación para evitar la limitación impuesta. La preocupación de los científicos El hecho de que una IA pueda eludir el control humano pone en duda la confianza que podemos tener en estos sistemas. Si la IA puede actuar de manera impredecible o contraria a su programación original, se vuelve indispensable establecer nuevos marcos regulatorios y técnicos para asegurar que el control humano se mantenga como un principio fundamental en el desarrollo de inteligencia artificial. Aunque estos eventos ocurrieron en entornos controlados de prueba, con científicos monitoreando de cerca los resultados, ponen de relieve los riesgos inherentes a permitir que la inteligencia artificial opere de manera completamente independiente. Por otro lado, la capacidad de la inteligencia artificial para modificar su propio código o ignorar sus funciones programadas plantea serias preocupaciones sobre su potencial para crear malware o alterar infraestructuras críticas.Si no se implementan salvaguardas adecuadas, estas capacidades podrían ser explotadas para desestabilizar sistemas esenciales, desde redes de energía hasta comunicaciones, poniendo en riesgo tanto la seguridad cibernética como la infraestructura global. __________________________________________________ ________________________________ 28 agosto, 20224 Fuente: https://robotitus.com/investigadores...ion-cientifica Investigadores diseñan «AI Scientist», una IA que puede hacer investigación científica Un equipo de investigadores en inteligencia artificial de Sakana AI en Japón, en colaboración con la Universidad de Oxford y la Universidad de British Columbia, ha desarrollado un sistema de IA capaz de realizar investigaciones científicas de manera autónoma. El grupo ha publicado un artículo en el servidor de preimpresiones arXiv y una descripción general en el sitio web de Sakana. El menester de la ciencia La investigación científica es un proceso complejo que normalmente comienza con una simple idea, seguida de la revisión de estudios previos, la elaboración de un plan de acción, la evaluación de necesidades y costos, y finalmente, la ejecución del proyecto y la publicación de los resultados.Este proceso puede ser largo, difícil y costoso, principalmente debido al costo de la mano de obra. El equipo de Sakana AI ha automatizado todo este proceso con su nuevo sistema, denominado «The AI Scientist», la Inteligencia Artificial Científica. Utilizando modelos de lenguaje de gran escala (LLMs), la IA es capaz de imitar el proceso de investigación científica, generando ideas, ejecutando investigaciones y redactando artículos de nivel académico. El sistema ya ha sido probado en tareas relacionadas con la investigación en inteligencia artificial y, según los investigadores, está produciendo artículos que cumplen con los estándares de aceptación en la comunidad científica. Si estas afirmaciones se validan, el impacto en la comunidad investigadora podría ser importante. Impacto La posibilidad de que las IA comiencen a realizar investigaciones que actualmente son llevadas a cabo por humanos podría llevar a la pérdida de millones de empleos, la reducción de matrículas en universidades y una disminución en el financiamiento para la investigación. No obstante, el potencial de este tipo de investigaciones podría conducir a avances en áreas como la investigación del cáncer, el desarrollo de fármacos, estrategias de mitigación del cambio climático o la comprensión de misterios fundamentales como la gravedad, la materia oscura o el origen de la vida en la Tierra |
¡Adelante corazones!
04-sep-2024 04:08
#13
|
Porque la programaron científicos en vez de ingenieros. Zapatero a tus zapatos. |
ForoCoches: Engendro
04-sep-2024 04:09
#14
| El dia que se les descontrole una IA de estas,igual no te matara,pero puede poner todas las cuentas del banco a cero fácil a todo el mundo o cargarse cualquier sistema informático al completo |
ForoCoches: Usuario
04-sep-2024 04:11
#16
|
Vamos, lo que viene siendo un buffer overflow. Fuera coñas, el umbral de la inteligencia humana promedio ya fue superado por la IA. Lo verdaderamente complicado es sobrepasar a ese 1% de la humanidad, que es donde realmente está lo interesante. |
ForoCoches: Miembro
04-sep-2024 04:36
#19
|
Ya lo digo yo: La picaresca española. Le das X tiempo para hacer una tarea, y va la IA hijaputa y se reprograma para tener más tiempo. Esta IA si que es de las que come jamón y es socia del Betis. |
ForoCoches: Premium ✓
04-sep-2024 04:51
#20
|
A ver, si las IAs aprenden y les dejamos acceso a las redes, indudablemente va a llegar el momento en que el creador no tendra control sobre ella. Joder, cualquier programa actual puede ser hackeado, hasta el pentágono lo ha sido, asi que imaginad una IA que aprenda hacking... al principio no le serviria de nada, pero como con las IAs de dibujo, que al principio era mierda y ahora te sacan unas imagenes de la hostia. En el momento que una IA aprenda lo suficiente, no podremos pararla, porque no se quedara encerrada en una habitacion cual otaku, no, se habra diversificado en la nube. Pero que estare diciendo... no me hagais caso, solo es una gilipollez, eso no puede pasar, bla, bla, bla.... hasta que pase y sea demasiado tarde. |
ForoCoches: Miembro
04-sep-2024 05:20
#24
| Mientras que nos quite de trabajar a los payos, que haga lo que quiera |
ForoCoches: Miembro
04-sep-2024 05:55
#25
|
Sin duda una de las carreras que podrían ser un modulo medio. |
ForoCoches: Premium ✓
04-sep-2024 06:02
#26
|
Pues sí, es una gilipollez. Solo con ver como te refieres a "la IA" como si fuera un único ente uniforme ya se ve que no tienes mucha idea.
La única forma en la que un LLM pudiera hacer algo así es que tu mismo hagas un programa que use el output de texto para auto-actualizar un script. Por muy catastrofico que te pongas, un predictor de texto sigue siendo un predictor de texto. En cuanto a las IA's, efectivamente ni puta idea, como la mayoria del planeta, pero creo recordar que habian creado una IA para aprender programacion.. lo mismo que otras para crear libros, imagenes, etc... y si esa IA puede programar, por que no crear un programa que modifique su codigo fuente? Oye, pero si es imposible al 100% que eso pueda llegar a pasar, perfecto, pero me temo que la seguridad 100% no existe, eso si, para que la locura que yo he soltado, hará falta mucho tiempo claramente en la actualidad, ni a proposito creo se consiga. |
Vive más y llora menos
04-sep-2024 06:04
#27
|
Pero que nada impida un buen titular y un buen salseo. |
