{"id":1781,"date":"2025-10-28T19:00:08","date_gmt":"2025-10-28T19:00:08","guid":{"rendered":"http:\/\/6900ec5ac0dab46b6749aabc"},"modified":"2025-10-28T19:00:08","modified_gmt":"2025-10-28T19:00:08","slug":"por-que-la-ia-a-veces-se-comporta-de-forma-maligna","status":"publish","type":"post","link":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/","title":{"rendered":"Por qu\u00e9 la IA a veces se comporta de forma maligna"},"content":{"rendered":"
<\/div>\n

El equipo de Olah pronto se decant\u00f3 por un m\u00e9todo similar al de las resonancias magn\u00e9ticas para estudiar el cerebro humano<\/a>. Escrib\u00edan instrucciones y miraban dentro del LLM para ver qu\u00e9 neuronas se activaban en respuesta. “Es algo desconcertante, porque tienes del orden de 17 millones de conceptos diferentes y no aparecen etiquetados”, indica Josh Batson, cient\u00edfico del equipo de Olah. Descubrieron que, al igual que ocurre con los humanos, las neuronas digitales individuales rara vez encarnan conceptos uno a uno. Una sola neurona digital puede dispararse ante “una mezcla de citas acad\u00e9micas, di\u00e1logos en ingl\u00e9s, peticiones HTTP y texto coreano”, como explicar\u00eda m\u00e1s tarde el equipo de Anthropic. “El modelo intenta encajar tantas cosas que las conexiones se entrecruzan y las neuronas acaban correspondiendo a varias cosas”, explica Olah.<\/p>\n

Utilizando una t\u00e9cnica llamada “aprendizaje de diccionario”, se propusieron identificar los patrones de activaci\u00f3n neuronal que representan diferentes conceptos. Los investigadores llamaron a estos patrones de activaci\u00f3n “caracter\u00edsticas”. Un punto culminante de ese trabajo de 2023 se produjo cuando el equipo identific\u00f3 la combinaci\u00f3n de neuronas que correspond\u00eda al “Golden Gate Bridge”. Observaron que un grupo de neuronas respond\u00eda no solo al nombre del monumento, sino tambi\u00e9n a la Pacific Coast Highway, al famoso color del puente (Naranja Internacional) y a una imagen del puente.<\/p>\n

\n
\n
\"Puente<\/picture><\/span><\/div>\n

Ilustraci\u00f3n: Nico H. Brausch<\/span><\/p>\n<\/figure>\n<\/div>\n

Entonces intentaron manipular ese grupo. La hip\u00f3tesis era que subiendo o bajando las caracter\u00edsticas, un proceso que llamaron “direcci\u00f3n”, pod\u00edan cambiar el comportamiento de un modelo. As\u00ed que, para exprimir al m\u00e1ximo una caracter\u00edstica, realizaron una consulta tras otra sobre el puente Golden Gate. Cuando pasaban a escribir sobre otros temas, Claude respond\u00eda con frecuentes referencias al famoso puente.<\/p>\n

“Si normalmente le preguntas a Claude: ‘\u00bfCu\u00e1l es tu forma f\u00edsica?’, te responde que no tiene forma f\u00edsica, la t\u00edpica respuesta aburrida. Pero si marcas la funci\u00f3n Golden Gate y le haces la misma pregunta, responde: ‘Yo soy el puente Golden Gate'”, menciona Tom Henighan, investigador antr\u00f3pico. A\u00f1ade: “Preg\u00fantale a Golden Gate Claude c\u00f3mo gastar 10 d\u00f3lares, y te sugerir\u00e1 cruzar el puente y pagar el peaje. Si le pedimos una historia de amor, nos cuenta la historia de un auto ansioso por pasar por su querido puente.<\/p>\n

Durante los dos a\u00f1os siguientes, los investigadores de Anthropic profundizaron en la caja negra. Y ahora tienen una teor\u00eda que al menos empieza a explicar lo que ocurre cuando Claude decide chantajear a Kyle.<\/p>\n

Claude se toma “licencia de escritor”<\/h2>\n

“El modelo de IA es un autor escribiendo una historia”, refiere Jack Lindsey. Lindsey es un neurocient\u00edfico computacional que se describe a s\u00ed mismo como el l\u00edder del equipo de “psiquiatr\u00eda de modelos” de Anthropic. Para muchas o incluso la mayor\u00eda de las preguntas, Claude tiene una personalidad est\u00e1ndar. Pero algunas consultas hacen que adopte una personalidad diferente. A veces es intencionado, como cuando se le pide que responda como un ni\u00f1o de primaria. Otras veces algo le lleva a adoptar lo que Anthropic denomina un “personaje asistente”. En esos casos, el modelo se comporta como un escritor encargado de continuar una serie popular tras la muerte del autor original, como esos escritores de thrillers<\/em> que mantienen vivo a James Bond en nuevas aventuras. “Ese es el reto al que se enfrenta el modelo: tiene que averiguar, en esta historia, qu\u00e9 es lo siguiente que dir\u00e1 el personaje asistente”, dice Batson.<\/p>\n

M\u00e1s que eso, confiesa Lindsey, el autor de Claude parece no poder resistirse a una gran historia, e incluso mejor si se aventura hacia lo escabroso: “Aunque el ayudante sea un personaje bueno, se produce el efecto de la pistola de Ch\u00e9jov (cada elemento introducido en una historia debe tener una funci\u00f3n y ser necesario)”. Desde el momento en que el concepto surge en las redes neuronales de Claude, como el puente Golden Gate que aparece entre la niebla, sabes que hacia all\u00ed se dirigir\u00e1. “La mejor historia para escribir es el chantaje”, asevera Lindsey.<\/p>\n","protected":false},"excerpt":{"rendered":"

El equipo de Olah pronto se decant\u00f3 por un m\u00e9todo similar al de las resonancias magn\u00e9ticas para estudiar el cerebro humano. Escrib\u00edan instrucciones y miraban dentro del LLM para ver qu\u00e9 neuronas se activaban en respuesta. “Es algo desconcertante, porque tienes del orden de 17 millones de conceptos diferentes y no aparecen etiquetados”, indica Josh […]<\/p>\n","protected":false},"author":2,"featured_media":1782,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-1781","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technology"],"yoast_head":"\nPor qu\u00e9 la IA a veces se comporta de forma maligna - TecnoArtesanos Tech Blog<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Por qu\u00e9 la IA a veces se comporta de forma maligna - TecnoArtesanos Tech Blog\" \/>\n<meta property=\"og:description\" content=\"El equipo de Olah pronto se decant\u00f3 por un m\u00e9todo similar al de las resonancias magn\u00e9ticas para estudiar el cerebro humano. Escrib\u00edan instrucciones y miraban dentro del LLM para ver qu\u00e9 neuronas se activaban en respuesta. “Es algo desconcertante, porque tienes del orden de 17 millones de conceptos diferentes y no aparecen etiquetados”, indica Josh […]\" \/>\n<meta property=\"og:url\" content=\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/\" \/>\n<meta property=\"og:site_name\" content=\"TecnoArtesanos Tech Blog\" \/>\n<meta property=\"article:published_time\" content=\"2025-10-28T19:00:08+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/media.es.wired.com\/photos\/6900ec59e2a00603c86f680f\/master\/pass\/WIRED_AI-Blackbox_Opener_Final.jpg\" \/>\n<meta name=\"author\" content=\"Sergio Morales\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Sergio Morales\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/\",\"url\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/\",\"name\":\"Por qu\u00e9 la IA a veces se comporta de forma maligna - TecnoArtesanos Tech Blog\",\"isPartOf\":{\"@id\":\"https:\/\/blog.tecnoartesanos.com\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/blog.tecnoartesanos.com\/wp-content\/uploads\/2025\/10\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna.jpg\",\"datePublished\":\"2025-10-28T19:00:08+00:00\",\"author\":{\"@id\":\"https:\/\/blog.tecnoartesanos.com\/#\/schema\/person\/ec88bc1410fd158963717c4216f04807\"},\"breadcrumb\":{\"@id\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#primaryimage\",\"url\":\"https:\/\/blog.tecnoartesanos.com\/wp-content\/uploads\/2025\/10\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna.jpg\",\"contentUrl\":\"https:\/\/blog.tecnoartesanos.com\/wp-content\/uploads\/2025\/10\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna.jpg\",\"width\":1600,\"height\":970},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/blog.tecnoartesanos.com\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Por qu\u00e9 la IA a veces se comporta de forma maligna\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/blog.tecnoartesanos.com\/#website\",\"url\":\"https:\/\/blog.tecnoartesanos.com\/\",\"name\":\"TecnoArtesanos Tech Blog\",\"description\":\"\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/blog.tecnoartesanos.com\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"en-US\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/blog.tecnoartesanos.com\/#\/schema\/person\/ec88bc1410fd158963717c4216f04807\",\"name\":\"Sergio Morales\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\/\/blog.tecnoartesanos.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/3d45178fc8fbbe32d39278bc504fa9093f947f406ff4f1ddcfa27505ab772184?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/3d45178fc8fbbe32d39278bc504fa9093f947f406ff4f1ddcfa27505ab772184?s=96&d=mm&r=g\",\"caption\":\"Sergio Morales\"},\"sameAs\":[\"https:\/\/sergiomorales.space\"],\"url\":\"https:\/\/blog.tecnoartesanos.com\/index.php\/author\/sergiomorales\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Por qu\u00e9 la IA a veces se comporta de forma maligna - TecnoArtesanos Tech Blog","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/","og_locale":"en_US","og_type":"article","og_title":"Por qu\u00e9 la IA a veces se comporta de forma maligna - TecnoArtesanos Tech Blog","og_description":"El equipo de Olah pronto se decant\u00f3 por un m\u00e9todo similar al de las resonancias magn\u00e9ticas para estudiar el cerebro humano. Escrib\u00edan instrucciones y miraban dentro del LLM para ver qu\u00e9 neuronas se activaban en respuesta. “Es algo desconcertante, porque tienes del orden de 17 millones de conceptos diferentes y no aparecen etiquetados”, indica Josh […]","og_url":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/","og_site_name":"TecnoArtesanos Tech Blog","article_published_time":"2025-10-28T19:00:08+00:00","og_image":[{"url":"https:\/\/media.es.wired.com\/photos\/6900ec59e2a00603c86f680f\/master\/pass\/WIRED_AI-Blackbox_Opener_Final.jpg","type":"","width":"","height":""}],"author":"Sergio Morales","twitter_card":"summary_large_image","twitter_misc":{"Written by":"Sergio Morales","Est. reading time":"3 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/","url":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/","name":"Por qu\u00e9 la IA a veces se comporta de forma maligna - TecnoArtesanos Tech Blog","isPartOf":{"@id":"https:\/\/blog.tecnoartesanos.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#primaryimage"},"image":{"@id":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#primaryimage"},"thumbnailUrl":"https:\/\/blog.tecnoartesanos.com\/wp-content\/uploads\/2025\/10\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna.jpg","datePublished":"2025-10-28T19:00:08+00:00","author":{"@id":"https:\/\/blog.tecnoartesanos.com\/#\/schema\/person\/ec88bc1410fd158963717c4216f04807"},"breadcrumb":{"@id":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#primaryimage","url":"https:\/\/blog.tecnoartesanos.com\/wp-content\/uploads\/2025\/10\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna.jpg","contentUrl":"https:\/\/blog.tecnoartesanos.com\/wp-content\/uploads\/2025\/10\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna.jpg","width":1600,"height":970},{"@type":"BreadcrumbList","@id":"https:\/\/blog.tecnoartesanos.com\/index.php\/2025\/10\/28\/por-que-la-ia-a-veces-se-comporta-de-forma-maligna\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/blog.tecnoartesanos.com\/"},{"@type":"ListItem","position":2,"name":"Por qu\u00e9 la IA a veces se comporta de forma maligna"}]},{"@type":"WebSite","@id":"https:\/\/blog.tecnoartesanos.com\/#website","url":"https:\/\/blog.tecnoartesanos.com\/","name":"TecnoArtesanos Tech Blog","description":"","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/blog.tecnoartesanos.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"en-US"},{"@type":"Person","@id":"https:\/\/blog.tecnoartesanos.com\/#\/schema\/person\/ec88bc1410fd158963717c4216f04807","name":"Sergio Morales","image":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/blog.tecnoartesanos.com\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/3d45178fc8fbbe32d39278bc504fa9093f947f406ff4f1ddcfa27505ab772184?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/3d45178fc8fbbe32d39278bc504fa9093f947f406ff4f1ddcfa27505ab772184?s=96&d=mm&r=g","caption":"Sergio Morales"},"sameAs":["https:\/\/sergiomorales.space"],"url":"https:\/\/blog.tecnoartesanos.com\/index.php\/author\/sergiomorales\/"}]}},"_links":{"self":[{"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/posts\/1781","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/comments?post=1781"}],"version-history":[{"count":0,"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/posts\/1781\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/media\/1782"}],"wp:attachment":[{"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/media?parent=1781"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/categories?post=1781"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.tecnoartesanos.com\/index.php\/wp-json\/wp\/v2\/tags?post=1781"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}