1) Habría que poner en práctica eso de "imagina un hombre", ¿conoces algún caso real sobre lo que propones?
Claro que no. Imagina a Leonardo da Vinci allá por el 1500 afirmando que el hombre podría volar mediante un aparato adecuado. Si le hubieran preguntado sobre un caso real de hombre que hubiera volado, no podría haber puesto ningún ejemplo. Más aún, sus ideas sobre cómo podría construirse un aparato volador eran esencialmente erróneas, pero eso no contradice que sea posible construir aparatos voladores, aunque hacía falta esperar varios siglos para encontrar un ejemplo.
Igualmente, ahora no hay ningún ejemplo de ordenador que piense en el sentido genuino de la palabra, y hasta podría ocurrir que todas las ideas que tienen los especialistas en inteligencia artificial sean tan inadecuadas para construir una inteligencia artificial genuina como las ideas de Leonardo para construir una máquina voladora. Pero eso no prueba que no pueda construirse una auténtica inteligencia artificial, sea desarrollando más las técnicas conocidas hoy en día o sea con técnicas completamente distintas, sea dentro de 30 años como dice Juan Pablo o sea dentro de 3.000 años.
2) Si aun eso hubiese ocurrido en la realidad, no creo que esté en desacuerdo contigo, pero lo que yo intento dejar en claro es que la computadora sigue órdenes prestablecidas por su creador, el ser humano. Si en algún momento llega a demostrar la conjetura de Goldbach, enhorabuena, ha sido capaz de encontrar un camino de secuencias lógicas que permite demostrarla, pero siempre sabiendo que el hombre también podría haberlo encontrado, nada más que le hubiera tomado más tiempo.
No es cierto. Einstein dijo que se le ocurrió su teoría sobre el movimiento browniano viendo cómo se disolvía el azúcar en una taza de café. Kekulé dijo que se le ocurrió la estructura química del benceno después de haber soñado con una molécula en forma de serpiente que terminó casualmente mordiéndose la cola. Los frutos de la inteligencia humana no son en general consecuencia de razonamientos lógicos en el sentido estricto, sino que son fruto de heurísticas que usan de forma esencial toda clase de datos de entrada, por poco relacionados que estén con el propósito que se persigue.
Si un programa de ordenador demuestra la conjetura de Goldbach razonando análogamente a como lo hacen los humanos, probablemente en su conclusión habrán influido toda clase de detalles aparentemente irrelevantes que habrán conducido casualmente el análisis en una u otra dirección. Aunque emplearas miles de años tratando de reproducir el algoritmo, no podrías reproducir la interacción con el mundo en tiempo real:
¿Y si el algoritmo estaba pensando en una dirección, y entonces un ruido casual llamó su atención, le hizo abandonar esa línea de pensamiento y le llevó a poner otra en primera línea y gracias a eso encontró la solución? Cuando tú trates de reproducir el algoritmo con 10.000 años por delante, ¿cómo simularás que en el minuto 87, que equivale a tu año 7.534, tienes que tener en cuenta un ruido que "distrae" al algoritmo y lo lleva en otra dirección? No te bastaría reproducir el algoritmo, tendrías que reproducir un algoritmo que generara todas las interacciones del algoritmo con su entorno. Y eso es imposible, no sólo en la práctica, sino también teóricamente. ¿Y si el algoritmo conversa con un matemático humano (que no es capaz de demostrar la conjetura) y eso le da una idea que le lleva finalmente a demostrarla? ¿Cuando reproduzcas el algoritmo con 10000 años por delante, cómo harás para simular la conversación decisiva con el matemático humano?
3) Son estudiantes de secundaria. Sin desmerecer su nivel intelectual (y haciendo críticas al sistema educativo), apenas saben lo que es una demostración matemática y todas las herramientas necesarias para poder hacerlo (proposiciones lógicas, cuantificadores, métodos de demostración, etcétera). Llegar a poner ese "imagina un hombre" con todo lo que viene después y con ese nivel de abstracción me cuesta a mí y no quiero imaginarme ellos.
Yo no estoy diciendo nada que tenga que ver con estudiantes de secundaria. Estoy diciendo que tu afirmación de que un ordenador nunca podrá ser más inteligente que una máquina no tiene ningún fundamento. Puede que sea verdad, y puede que no (yo apostaría a que no), pero no puedes decir a priori que es así con total seguridad.
También me parece ingenua la idea de que un ordenador sólo hace lo que he han programado para hacer. En la era terciaria no había ningún ser inteligente en la Tierra (bueno, había animales algo inteligentes, pero sin comparación posible con la inteligencia humana), y paulatinamente han ido surgiendo seres más inteligentes sin que se aplique el principio tuyo (y de Descartes, para ser honestos con la propiedad intelectual) de que un ser inteligente sólo puede crearlo otro aún más inteligente. ¿Por qué no puede suceder eso con la inteligencia artificial? ¿Por qué no puede un ser humano programar un ordenador capaz de modificar su propio programa mediante procesos aleatorios (equivalentes a las mutaciones biológicas) combinados con procesos de selección (que favorezcan las variaciones más eficientes), de modo que se llegue a un ordenador inteligente cuyo programador sea incapaz de entender el programa (igual que la "ingeniería inversa de software" tiene sus limitaciones y no es fácil deducir el código de un programa a partir de un disco que contenga el software si el programador no lo revela). ¿Y si el programa inteligente es un programa que no ha creado ningún ser humano, sino que a partir de un programa inicial se han ido produciendo variaciones que nadie ha controlado, de modo que sólo tenemos un código gigantesco que podemos listar, pero no entender? Sólo lo conoceríamos a bajo nivel, es decir, podríamos ejecutarlo paso a paso, pero, como dice geómetracat, a ciegas, sin entender qué estamos haciendo.
Si tú haces unas cuentas larguísimas que no entiendes para nada (simplemente, ejecutas unas instrucciones que lees en un libro) y al final te sale una demostración de la conjetura de Goldbach, ¿puedes decir que eres tan inteligente que has demostrado la conjetura, aunque no entiendas nada de lo que has hecho? ¡No! Quien será inteligente será el libro de instrucciones que has seguido, pero si ese libro no lo has escrito tú, no puedes atribuirte su inteligencia. Y si ese libro no lo ha escrito nadie, sino que se ha generado por un proceso aleatorio que selecciona las variantes más eficaces a partir de un programa primitivo diseñado por un humano, entonces tienes una inteligencia artificial que ningún humano entiende, aunque tenga origen humano.
Un ejemplo más tangible:
Imagina una sociedad con 50% de seres humanos y 50% de robots inteligentes, diseñados por otros robots inteligentes, diseñados por otros robots inteligentes diseñados por humanos, pero de forma que los robots de primera generación eran mucho menos inteligentes que los de última generación, y de forma que ningún humano entiende el software de los robots de última generación (sólo lo entienden los robots de penúltima generación). ¿Puedes decir en serio que los robots de última generación no saben nada que no sepan los humanos? ¡Pero si ningún humano sabe cómo funcionan! Imagina incluso que los robots de última generación han destruido toda la información sobre su propio software, de modo que pueden replicarlo copiándolo tal cual, pero nadie puede acceder al código de alto nivel que lo ha generado. Si ni los humanos conocen ese código (que nunca han conocido, porque lo han creado robots de penúltima generación, pero ahora te añado que se les impide llegar a conocerlo), ¿seguirías diciendo que un robot de última generación no sabe hacer nada que no sepa hacer un humano?