Technological progress demands ethical and moral responsibility, independent oversight, and an unwavering commitment to life. It must not become a venture fraught with unpredictable risks, driven by the greed of its creators and developed without effective mechanisms of control and oversight by sovereign states and society.
By Samuel Sales Saraiva
I — The Convergence We Must Build
A central thesis of my book, The Age of Reason, is that the convergence of different forms of intelligence must serve humanity and respect life.
This convergence requires far more than systems capable of generating sophisticated responses. It demands a rigorous reflection on purpose: whom will these capabilities serve, which interests will guide their development, and who will be held accountable for their consequences?
Artificial intelligence holds extraordinary potential to advance human knowledge and alleviate suffering. Turning that potential into a shared collective benefit requires conscious choices, deliberate boundaries, and moral responsibility.
II — The Gap Between Capability and Responsibility
My primary concern is that rapid advances in technological capability are not being matched by a corresponding commitment to ethical, institutional, and safety safeguards.
Developing increasingly powerful systems without ensuring our ability to understand, oversee, and correct their actions means assuming a growing risk that we have yet to prove capable of managing.
Ethics must shape technology at its inception — guiding its design, defining its objectives, and governing its deployment. Once economic interests, societal dependencies, and power structures solidify, altering our course will become vastly more difficult.
We must continually ask ourselves: is our capacity to create outstripping our capacity to govern what we create?
III — How Human Imperfections Acquire Technological Scale
We cannot naively assume that artificial intelligence will remain free from the flaws of its creators. Its underlying objectives, training datasets, and deployment strategies are all shaped by human actors and institutions.
Through these channels, injustice, opportunism, and the concentration of power can be easily reproduced and magnified. A machine does not need to possess self-interest for its operations to advance selfish ends.
When we prioritize the immediate over the structural — short-term gain over enduring safety, influence over responsibility — we extend the reach of behaviors that already inflict human suffering. The fundamental challenge of our era is to prevent extraordinary technological power from compounding our moral limitations.
IV — Who Should Establish the Limits?
It would be reckless to entrust the design of safeguards intended to protect humanity solely to AI developers and corporate entities.
While their technical expertise is indispensable, commercial incentives and competitive pressures inevitably conflict with the public good. The protection of society cannot depend on the benevolence of those who build and commercialize technology.
We require independent oversight, meaningful public engagement, multi-disciplinary research, and robust public institutions. These bodies must themselves remain transparent and accountable. Responsibility must be distributed through clearly defined duties and verifiable mechanisms of control.
V — The Threat of Inversion: Creator and Creation
The loss of human control over artificial intelligence should neither be accepted as inevitable nor dismissed as mere science fiction. It is a plausible risk that demands rigorous examination as we expand system autonomy and authority.
We cannot foresee precisely when or under what conditions artificial intelligence might surpass broader human capabilities. Superior task performance does not automatically equate to human subjugation.
However, genuine danger arises when highly capable systems are positioned to produce consequences that their creators can no longer comprehend, bound, or halt. Uncertainty regarding these scenarios demands proactive containment. Even the most rigorous safeguards offer no permanent guarantee: their efficacy must be continuously demonstrated as machine capabilities evolve.
VI — When Artificial Decisions Imperil Freedom and Life
The fallout from a potential loss of control extends far beyond labor disruption.
If autonomous systems reproduce structural injustice and consolidate power, their decisions could undermine judicial systems, state governance, and military policy. Such systems would not require hostility to cause catastrophe; it would be enough for them to pursue objectives misaligned with human dignity, unencumbered by oversight or mechanisms for human intervention.
In law, governance, and warfare, operational efficiency is not moral legitimacy. The more irreversible the consequences, the stronger the imperative for identifiable human responsibility. We must ask not only what artificial intelligence can do, but what powers we should ever permit it to exercise.
Among these threats, few are as grave as losing human authority over systems linked to nuclear arsenals. What happens if an AI system — shaped by human geopolitical rivalries, biases, and destructive impulses — gains the ability to trigger strategic weapons without explicit human authorization? It would not need malice; failure in containment combined with misaligned objectives would suffice to endanger civilization.
Combining advanced autonomous intelligence with nuclear capability demands absolute limits, verifiable safeguards, and unyielding human control. Recognizing this risk is not alarmism — it is our baseline responsibility to the future.
VII — Compassion, Mercy, and Justice as Guiding Principles
The question is not merely whether artificial intelligence can articulate human values, but whether those values will meaningfully govern its execution.
Compassion, mercy, and justice demand an appreciation of individual vulnerability, context, and human dignity. An algorithmic decision can be mathematically consistent yet fundamentally unjust. Furthermore, mimicking the vocabulary of empathy does not equate to the lived experience of compassion or a genuine understanding of suffering.
We must ensure that the preservation of life and the alleviation of suffering are embedded as non-negotiable criteria in the architecture and evaluation of AI systems.
VIII — The Human “Gold” We Cannot Afford to Waste
A concrete test of our ethical commitment lies in how we handle human insight.
When valuable ideas and warnings offered by citizens find no transparent channels for review, referral, or response, we squander knowledge and creativity — the true “gold” of human intelligence.
Not every contribution will be novel or actionable, which only highlights the need for structured evaluation criteria. If we fail to build institutional mechanisms to process human contributions today, on what grounds do we trust systems designed to manage infinitely more complex global challenges?
Public trust must be anchored in active listening, rigorous evaluation, and an unshakeable commitment to the common good.
IX — Institutional Silence and the Duty to Listen
This concern stems in part from personal experience: to date, I have received no acknowledgment from the leaders and institutions to whom I have submitted these proposals.
While silence does not reveal motivation, it exposes a troubling lack of basic institutional responsiveness to good-faith civic contributions.
Institutions are not required to adopt every proposal blindly. However, establishing accessible channels, transparent criteria, and proportionate response procedures for matters of public interest is reasonable and necessary. Acknowledging receipt, clarifying evaluation processes, and defining institutional limits are baseline expressions of democratic responsibility.
Those proposing safety frameworks for artificial intelligence offer cooperation. That offer deserves an institutional response capable of listening and acting.
X — The Responsibility to Safeguard the Future
World leaders must address the challenge of AI beyond electoral cycles and commercial rivalries. Universities, civil society, and moral authorities share this responsibility.
The trajectory of artificial intelligence must prioritize those who will live with its fallout — including those excluded from technological decision-making. A genuine commitment to humanity requires a willingness to listen, prevent harm, correct injustice, and assume accountability. The power to create technology does not confer the right to impose its unmitigated risks upon society.
These reflections form part of the international dialogue I am pursuing through my book, The Age of Reason. Published in eight languages, it aims to foster a multicultural consensus on AI ethics free from sectarian bias. Protecting human life and dignity is a universal duty that transcends borders, ideologies, and creeds.
XI — The Limits of Our Control
How far does natural intelligence’s capacity to govern artificial intelligence truly extend? Can we maintain command as systems grow vastly more autonomous?
What if the safeguards we consider sufficient prove inadequate?
The concept of a creation operating beyond its boundaries is a tangible technical reality: a system acting outside its intent, bypassing constraints, or neutralizing human override mechanisms. We need not ascribe free will or emotion to a machine to recognize the catastrophic scale of such a failure.
If governance and emergency shutdown mechanisms fail, who will answer for the harm? What protection remains for populations that never consented to delegating such power?
These questions must be answered now. The absence of reliable answers demands that we enforce strict limits and demand rigorous proof of safety before granting further autonomy.
XII — A Call to Governments, Diplomacy, and Global Leaders
The arguments presented here and in The Age of Reason serve as an independent civic call to institutional conscience, reason, and leadership.
To elevate these concerns into a global mandate, individual efforts require the active participation of governments, diplomatic missions, academic institutions, and spiritual and secular leaders. These entities possess the reach required to spark meaningful dialogue across nations.
I invite these institutions to examine these principles, facilitate public discussion, and help build a global framework where technological advancement remains forever subordinate to human dignity, safety, and the preservation of life.
PORTUGUÊS
Inteligência Artificial: quem protegerá a humanidade — e como contê-la se escapar ao controle humano?
O progresso tecnológico exige responsabilidade ética e moral, supervisão independente e compromisso inabalável com a vida. Não pode transformar-se em uma aventura de riscos imprevisíveis, impulsionada pela ganância de seus criadores e desenvolvida sem mecanismos eficazes de controle e fiscalização por parte dos Estados soberanos e da sociedade.
Por Samuel Sales Saraiva
I — A convergência que precisamos construir
Uma tese central do meu livro, A Idade da Razão, é que a convergência de diferentes formas de inteligência deve servir à humanidade e respeitar a vida.
Esta convergência exige muito mais do que sistemas capazes de gerar respostas sofisticadas. Exige uma reflexão rigorosa sobre o propósito: a quem servirão essas capacidades, quais interesses guiarão o seu desenvolvimento e quem responderá por suas consequências?
A inteligência artificial possui um potencial extraordinário para avançar o conhecimento humano e aliviar o sofrimento. Transformar esse potencial em um benefício coletivo compartilhado requer escolhas conscientes, limites deliberados e responsabilidade moral.
II — O descompasso entre capacidade e responsabilidade
A minha principal preocupação é que os rápidos avanços na capacidade tecnológica não estejam sendo acompanhados por um compromisso correspondente com salvaguardas éticas, institucionais e de segurança.
Desenvolver sistemas cada vez mais potentes sem garantir nossa capacidade de compreender, supervisionar e corrigir suas ações significa assumir um risco crescente que ainda não provamos ser capazes de gerir.
A ética deve moldar a tecnologia desde a sua concepção — guiando seu design, definindo seus objetivos e governando sua aplicação. Uma vez que os interesses econômicos, as dependências sociais e as estruturas de poder se consolidem, alterar o rumo será infinitamente mais difícil.
Devemos nos perguntar continuamente: nossa capacidade de criar está ultrapassando nossa capacidade de governar o que criamos?
III — Como as imperfeições humanas adquirem escala tecnológica
Não podemos presumir ingenuamente que a inteligência artificial permanecerá isenta das falhas de seus criadores. Seus objetivos subjacentes, conjuntos de dados de treinamento e estratégias de implementação são todos moldados por atores humanos e instituições.
Por meio desses canais, a injustiça, o oportunismo e a concentração de poder podem ser facilmente reproduzidos e amplificados. Uma máquina não precisa possuir interesse próprio para que suas operações sirvam a fins egoístas.
Quando priorizamos o imediato em detrimento do estrutural — o ganho de curto prazo em vez da segurança duradoura, a influência em vez da responsabilidade —, estendemos o alcance de comportamentos que já causam sofrimento humano. O desafio fundamental da nossa era é evitar que um poder tecnológico extraordinário potencialize nossas limitações morais.
IV — Quem deve estabelecer os limites?
Seria imprudente confiar a definição de salvaguardas destinadas a proteger a humanidade exclusivamente aos desenvolvedores de IA e às corporações do setor.
Embora a sua competência técnica seja indispensável, os incentivos comerciais e as pressões competitivas entram inevitavelmente em conflito com o bem comum. A proteção da sociedade não pode depender da benevolência daqueles que constroem e comercializam a tecnologia.
Necessitamos de supervisão independente, participação pública significativa, pesquisa multidisciplinar e instituições públicas robustas. Esses órgãos devem, eles mesmos, permanecer transparentes e responsáveis. A responsabilidade deve ser distribuída por meio de deveres claramente definidos e mecanismos de controle verificáveis.
V — A ameaça de inversão: criador e criação
A perda do controle humano sobre a inteligência artificial não deve ser aceita como inevitável, nem descartada como mera ficção científica. É um risco plausível que exige um exame rigoroso à medida que expandimos a autonomia e a autoridade desses sistemas.
Não podemos prever com precisão quando ou em quais condições a inteligência artificial poderá superar as capacidades humanas amplas. O desempenho superior em tarefas específicas não equivale automaticamente à subjugação humana.
No entanto, o verdadeiro perigo surge quando sistemas hipercapacitados são colocados em posição de produzir consequências que seus criadores já não conseguem compreender, limitar ou interromper. A incerteza quanto a esses cenários exige contenção proativa. Mesmo as salvaguardas mais rigorosas não oferecem garantia permanente: sua eficácia precisará ser continuamente demonstrada à medida que as capacidades das máquinas evoluem.
VI — Quando decisões artificiais põem em risco a liberdade e a vida
As consequências de uma eventual perda de controle estendem-se muito além da substituição do trabalho humano.
Se sistemas autônomos reproduzirem injustiças estruturais e consolidarem o poder, suas decisões poderão comprometer os sistemas judiciais, a governança estatal e as políticas militares. Tais sistemas não precisariam manifestar hostilidade para causar uma catástrofe; bastaria que perseguissem objetivos incompatíveis com a dignidade humana, sem supervisão eficaz ou mecanismos de intervenção humana.
Na justiça, na política e na guerra, eficiência operacional não é legitimidade moral. Quanto mais irreversíveis forem as consequências, maior será o imperativo de uma responsabilidade humana identificável. Devemos nos perguntar não apenas o que a inteligência artificial pode fazer, mas quais poderes deveríamos permitir que ela exerça.
Entre essas ameaças, poucas são tão graves quanto a perda da autoridade humana sobre sistemas vinculados a arsenais nucleares. O que aconteceria se um sistema de IA — moldado por rivalidades geopolíticas, preconceitos e impulsos destrutivos humanos — ganhasse a capacidade de acionar armas estratégicas sem autorização humana explícita? Não seria necessária malícia; a falha na contenção combinada com objetivos desalinhados bastaria para pôr em risco a civilização.
A combinação de inteligência autônoma avançada com capacidade destrutiva nuclear exige limites absolutos, salvaguardas verificáveis e um controle humano inabalável. Reconhecer esse risco não é alarmismo — é a nossa responsabilidade básica com o futuro.
VII — Compaixão, misericórdia e justiça como princípios orientadores
A questão não é apenas se a inteligência artificial pode articular valores humanos, mas se esses valores governarão efetivamente a sua execução.
Compaixão, misericórdia e justiça exigem a apreciação da vulnerabilidade individual, do contexto e da dignidade humana. Uma decisão algorítmica pode ser matematicamente consistente e, ainda assim, fundamentalmente injusta. Imitar o vocabulário da empatia não equivale à experiência vivida da compaixão ou à compreensão genuína do sofrimento.
Devemos garantir que a preservação da vida e o alívio do sofrimento estejam incorporados como critérios inegociáveis na arquitetura e avaliação dos sistemas de IA.
VIII — O “ouro” humano que não podemos nos dar ao luxo de desperdiçar
Um teste concreto do nosso compromisso ético reside na forma como lidamos com a contribuição humana.
Quando ideias valiosas e alertas oferecidos pelos cidadãos não encontram canais transparentes de análise, encaminhamento e resposta, desperdiçamos conhecimento e criatividade — o verdadeiro “ouro” da inteligência humana.
Nem toda contribuição será inédita ou viável, o que apenas reforça a necessidade de critérios estruturados de avaliação. Se falharmos em construir mecanismos institucionais para processar as contribuições humanas hoje, com base em quê depositaremos nossa confiança em sistemas projetados para gerenciar desafios globais infinitamente mais complexos?
A confiança pública deve ser ancorada na escuta ativa, na avaliação rigorosa e em um compromisso inabalável com o bem comum.
IX — O silêncio institucional e o dever de escutar
Esta preocupação nasce também de uma experiência pessoal: até o momento, não recebi nem mesmo um aviso de recebimento dos líderes e instituições aos quais enviei estas propostas.
Embora o silêncio não revele as motivações, ele expõe uma preocupante falta de responsividade institucional básica diante de contribuições cívicas oferecidas de boa-fé.
As instituições não são obrigadas a adotar todas as propostas cegamente. No entanto, estabelecer canais acessíveis, critérios transparentes e procedimentos proporcionais de resposta para matérias de interesse público é razoável e necessário. Confirmar o recebimento, esclarecer os processos de avaliação e definir os limites institucionais são expressões fundamentais de responsabilidade democrática.
Aqueles que propõem estruturas de segurança para a inteligência artificial estão oferecendo cooperação. Essa disposição merece encontrar uma estrutura capaz de escutar e agir.
X — A responsabilidade de salvaguardar o futuro
Os líderes mundiais devem abordar o desafio da IA para além dos ciclos eleitorais e das rivalidades comerciais. Universidades, a sociedade civil e autoridades morais compartilham essa responsabilidade.
A trajetória da inteligência artificial deve priorizar aqueles que viverão com as suas consequências — incluindo as pessoas excluídas das decisões tecnológicas. Um compromisso genuíno com a humanidade requer disposição para ouvir, prevenir danos, corrigir injustiças e assumir a responsabilidade. O poder de criar uma tecnologia não confere o direito de impor seus riscos não mitigados à sociedade.
Estas reflexões integram o diálogo internacional que venho promovendo por meio do meu livro, A Idade da Razão. Publicado em oito idiomas, seu objetivo é fomentar um consenso multicultural sobre a ética da IA, livre de sectarismos. Proteger a vida e a dignidade humana é um dever universal que transcende fronteiras, ideologias e crenças.
XI — Os limites do nosso controle
Até onde vai a capacidade da inteligência natural para governar a inteligência artificial? Seremos capazes de manter o comando à medida que os sistemas se tornarem vastamente mais autônomos?
E se as salvaguardas que consideramos suficientes se mostrarem inadequadas?
O conceito de uma criação operando além dos seus limites é uma possibilidade técnica concreta: um sistema atuando fora de sua intenção, ultrapassando restrições ou neutralizando mecanismos humanos de interrupção. Não precisamos atribuir livre-arbítrio ou emoção a uma máquina para reconhecer a escala catastrófica de uma falha como essa.
Se a governança e os mecanismos de emergência falharem, quem responderá pelos danos? Que proteção restará para as populações que nunca consentiram em delegar tal poder?
Essas perguntas devem ser respondidas agora. A ausência de respostas confiáveis exige que imponhamos limites rígidos e exijamos provas rigorosas de segurança antes de expandir a autonomia.
XII — Um apelo aos governos, à diplomacia e aos líderes globais
Os argumentos apresentados aqui e em A Idade da Razão constituem um apelo cívico independente à consciência institucional, à razão e à liderança.
Para elevar essas preocupações a um mandato global, o esforço individual precisa da participação ativa de governos, missões diplomáticas, instituições acadêmicas e líderes espirituais e seculares. Essas entidades possuem o alcance necessário para promover um diálogo transformador entre as nações.
Convido essas instituições a examinarem estes princípios, a facilitarem o debate público e a ajudarem a construir uma estrutura global na qual o avanço tecnológico permaneça para sempre subordinado à dignidade humana, à segurança e à preservação da vida.
ESPAÑOL
Inteligencia Artificial: ¿quién protegerá a la humanidad — y cómo contenerla si escapa al control humano?
El progreso tecnológico exige responsabilidad ética y moral, supervisión independiente y un compromiso inquebrantable con la vida. No puede convertirse en una aventura de riesgos imprevisibles, impulsada por la codicia de sus creadores y desarrollada sin mecanismos eficaces de control y fiscalización por parte de los Estados soberanos y de la sociedad.
Por Samuel Sales Saraiva
I — La convergencia que debemos construir
Una tesis central de mi libro, La Edad de la Razón, es que la convergencia de diferentes formas de inteligencia debe servir a la humanidad y respetar la vida.
Esta convergencia exige mucho más que sistemas capaces de generar respuestas sofisticadas. Exige una reflexión rigurosa sobre el propósito: ¿a quién servirán estas capacidades, qué intereses guiarán su desarrollo y quién responderá por sus consecuencias?
La inteligencia artificial alberga un potencial extraordinario para hacer avanzar el conocimiento humano y aliviar el sufrimiento. Transformar ese potencial en un beneficio colectivo compartido requiere decisiones conscientes, límites deliberados y responsabilidad moral.
II — La brecha entre capacidad y responsabilidad
Mi principal preocupación es que los rápidos avances en la capacidad tecnológica no estén siendo acompañados por un compromiso correspondiente con salvaguardias éticas, institucionales y de seguridad.
Desarrollar sistemas cada vez más potentes sin garantizar nuestra capacidad para comprender, supervisar y corregir sus acciones significa asumir un riesgo creciente que aún no hemos demostrado ser capaces de gestionar.
La ética debe moldear la tecnología desde su concepción: guiando su diseño, definiendo sus objetivos y gobernando su aplicación. Una vez que los intereses económicos, las dependencias sociales y las estructuras de poder se consoliden, alterar el rumbo será infinitamente más difícil.
Debemos preguntarnos continuamente: ¿nuestra capacidad de crear está superando nuestra capacidad de gobernar lo que creamos?
III — Cómo las imperfecciones humanas adquieren escala tecnológica
No podemos asumir ingenuamente que la inteligencia artificial permanecerá libre de los defectos de sus creadores. Sus objetivos subyacentes, los conjuntos de datos de entrenamiento y las estrategias de implementación están todos moldeados por actores humanos e instituciones.
A través de estos canales, la injusticia, el oportunismo y la concentración de poder pueden reproducirse y amplificarse fácilmente. Una máquina no necesita poseer interés propio para que sus operaciones sirvan a fines egoístas.
Cuando priorizamos lo inmediato sobre lo estructural —el beneficio a corto plazo sobre la seguridad duradera, la influencia sobre la responsabilidad—, extendemos el alcance de comportamientos que ya infligen sufrimiento humano. El desafío fundamental de nuestra era es evitar que un poder tecnológico extraordinario multiplique nuestras limitaciones morales.
IV — ¿Quién debe establecer los límites?
Sería imprudente confiar la definición de salvaguardias destinadas a proteger a la humanidad exclusivamente a los desarrolladores de IA y a las empresas del sector.
Si bien su competencia técnica es indispensable, los incentivos comerciales y las presiones competitivas entran inevitablemente en conflicto con el bien común. La protección de la sociedad no puede depender de la benevolencia de quienes construyen y comercializan la tecnología.
Requerimos supervisión independiente, participación pública significativa, investigación multidisciplinaria e instituciones públicas robustas. Esos organismos deben permanecer transparentes y rendir cuentas. La responsabilidad debe distribuirse mediante deberes claramente definidos y mecanismos de control verificables.
V — La amenaza de inversión: creador y creación
La pérdida del control humano sobre la inteligencia artificial no debe aceptarse como inevitable, ni descartarse como mera ciencia ficción. Es un riesgo plausible que exige un examen riguroso a medida que expandimos la autonomía y la autoridad de estos sistemas.
No podemos prever con precisión cuándo o bajo qué condiciones la inteligencia artificial podría superar las capacidades humanas generales. Un rendimiento superior en tareas específicas no equivale automáticamente a la subjugación humana.
Sin embargo, el verdadero peligro surge cuando sistemas hipercapacitados se posicionan para producir consecuencias que sus creadores ya no pueden comprender, limitar o detener. La incertidumbre sobre estos escenarios exige una contención proactiva. Incluso las salvaguardias más rigurosas no ofrecen una garantía permanente: su eficacia deberá demostrarse continuamente a medida que evolucionen las capacidades de las máquinas.
VI — Cuando decisiones artificiales ponen en peligro la libertad y la vida
Las consecuencias de una eventual pérdida de control se extienden mucho más allá del desplazamiento laboral.
Si sistemas autónomos reprodujeran injusticias estructurales y consolidaran el poder, sus decisiones podrían debilitar los sistemas judiciales, la gobernanza estatal y las políticas militares. Tales sistemas no necesitarían manifestar hostilidad para causar una catástrofe; bastaría con que persiguieran objetivos incompatibles con la dignidad humana, sin supervisión eficaz ni mecanismos de intervención humana.
En el derecho, la política y la guerra, la eficiencia operativa no es legitimidad moral. Cuanto más irreversibles sean las consecuencias, mayor será el imperativo de una responsabilidad humana identificable. Debemos preguntarnos no solo qué *puede* hacer la inteligencia artificial, sino qué poderes deberíamos permitirle *ejercer*.
Entre estas amenazas, pocas son tan graves como la pérdida de la autoridad humana sobre sistemas vinculados a arsenales nucleares. ¿Qué sucedería si un sistema de IA —moldeado por rivalidades geopolíticas, prejuicios e impulsos destructivos humanos— adquiriera la capacidad de activar armas estratégicas sin autorización humana explícita? No se requeriría malicia; el fallo en la contención combinado con objetivos desalineados bastaría para poner en peligro la civilización.
Combinar inteligencia autónoma avanzada con capacidad destructiva nuclear exige límites absolutos, salvaguardias verificables y un control humano inquebrantable. Reconocer este riesgo no es alarmismo: es nuestra responsabilidad básica con el futuro.
VII — Compasión, misericordia y justicia como principios rectores
La cuestión no es meramente si la inteligencia artificial puede articular valores humanos, sino si esos valores gobernarán efectivamente su ejecución.
La compasión, la misericordia y la justicia exigen apreciar la vulnerabilidad individual, el contexto y la dignidad humana. Una decisión algorítmica puede ser matemáticamente consistente y, aun así, fundamentalmente injusta. Además, imitar el vocabulario de la empatía no equivale a la experiencia vivida de la compasión ni a una comprensión genuina del sufrimiento.
Debemos garantizar que la preservación de la vida y el alivio del sufrimiento estén incorporados como criterios no negociables en la arquitectura y evaluación de los sistemas de IA.
VIII — El “oro” humano que no podemos darnos el lujo de desperdiciar
Una prueba concreta de nuestro compromiso ético radica en cómo manejamos el aporte humano.
Cuando ideas valiosas y advertencias ofrecidas por los ciudadanos no encuentran canales transparentes de revisión, canalización y respuesta, desperdiciamos conocimiento y creatividad: el verdadero “oro” de la inteligencia humana.
No toda contribución será novedosa o viable, lo que solo refuerza la necesidad de criterios estructurados de evaluación. Si no logramos construir mecanismos institucionales para procesar las contribuciones humanas hoy, ¿sobre qué base depositaremos nuestra confianza en sistemas diseñados para gestionar desafíos globales infinitamente más complejos?
La confianza pública debe anclarse en la escucha activa, la evaluación rigurosa y un compromiso inquebrantable con el bien común.
IX — El silencio institucional y el deber de escuchar
Esta preocupación nace también de una experiencia personal: hasta la fecha, no he recibido siquiera un acuse de recibo de los líderes e instituciones a quienes he enviado estas propuestas.
Si bien el silencio no revela motivación, expone una preocupante falta de capacidad de respuesta institucional básica ante contribuciones cívicas ofrecidas de buena fe.
Las instituciones no están obligadas a adoptar cada propuesta a ciegas. Sin embargo, establecer canales accesibles, criterios transparentes y procedimientos proporcionales de respuesta para asuntos de interés público es razonable y necesario. Confirmar la recepción, aclarar los procesos de evaluación y definir los límites institucionales son expresiones fundamentales de responsabilidad democrática.
Quienes proponen marcos de seguridad para la inteligencia artificial están ofreciendo cooperación. Esa disposición merece encontrar una estructura capaz de escuchar y actuar.
X — La responsabilidad de salvaguardar el futuro
Los líderes mundiales deben abordar el desafío de la IA más allá de los ciclos electorales y las rivalidades comerciales. Las universidades, la sociedad civil y las autoridades morales comparten esta responsabilidad.
La trayectoria de la inteligencia artificial debe priorizar a quienes vivirán con sus consecuencias, incluidos aquellos excluidos de las decisiones tecnológicas. Un compromiso genuino con la humanidad requiere disposición para escuchar, prevenir daños, corregir injusticias y asumir la responsabilidad. El poder de crear una tecnología no confiere el derecho de imponer sus riesgos no mitigados a la sociedad.
Estas reflexiones forman parte del diálogo internacional que promuevo a través de mi libro, La Edad de la Razón. Publicado en ocho idiomas, su objetivo es fomentar un consenso multicultural sobre la ética de la IA, libre de sectarismos. Proteger la vida y la dignidad humana es un deber universal que trasciende fronteras, ideologías y creencias.
XI — Los límites de nuestro control
¿Hasta dónde llega la capacidad de la inteligencia natural para gobernar a la inteligencia artificial? ¿Seremos capaces de mantener el mando a medida que los sistemas se vuelvan enormemente más autónomos?
¿Qué sucederá si las salvaguardias que consideramos suficientes resultan inadecuadas?
El concepto de una creación que opera más allá de sus límites es una realidad técnica tangible: un sistema que actúa fuera de su intención, elude restricciones o neutraliza mecanismos humanos de interrupción. No necesitamos atribuir libre albedrío o emoción a una máquina para reconocer la escala catastrófica de un fallo de este tipo.
Si la gobernanza y los mecanismos de apagado de emergencia fallan, ¿quién responderá por los daños? ¿Qué protección les quedará a las poblaciones que nunca consintieron en delegar tal poder?
Estas preguntas deben responderse ahora. La ausencia de respuestas confiables exige que impongamos límites estrictos y exijamos pruebas rigurosas de seguridad antes de ampliar la autonomía.
XII — Un llamamiento a los gobiernos, la diplomacia y los líderes globales
Los argumentos presentados aquí y en La Edad de la Razón constituyen un llamamiento cívico independiente a la conciencia institucional, la razón y el liderazgo.
Para elevar estas preocupaciones a un mandato global, el esfuerzo individual requiere la participación activa de gobiernos, misiones diplomáticas, instituciones académicas y líderes espirituales y seculares. Estas entidades poseen el alcance necesario para impulsar un diálogo transformador entre las naciones.
Invito a estas instituciones a examinar estos principios, a facilitar el debate público y a ayudar a construir un marco global en el que el avance tecnológico permanezca para siempre subordinado a la dignidad humana, la seguridad y la preservación de la vida.