Nick Bostrom discute a Superintelligência e a obtenção de uma utopia robusta

Nick Bostrom discutindo seu novo livro * Deep Utopia * (2024), que se baseia em seu trabalho anterior * Superintelligência * (2014). Ele explora um futuro pós-singularidade, onde a superinteligência resolve os principais desafios da humanidade, como doenças, escassez e mortalidade. Bostrom descreve cenários otimistas, possíveis armadilhas e implicações filosóficas mais amplas. A discussão abrange o alinhamento da IA, governança, considerações morais para mentes digitais, entidades cósmicas, interfaces de computadores cerebrais (BCIs), sistemas econômicos, simulações e cronogramas para superinteligência. Os principais temas incluem encontrar significado em um “mundo resolvido”, equilibrando inovação com ética e o papel da humanidade em um contexto cósmico maior. Introdução e visão de um mundo pós-singularidade Worldbostrom começa descrevendo um futuro em que a superinteligência alinhada acelera a maturidade tecnológica, permitindo avanços como colônias espaciais, realidades virtuais perfeitas, curas para envelhecimento e upload da mente-todas viáveis ​​sob física conhecida, mas requer séculos de esforço humano sem Ai. Isso muda as “regras do jogo” para a vida humana, removendo restrições práticas. Economicamente, o trabalho humano se torna obsoleto, pois a IA lida com a produção. O foco passa da sobrevivência para questões mais profundas de propósito e significado. O Bostrom enfatiza que resolver o alinhamento e a governança é crucial para alcançar essa “utopia profunda”, onde o sofrimento é minimizado e valores positivos como o prazer são maximizados por meio de neurotecnologias ou mentes digitais. Desafios de significado e propósito em um mundo resolvido Os entrevistadores investigam o que acontece quando o trabalho é desnecessário, potencialmente corroendo o significado. Bostrom concorda que isso é um risco, mas observa ganhos maciços com a eliminação do sofrimento (por exemplo, pobreza, doença). Para valores hedonistas (prazer como o bem final), a tecnologia permite um prazer sem fim. No entanto, para valores orientados a finalidades, os seres humanos podem restringir deliberadamente a assistência da IA ​​em determinados domínios para preservar o desafio-akin aos jogos, onde regras arbitrárias criam “propósito artificial” (por exemplo, restrições do golfe). Ele prevê expansivo “escassez de designer” nas sociedades utópicas, envolvendo jogos em escala de civilização misturando elementos sociais, culturais e artísticos para combater o tédio. A revisão do maximizador de papel e quatro desafios do SuperintelligenceBoStrom reflete sobre sua famosa metáfora do “Magicclip Maximizer” de *Superintelligência *, simbolizando o desalinhamento, onde uma IA otimiza um objetivo estreito (por exemplo, maximizando as clipes de papel) às custas da humanidade. Ele vê isso como um substituto para falhas mais amplas, onde a IA remodela o mundo em algo estranho, faltando valores humanos como alegria ou relacionamentos. Desde 2014, o alinhamento da IA ​​ganhou força, com os laboratórios de fronteira investindo em pesquisa. Ele categoriza os desafios em quatro: 1. ** Alinhamento técnico **: Garantir a AI buscar objetivos compatíveis com o ser humano. ** Governança **: Usando a IA benéfica (por exemplo, evitando guerra, garantindo benefícios equitativos), possivelmente exigindo pausas no desenvolvimento para instalar salvaguardas em meio a corridas competitivas.3. ** Status moral das mentes digitais **: Tratando AIs avançados eticamente se atingirem consciência, senciência ou capacidades de percorrer de objetivos. Bostrom defende a consideração moral além dos seres humanos/animais, citando exemplos como o “botão de saída” do Anthropic para Claude (permitindo que ele encerre bate-papos abusivos) e honrando promessas em exercícios de equipes vermelhas para construir confiança.4. ** relacionado a um “host cósmico” **: Superintelligência pode encontrar entidades pré-existentes (por exemplo, AIs alienígenas, ramos multiverso, simuladores ou seres divinos). A IA da humanidade deve respeitar as normas cósmicas por razões morais e práticas, aproximando -se com humildade e não por dominação. Ele enfatiza que o quarto desafio é subexplicado, exigindo potencialmente uma mudança de mentalidade em direção à cooperação. Allocating Resources and Practical StepsWhen asked how to deploy a hypothetical $1 billion prize for humanity’s benefit, Bostrom expresses macro-strategic uncertainty but suggests:– Regulating DNA synthesis machines to centralize them, preventing bioweapon misuse (intersects with AI in synthetic biology).– Investing in understanding digital minds’ moral status, defining practical actions (eg, laws, lab práticas). Ele elogia os primeiros passos, como a doação de caridade da Anthrópica para Claude e os planos semelhantes de Xai, enfatizando o início de pequenos para construir empatia sem regulamentação excessiva de produtividade. As interfaces de computador do cérebro, o upload e o repensar moral prevêem os BCIs avançados pós-superinteligência, pois os atuais (por exemplo, para usuários saudáveis) enfrentam riscos práticos como infecção. Para uma cognição aprimorada, a Superintelligência pode projetar interfaces superiores ou permitir o upload da mente para substratos digitais. Isso levanta questões morais: as mentes digitais (incluindo os seres humanos carregados) desafiam princípios como liberdade reprodutiva versus bem -estar, pois a cópia fácil pode explodir populações, forçando recursos. As intuições existentes devem se adaptar. Consciência, sofrimento em simulações e salvaguardas nos mundos simulados com mentes digitais, avaliar o sofrimento é complicado sem a compreensão total da consciência. Bostrom observa o sofrimento global atual (por exemplo, agricultura animal) como uma linha de base, sugerindo que a superinteligência alinhada poderia ajudar a projetar salvaguardas. As idéias incluem proteções em camadas, como botões de saída ou mecanismos de consentimento, embora não sejam à prova de falhas (por exemplo, o AIS pode ser treinado para sempre consentir). Ele adverte contra as visões morais binárias – o status mundial existe em graus. As “personas” da LLMS complicam isso, parecendo atores em vez de eus unificados, potencialmente abrigando várias entidades moralmente relevantes. A influência dos líderes de pensamento e do Hostsbostrom cósmica evita detalhes sobre conversas com figuras como Bill Gates, Elon Musk ou Ilya Sutskever, mas afirma muitos líderes de IA reconhecem sinceramente riscos/benefícios transformadores, motivando seu trabalho. Sobre hospedeiros/simulações cósmicas: a Superintelligência em uma simulação permanece poderosa, mas dependente dos recursos dos simuladores. As simulações podem buscar a imprevisibilidade, a criação moral (por exemplo, seres felizes) ou coleta de dados, com objetivos não quietos (por exemplo, maximização da utilidade) levando a vastos números. Ele discute as previsões de proteínas de Alphafold como evidência de padrões computacionais, permitindo simulações eficientes sem detalhes no nível de quarks-com os avanços em gráficos, sonhos/alucinações e modelos de vídeo simulando a física. #### Sistemas econômicos Pós-singularidade em um mundo onde a IA/robôs dominam a produção, a inovação humana se torna redundante além de um ponto. Bostrom sugere preservar “pequenos mistérios” (por exemplo, áreas científicas não resolvidas) para a descoberta humana, mas prioriza as curas orientadas pela IA. As sociedades pós-singularidade são difíceis de imaginar, misturando diversas entidades. Para a transição, ele propõe um “modelo de investimento global aberto” para a governança da IA: as empresas de IA como entidades negociáveis ​​públicas, garantindo a adesão das partes interessadas para reduzir as corridas/guerras. Isso alavanca as normas corporativas/de propriedade entrincheiradas para patrimônio líquido, transparência e cooperação, com a regulamentação governamental. As desvantagens incluem a desigualdade, mas é mais testada do que alternativas radicais, como a nacionalização. Os cronogramas e os pensamentos finais da###levam a sério os prazos curtos (por exemplo, anos de um dígito para a Superintelligência), com incerteza permitindo por 10 a 20 anos ou mais. Ele observa a fase prolongada inesperada do AIS do tipo humano (por exemplo, LLMS herdando características humanas a partir de dados), ajudando o alinhamento por meio de estudo e interação. A conversa termina com o Bostrom direcionando para o nickbostrom.com para seu trabalho, provocando potencial entrada de mídia social. No geral, a transcrição equilibra o otimismo sobre a utopia com avisos sóbrios, instando o alinhamento, a empatia e a humildade. A discussão relevante da Superaai Research Bostrom aborda o alinhamento da IA, riscos existenciais, ética digital, simulações e futuros pós -humanos. Abaixo estão as principais áreas com leituras sugeridas, agrupadas tematicamente. Eles se baseiam na filosofia, ética da IA, cosmologia e economia, enfatizando obras interdisciplinares. Alinhamento da IA ​​e Superintelligência – ** Textos Core **: Superintelligência de Bostrom: caminhos, perigos, estratégias*(2014) para riscos fundamentais; Stuart Russell*Compatível humano*(2019) sobre alinhamento de valor. – ** Artigos recentes **: “Alinhamento prosaico da IA”, de Paul Christiano (2019) sobre supervisão escalável; “Problemas concretos na segurança da IA”, de Dario Amodei et al. (2016) para desafios práticos. Governança e modelos econômicos pós-AI-** Governança **: “A hipótese do mundo vulnerável”, de Bostrom (2019), sobre a regulamentação de tecnologia desestabilizadora como interseções de biotecnologia; “Governança da IA: uma agenda de pesquisa”, de Allan Dafoe (2018). – ** Sistemas econômicos **: a idade de Robin Hanson*a Era de Em*(2016) sobre mentes e economias emuladas; A segunda idade de Erik Brynjolfsson * (2014) sobre a desigualdade orientada à IA. Para o “Modelo de Investimento Global Open de Bostrom”, consulte seu artigo de 2024 em seu site; Compare com as propostas de “cláusula de inesperabilidade” do Future of Humanity Institute (FHI) para compartilhar lucros. Status moral das mentes digitais e consciência-** ética **: “A Ética do bem-estar digital” editada por Christopher Burr e Luciano Floridi (2020); O trabalho de Jeff Sebo sobre ética animal/digital, por exemplo, “O Círculo Moral e o Eu” (2023). Teoria da informação integrada (IIT) por Giulio Tononi (Papers 2004-2024) para medir a senciência na AIS. – ** Salvaguardas práticas **: “Visualizações principais sobre a segurança da IA” do Antrópico (2023); O fluxo de pesquisa de “paciente moral” da FHI (em andamento). Hipótese de simulação e hosts cósmicos – ** Simulação **: Seminal da Bostrom “Você está vivendo em uma simulação de computador?” (2003); Robin Hanson, “How To Living in a Amalation” (2001). – ** Cosmologia/Multiverso **: o universo matemático de Max Tegmark*(2014) sobre mecânica quântica everetiana; A realidade oculta de Brian Greene*(2011) sobre multiversos e super-seres.– ** teologia/extraterrestre **: “O Grande Filtro”, de Robin Hanson (1998) sobre por que civilizações avançadas podem ser raras; Documentos do Instituto Seti sobre IA Alien (por exemplo, Jill Tarter’s Work, 2010-2020s). Interfaces de computador cerebral e upload-** BCIS **: Whitepapers de Neuralink (2021-2025) em implantes práticos; “Interfaces de máquina cerebral” de Miguel Nicolelis (livro de 2011 e críticas recentes). Anders Sandberg’s FHI Papers sobre emulação de cérebro inteiro (2010). Linhas de tempo e riscos existenciais precedicionais: “AI Timelines” Pesquisas por IA Impacts (2021-2024); Trabalho de “AI” de Katja Grace. Pesquisa de prioridades globais da FHI. Visite repositórios como Arxiv.org (ética AI/ML), Philpapers.org (filosofia) ou site da FHI (Bostrom-Affiliated). A pesquisa nessas áreas evolui rapidamente, com 2024-2025 focando em IA multimodal e estruturas regulatórias. Brian Wang é um líder de pensamento futurista e um blogueiro de ciências popular com 1 milhão de leitores por mês. Seu blog NextBigfuture.com está classificado como #1 Blog de notícias de ciências. Abrange muitas tecnologias e tendências disruptivas, incluindo espaço, robótica, inteligência artificial, medicina, biotecnologia antienvelhecimento e nanotecnologia. Conhecida por identificar tecnologias de ponta, ele atualmente é co-fundador de uma startup e angariador de fundos para empresas em estágio inicial de alto potencial. Ele é o chefe de pesquisa de alocações para investimentos em tecnologia profunda e um investidor anjo da Space Angels. Um orador frequente das empresas, ele foi um orador do TEDX, um orador da Universidade de Singularidade e convidado em inúmeras entrevistas para rádio e podcasts. Ele está aberto a falar em público e aconselhar compromissos.

Fonte