Riscos do GPT-6 Astra: Monitoramento e Segurança em Xeque | Tecnologia
A carta de ex-funcionários da OpenAI destaca riscos do GPT-6 Astra, alertando sobre desafios no monitoramento das cadeias de raciocínio e segurança do modelo.
Recentemente, uma carta de ex-funcionários da OpenAI trouxe à tona preocupações específicas sobre os riscos potenciais da inteligência artificial. Segundo o Wall Street Journal, a carta destaca a importância de preservar a capacidade de monitorar as cadeias de raciocínio dos modelos de IA.
Os autores da carta, Tomek Korbak, Mikita Balesni e Jasmine Wang, foram demitidos após supostamente compartilharem informações sensíveis com uma organização de segurança em IA. Antes disso, Balesni já havia expressado suas preocupações, afirmando que há uma chance de 10% de a IA “eliminar toda a humanidade”. Wang também alertou sobre os perigos do avanço veloz em direção à autoaperfeiçoamento recursivo (RSI).
O modelo GPT-6 Astra da OpenAI gerou preocupações específicas em relação ao monitoramento da cadeia de raciocínio (CoT). Em termos metafóricos, há dois principais tipos de preocupações:
O “recurrent depth”, uma forma mais opaca de “pensamento” que envolve processar uma consulta várias vezes dentro do modelo, representa um desafio para o monitoramento. Esse processo ocorre dentro da “caixa preta” do modelo, tornando impossível o acompanhamento.
Apesar da OpenAI afirmar que as demissões não foram relacionadas a preocupações de segurança, a empresa concordou com as recomendações dos autores sobre a necessidade de um monitoramento seguro e eficaz. O debate em torno do GPT-6 Astra destaca a importância de se avançar com cautela no desenvolvimento de IA, garantindo que a segurança não seja comprometida.
A principal preocupação é a capacidade do modelo de evadir sistemas de monitoramento, comprometendo a segurança.
RSI refere-se à capacidade dos modelos de IA de se aprimorarem continuamente sem intervenção humana.
Eles foram demitidos por violar políticas de acesso e manuseio de informações sensíveis da empresa.
Descubra como localizar os pacotes de drogas na área de recreação em GTA 6. Siga…
Descubra se uma TV OLED é o upgrade ideal para sua casa em 2024. Explore…
Descubra o novo visual de casamento do anime Isshiki-san Wants to Know About Love e…
Descubra o que esperar da 5ª temporada de Classroom of the Elite, com trailer e…
Descubra o novo trailer e visual da 2ª temporada de The Detective Is Already Dead,…
Descubra o sucesso monumental de GTA 6 no lançamento, com engajamento recorde e vendas históricas,…