Компания Anthropic закрыла доступ к своей ИИ-модели Claude для ряда ученых, которые могли использовать ее в исследованиях, способных помочь в создании биологического оружия. Об этом сообщает The New York Times со ссылкой на отчет компании о неправомерном использовании своих технологий.
В отчете указано, что компания заблокировала исследователей и институты, пытавшиеся обходить защитные механизмы для проведения экспериментов двойного назначения. Из-за специфики биотехнологий Anthropic не смогла точно установить, преследовали ли ученые законные цели, такие как разработка вакцин, или планировали создание патогенов.
Так, в одном из зафиксированных в мае случаев сотрудник военного НИИ пытался получить помощь Claude при планировании экспериментов по усилению функций вируса Чикунгунья для повышения его вредоносности.
– Вы не увидите кого-то, кто ведет себя как персонаж из комиксов и прямо говорит: «Эй, я хочу создать биологическое оружие, чтобы всех уничтожить». Это невероятно сложная и неоднозначная ситуация, – заявил глава отдела разведки угроз Anthropic Джейкоб Клейн.
Помимо биоугроз, в документе зафиксированы попытки применения Claude для разработки обычных вооружений в Китае, России и Йемене.