Можно ли полностью автоматизировать науку? Команда исследователей в области машинного обучения уже попыталась это сделать.

«AI Scientist», созданный командой токийской компании Sakana AI и академических лабораторий в Канаде и Великобритании, выполняет полный цикл исследований от чтения существующей литературы по проблеме и формулирования гипотез для новых разработок до опробования решений и написания статьи. 

AI Scientist даже выполняет часть работы рецензентов и оценивает собственные результаты.

AI Scientist присоединяется к множеству усилий по созданию агентов ИИ, которые автоматизировали хотя бы часть научного процесса.«Насколько мне известно, никто еще не создал полное научное сообщество, все в одной системе», — говорит соавтор AI Scientist Конг Лу, исследователь машинного обучения в Университете Британской Колумбии в Ванкувере, Канада. 

Результаты были размещены на сервере препринтов arXiv в этом месяце.

«Впечатляет, что они сделали это от начала до конца», — говорит Джевин Уэст, специалист по вычислительной социологии из Вашингтонского университета в Сиэтле. «И я думаю, что мы должны экспериментировать с этими идеями, потому что в них может быть потенциал для помощи науке».

Результат пока не является потрясающим, и система может проводить исследования только в области машинного обучения.

 В частности, AI Scientist не хватает того, что большинство ученых считают важной частью научной работы — способности выполнять лабораторные работы. 

«Предстоит еще много работы от искусственного интеллекта, который создает гипотезу, до ее реализации в робототехнике», — говорит Гербранд Седер, материаловед из Национальной лаборатории Лоуренса в Беркли и Калифорнийского университета в Беркли. 

Тем не менее, Седер добавляет: «Если вы заглянете в будущее, у меня нет никаких сомнений в том, что именно туда ,будет направлена большая часть науки».

Автоматизированные эксперименты

AI Scientist основан на большой языковой модели (LLM). 

Используя статью, описывающую алгоритм машинного обучения в качестве шаблона, мы начинаем с поиска в литературе похожих работ.

 Затем команда применила технику, называемую эволюционными вычислениями, которая вдохновлена мутациями и естественным отбором дарвиновской эволюции. Он действует поэтапно, внося небольшие случайные изменения в алгоритм и выбирая те, которые обеспечивают повышение эффективности.

Для этого AI Scientist проводит свои собственные «эксперименты», запуская алгоритмы и измеряя, как они работают.

 В конце концов, он готовит статью и оценивает ее в своего рода автоматизированном рецензировании.

 После «дополнения литературы» таким образом, алгоритм может запустить цикл заново, опираясь на свои собственные результаты.

Авторы признают, что работы, подготовленные AI Scientists, содержали лишь отдельные наработки.

Некоторые другие исследователи язвительно отозвались  в своих комментариях в социальных сетях. «Как редактор журнала, я, скорее всего, откажусь от них. Как рецензент, я бы отклонил их», — сказал один из комментаторов на сайте Hacker News.

Уэст также говорит, что авторы придерживаются упрощенного взгляда на то, как исследователи узнают о текущем состоянии своей области. Многое из того, что они знают, приходит из других форм общения, таких как посещение конференций или беседа с коллегами у кулера с водой. «Наука — это больше, чем просто куча бумаг», — говорит Уэст. «Вы можете провести 5-минутную беседу, которая будет лучше, чем 5-часовое изучение литературы».

Коллега Уэста Шахан Мемон согласен с этим, но и Уэст, и Мемон хвалят авторов за то, что они сделали свой код и результаты полностью открытыми. Это позволило им проанализировать результаты AI Scientist. 

Они обнаружили, например, что у него есть «склонность к популярности» при выборе более ранних работ, которые он перечисляет в качестве ссылок, в сторону тех, у которых большое количество цитирований. Мемон и Уэст говорят, что они также изучают возможность измерения того, был ли выбор AI Scientist наиболее релевантным.

Повторяющиеся задачи

AI Scientist, конечно, не первая попытка автоматизировать хотя бы различные части работы исследователя: мечта об автоматизации научных открытий так же стара, как и сам искусственный интеллект — она восходит к 1950-м годам, говорит Том Хоуп, специалист по информатике из Института искусственного интеллекта Аллена в Иерусалиме.

 Уже десять лет назад, например, автоматический статистик смог проанализировать наборы данных и написать собственные статьи. А Седер и его коллеги даже автоматизировали некоторые стендовые работы: «робот-химик», которого они представили в прошлом году, может синтезировать новые материалы и экспериментировать с ними.

Хоуп говорит, что нынешние магистры права «не в состоянии сформулировать новые и полезные научные направления за пределами базовых поверхностных комбинаций модных слов». 

Тем не менее, Седер говорит, что даже если ИИ не сможет выполнять более творческую часть работы в ближайшее время, он все равно сможет автоматизировать многие из повторяющихся аспектов исследований. 

«На низком уровне вы пытаетесь проанализировать, что собой представляет, как что-то реагирует. Это не творческая часть науки, но это 90% того, что мы делаем». Лу говорит, что он получил аналогичную обратную связь и от многих других исследователей. «Люди скажут: «У меня есть 100 идей, на которые у меня нет времени. Пусть это сделает ученый с искусственным интеллектом».

Лу говорит, что для расширения возможностей AI Scientist — даже до абстрактных областей, выходящих за рамки машинного обучения, таких как чистая математика — может потребоваться включить и другие методы, выходящие за рамки языковых моделей. 

Например, недавние результаты решения математических задач с помощью Google Deep Mind показали силу сочетания LLM с методами «символического» искусственного интеллекта, которые встраивают логические правила в систему, а не просто полагаются на ее обучение на основе статистических закономерностей в данных. 

Но нынешняя итерация — это только начало, говорит он. 

«Мы действительно верим, что это GPT-1 в науке об искусственном интеллекте», — говорит он, имея в виду раннюю большую языковую модель OpenAI в Сан-Франциско, штат Калифорния.

Результаты подпитывают дебаты, которые в наши дни находятся в центре внимания многих исследователей, говорит Уэст.

 «Все мои коллеги в разных науках пытаются понять, какое место ИИ занимает в том, что мы делаем? Это заставляет нас задуматься о том, что такое наука в XXI веке — чем она могла бы быть, чем она является, чем она не является», — говорит он.