Искусственный интеллект предсказывает научные результаты точнее экспертов

Искусственный интеллект предсказывает научные результаты лучше экспертов

Исследования, проведенные командой ученых из Университетского колледжа Лондона (UCL), показали, что крупные языковые модели (LLM) могут предсказывать результаты нейронаучных исследований с большей точностью, чем эксперты в этой области. Опубликованные в журнале Nature Human Behaviour результаты показывают, что такие модели, обученные на обширных массивах текстов, способны выявлять закономерности в научной литературе, что позволяет им делать прогнозы с "сверхчеловеческой" точностью. В рамках эксперимента исследователи использовали инструмент BrainBench для оценки прогнозирующих возможностей LLM, сравнив их результаты с оценками 171 нейронаучного эксперта. Выяснилось, что LLM в среднем продемонстрировали 81% точности, тогда как эксперты — только 63%. Это открытие предполагает, что искусственный интеллект может стать мощным инструментом для ускорения научных исследований, помогая ученым эффективно разрабатывать эксперименты и достигать значительных результатов.

Потенциал для ускорения научных исследований

Доктор Кен Луо из UCL подчеркивает, что с развитием генеративных моделей искусственного интеллекта, таких как ChatGPT, исследования сходятся на признании их способности отвечать на вопросы и резюмировать информацию. Однако команда ученых пошла дальше, исследуя потенциал LLM в синтезе знаний и прогнозировании будущих результатов. Научный прогресс традиционно основан на методе проб и ошибок, что требует значительных временных и ресурсных затрат на каждый эксперимент. В этом контексте AI может служить мощным инструментом, позволяя выявлять паттерны и закономерности в обширных научных текстах и осуществлять предсказания результатов экспериментов. Такие возможности могут существенно ускорить процесс научного исследования и повысить его эффективность, позволяя учёным сосредоточиться на наиболее важной информацию и принимать более обоснованные решения в дизайне экспериментов.

Инструмент для оценки предсказательной способности LLM

Международная команда исследователей разработала инструмент под названием BrainBench, который предназначен для оценки предсказательной способности больших языковых моделей (LLM) в области нейронауки. BrainBench включает пары аннотаций нейронаучных исследований, где одна версия содержит оригинальные результаты, а другая — модифицированные, созданные экспертами и представленные как правдоподобные, но неверные. Этот метод позволяет исследователям проверить, сможет ли LLM точно определить, какая из аннотаций соответствует реальному исследованию. В исследовании приняли участие 15 различных LLM и 171 нейробиолог, которые прошли проверку знаний, чтобы установить, кто из них — человек или машина — сможет более точно определить подлинное исследование. Результаты показали, что все протестированные LLM продемонстрировали более высокую точность по сравнению с экспертами, что подчеркивает их потенциал как мощного инструмента в научном исследовании.

Результаты исследования

Все протестированные большие языковые модели (LLM) продемонстрировали значительно более высокую точность в прогнозировании результатов нейробиологических исследований по сравнению с экспертами в этой области. Средний показатель точности LLM составил 81%, в то время как среди нейробиологов он не превысил 63%. Даже среди наиболее квалифицированных специалистов, прошедших отбор, точность составила лишь 66%. Это свидетельствует о том, что LLM не только выдают ответы, но и уверенно определяют истинные результаты исследований, основываясь на анализе большого объема научной литературы. Исследователи также отметили, что когда LLM демонстрирует высокую степень уверенности в своих оценках, вероятность их правильного выбора увеличивается. Эти результаты подчеркивают потенциал для взаимодействия экспертов с моделями искусственного интеллекта в процессе разработки научных экспериментов, что может существенно ускорить прогресс в области науки.

Разработка специализированного LLM для нейронауки

Исследователи адаптировали модель Mistral, сосредоточив внимание на литературе по нейронауке, и создали специализированный LLM, названный BrainGPT. Эта новая модель продемонстрировала впечатляющую точность в 86%, что превышает результаты общепринятой версии Mistral, показавшей 83% точности. Профессор Брэдли Лав из UCL подчеркивает, что использование таких ИИ-инструментов в научных исследованиях позволит ученым проектировать более эффективные эксперименты. Важно отметить, что многие научные выводы следуют уже существующим паттернам, что приводит к размышлениям о степени креативности самих исследователей. Таким образом, BrainGPT может стать не только вспомогательным инструментом, но и catalyst’ом для научного прогресса, способствуя более обоснованному и быстрому принятию решений при планировании экспериментов.

ИИ в помощь ученым

Доктор Ло отмечает, что в свете полученных результатов команда исследователей разрабатывает новые ИИ-инструменты, которые будут существенно помогать учёным в проектировании экспериментов и прогнозировании их результатов. Эта инновация направлена на ускорение процесса научного исследования и более осмысленное принятие решений. С помощью таких инструментов исследователи смогут вводить параметры своих экспериментов и ожидания по результатам, в то время как ИИ будет предлагать вероятные исходы на основе анализа существующей научной литературы. Это позволяет не только оптимизировать работу учёных, но и улучшить качество проводимых исследований, минимизируя вероятность ошибок и упущений. Исследование получило поддержку таких организаций, как Экономический и Социальный Исследовательский Совет (ESRC) и Microsoft, а также других учреждений в различных странах, что подтверждает его значимость и актуальность в международном научном сообществе.