Искусственный интеллект предсказывает научные результаты точнее экспертов
![](/articles/news/2024/12/05/iskusstvenniy_intellekt_predskazivaet_nauchnie_rezultati_tochnee_ekspertov.jpg)
Искусственный интеллект предсказывает научные результаты лучше экспертов
Исследования, проведенные командой ученых из Университетского колледжа Лондона (UCL), показали, что крупные языковые модели (LLM) могут предсказывать результаты нейронаучных исследований с большей точностью, чем эксперты в этой области. Опубликованные в журнале Nature Human Behaviour результаты показывают, что такие модели, обученные на обширных массивах текстов, способны выявлять закономерности в научной литературе, что позволяет им делать прогнозы с "сверхчеловеческой" точностью. В рамках эксперимента исследователи использовали инструмент BrainBench для оценки прогнозирующих возможностей LLM, сравнив их результаты с оценками 171 нейронаучного эксперта. Выяснилось, что LLM в среднем продемонстрировали 81% точности, тогда как эксперты — только 63%. Это открытие предполагает, что искусственный интеллект может стать мощным инструментом для ускорения научных исследований, помогая ученым эффективно разрабатывать эксперименты и достигать значительных результатов.
Потенциал для ускорения научных исследований
Доктор Кен Луо из UCL подчеркивает, что с развитием генеративных моделей искусственного интеллекта, таких как ChatGPT, исследования сходятся на признании их способности отвечать на вопросы и резюмировать информацию. Однако команда ученых пошла дальше, исследуя потенциал LLM в синтезе знаний и прогнозировании будущих результатов. Научный прогресс традиционно основан на методе проб и ошибок, что требует значительных временных и ресурсных затрат на каждый эксперимент. В этом контексте AI может служить мощным инструментом, позволяя выявлять паттерны и закономерности в обширных научных текстах и осуществлять предсказания результатов экспериментов. Такие возможности могут существенно ускорить процесс научного исследования и повысить его эффективность, позволяя учёным сосредоточиться на наиболее важной информацию и принимать более обоснованные решения в дизайне экспериментов.
Инструмент для оценки предсказательной способности LLM
Международная команда исследователей разработала инструмент под названием BrainBench, который предназначен для оценки предсказательной способности больших языковых моделей (LLM) в области нейронауки. BrainBench включает пары аннотаций нейронаучных исследований, где одна версия содержит оригинальные результаты, а другая — модифицированные, созданные экспертами и представленные как правдоподобные, но неверные. Этот метод позволяет исследователям проверить, сможет ли LLM точно определить, какая из аннотаций соответствует реальному исследованию. В исследовании приняли участие 15 различных LLM и 171 нейробиолог, которые прошли проверку знаний, чтобы установить, кто из них — человек или машина — сможет более точно определить подлинное исследование. Результаты показали, что все протестированные LLM продемонстрировали более высокую точность по сравнению с экспертами, что подчеркивает их потенциал как мощного инструмента в научном исследовании.
Результаты исследования
Все протестированные большие языковые модели (LLM) продемонстрировали значительно более высокую точность в прогнозировании результатов нейробиологических исследований по сравнению с экспертами в этой области. Средний показатель точности LLM составил 81%, в то время как среди нейробиологов он не превысил 63%. Даже среди наиболее квалифицированных специалистов, прошедших отбор, точность составила лишь 66%. Это свидетельствует о том, что LLM не только выдают ответы, но и уверенно определяют истинные результаты исследований, основываясь на анализе большого объема научной литературы. Исследователи также отметили, что когда LLM демонстрирует высокую степень уверенности в своих оценках, вероятность их правильного выбора увеличивается. Эти результаты подчеркивают потенциал для взаимодействия экспертов с моделями искусственного интеллекта в процессе разработки научных экспериментов, что может существенно ускорить прогресс в области науки.
Разработка специализированного LLM для нейронауки
Исследователи адаптировали модель Mistral, сосредоточив внимание на литературе по нейронауке, и создали специализированный LLM, названный BrainGPT. Эта новая модель продемонстрировала впечатляющую точность в 86%, что превышает результаты общепринятой версии Mistral, показавшей 83% точности. Профессор Брэдли Лав из UCL подчеркивает, что использование таких ИИ-инструментов в научных исследованиях позволит ученым проектировать более эффективные эксперименты. Важно отметить, что многие научные выводы следуют уже существующим паттернам, что приводит к размышлениям о степени креативности самих исследователей. Таким образом, BrainGPT может стать не только вспомогательным инструментом, но и catalyst’ом для научного прогресса, способствуя более обоснованному и быстрому принятию решений при планировании экспериментов.
ИИ в помощь ученым
Доктор Ло отмечает, что в свете полученных результатов команда исследователей разрабатывает новые ИИ-инструменты, которые будут существенно помогать учёным в проектировании экспериментов и прогнозировании их результатов. Эта инновация направлена на ускорение процесса научного исследования и более осмысленное принятие решений. С помощью таких инструментов исследователи смогут вводить параметры своих экспериментов и ожидания по результатам, в то время как ИИ будет предлагать вероятные исходы на основе анализа существующей научной литературы. Это позволяет не только оптимизировать работу учёных, но и улучшить качество проводимых исследований, минимизируя вероятность ошибок и упущений. Исследование получило поддержку таких организаций, как Экономический и Социальный Исследовательский Совет (ESRC) и Microsoft, а также других учреждений в различных странах, что подтверждает его значимость и актуальность в международном научном сообществе.