Будущее ИИ требует новых подходов и больше данных

Новые подходы и нехватка данных

Илья Сутскевер, оставивший OpenAI, обосновал свою новую лабораторию Safe Superintelligence Inc., где акцентировал внимание на кризисе данных в развитии ИИ. На конференции NeurIPS в Ванкувере он заявил, что эпоха предварительного обучения моделей подходит к концу. По его мнению, нынешние подходы к обучению основаны на использовании огромных объемов неструктурированных данных, которые, как и нефтяные ресурсы, имеют свои пределы. Сутскевер подчеркнул, что мы достигли «пика данных», и в будущем необходимо будет искать новые пути для обучения ИИ, включая более «агентные» и способные к рассуждениям системы. Эти изменения могут привести к созданию более непредсказуемых и автономных ИИ, которые смогут работать с ограниченным объемом информации, не теряясь в ее многообразии.

Конец эпохи предварительного обучения

Во время своего выступления на конференции NeurIPS Илья Сутскевер заявил, что этап предварительного обучения, каким мы его знаем, подходит к концу. Этот этап подразумевает, что большие языковые модели учатся на больших объемах необработанных данных, таких как тексты из интернета и книг. Однако, по мнению Сутскевера, несмотря на то что существующие данные могут ещё способствовать развитию искусственного интеллекта, запасы нового материала для обучения истощаются. Он провел параллель между данной ситуацией и использованием ископаемого топлива, утверждая, что, так же как нефть является ограниченным ресурсом, Интернет также содержит конечный объем человеческого контента. Это означает, что отрасли ИИ придется пересмотреть свои методы создания моделей, потому что новые источники данных не будут появляться в том объёме, в котором это было ранее.

Пиковая точка данных: время менять парадигму

По словам Ильи Сутскевера, мы достигли «пика данных» — момента, когда объем доступной информации для обучения моделей ИИ не будет увеличиваться. В своем выступлении на конференции NeurIPS он отметил, что, несмотря на наличие большого объема существующих данных, за пределами интернета новые источники информации уже не появятся. Это значит, что индустрия искусственного интеллекта должна изменить подходы к обучению моделей, переходя от традиционного метода, основанного на предобучении, к более эффективному использованию имеющихся данных. Сутскевер сравнил эту ситуацию с дефицитом ископаемых ресурсов, подчеркивая, что интернет, несмотря на свою огромность, имеет свои ограничения. Ему необходимо адаптироваться к условиям «пика данных» и находить новые пути для разработки интеллектуальных систем, которые могут быть более независимыми и разумными, чем их предшественники.

Агентность и способность к рассуждению

Сутскевер предсказывает, что будущее искусственного интеллекта будет связано с развитием автономных систем, обладающих агентностью. Эти системы смогут не только выполнять задачи, но и принимать решения, взаимодействуя с программным обеспечением без необходимости вмешательства человека. В отличие от современных моделей, которые в основном занимаются сопоставлением шаблонов на основе уже известных данных, будущие ИИ-системы смогут рассуждать и решать проблемы пошагово, что более похоже на человеческое мышление. Это приведет к тому, что такие модели станут менее предсказуемыми, аналогично тому, как высокоразвитые шахматные ИИ могут удивить даже лучших игроков. Более того, будущие системы смогут интерпретировать информацию из ограниченных данных, сохраняя ясность и избегая путаницы.

Эволюционные параллели в развитии ИИ

Сутскевер провел интересную параллель между развитием ИИ и эволюционной биологией, подчеркивая важные аспекты масштабирования, найденные в природе. Он указал на то, что большинство млекопитающих имеют схожую модель связи между массой мозга и тела, в то время как гоминиды демонстрируют значительно иную закономерность. Эта уникальность в эволюции человечества может указать на то, что в исследовании ИИ также существуют неочевидные пути для улучшения и оптимизации существующих систем. Сутскевер предположил, что, как эволюция открыла новые закономерности для мозга человека, ИИ может найти новые подходы к масштабированию своих моделей, которые предпочтут не устаревшие методы предварительного обучения, а перейдут к более эффективным и гибким механизмам.

ИИ и человеческие ценности

Во время обсуждения о том, как создать механизмы, позволяющие искусственному интеллекту иметь свободы, сопоставимые с человеческими, Илья Сутскевер выразил сомнения в том, что может предложить уверенное решение. Он указал на необходимость наличия “вертикальной структуры управления” для реализации таких идей. Один из участников аудитории, в шутливой манере, предложил использовать криптовалюту как средство стимулирования, что вызвало улыбки у присутствующих. Сутскевер, хотя и не считает себя экспертом в области криптовалют, обнажил возможность такого подхода, подчеркивая, что сценарий сосуществования ИИ и людей, где у каждого будут свои права, не является чем-то невозможным. Он призвал к размышлениям над вызовами и непредсказуемостью, которые стоят перед нами, подчеркивая важность дальнейших дискуссий на эту актуальную тему.