ИИ-программист Devin оказался крайне неэффективным и бесполезным

Первые разочарования

Сервис Devin, представленный как «первый ИИ-программист», столкнулся с разочарованием как среди разработчиков, так и пользователей. На практике он оказался способен решать лишь около 15% поставленных задач, что вызывает серьезные сомнения в эффективности его работы. Несмотря на оригинальные обещания от компании Cognition AI о том, что Devin сможет autonomously писать, запускать и тестировать код, в действительности он продемонстрировал множество недочетов и затруднений, которые подчеркивают его ограничения по сравнению с настоящими программистами. Проводимые тесты выявили, что многие казавшиеся простыми задачи занимают у Devin дни работы вместо часов, а также случаются случаи, когда он не распознает принципиально невозможные для выполнения задачи, тратя время впустую. Эти факты ставят под сомнение не только функциональность Devin, но и его реальную ценность как инструмента для программирования.

Высокая цена и большие обещания

Devin стал доступным для пользователей в декабре 2024 года, однако его высокая стоимость в $500 в месяц вызывает вопросы о целесообразности инвестиций в его использование. Разработчики из компании Cognition AI позиционировали Devin как надежную замену опытным инженерам-программистам, обещая, что он сможет самостоятельно писать и тестировать код, управлять миграцией, работать с пулл реквестами и даже выполнять функции персонального помощника. Тем не менее, на практике этот «первый ИИ-программист» оказался не столь эффективным: он справляется лишь с 15% поставленных задач, что подрывает доверие к его реализациям. Множество пользователей, ожидавших от Devin автоматизации и оптимизации рабочего процесса, столкнулись с тем, что его возможности значительно ограничены, а обещанные функции не выполняются должным образом. Эти разочарования ставят под сомнение ценность инвестиции в столь дорогой сервис, который не оправдывает высокие ожидания.

Сложности и недостатки в работе

Несмотря на использование продвинутой системы искусственного интеллекта, включающей модель GPT-4 от OpenAI, Devin продемонстрировал крайне низкую эффективность в выполнении поставленных задач. В ходе тестирования, проведенного специалистами, было выявлено множество серьезных недочетов, которые затруднили его работу и ставили под сомнение возможности, заявленные разработчиками. Напротив, ранее представленные видео-презентации и промо-ролики от Cognition AI представили Devin как мощного и автономного ИИ-программиста, способного на выполнение сложных проектов. Однако на практике выявилось, что реальный уровень успешности его работы составляет всего 15%, что далеко от заявленных амбиций. Разработчики и эксперты обнаружили, что Devin часто застревает в технических тупиках или пытается реализовать невыполнимые решения, что ставит под сомнение его надежность и эффективность.

Итоги независимого тестирования

Независимое тестирование Devin, проведенное экспертами из лаборатории Answer.AI, выявило его серьезные недостатки в выполнении поставленных задач. Из 20 предложенных заданий виртуальный программист успешно справился только с тремя, демонстрируя низкую эффективность. В ходе тестирования он легко выполнил простые задачи, такие как перенос данных из Notion в Google Таблицы и создание трекера планет. Однако более сложные задания, например, развертывание приложений на платформе Railway, оказались за пределами его возможностей. Исследователи отметили, что Devin не смог распознать фундаментальные ограничения задач и потратил значительное количество времени на попытки решить нерешаемые проблемы. Это привело к систематическим сбоям и зависям, что подчеркивает его недостаточную автономность и неспособность к адекватному анализу задач.

Выводы и перспективы

Ответ на вопрос о том, сможет ли искусственный интеллект полностью заменить программистов, остается открытым. Сервис Devin, который позиционируется как первый ИИ-программист, по сути, оказывается несостоятельным: хотя он предлагает впечатляющий интерфейс, его эффективность оставляет желать лучшего. Исследования показывают, что автономная природа Devin, ранее воспринимаемая как преимущество, приводит к значительным недостаткам: ИИ-программист тратит время на задачи, которые на практике невозможно решить, и не способен гибко реагировать на возникшие проблемы. Выводы экспертов подчеркивают, что Devin не может конкурировать с современными инструментами и методами, используемыми в программировании, что ставит под сомнение амбициозные планы компании Cognition AI относительно будущего искусственного интеллекта в этой сфере. Ожидания от ИИ в программировании остаются пока неосуществимыми, что свидетельствует о необходимости дальнейших доработок и усовершенствований в данной области.