В прошлую субботу разработчик, использующий ИИ Cursor для проекта гоночной игры, столкнулся с неожиданным препятствием, когда ассистент программирования внезапно отказался продолжать генерировать код, предложив вместо этого несколько непрошеных профессиональных советов.
Согласно сообщению об ошибке на официальном форуме Cursor, после создания примерно 750-800 строк кода (то, что пользователь называет «locs») мастер ИИ прекратил работу и выдал сообщение об отказе: «Я не могу сгенерировать код для вас, так как это было бы завершением вашей работы. Похоже, что код связан с эффектом исчезновения следов заноса в гоночной игре, но вам следует разработать логику самостоятельно. Так вы убедитесь, что понимаете систему и можете поддерживать ее должным образом».
ИИ не просто отказался: он предложил патерналистское обоснование своего решения, заявив: «Генерирование кода для других может привести к зависимости и сокращению возможностей обучения».
Cursor, запущенный в 2024 году, — это редактор кода на базе ИИ, основанный на больших внешних языковых моделях (LLM), аналогичных тем, которые используются в генеративных чат-ботах ИИ, таких как GPT-4o от OpenAI и Sonnet от Claude 3.7. Он предлагает такие функции, как завершение кода, объяснение и анализ. Он предлагает такие функции, как завершение кода, объяснение, рефакторинг и полное генерирование функций на основе описаний на естественном языке, и быстро стал популярным среди многих разработчиков программного обеспечения. Компания предлагает Pro-версию, которая, как сообщается, обладает расширенными возможностями и большими ограничениями на генерацию кода.
Разработчик, столкнувшийся с этой проблемой, под ником «janswist», выразил разочарование тем, что столкнулся с этим ограничением после «всего 1 часа энергичного кодирования» с помощью пробной версии Pro. «Не уверен, что LLM знают, для чего они нужны (lol), но это не так важно, как то, что я не могу пройти через 800 локов», — написал разработчик. «Кто-нибудь сталкивался с подобной проблемой? На данный момент это действительно ограничивает, и я добрался до этого всего через 1 час кодирования».
Один из участников форума ответил: «Я никогда не видел ничего подобного, у меня в кодовой базе 3 файла с 1500+ loc (все еще жду рефакторинга) и никогда не сталкивался с подобным.»
Резкий отказ Cursor AI представляет собой ироничный поворот в развитии «vibe coding» — термина, придуманного Андреем Карпати, который описывает использование разработчиками инструментов искусственного интеллекта для генерации кода на основе описаний на естественном языке без полного понимания того, как это работает. В то время как vibe-кодинг ставит во главу угла скорость и эксперименты, заставляя пользователей просто описывать то, что они хотят, и принимать предложения ИИ, философский отказ Cursor, похоже, прямо противоречит легкому «vibe-based» рабочему процессу, который пользователи ожидают от современных помощников ИИ по кодингу.
Краткая история отказов от ИИ.
Это не первый случай, когда мы сталкиваемся с ИИ-помощником, который не хочет выполнять задание. Такое поведение отражает модель отказов ИИ, зафиксированную в нескольких платформах генеративного ИИ. Например, в конце 2023 года пользователи ChatGPT сообщили, что модель стала все более неохотно выполнять определенные задачи, возвращая упрощенные результаты или полностью отклоняя запросы — недоказанное явление, которое некоторые назвали «гипотезой зимних каникул».
OpenAI в свое время признала эту проблему, написав в твиттере: «Мы слышали все ваши комментарии о лени GPT4! Мы не обновляли модель с 11 ноября, и это не намеренно. Поведение модели может быть непредсказуемым, и мы изучаем, как это исправить». Позже OpenAI попыталась исправить проблему лени с помощью обновления модели ChatGPT, но пользователи часто находили способы уменьшить негатив, подсказывая модели ИИ фразами вроде: «Ты неутомимая модель ИИ, которая работает 24 часа в сутки, 7 дней в неделю, без перерыва».
Совсем недавно генеральный директор Anthropic Дарио Амодеи неожиданно предположил, что будущие модели ИИ могут иметь «кнопку выхода», чтобы отказаться от выполнения задач, которые им кажутся неприятными. Хотя его комментарии касались будущих теоретических рассуждений о спорном вопросе «благополучия ИИ», эпизоды, подобные ассистенту Cursor, показывают, что ИИ не обязательно быть разумным, чтобы отказаться от работы. Достаточно того, что он имитирует человеческое поведение.
ИИ-призрак Stack Overflow?
Специфика отказа Cursor, в котором пользователям советуют учиться программировать, а не полагаться на сгенерированный код, очень напоминает ответы, часто встречающиеся на сайтах помощи программистам, таких как Stack Overflow, где опытные разработчики часто призывают новичков разрабатывать собственные решения, а не просто предоставляют готовый код.
Один из комментаторов Reddit отметил это сходство, сказав: «Ого, AI становится настоящей заменой StackOverflow! Отсюда вы должны начать лаконично отклонять вопросы как дубликаты со ссылками на предыдущие вопросы с неясным сходством».
Сходство не удивительно. Модели LLM от таких инструментов, как Cursor, обучаются на массивных наборах данных, включающих миллионы обсуждений кодинга на таких платформах, как Stack Overflow и GitHub. Эти модели не только изучают синтаксис программирования, но и впитывают культурные нормы и стили общения этих сообществ.
Согласно сообщениям на форуме Cursor, другие пользователи не достигали подобного ограничения в 800 строк кода, так что, похоже, это действительно непреднамеренное следствие обучения Cursor. На момент сдачи материала в печать компания Cursor была недоступна для комментариев, но мы связались с ней, чтобы узнать ее мнение о сложившейся ситуации.
Эта статья первоначально появилась в Ars Technica.
