Специалисты компании OpenAI оценили способность искусственного интеллекта (ИИ)самостоятельно писать программный код. 

В исследовании, опубликованном на сервере препринтов arXiv инженеры, занимающиеся разработкой и поддержкой чат-бота ChatGPT, рассказали, насколько успешно ИИ может заменить программистов. Они протестировали три модели искусственного интеллекта в написании компьютерного кода и исправлении ошибок других. Выяснилось, что компетенций ИИ недостаточно, чтобы заменить даже начинающих программистов.

Специалисты тестировали свою модель начального уровня o1 и флагманскую модель GPT-4o, а также Claude 3.5 Sonnet от Anthropic. Они применили бенчмарк SWE-Lancer, основанный на 1400 задачах для программистов с сайта фрилансеров Upwork. Модели должны были выполнять задания без доступа в интернет, так они не могли выйти в сеть и «списать» решение.

Инженеры заметили, что модели часто допускали ошибки, так как не могли понять контекст —«это приводило к принятию неверных или недостаточно всеобъемлющих решений».

Claude 3.5 Sonnet показала себя лучшим образом, однако большинство ответов модели были неверными. Исследователи OpenAI заключили, что ИИ в настоящий момент не сможет заменить IT-специалистов. 

Ранее глава OpenAI Сэм Альтман обещал, что до конца 2025 года появятся модели, которые будут качественно решать задачи в программировании на начальном уровне.

Вопреки распространенному мнению, программирование - творческая работа. Она требует особого склада ума. Выучить один из языков программирования может каждый, но это не сделает его программистом, поскольку профессия требует постоянного решения сложных задач. К примеру, на решение идентичной задачи у программиста с математическим складом ума уйдет два дня, а у его коллеги гуманитария три недели. 

Подготовил Роман БОНДРАЧУК, УзА.