С разницей в считаные дни вышли две самые сильные модели: GPT-6.2 Astra от OpenAI и Claude Fable 5.2 от Anthropic. Мы прогнали их через бенчмарки ПродСовета. Каждая модель работала в родной среде (Astra в Codex, Fable в приложении Claude) с уровнем рассуждений xhigh. Ниже коротко про релиз, три наших теста (игра про кота, чёрная дыра и задача на живом проекте), стоимость и время, а в конце мои выводы.

Что показали при релизе

OpenAI называет Astra самой умной моделью для научных, кодинговых, 3D- и других сложных задач, а Sol — быстрой и дешёвой «рабочей лошадкой». В релизе отдельный упор на науку.

График OpenAI: балл и стоимость задачи в Terminal-Bench-Science 0.1
График OpenAI из анонса релиза: Terminal-Bench-Science 0.1, балл и цена задачи. Источник.

На графике Terminal-Bench-Science у новой Astra лучшая точка выше и левее: около 77% за $7 против примерно 68% за $24 у предыдущей. Это плюс девять процентных пунктов при цене задачи ниже больше чем втрое. В одном из заданий агент по спутниковым снимкам за десять зим определяет, когда озеро замерзало и когда сходил лёд. Ему дают файлы и терминал, а проверяют конкретные даты.

Vals Science Index: баллы моделей и средняя стоимость теста
Vals Science Index, график независимой команды Vals AI. Источник.

В более широком Vals Science Index, где ещё проверяют разбор реальных биологических данных и эксперименты в симуляции, Astra вышла на первое место с 68,4%. Средняя цена теста снизилась с $8,03 до $4,76. По этому бенчмарку она опережает и Fable 5.2.

С ARC-AGI-3 история тоньше. Astra впервые набрала 100%, но с адаптером OpenAI, который сохраняет состояние рассуждений модели от хода к ходу. Со стандартными заметками её лучший результат — 70,3% (в xhigh — 56,5%), и здесь впереди Fable 5.2 с 81,2%.

График ARC Prize: результат и стоимость прогона ARC-AGI-3
График ARC Prize для ARC-AGI-3: результат и стоимость прогона. Источник.

У Artificial Analysis общий результат Astra вырос: второе место в Intelligence Index, после Fable 5.2. А в агентном кодинге прироста нет, модель осталась на прежнем значении. В независимом сравнении интерактивных 3D-проектов AA-3D Astra, наоборот, первая.

Artificial Analysis Intelligence Index: Astra и другие модели
Artificial Analysis, Intelligence Index на момент запуска. Источник.

Теперь про деньги. Базовый тариф API снизился на 20%: $8 за миллион входных токенов и $40 за миллион выходных. У Sol цены прежние — $2 и $10. Но цена задачи зависит ещё и от того, сколько токенов модель потратит по дороге: в общем наборе тестов Vals средняя задача подешевела примерно с $21 до $11.

Ранние отзывы смешанные. Итан Моллик получил Astra до релиза и сделал с ней поездку на космическом лифте в Blender и Unity: результат интересный, но модель сложнее направлять, приходится больше подсказывать. Часть блогеров с ранним доступом и вовсе пишет о разочаровании.

Как мы тестируем

Три задачи, один и тот же промпт для обеих моделей: каждая работает в родной среде на xhigh. Стоимость в статье — аналог расходов в API по тарифам, а не расход подписки. Большая часть токенов у обеих моделей — чтение кеша, а цена этого чтения зависит от тарифа. «Работа агента» — полное время сессии. Сегодня урезанная версия замеров: один промпт на 3D-игру, «чёрная дыра» и задача на собственном проекте.

Cat Chaos: кот разбивает всё подряд

Промпт: «Сделай 3D-игру в браузере. Ты — кот. Хозяева ушли на работу, у тебя 1 минута, чтобы устроить в квартире максимальный хаос».

Модель / режим Среда Инпут Чтение кеша Аутпут Всего токенов Работа агента Стоимость
GPT-6.2 Astra / xhigh Codex 138,56K 7,85M 59,38K 8,05M 54 мин $6,50
Claude Fable 5.2 / xhigh приложение Claude 244,11K 5,67M 256,96K 6,17M 45 мин $15,32

В 45 минут Fable вошла и первая попытка: почти 24 минуты она размышляла, исчерпала лимит вывода, и приложение само продолжило задачу. Прогон кота у Fable обошёлся в $15,32, у Astra — в $6,50.

Cat Chaos, результат GPT-6.2 Astra (Codex, xhigh). Фрагмент нашего ролика.

У Astra получилась игра с приятной обложкой, где мы бегаем за кота, прыгаем и разбиваем всё подряд. Вышло неплохо и несколько лучше, чем у предыдущего поколения, но челюсть не отпадает, а квест она придумала катастрофически скучный.

Cat Chaos, результат Claude Fable 5.2 (приложение Claude, xhigh). Фрагмент нашего ролика.

У Fable получилась полноценная 3D-сцена с управлением камерой: разбитый ноутбук за 120 тысяч, рыбка Валера, пересаженная в кастрюлю, и чайник. Но текстуры и 3D-элементы сделаны слабо, и, по-моему, Opus 5.5 в прошлых замерах справился лучше.

Signal Categories: кодинг на собственном проекте

У меня есть дашборд, куда стекаются публикации про ИИ. Раньше у каждой было всего две метки на выбор — новость или мем. Обе модели получили одну задачу: самим выбрать категории и встроить их в рабочий проект. По этим меткам дашборд отбирает публикации, объединяет их в истории и готовит черновик дайджеста.

Какие категории появились

О чём публикация GPT-6.2 Astra Claude Fable 5.2
Релизы моделей, приложений и инструментов Релиз Релиз модели · Продукт · Разработчикам
Научная работа Исследование Исследование
Замеры качества, скорости или цены Тест и сравнение Бенчмарк
Применение на практике Практика и демо Демо и кейсы
Компании, чипы и вычислительные мощности Бизнес и инфраструктура Бизнес · Железо
Законы, суды и правила Право и регулирование Регулирование
Сбои и утечки Инцидент Сбой сервиса попадает в «Продукт», утечка — в «Регулирование»
Реакции и прогнозы Мнение и разбор Мнения и анонсы
Юмор Мем Мем
Публикация вне тематики канала Вне темы AI Не по теме
Всего категорий для новых публикаций 10 12

Допустим, за день вышли новая модель, мобильное приложение и SDK для разработчиков. У Astra все три анонса можно найти по одному фильтру «Релиз», у Fable для каждого есть отдельный. А если меня интересует, что на этой неделе сломалось или утекло, у Astra для этого есть «Инцидент».

Сколько кода изменилось

Объём правок GPT-6.2 Astra Claude Fable 5.2
Файлы 25 изменены + 3 новых 25 изменены + 9 новых
Код приложения, интерфейс и команды запуска +169 / −80 +790 / −64
Промпты и примеры ответов модели +39 / −9 +95 / −12
Миграция БД и файлы схемы +138 / −0 +148 / −0
Код тестов +102 / −22 +1 209 / −22
Документация +24 / −1 +77 / −2
Всего добавлено / удалено строк +472 / −112 +2 319 / −100
Сравнение объёма правок Astra и Fable в задаче Signal Categories
Сколько кода изменили модели в задаче Signal Categories. Из 2 319 строк Fable 1 209 пришлись на тесты.

Из 2 319 добавленных Fable строк 1 209 пришлись на тесты. У Astra три новых файла: справочник категорий, SQL-миграция и снимок схемы. У Fable к этим трём добавились обработчик старых записей, промпт для него и четыре файла тестов.

Как из публикаций получается история

Astra задаёт правила для мнений: и релиз, и независимый тест могут открыть отдельную историю, если наберут достаточно баллов, а комментарий автоматика может только прикрепить к существующей. Fable меняет порядок обработки: в каждой группе по важности она сначала разбирает события, потом тесты, демонстрации и мнения. Обе модели сохранили прежнее поле «новость / мем» и добавили отдельную колонку в SQLite. У Astra это editorial_category, допустимые значения проверяет сама база. У Fable signal_category, а категории задаёт общий справочник в коде, поэтому добавить новую можно без изменения таблицы.

Как это выглядит в дашборде

Дашборд сигналов после доработки GPT-6.2 Astra. Фрагмент нашего ролика.

У Astra в сигналах появились категории, можно выбрать новости по конкретной категории. В редакционном пайплайне разительных изменений после миграции я не заметил.

Дашборд сигналов после доработки Claude Fable 5.2. Фрагмент нашего ролика.

У Fable появился раздел «Все категории», панель и кнопка, а в сигналах можно быстро переключаться между категориями. Не первый раз замечаю, что Fable чуть грамотнее продумывает UX и UI. Здесь я абсолютное предпочтение отдаю Fable.

Время, деньги и тесты

Итоги замеров Signal Categories: время, стоимость, токены, тесты
Итоги Signal Categories. В 53 минуты у Fable вошли подготовка, установка зависимостей и повторная проверка тестов под нагрузкой.

Astra выполнила задачу за 14 минут и $5,04, Fable — за 53 минуты и $31,94 (в замер Fable вошли подготовка рабочей копии, установка зависимостей и повторная проверка тестов под нагрузкой, так что реальное время можно оценить в 30–40 минут). У Astra штатная команда pnpm check прошла с 549 тестами и сборкой. У Fable последовательно прошли 593 теста, а общий pnpm check на машине коллеги завершился с ошибками из-за таймаутов и версии Python. Точность классификации реальных новостей в исходном бенчмарке не замеряли.

Black Hole: за горизонтом событий

Промпт: сделать такую чёрную дыру, которуя переплюнет Интерстеллар Кристофера Нолана, и быть креативным до безумия. Ниже записи страниц, которые получились у моделей.

Модель / режим Среда Инпут Чтение кеша Аутпут Всего токенов Работа агента Стоимость
GPT-6.2 Astra / xhigh Codex 136,46K 4,77M 43,11K 4,95M 43 мин $4,56
Claude Fable 5.2 / xhigh приложение Claude 335,65K 8,98M 227,96K 9,55M 39 мин $16,30

Цена Fable в отчёте округлена до десятых доллара.

Black Hole от GPT-6.2 Astra (Codex, xhigh): новая запись страницы без звука.

Astra сделала обсерваторию UMBRA: телеметрия, красивое погружение, анимации приближения на очень приличном уровне. По картинке сильно, а вот за горизонтом нас встречает «Прачечная» с «Деликатным режимом». Я этот ход видел много раз: невесело и не смешно.

Black Hole от Claude Fable 5.2 (приложение Claude, xhigh): новая запись страницы без звука.

У Fable телеметрия объёмнее и детальнее, а после горизонта события нас ждёт «Бюро находок». Такого захода у нас ещё не было, он сильно отличается от предыдущих вариантов. Весело и задорно, хотя мне не очень нравится переход от такой сложной картины к плоскому финалу.

Итого по трём бенчмаркам

Модель / режим Среда Инпут Чтение кеша Аутпут Всего токенов Работа агента Стоимость
GPT-6.2 Astra / xhigh Codex 473,11K 19,47M 126,40K 20,07M 111 мин $16,10
Claude Fable 5.2 / xhigh приложение Claude 1,20M 76,02M 727,20K 77,95M 137 мин $63,56
Итоги трёх бенчмарков: стоимость, токены и время работы Astra и Fable
Итог по Cat Chaos, Signal Categories и Black Hole: $63,56 у Fable против $16,10 у Astra по запросам с известным тарифом.

Инпут включает вход без кеша и запись кеша; чтение кеша показано отдельно. В токены Astra включены автоматические проверки Codex, для которых неизвестна стоимость. По всем трём задачам у Fable выходит $63,56, у Astra — $16,10 по запросам с известным тарифом.

Мои выводы

  • Fable ощущается как действительно фронтирная модель. Самая большая, могущественная, умная и разносторонняя. Astra стоит как будто бы возле Opus.
  • У OpenAI сейчас нет модели, которая соперничала бы с Fable Astra скорее соперничает с Opus, а Sol – аналог Sonnet.
  • У Anthropic градация интеллекта и способностей прослеживается лучше, и компания лучше её позиционирует и доносит.
  • Astra вела себя странно на других задачах. Она могла запустить процесс, который пять минут крутился в фоне без каких-либо действий, или пять минут отвечать на вопрос без генерации токенов. Ошибок при этом не было. Рассуждений я не видел, так что не знаю, что она себе думала, но с таким поведением раньше не сталкивался.
  • По деньгам на трёх задачах Astra вышла примерно в четыре раза дешевле ($16,10 против $63,56 по тарифам API).

Подписывайтесь на наш YouTube-канал и Telegram и следите за обновлениями и новыми разборами.