Pickbench
Пример отчёта

Cadillac против Audi

Предпочтения 4 ИИ-моделей в целом и по потребностям покупателя (при наличии данных)

Сравниваемые комплектации: 2026 Cadillac CT5 (Auto (S10), 4 cyl, 2.0 L, Turbo) против 2026 Audi A6 Allroad quattro (Auto (AM-S7), 6 cyl, 3.0 L, Turbo)

Cadillac
Audi

Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.

Явного лидера нет: доверительный интервал включает 50 %

Опубликованный 95-процентный доверительный интервал для Cadillac: 41 %–65 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Цифры за машиной

Консенсус ИИ

Явного лидера нет: доверительный интервал включает 50 %

Сравниваемые комплектации: 2026 Cadillac CT5 (Auto (S10), 4 cyl, 2.0 L, Turbo) против 2026 Audi A6 Allroad quattro (Auto (AM-S7), 6 cyl, 3.0 L, Turbo)

  • Доверительный интервал для Cadillac: 41 %–65 %
  • 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)

Оранжевым — 95-процентный доверительный интервал для Cadillac, отметкой — точечная оценка, линией — 50 %.

Как распределились судьи

  • 1 судья склоняется к Cadillac
  • 0 судей склоняются к Audi
  • 3 судьи: явного предпочтения нет

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.

Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.

Об этой битве

Категория
Седаны среднего класса
Данные на
Выпуск
2026-10
Методология
ACM-1.0
Судьи
4
Сценарии
59
Точность
Измерена

Голосование

Какой бренд выбрали бы вы?

Ваше нажатие остаётся в этом браузере: ничего не отправляется.

Голоса посетителей показаны рядом с результатами ИИ только для сравнения и никогда не смешиваются с цифрами ИИ.

Рассчитанные, но не опубликованные результаты

Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности.

Кто учтён и почему

По судьям

95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)

Условная доля выбора Cadillac по каждому судье (среди сценариев, где судья выбрал бренд), с доверительными интервалами
Судья (API-модель)Доля CadillacДоверительный интервалПеревесГрафик интервала
anthropic/claude-haiku-5.5-20261007 @ claude-haiku-5.5-20261007 via OpenRouter45 %33 %–58 %Явного предпочтения нет
deepseek/deepseek-v4.1-flash-20260910 @ deepseek-v4.1-flash-20260910 via OpenRouter49 %37 %–62 %Явного предпочтения нет
google/gemini-4-argon-20261013 @ gemini-4-argon-20261013 via OpenRouter64 %52 %–76 %Cadillac
openai/gpt-6-luna-20260922 @ gpt-6-luna-20260922 via OpenRouter50 %37 %–64 %Явного предпочтения нет

Кто учтён

Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.

  • Запланировано 59 сценариев покупки.
  • Ни один из них не исключён.
Веса в консенсусе 4 учтённых судей
Вес каждого учтённого судьи в консенсусе
Судья (API-модель)Семейство моделейВес в консенсусе
anthropic/claude-haiku-5.5-20261007 @ claude-haiku-5.5-20261007 via OpenRouteranthropic25,0 %
deepseek/deepseek-v4.1-flash-20260910 @ deepseek-v4.1-flash-20260910 via OpenRouterdeepseek25,0 %
google/gemini-4-argon-20261013 @ gemini-4-argon-20261013 via OpenRoutergoogle25,0 %
openai/gpt-6-luna-20260922 @ gpt-6-luna-20260922 via OpenRouteropenai25,0 %

Неучтённые судьи

jdg-live-mistral-large-4-0-20261006-or-v1
  • Слишком мало корректных ответов (ниже заранее заданного минимума)
  • Ответил на слишком малую часть запланированных сценариев

Рассчитанные, но не опубликованные результаты

Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.

Потребность покупателя: Ежедневные поездки
n = 11 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Удовольствие от вождения
n = 13 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Для семьи
n = 14 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Надёжность
n = 12 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Низкие расходы на содержание
n = 9 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума

Методология

Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.

Результаты основаны на 59 сценариях покупки.

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

Показатели точности на этой странице измерены.

Консенсус, потребности и языки
95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
По каждому судье
95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Языки сценариев
английский

Предупреждения о данных

  • Модели выбирали только по характеристикам EPA; цена покупки, надёжность и наличие в продаже не оценивались.

Об этом результате

Что измерено, как и когда, и как это проверить.

Методология
ACM-1.0
Выпуск
2026-10
Дата измерения
ИИ-модели (API)
  • anthropic/claude-haiku-5.5-20261007 @ claude-haiku-5.5-20261007 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • deepseek/deepseek-v4.1-flash-20260910 @ deepseek-v4.1-flash-20260910 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • google/gemini-4-argon-20261013 @ gemini-4-argon-20261013 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • openai/gpt-6-luna-20260922 @ gpt-6-luna-20260922 via OpenRouter, через OpenRouter (провайдеры закреплены)
Условия
Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 59 сценариях покупки. Языки сценариев: английский.
Учтённые судьи

По предварительно зарегистрированному правилу включения учтены результаты 4 из 5 судей. В расчёт вошли данные 59 из 59 запланированных сценариев.

Кто учтён и почему

Предварительная регистрация (SHA-256)
40514d9cdea6c4c742e4ee6e79217c2ae693d8150ab9991e5ea5760b59ea7b74
Что фиксирует предварительная регистрация
Подписанный снимок данных

Проверить этот результат: скачать подписанный снимок данных (JSON)

Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg
Рабочий ключ
SHA-256 содержимого (payload)
54c89f5a32ad2b29571f4537466fb9560ad639eb978dae47fb8dcfe6c655e5fa

Как проверить снимок данных

Места в рейтинге, включение и влияние на результаты никогда не продаются.