Что A/B тестирование

A/B тестирование — является инструмент экспериментальной оценки, в условиях котором пара модификации одного интерфейсного элемента демонстрируются разным сегментам участников, для того чтобы сравнить, какой вариант элемент работает сильнее в рамках до запуска заданному критерию. Этот формат часто применяется в сетевых сервисах, пользовательских интерфейсах, цифровом маркетинге, продуктовой аналитике, e-commerce, мобильных программах, медиа-платформах и внутри онлайн-игровых площадках. Базовая идея такого теста состоит далеко не в внутренней оценке качества визуального решения а также текста, а в основном в процессе считывании реального поведения аудитории сегмента. Вместо субъективного предположения относительно том , какой конкретно экран, кнопка, титульная формулировка или путь взаимодействия удачнее, команда видит цифры. С точки зрения участника платформы понимание этого механизма важно, ведь многие Вулкан Платинум изменения в рамках рабочих интерфейсах, системах перемещения, push-уведомлениях а также карточках контента объектов оказываются именно после таких экспериментов.

В продуктовой продуктовой сфере A/B тест рассматривается как ключевой инструмент выработки решений команды на основе основе измеримых фактов, вместо далеко не личного впечатления. Развернутые аналитические материалы, в том числе рамках и на платформе Вулкан казино, как правило делают акцент на том, что порой даже маленький элемент экрана может заметно влиять в действия пользователей людей: интенсивность нажатий, глубину просмотра вовлечения, долю завершения процесса регистрации, использование нужного блока или возвращение на платформе. Первый вариант способен восприниматься по дизайну сильнее, хотя демонстрировать заметно более слабый отклик. Другой — восприниматься слишком базовым, и при этом показывать лучшую долю целевого действия. Поэтому именно вследствие этого A/B тестирование служит для того, чтобы отделить личные оценки продуктовой команды от цифрово измеримого изменения метрики в рамках живой среде Vulkan Platinum.

В состоит заключается основа A/B эксперимента

Ключевая механика подхода относительно несложна. Имеется исходный вариант, он обычно называют базовой контрольной версией. Одновременно создается измененная редакция, где которой корректируют один конкретный заданный фактор: надпись кнопочного элемента, цветовое решение компонента, позиционирование блока, объем формы взаимодействия, хедлайн, визуал, логика порядка шагов либо другой существенный компонент. После подготовки версий пользовательская аудитория рандомным путем делится на две отдельные выборки. Начальная открывает редакцию A, вторая — модификацию B. Далее система собирает, с каким результатом аудитория реагируют внутри обеим из вариаций.

Когда эксперимент настроен чисто с методической точки зрения, наблюдаемая разница в поведении способна подсказать, какое именно решение на практике дает эффект результативнее. Вместе с тем таком процессе нужно далеко не только случайно получить Вулкан Казино Платинум какие-либо показатели, но изначально зафиксировать, какая из ключевая метрика оценки будет основной. К примеру, таким показателем способно быть количество кликов по элементу, коэффициент окончания сценария, усредненное время удержания в рамках странице, доля участников теста, прошедших до нужного нужного момента, либо уровень повторного визита внутрь сервису. Вне заранее определенной цели A/B проверка очень легко превращается в хаотичное сопоставление, в рамках которого такого сравнения сложно получить практически полезный вывод.

Почему в принципе использовать A/B тесты

В онлайн- электронной системе многие продуктовые варианты изменений выглядят понятными лишь в режиме стадии предположений. Группа специалистов может предполагать, что именно контрастная CTA-кнопка соберет существенно больше кликов, небольшой копирайт будет проще для восприятия, и масштабный баннер поднимет внимание. Вместе с тем измеримое поведение пользователей во многих случаях отличается относительно ожиданий. Порой люди игнорируют Вулкан Платинум заметный интерфейсный компонент, тогда как гораздо менее заметный вариант показывает себя сильнее по метрике. В некоторых случаях длинный копирайт срабатывает результативнее сжатого, когда подобная формулировка ясно формулирует суть действия. A/B сравнительная проверка применяется именно с целью подобного, чтобы на практике перевести ожидания наблюдаемыми результатами.

Для конкретного игрока это содержит непосредственное прикладное влияние. Часть платформы постоянно оптимизируют путь участника: оптимизируют поиск целевого сценария, перестраивают логику разделов меню, тестово корректируют контентные карточки, реорганизуют последовательность действий внутри аккаунте а также обновляют логику нотификаций. Многие такие изменения обычно совсем не возникают внедряются наобум. Такие изменения тестируют на специальных фрагментах аудитории, с целью проверить, ведет ли на практике ли тестовый сценарий оперативнее открывать нужную точку действия, слабее прерывать сценарий и при этом с большей долей доводить до конца Vulkan Platinum основное сценарий. Корректный тест уменьшает масштаб риска неудачного обновления для всей основной платформы.

Что именно в рамках A/B тестов имеет смысл запускать в тест

A/B сравнительный эксперимент подходит не только просто в случае заметных изменений. На практическом уровне работы элементом эксперимента нередко может оказаться практически отдельный элемент онлайн- сервиса, если он он отражается по линии действия аудитории и доступен измерению. Нередко запускают в A/B хедлайны, текстовые описания, элементы действия, CTA-формулировки к нужному действию, визуалы, акцентные цветовые элементы, расположение элементов, длину формы ввода, архитектуру навигации, формат выдачи Вулкан Казино Платинум советов, попап- экраны, onboarding-этапы и push-оповещения. Даже незначительное обновление подписи иногда существенно отражается на метрику.

В интерфейсах рабочих интерфейсах игровых систем сравнительной проверке могут попадать под проверку контентные карточки игр, фильтры выдачи, позиция кнопочных элементов начала, шаг согласования, алгоритмические советы, вид личного раздела, логика хинтов а также архитектура меню разделов. Вместе с тем в такой среде принципиально важно осознавать, что именно далеко не конкретный блок стоит тестировать по одному. Если влияние в ведущую метрику фактически нельзя зафиксировать, сравнение способен стать методически слабым. Именно поэтому как правило выбирают такие гипотезы, которые потенциально на практике могут изменить на важный момент взаимодействия.

По каким шагам строится A/B тест в логике этапов

Корректное A/B сравнительное тестирование начинается совсем не с визуального решения макета второй редакции, а в первую очередь с четкой постановки постановки рабочей гипотезы. Гипотеза — по сути это измеримое предположение, по поводу того что , насколько обновление скажетcя на реакцию. Допустим: если уменьшить путь ввода, уровень прохождения до конца регистрации станет выше; если обновить название кнопки действия, существенно больше пользователей дойдут к нужному Вулкан Платинум шагу; если поднять блок рекомендаций ближе к началу, станет выше количество стартов объектов. Такая логика гипотезы задает каркас теста и позволяет связать метрику.

После постановки тестовой гипотезы формируются модификации A и параллельно B, затем пользовательский поток разносится в когорты. После этого стартует фактический тест и идет сбор метрик. По итогам набора статистически достаточного слоя информации результаты разбираются. Если одна из вариаций показывает статистически надежно значимое смещение, такую версию нередко могут применить шире. Когда разница не показывает уверенного сигнала, решение могут оставить без заметных действий и меняют подход. В продуктово зрелых устойчиво работающих командах разработки данный цикл идет регулярно постоянно, ведь Vulkan Platinum оптимизация системы редко получается разовым тестом.

По какой причине принципиально важно трогать по возможности только один ключевой ключевой компонент

Одна из из частых распространенных ошибок — скорректировать одновременно ряд параметров и пробовать разобрать, что именно этих них вызвал изменение метрики. Допустим, в случае, если одновременно изменить хедлайн, цветовое решение кнопки, позиционирование контентного блока а также изображение, в ситуации улучшении ключевого значения в итоге окажется сложно зафиксировать истинный источник эффекта роста. На бумаге редакция B способна оказаться лучше, и все же продуктовая команда не сможет понять, какой элемент реально имеет смысл внедрить, и что что полезно убрать. Как итоге новый тест окажется менее прозрачным.

По этой данной методической причине стандартное A/B сравнение чаще всего Вулкан Казино Платинум строится вокруг изменение одного главного главного компонента за тест. Это совсем не означает, что полностью прочие сопутствующие части интерфейса полностью нельзя трогать, при этом логика эксперимента должна оставаться быть ясной. Когда нужно проверить несколько элементов в одном цикле, берут существенно более комплексные схемы, например многомерное экспериментирование. При этом для большинства практических задач именно A/B сценарий остается максимально понятным и рабочим инструментом изолировать влияние выбранного фактора.

Какие основные метрики сравнения берут при оценке

Показатель зависит из задачи теста эксперимента. Когда проблема связана на базе кликом по кнопке по конкретной кнопку, ключевым критерием чаще всего может стать CTR. Когда нужно измерить переход в сторону следующего следующему логическому этапу, анализируют через долю перехода. В случае, если связан юзабилити пользовательского потока, важны глубина прохождения сценария, длительность до основного действия, уровень ошибок и объем Вулкан Платинум реализованных процессов. В сервисах сервисах с контентом нередко могут анализироваться сохранение активности, частота повторного визита, длительность сеанса, уровень открытий и поведение в рамках конкретного сценария.

Необходимо не заменять сводить смысловую метрику пользы легкой. Например, подъем нажатий отдельно себе не означает не обязательно неизменно означает положительное изменение реального взаимодействия. Когда новая вариация ведет к тому, что в большем объеме нажимать на элемент, однако дальше перехода пользователи быстрее покидают сценарий, общий исход вполне может выглядеть отрицательным. Поэтому грамотное A/B тестирование нередко держит ведущую опорный показатель а также несколько вспомогательных контрольных измерений. Многоуровневый контур оценки служит для того, чтобы увидеть не только лишь непосредственное рост, и одновременно еще вторичные эффекты, которые часто нередко могут оказаться неявными Vulkan Platinum с первичном просмотре на отчет данные.

Что в тесте значит статистическая значимость результата

Лишь одной наблюдаемой разницы в цифрах между редакциями недостаточно, с целью назвать A/B тест успешным. Когда сценарий B дал чуть лучше нажатий, это еще не означает, будто обновление действительно срабатывает лучше. Наблюдаемый разрыв теоретически могла возникнуть случайно из-за ограниченного слоя сигналов, текущих особенностей трафика либо краткосрочного шума действий пользователей. Во многом именно по этой причине в A/B сравнений задействуется категория математической значимости эффекта. Такая оценка помогает разобрать, как сильно правдоподобно, будто зафиксированный сдвиг реален, вместо не просто побочный шум.

На практическом уровне применения данная логика говорит о том, что, что эксперимент Вулкан Казино Платинум тест методически нельзя останавливать слишком уж рано. Если попытаться принять решение с опорой на базе самых первых десятков взаимодействий, доля вероятности методической ошибки окажется неприемлемо высокой. Нужно собрать нужного набора сигналов и лишь затем на этом этапе сопоставлять редакции. Для пользователя данный методический нюанс как правило скрыт, при этом во многом именно данная дисциплина влияет на качество конечных продуктовых решений. Если нет статистической строгости система способна Вулкан Платинум начать раскатывать варианты, которые лишь кажутся успешными исключительно на коротком коротком фрагменте времени.

Чем объясняется, что методически нельзя делать окончательные выводы очень быстро

Ранний разрыв часто оказывается вводящим в заблуждение. В стартовые часы или дни эксперимента эксперимента одна из редакция способна ощутимо выигрывать у альтернативную, однако позже разрыв сглаживается а также разворачивает сторону. Такой эффект происходит тем, что таким фактором, что аудитория поток пользователей в начале первых этапах сравнения может оказаться несбалансированной в части распределению источников устройств, окнам времени Vulkan Platinum заходов, каналам прихода потока а также общему типу поведенческому паттерну. Также этого, некоторые дневные интервалы рабочего цикла и периоды суток часто сказываются по линии цифры. Когда остановить тест слишком поспешно, вывод будет зафиксировано не на на повторяемом эффекте, а на случайном случайном срезе поведения.

По этой причине корректный A/B тест обычно должен продолжаться длиться на достаточном горизонте, ради того чтобы увидеть обычный цикл поведенческой активности людей. В части одних ситуациях подобный горизонт буквально несколько дневных циклов, в оставшихся — до недель. Подобное зависит с учетом плотности аудитории и с учетом важности главного показателя. Чем с меньшей частотой фиксируется целевое результат, тем дольше дольше времени нужно будет в целях накопление статистически полезной выборки. Слишком раннее решение внутри A/B сравнениях как правило приводит далеко не к в режим быстрого результата, а скорее к набору ложным Вулкан Казино Платинум итогам и лишним отменам изменений.

Что такое A/B тестирование

A/B тест — это подход сопоставительной проверки, при которого две отдельные вариации отдельного объекта отображаются разным наборам участников, чтобы сравнить, какой вариант вариант действует сильнее относительно изначально сформулированному метрике. Подобный метод широко используется в онлайн- продуктах, UI-средах, маркетинговых сценариях, продуктовой аналитике, e-commerce, смартфонных приложениях, контентных сервисах и внутри онлайн-игровых платформах. Логика метода сводится далеко не в том, чтобы личной оценке качества визуального решения или текста, но в фиксации фактического поведения аудитории. Вместо допущения насчет том , какой из вариант экрана, элемент CTA, текст заголовка и путь взаимодействия эффективнее, продуктовая команда видит данные. Для самого пользователя понимание такого инструмента важно, так как часть Вулкан 24 изменения внутри интерфейсах сервиса, логике навигации, уведомлениях и визуальных карточках материалов появляются во многом именно как результат A/B сравнений.

В профессиональной продуктовой команде A/B тестирование воспринимается как один из основной механизм выработки дальнейших действий на основе фундаменте фактов, но не не на догадки. Развернутые пояснения, в том числе рамках числе на Vulkan24, часто делают акцент на том, что даже локальный блок пользовательского интерфейса нередко может ощутимо влиять в пользовательское поведение сегмента: уровень взаимодействий, длину прохождения просмотра, успешное завершение сценария регистрации, использование инструмента а также возвращение к продукту. Один вариант нередко может смотреться по оформлению сильнее, однако демонстрировать существенно более менее убедительный эффект. Иной — казаться чересчур простым, и при этом показывать лучшую результативность. Именно поэтому A/B сравнительный тест дает возможность разграничить субъективные симпатии команды от реального цифрово измеримого эффекта внутри рабочей среды использования Вулкан 24 Казино.

В чем чем состоит базовый принцип A/B теста

Базовая модель метода относительно несложна. Используется начальный сценарий, который обычно обычно обозначают базовой контрольной редакцией. Вместе с этим создается альтернативная версия, в которой этой версии меняется один конкретный заданный параметр: надпись CTA-кнопки, оттенок кнопки, позиция контентного блока, объем формы регистрации, текст заголовка, графический объект, цепочка этапов или иной заметный фактор. После этого общий поток пользователей алгоритмически случайным образом разбивается на две отдельные части. Одна видит вариант A, вторая — модификацию B. Далее аналитическая система фиксирует, насколько пользователи взаимодействуют по отношению к обеим двух вариаций.

В случае, если эксперимент построен правильно, отличие в показателях поведения довольно часто может подсказать, какое решение изменение на практике срабатывает лучше. Однако таком процессе необходимо не случайно собрать Vulkan24 какие-либо метрики, а изначально выбрать, какая именно основная метрическая цель считается ключевой. К примеру, таким показателем способно стать объем взаимодействий, доля достижения завершения действия, среднее время удержания внутри экрана странице, доля участников теста, прошедших до нужного целевого момента, или же частота возвращения на продукту. Без заранее определенной цели тест нередко скатывается по сути в несистемное сравнение, по итогам которого такого процесса сложно сформулировать рабочий результат.

Для чего в целом запускать сравнительные тесты

В онлайн- электронной продуктовой среде многие идеи кажутся понятными в основном на уровне плоскости предположений. Рабочая команда способна считать, что именно заметная кнопка действия соберет существенно больше внимания, короткий текстовый блок окажется доступнее, а также большой баннерный блок повысит внимание. При этом измеримое поведение пользователей нередко расходится по сравнению с ожиданий. Нередко участники платформы не замечают Вулкан 24 яркий блок, тогда как не так сильный элемент становится лучше. В некоторых случаях развернутый копирайт срабатывает эффективнее небольшого, в случае, если подобная формулировка четко формулирует назначение предлагаемого сценария. A/B тестирование необходимо именно с целью подобного, чтобы сместить акцент с предположения фактическими результатами.

С точки зрения владельца профиля это создает прямое прикладное влияние. Многие сервисы последовательно меняют маршрут человека: упрощают нахождение нужного формата, меняют схему разделов меню, пересобирают контентные карточки, реорганизуют цепочку шагов внутри кабинете или пересматривают систему нотификаций. Подобные нововведения часто не появляются внедряются стихийно. Их проверяют по линии контрольных фрагментах трафика, ради того чтобы понять, позволяет ли вообще ли альтернативный вариант с меньшим трением обнаруживать целевую точку действия, реже сбиваться а также с большей долей доводить до конца Вулкан 24 Казино измеряемое сценарий. Хороший эксперимент сдерживает вероятность неудачного изменения в масштабе всей полной продуктовой среды.

Что в продукте в рамках A/B тестов можно тестировать

A/B тестирование годится далеко не только исключительно для больших изменений. В реальном уровне работы объектом сравнения способно оказаться почти каждый узел электронного продуктового сценария, если он воздействует через поведение пользователя и при этом может быть аналитическому измерению. Довольно часто тестируют тексты заголовков, текстовые описания, CTA-кнопки, CTA-формулировки к действию, графические элементы, цветовые визуальные решения, последовательность элементов, протяженность формы действия, структуру основного меню, логику представления Vulkan24 советов, попап- экраны, onboarding-потоки и push-уведомления. Иногда даже малое обновление фразы нередко существенно сказывается в результат.

На примере UI-сценариях онлайн-игровых платформ сравнительной проверке нередко могут подлежать контентные карточки контента, системы фильтрации каталога, расположение элементов действия запуска, окно согласования, рекомендательные блоки, внешний вид аккаунта, логика подсказочных элементов и вместе с этим логика секций. При такой работе необходимо учитывать, что именно далеко не конкретный блок имеет смысл выносить в эксперимент отдельно. Когда влияние в главную целевую метрику почти невозможно зафиксировать, тест может выглядеть пустым. Именно поэтому чаще всего выносят в тест наиболее релевантные гипотезы, которые действительно на практике могут сдвинуть на значимый момент взаимодействия.

По каким шагам строится A/B тест в логике этапов

Корректное A/B сравнение начинается совсем не с подготовки новой версии дизайна варианта измененной вариации, но с формулировки описания гипотезы. Тестовая гипотеза — это четкое утверждение, насчет того как , как обновление скажетcя в реакцию. В частности: если команда сделать короче форму регистрации, коэффициент достижения конца действия станет выше; если же обновить текст CTA-кнопки, больше аудитории переключатся на целевому Вулкан 24 экрану; в случае, если поставить выше блок советов заметнее, станет выше объем открытий рекомендуемого контента. Такая постановка формирует смысловую рамку эксперимента и дает возможность связать основной показатель.

После формулировки тестовой гипотезы создаются модификации A и параллельно B, после чего пользовательский поток разносится на когорты. Далее запускается непосредственно сам A/B запуск и стартует получение наблюдений. После сбора статистически достаточного массива данных метрики анализируются. Когда конкретная одна сравниваемых версий фиксирует статистически надежно значимое и устойчивое превосходство, ее способны запустить масштабнее. Если отрыв недостаточно надежна, вариант могут оставить без продуктовых действий и меняют подход. В опытных зрелых группах специалистов подобный цикл воспроизводится циклично, ведь Вулкан 24 Казино улучшение цифровой среды обычно не получается каким-то одним тестом.

Зачем нужно тестировать только один главный фактор

Одна из из частых известных ошибок — обновить одновременно много факторов и при этом пробовать понять, какой из измененных компонентов обеспечил наблюдаемое смещение. В частности, если одновременно одновременно обновить заголовочную формулировку, цвет кнопки кнопки, место блока и вместе с этим графический элемент, при улучшении целевого показателя будет трудно определить настоящий драйвер результата. Снаружи версия B вполне может выйти вперед, однако специалисты не сумеет считать, какая часть конкретно нужно внедрить, а какие элементы можно не внедрять. В следствии следующий шаг станет заметно менее понятным.

По указанной такой причине стандартное A/B тестирование решений обычно Vulkan24 опирается на смену одного ведущего главного фактора в один цикл. Такая дисциплина не, что абсолютно все сопутствующие элементы полностью нельзя менять, но архитектура эксперимента должна выглядеть понятной. Если же нужно оценить сразу несколько параметров параллельно, применяют методически более многоуровневые методы, в частности мультивариантное тестирование. При этом для основной части большинства продуктовых задач именно A/B метод считается самым интерпретируемым а также контролируемым инструментом изолировать вклад выбранного фактора.

Какие метрики используют при сопоставлении

Основная метрика выбирается исходя из задачи теста сравнения. В случае, если цель сопряжена по линии нажатиям по конкретной CTA-кнопку, ведущим критерием способен стать CTR. Если основная цель — продолжение сценария в сторону следующего целевому сценарию, анализируют через конверсионную метрику. Когда связан удобство пользовательского потока, полезны масштаб прохождения прохождения, временной интервал до ожидаемого заданного события, процент сбоев сценария либо уровень Вулкан 24 дошедших до конца цепочек. В сервисах средах с контентными блоками часто могут анализироваться показатель удержания, частота возврата, длительность взаимодействия, объем открытий и активность в рамках конкретного сценария.

Стоит не путать подменять полезную основной показатель простой для наблюдения. Например, подъем кликов сам по себе себе одном не означает совсем не неизменно означает положительное изменение реального пути. Если версия B версия побуждает в большем объеме кликать в рамках конкретный объект, однако после этого аудитория заметно быстрее выходят, конечный исход нередко может выглядеть слабым. По этой причине грамотное A/B сравнение во многих случаях содержит ведущую метрику успеха и вместе с ней ряд вспомогательных сигнальных метрик. Подобный способ служит для того, чтобы разглядеть не просто только непосредственное плюс-эффект, но и непрямые последствия, которые нередко могут быть незаметными Вулкан 24 Казино при быстром просмотре на цифры метрики.

Что в тесте означает статистическая проверочная значимость результата

Самой по себе наблюдаемой разницы между версиями между тестируемыми редакциями не хватает, для того чтобы зафиксировать A/B тест удачным. В случае, если версия B получил немного больше нажатий, один этот факт совсем не не доказывает, что изменение изменение реально срабатывает эффективнее. Подобная разница вполне могла возникнуть случайно вследствие ограниченного объема наблюдений, текущих особенностей трафика а также случайного временного изменения действий пользователей. Как раз вследствие этого в A/B тестировании задействуется категория формальной статистической достоверности. Оно дает возможность измерить, насколько методически оправданно, будто наблюдаемый эффект связан с изменением, вместо далеко не случаен.

На практическом практике этот критерий сводится к тому, что, что сам запуск Vulkan24 тест не стоит сворачивать слишком уж быстро. Если сделать окончательный вывод на материале самых первых малого числа действий, вероятность неверного решения будет неприемлемо высокой. Нужно получить статистически полезного массива сигналов а уже потом лишь на этом этапе оценивать редакции. С точки зрения участника сервиса подобный методический нюанс как правило не виден, но как раз такая логика определяет уровень качества итоговых решений. Без такой статистической проверки сервис нередко может Вулкан 24 начать применять обновления, которые внешне выглядят удачными исключительно на коротком периоде времени.

Чем объясняется, что не стоит закреплять решения чересчур на раннем этапе

Ранний эффект во многих случаях может оказаться ложным. В первые стартовые часы а также дни эксперимента одна вариация вполне может заметно идти впереди вторую, при этом дальше разница сглаживается либо переворачивает знак. Подобная динамика возникает с тем обстоятельством, что аудитория выборка в стартовой фазе теста нередко может сформироваться случайно смещенной с точки зрения типу устройств, окнам времени Вулкан 24 Казино активности, источникам трафика потока а также базовому сценарию взаимодействия. Помимо этого указанного, разные дневные интервалы недельного цикла и даже временные окна суток нередко меняют картину в результаты. В случае, если свернуть A/B запуск слишком быстро, вывод будет сделано не по материалу стабильном результате, но фактически по материалу случайном фрагменте поведения.

Из-за этого методически корректный эксперимент обычно должен продолжаться длиться достаточно, чтобы увидеть нормальный ритм поведения аудитории. В отдельных части случаях это несколько суток, в ряде других сложных — до полных недель. Подобное рассчитывается в зависимости от объема аудитории и с учетом значимости целевой метрики. Насколько с меньшей частотой фиксируется целевое событие, настолько дольше времени потребуется в целях накопление достаточной базы данных. Торопливость на этапе A/B тестировании обычно заканчивается далеко не к в сторону скорости, а к набору ошибочным Vulkan24 итогам а также избыточным откатам.