Backtesting

Для проверки адекватности своих методов вычисления мер риска, таких как VAR, финансовые институты применяют прием, называемый backtesting. Суть этого приема состоит в сравнении реальных результатов, полученных при управлении портфелем, с риском, вычисленным по внутренней модели. Если сравниваемые показатели достаточно близки, то модель, используемая для вычисления меры риска верна. Если нет, возникают вопросы о качестве модели или о правильности применения метода тестирования.
Committees at the Bank for International Settlement (BIS) в своих документах определяет основные параметры backtesting программ, которые должны быть реализованы финансовыми организциями. Результаты таких тестов должны,начиная с 1998 года, регулярно предоставляться в регулирующие организации для их последующего изучения и принятия решения об адекватности внутренних моделей.
Рассмотрим проблемы, возникающие при попытке реализовать backtesting процедуру. BIS требует, чтобы потери не превосходили VAR с 99-процентным уровнем доверия. На практике сравнение VAR с результатами управления реальным портфелем довольно сложная задача, так как входными параметрами для вычисления VAR являются позиции на конец торгового дня и модель должна рассчитывать меру риска этого "статичного" портфеля. При этом реальные результаты торгового дня будут получены скорее всего уже не для исходного, а для измененного под воздействием ситуации на рынке портфеля. По этой же причине нет смысла рассматривать для backtesting задач периоды более одного дня, так как, скажем, за 10 торговых дней изменения в структуре портфеля будут еще более значительными.
В настоящее время BIS предлагает финансовым институтам использовать два подхода к тестированию.

  • Первый основан на гипотетических изменениях портфеля, в котором позиции на конец дня остаются неизменными.
  • Для второго используются реальные изменения портфеля в течении дня. Этот метод помогает выявить случаи, когда вычисленные меры риска не полностью учитывают волатильность.

Комбинация этих двух подходов, по мнению регуляторов, обеспечивает наибольшее понимание соотношения между вычисленным риском и реальными результатами достигнутыми на рынке.
Регуляторы требуют предоставления информации о работе backtesting программ, основанных минимум на  12-месячных наблюдениях (около 250 дней). Поводом к возникновению вопросов об адекватности модели служит количество наблюдений, не покрывающихся внутренней оценкой VAR. В особо серьезных случаях регулирующие организации могут потребовать пересмотра внутренней модели или требований к резервированию.
Подход к оценке адекватности модели, основанный на количестве неудачных испытаний, требует, с точки зрения статистики, ряда предположений, в частности, предположения о независимости. Этот подход также ставит задачу различения статистических ошибок первого и второго рода (т.е возможность отвергнуть адекватную модель и, наоборот, не распознать сигнал о некорректности используемой модели). Для решения подобных проблем BIS разработал строгую процедуру, основанную на использовании специальных таблиц [BIS].
Следует отметить, в заключение, что backtesting является очень сложной задачей как с математической точки зрения, так и с точки зрения требований к вычислительным мощностям.

ЛИТЕРАТУРА
[BIS].Supervisory Framework for the use of   "Backtesting" in Conjunction with the Internal Models Approach to Market Risk Capital Requirements. Committees at the Bank for International Settlement (BIS).