Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Partie 3. Value-at-Risk et Backtesting
Backtesting
Christophe Hurlin, Université d’Orléans, Laboratoire
d’Economie d’Orléans (UMR CNRS 6221)
Master Econométrie et Statistique Appliquée (ESA), Université d’Orléans
Septembre 2008
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Value-at-Risk et backtesting
"Disclosure of quantitative measures of market risk,
such as value-at-risk, is enlighening only whne
accompanied by a thorough discussion of how the risk
measures were calculated and how they related to actual
performance" Alan Greenspan (1996), cited in Jorion
(2007)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Plan du Chapitre
1
Introduction
1
2
3
2
Dé…nitions
1
2
3
4
3
Qu’est ce que le backtesting ?
Pourquoi et pour qui mettre en place des procédures de
backtesting ?
Comment tester la validité d’une prévision de VaR ?
Violation (hit) de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Tests de couverture non conditionnelle
1
2
Test de Kupiec (1995)
Pratique réglementaire : Bâle II
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Plan du Chapitre
4. Tests d’independance et de couverture conditionnelle
1
2
3
4
5
6
Les di¤érentes stratégies de test
Les tests LR : Christo¤ersen (1998)
Les tests de durée : Christo¤ersen et Pelletier (2004), Haas
(2007) et Candelon, Colletaz, Hurlin et Tokpavi (2008)
Les tests de l’hypothèse de di¤érence de martingale :
Berkowitz et al. (2005) et Hurlin et Tokpavi (2007)
Les tests fondés sur un modèle de régression des hits : Engle
et Manganelli (2004), Patton (2002)
Les tests de type Density Forecast : Crnkovic et Drachman
(1997), Diebold et al. (1998), Berkowitz (2001)
5. Une évaluation des procédures de backtesting
6. Conclusion
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Introduction
Qu’est ce que le backtesting ?
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Qu’est ce que le backtesting ?
Il n’existe pas de dé…nition précise du backtesting, la plus générale
étant celle proposée par Jorion (2007)
De…nition
Le backtesting est un ensemble de procedures statistiques dont le
but est de véri…er que les pertes réelles observées ex-post sont en
adéquation avec pertes prévues. Cela implique de comparer
systématiquement l’historique des prévisions de Value-at-Risk aux
rendements observés du portefeuille (Jorion, 2007, page 139).
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Introduction
Pourquoi mettre en oeuvre le backtesting ?
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
Pourquoi et pour qui mettre en oeuvre une procédure de
backtesting ?
1
Aspects réglementaires (Bâle II)
2
Intérêt pour les Risk Managers
3
Grande diversité des modèles de prévisions de la VaR
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
1. Aspects réglementaires
Les institutions …nancières sont réglementairement
contraintes de mettre en oeuvre une validation de leurs
modèles internes de VaR
Les réglementations prudentielles dé…nies dans le cadre des
accords de Bâle laissent la liberté aux institutions …nancières
de développer leur propre modèle interne d’évaluation des
risques et de calcul de la Value at Risk (VaR).
En contrepartie, les réglementations prudentielles imposent
une évaluation de ces modèles de VaR par des procédures
de Backtesting.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
1. Aspects réglementaires (suite)
Remarque Dans cette perspective, les procédures d’évaluation
des modèles de VaR doivent donc être de type
model free.
De…nition (Test model free)
Un test de validation est dit de type model free si ses propriétés
(distribution, statistique de test) ne dépendent pas du modèle qui
a permis de générer les prévisions de la VaR. Ce type de test peut
donc être appliqué de la même façon à n’importe quelle prévision
de VaR provenant de n’importe quel modèle.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
1. Aspects réglementaires (suite)
Le choix des techniques de validation devient alors un
problème essentiel de la politique de transparence et de
gestion des risques des institutions …nancières.
Comment certi…er (sur le plan réglementaire) la validité et
la précision d’une mesure de risque comme la VaR, issue
généralement d’un modèle relativement compliqué et sur
lequel il peut être di¢ cile, voir non souhaitable, de
communiquer pour une banque ?
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
2. Intérêt pour les Risk Managers
Les utilisateurs de la VaR et plus généralement les Risk
Managers ont besoin d’évaluer les prévisions de VaR en dehors
des normes réglementaires imposées par Bâle II
Mise en place de procédures de backtesting internes à
l’institution …nancière dans le cadre générale du contrôle
interne des risques
Mise en place de procédures de backtesting lors de la
construction des modèles de prévision de la VaR
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
3. De la grande diversité des méthodes de prévision de la
VaR
Il existe de très nombreuses méthodes (paramétriques, non
paramétriques ou semi-paramétriques) de calcul et de
prévision de la VaR.
Or, la pratique montre que ces di¤érents modèles
conduisent généralement à des estimations très
di¤érentes de la VaR, et donc du risque, pour un même
portefeuille.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
Example (Beder, T. (1995), ”VaR: Seductive but Dangerous”,
Financial Analysts Journal, 51, 5, pp. 12-24.)
Beder (1995) en utilisant huit mesures assez communes de VaR
respectivement basées sur le croisement de trois critères (type de
modélisation retenue pour la rentabilité du portefeuille, à savoir
Simulation Historique ou Monte Carlo, Hypothèse concernant les
corrélations entre les actifs composant le portefeuille et la période
de détention) met en évidence de grandes di¤érences entre les
valeurs prévues de la VaR.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
Example (Candelon, B, Colletaz, G, Hurlin C. et Tokpavi. (2008),
”Backtesting Value-at-Risk: A GMM duration-based test”,
Working Paper.)
Les auteurs appliquent trois méthodes de calcul de la VaR à 5%
aux rendements quotidiens du Nasdaq : méthode HS (approche
non paramétrique), modèle GARCH sous Student (approche
paramétrique) et le CAViaR (approche semi-paramétrique). Ils
considèrent une estimation glissante (rolling) des paramètres de ces
trois modèles sur une fenêtre de 250 observations et calculent pour
chaque modèle estimé la prévision à l’horizon d’une période de la
VaR. Sur le graphique suivant est reportée la séquence de 250
prévisions obtenues pour la période du 22 Juin 2005 au 20 Juin
2006 ainsi que les rendements observés.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Figure: Historical Returns and 5% VaR Forecasts. Nasdaq
Nasdad
0.03
Returns
GARCH-t(d) 5% VaR
Historical Simulation 5% VaR
CAViaR 5%
0.02
0.01
0
-0.01
-0.02
-0.03
0
50
100
Christophe Hurlin
150
Backtesting
200
250
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
3. De la grande diversité des méthodes de prévision de la
VaR
Dès lors le backtesting doit permettre de déterminer la (ou
les) méthodes les plus appropriées pour prévoir la VaR
Distinction entre test de validation de prévision / test de
comparaison de prévision
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
De…nition (test de validation)
Un test de validation d’une prévision est un test dont l’hypothèse
nulle est revient à postuler que la prévision est issue du DGP des
données.
De…nition (test de comparaison)
Un test de comparaison permet de comparer des prévisions issues
de modèles potentiellement tous mal spéci…és et de déteminer quel
est le "moins mauvais" modèle au regard d’une certaine norme ou
d’un modèle de référence.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Pourquoi mettre en oeuvre le Backtesting ?
Remarque la plupart des tests de backtesting sont aujourd’hui
des tests de validation, mais certains tests de
comparaison de densités de prévisions peuvent être
appliqués dans le cas du backtesting (Corrandi et
Swansson, 2005; Bao, Lee et Saltoglu, 2004).
Bao Y., Lee, T.H et Saltoglu B. (2004), "A test for
density forecast comparison with applications to risk
management", Working Paper.
Corradi V. et Swansson N.R. (2005), "A Test for
Comparing Multiple Misspeci…ed Conditional Distributions", à
paraître dans Econometric Theory.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Introduction
Comment tester la validité d’une prévision de VaR ?
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Comment tester la validité d’une prévision de VaR ?
Traditionnellement, la validité de la prévision d’une
grandeur économique est évaluée en comparant sa
réalisation ex-post à la valeur prédite ex-ante.
La comparaison des di¤érents modèles de prévision se fait
alors via l’utilisation d’un critère fondé sur cet écart entre
valeur prédite et valeur réalisée (ou d’une fonction de
perte) comme par exemple le critère de la Mean Squared Error
(MSE) ou les critères d’information standards (AIC, BIC etc.).
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Comment tester la validité d’une prévision de VaR ?
Si la réalisation ex-post de la variable d’intérêt est
inobservable, l’exercice d’évaluation nécessite alors d’utiliser
un proxy.
Example
l’évaluation des modèles de volatilité où la volatilité journalière
ex-post est approximée par la volatilité réalisée, dé…nie comme la
somme des carrés des rentabilités intra-day (Andersen et al., 2003).
Or la réalisation ex-post de la VaR n’est pas observable
et à ce jour aucune variable proxy satisfaisante n’a été
proposée.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Qu’est ce que le backtesting ?
Pourquoi mettre en oeuvre le Backtesting ?
Comment tester la validité d’une prévision de VaR ?
Introduction
Comment tester la validité d’une prévision de VaR ?
C’est pourquoi l’évaluation de la VaR est généralement fondée
sur des tests statistiques (et non de simples critères) des deux
principales hypothèses que le processus associé aux violations
de la VaR anticipée doit satisfaire, à savoir l’hypothèse de
couverture non conditionnelle et l’hypothèse
d’indépendance.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…ntions
Dé…nitions
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Plan de la section
Nous allons à présent poser un certain nombre de dé…nitions :
1
Vilolations (hit) de la VaR
2
Couverture non conditionnelle
3
Indépendance des violations
4
Couverture conditionnelle
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Dé…nitions
Violations de la VaR
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
On note rt la rentabilité d’un actif ou d’un portefeuille d’actifs
à la date t.
La valeur ex-ante de la VaR pour un taux de couverture de
α%, notée VaR t jt 1 (α), anticipée conditionnellement à un
ensemble d’informations, noté Ωt 1 , disponible à la date
t 1 est dé…nie par la relation suivante :
Pr[rt < VaR t jt
Christophe Hurlin
1 ( α )]
Backtesting
=α
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
De…nition
On appelle violation (ou hit, ou exception) une situation dans
laquelle à la date t la perte observée excède la VaR anticipée
De…nition
On appelle hit function, ou hit variable, la variable indicatrice
It (α) associée à l’observation ex-post d’une violation de la VaR à
α% à la date t.
(
1 si rt < VaR t jt 1 (α)
It (α) =
0 sinon
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Example
Reprenons l’exemple du Nasdaq sur la période Août 2005 - Août
2006 et calculons les hits associés aux prévisions out-of-sample à
une période des VaR-HS, GARCH Student et CAViaR. Souce :
Candelon, Colletaz, Hurlin et Tokpvai (2008).
Candelon, B, Colletaz, G, Hurlin C. et Tokpavi. (2008),
”Backtesting Value-at-Risk: A GMM duration-based test”,
Working Paper.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Figure: Historical Returns and 5% VaR Forecasts. Nasdaq (June
2005-2006)
Nasdad
0.03
Returns
GARCH-t(d) 5% VaR
Historical Simulation 5% VaR
CAViaR 5%
0.02
0.01
0
-0.01
-0.02
-0.03
0
50
100
Christophe Hurlin
150
Backtesting
200
250
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Figure: 5%VaR Violations. Nasdaq (June 2005 - June 2006, T =250)
Hits: GARCH-t(d) 5% VaR
1
0.5
0
0
50
100
150
200
250
150
200
250
200
250
Hits: HS 5% VaR
1
0.5
0
0
50
100
Hits: CAViaR 5% VaR
1
0.5
0
0
50
100
Christophe Hurlin
150
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Remarque En d’autres termes, la hit function masque
l’information liée à l’ampleur de la perte au delà de la
VaR dé…nie par :
(
rt VaR t jt 1 (α) si rt < VaR t jt
excess lossest (α) =
0
sinon
Example
Reprenons l’exemple du Nasdaq sur la période Août 2005 - Août
2006 et calculons les pertes en excès pour la VaR HS et le CAViaR.
Christophe Hurlin
Backtesting
1(
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Nasdad
0.03
Returns
CAViaR 5%
0.02
0.01
0
-0.01
-0.02
-0.03
0
50
-3
0
100
150
200
250
200
250
Exc ess Loss es : CAViaR 5%VaR
x 10
-1
-2
-3
-4
-5
-6
-7
0
50
100
Christophe Hurlin
150
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Comment tester la validité de la prévision d’une VaR à partir
d’une séquence de violations fIt gTt=1 ou de pertes en excès
T
It
rt VaR t jt 1 (α) t =1 ?
Christoffersen, P. F. (1998), ”Evaluating Interval
Forecasts”, International Economic Review, 39, pp. 841-862.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Theorem
Christo¤ersen (1998) qu’une prévision de VaR est valide si et
seulement si la séquence des violations fIt gTt=1 satisfait les deux
hypothèses suivantes :
- L’hypothèse de couverture non conditionnelle (unconditional
coverage, UC)
- L’hypothèse d’indépendance (independence, IND)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Dé…nitions
Couverture non conditionnelle
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
De…nition (couverture non conditionnelle)
L’hypothèse de couverture non conditionnelle est satisfaite
lorsque la probabilité que se réalise ex-post une perte en excès par
rapport à la VaR anticipée ex-ante est précisément égale au taux
de couverture α :
Pr [It (α) = 1] = E [It (α)] = α
Example
pour une VaR à 1% utilisée comme mesure de référence sur 500
périodes, l’espérance du nombre de violations doit être égale à 5.
Si le nombre de violations est signi…cativement supérieur ou
inférieur à 5, la mesure de VaR est non valide.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Corollary
Sous l’hypothèse de couverture non conditionnelle, la variable
binaire It (α) suit une distribution de Bernoulli de probabilité égale
àα:
It (α) B (p )
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
De…nition
Si la probabilité de violation est signi…cativement inférieure au taux
de couverture nominal α cela traduit une surestimation de la VaR
et donc du risque, conduisant par conséquent à peu de violations.
La VaR est dite conservative (risque de second ordre)
Pr [It (α) = 1] = E [It (α)] < α
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
De…nition
Si la probabilité de violation est signi…cativement supérieure au
taux de couverture nominal α cela traduit une sous-estimation de
la VaR et donc du risque (risque de premier ordre).
Pr [It (α) = 1] = E [It (α)] > α
Christophe Hurlin
Backtesting
(1)
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Example
Berkowitz et O’Brien (2002) considèrent les VaR issues des
modèles internes de six grands banques commerciales américaines
de Janvier 1988 à Mars 2000, ainsi que la VaR déduite d’une forme
réduite de type ARMA-GARCH. Pour chaque VaR ils reportent les
pertes en excès et mettent en évidence le conservatisme des VaR
produites par ces six banques.
Berkowitz, J., and O-brien J. (2002), ”How Accurate
are the Value-at-Risk Models at Commercial Banks”, Journal
of Finance, 57, pp. 1093-1111.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Dé…nitions
Indépendance des Violations
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
De…nition (indépendance des violations)
L’hypothèse d’indépendance des violations est satisfaite
lorsque les violations de la VaR observées à deux dates di¤érentes
pour un même taux de couverture doivent être indépendamment
distribuées. Formellement, la variable It (α) associée à la violation à
la date t de la VaR pour un taux de couverture à α%, est
indépendante de la variable It k (α), 8k 6= 0.
Corollary
Sous l’hypothèse d’indépendance, il n’existe pas de cluster de
violations
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
La propriété d’indépendance des violations est une propriété
essentielle car toute mesure de risque doit s’ajuster
automatiquement et sans retard à toute nouvelle information
entraînant une évolution nouvelle dans la dynamique de la
rentabilité de l’actif.
Une modélisation qui ne prend pas en compte cet aspect,
risque d’engendrer des violations successives se présentant en
cluster. Des pertes extrêmes peuvent alors succéder à des
pertes extrêmes (faillite).
Aussi, aucune forme de dépendance ne doit donc exister dans
la séquence des violations et cela quels que soient les taux de
couverture considérés.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Example
Berkowitz et O’Brien (2002) montrent que les modèles de VaR
utilisés par six grandes banques commerciales américaines non
seulement tendent à être très conservateurs au niveau du risque,
mais en outre conduisent à des clusters de violations.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
"We evaluate the VaR forecasts in several ways.
First, the null hypothesis of 99 percent coverage rate is
tested. Two important …ndings are that, unconditionally,
the VaR estimates tend to be conservative relative to the
99th percentile of [the distribution of pro…t and loss].
However at times, losses can substantially exceed the
VaR, and such events tend to be clustered. This suggests
that the banks models, besides a tendency toward
conservatism, have di¢ culty forecasting changes in the
volatility of pro…t and loss.“ (Berkowitz and O’Brien,
2002, page 1094)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Remarque ces deux propriétés (UC et IND) de la VaR sont
indépendantes l’une de l’autre. Dès lors, si une
mesure de VaR ne satisfait pas à l’une ou l’autre de
ces deux hypothèses, elle doit être considérée comme
non valide (Christo¤ersen, 1998).
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Dé…nitions
Couverture conditionnelle
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
De…nition (couverture conditionnelle)
L’hypothèse de couverture conditionnelle est satisfaite lorsque
la probabilité conditionnelle à l’information disponible en t 1 que
se réalise ex-post une perte en excès par rapport à la VaR est
précisément égale au taux de couverture α :
Pr [ It (α) = 1j Ωt
où Ωt
VaR.
1
1]
= E [ It (α)j Ωt
1]
=α
désigne l’ensemble d’information utilisé pour prévoir la
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Corollary
Sous l’hypothèse de couverture conditionnelle, le processus
centré associé aux violations de la VaR véri…e les propriétés d’une
di¤érence de martingale :
E [ It (α)
α j Ωt
1]
=0
Corollary
L’hypothèse de couverture conditionnelle implique l’hypothèse
de couverture non conditionnelle et l’hypothèse d’indépendance.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Violations de la VaR
Couverture non conditionnelle
Indépendance des violations
Couverture conditionnelle
Dé…nitions
Comment tester ces trois hypothèses ?
Lectures :
Campbell, S. D. (2007), "A Review of Backtesting and
Backtesting Procedures", Journal of Risk, Vol 9, Number 2, p.
1-19.
Hurlin C. et Tokpavi S. (2008), ”Une Evaluation des
Procédures de Backtesting : Tout va pour le Mieux dans le
Meilleur des Mondes", Finance, vol 29(1), pp.53-80.
Jorion P..(2001), Value-at-Risk: The New Benchmark for
Managing Financial Risk, McGraw-Hill.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Tests de couverture non conditionnelle
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Tests de couverture non conditionnelle
1
Test de Kupiec (1995)
2
La pratique réglementaire : Bâle II
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Tests de couverture non conditionnelle
Test de Kupiec (1995)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Idée du test de Kupiec (1995)
Soit VaR t jt 1 (α) la valeur prévue de la VaR pour un taux de
couverture de α% et soit It (α) le processus de violation
associé.
On considère une séquence de T prévisions successives de la
VaR, soit N le nombre de violations associées :
T
N=
∑ It (α)
t =1
Le rapport N/T dé…nit la fréquence empirique des violations
(failure rate)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Sous l’hypothèse de couverture non conditionnelle (UC), on
sait que le failure rate constitue un estimateur convergent du
taux de couverture
N p
! α
T T !∞
Si l’on suppose que les variables It (α) sont i.i.d., alors sous
l’hypothèse UC le nombre total de violations N suit une loi
Binomiale
N B (T , p )
avec E (N ) = pT et V (N ) = p (1
Christophe Hurlin
Backtesting
p) T .
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Si T est su¢ sament important, on peut approximer la loi
Binomiale par une loi Normale et sous l’hypohèse d’UC il vient
Z = p
N
p (1
pT
p) T
N (0, 1)
Il est possible de tester l’hypothèse d’UC directement à partir
de cette relation sous la forme :
H0 : E (It ) = α
H1 : E (It ) 6= α
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Example (Jorion, 2007, page 144)
Jorion considère le rapport annuel de la banque JP Morgan de
1998 qui précise que le modèle total de violations associées au
modèle interne de VaR à 5% s’établissait à 20 pour 252
observations. La réalisation de la statistique Z est alors égale à :
20 0.05 252
z= p
= 2.14
0.05 0.95 252
Pour un niveau de risque de première espèce de 5%, on rejette
l’hypothèse nulle d’UC H0 : E (It ) = 0.05 puisque la valeur absolue
de cette réalisation jz j est supérieure au fractile d’une loi normale,
i.e. 1.96.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Kupiec (1995) ne travaille pas directement à partir de la
statistique z, mais propose un test de ratio de
vraisemblance (Likelihood Ratio, LR test)
Kupiec, P.. (1995), ”Techniques for Verifying the Accuracy
of Risk Measurement Models”, Journal of Derivatives, 3, pp.
73-84.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
De…nition (test de Kupiec, 1995)
Pour un taux de couverture de la VaR à α%, le test de couverture
non conditionnelle de Kupiec (1995) admet pour hypothèse nulle
H0 : E (It ) = α
où It désigne la violation associée à la VaR à une date t. Sous H0 ,
la statistique de ratio de vraisemblance associée véri…e
#
"
h
i
N T N
N
T N N
LRUC =
2 ln (1 α)
p + 2 ln
1
(N )
T
L
! χ2 (1)
T !∞
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Example
Considérons l’exemple proposé par Jorion (2007) pour le cas de la
Banque JP Morgan.
LRUC = 4.57
(2)
Pour un risque de première espèce de 5%, on rejette l’hypothèse
nulle d’UC la valeur de la statistique LR excède la valeur du fractile
à 95% d’une loi χ2 (1), i.e. 3.84.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Jorion (2007) donne des ordres de grandeurs de la zone de non
rejet (pour un risque de première espèce de 5%) de l’hypothèse
d’UC au sens du test de Kupiec (1995)
T = 252, α = 1%, il y a non rejet si et seulement si N < 7
T = 252, α = 5%, il y a non rejet si et seulement si
6 < N < 20
T = 510, α = 1%, il y a non rejet si et seulement si
1 < N < 11
T = 510, α = 5%, il y a non rejet si et seulement si
16 < N < 36
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Test de Kupiec
Example
Berkowitz et O’Brien (2002) appliquent di¤érents tests de
bakctesting aux VaR issues des modèles internes de six grands
banques commerciales américaines de Janvier 1988 à Mars 2000.
Berkowitz, J., and O-brien J. (2002), ”How Accurate
are the Value-at-Risk Models at Commercial Banks”, Journal
of Finance, 57, pp. 1093-1111.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
Tests de couverture non conditionnelle
La pratique réglementaire
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Test de Kupiec (1995)
La pratique réglementaire : Bâle II
Tests de couverture non conditionnelle
La pratique réglementaire : Bâle II
La pratique réglementaire : Bâle II
Dé…nition des zones de pénalité verte, jaune et rouge
Voir Jorion (2007), pages 148-149
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Plan de la section
Nous allons à présent nous intéresser aux tests d’indépendance et
de plus généralement de couverture conditionnelle
1
2
3
4
5
6
Les di¤érentes stratégies de test
Les tests LR : Christo¤ersen (1998)
Les tests de durée : Christo¤ersen et Pelletier (2004), Haas
(2007) et Candelon, Colletaz, Hurlin et Tokpavi (2008)
Les tests de l’hypothèse de di¤érence de martingale :
Berkowitz et al. (2005) et Hurlin et Tokpavi (2007)
Les tests fondés sur un modèle de régression des hits : Engle
et Manganelli (2004), Patton (2002)
Les tests de type Density Forecast : Crnkovic et Drachman
(1997), Diebold et al. (1998), Berkowitz (2001)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Les stratégies de test
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les di¤érentes stratégies de test
Il existe deux grandes classes de tests de l’e¢ cience conditionnelle
1 La première catégorie regroupe l’
ensemble des tests établis
pour un taux de couverture donnée. Ces tests fondés
notamment sur l’évaluation de l’occurrence d’une violation de
la VaR à α% correspondent à une approche dite Event
Probability Forecast Evaluation.
2 La seconde catégorie regroupe tous les tests qui véri…ent de
façon jointe la propriété d’e¢ cience conditionnelle pour
l’ensemble des taux de couverture possibles et qui ne se
limitent plus à l’étude d’une VaR pour un taux …xé
arbitrairement. Il s’agit alors d’évaluer de façon complète la
densité de probabilité des P&L. Ces tests correspondent à une
approche de type Density Forecast Evaluation.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les di¤érentes stratégies de test
Au sein de la classe des tests de type Event Probability Forecast
Evaluation on distingue trois grandes stratégies de tests :
1
Certains tests sont fondés sur une modélisation de type
chaîne de Markov à deux états : Christo¤ersen (1998)
2
Certains tests sont fondés sur l’étude de la distribution des
durées entre deux violations : Christo¤ersen et Pelletier
(2004), Haas (2007) et Candelon, Colletaz, Hurlin et Tokpavi
(2008)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les di¤érentes stratégies de test
3. D’autres testent directement les implications de l’hypothèse
de di¤érence de martingale : Berkowitz et al. (2005) et
Hurlin et Tokpavi (2007)
4. En…n certains tests sont fondés sur un modèle de regression
des hits : Engle et Manganelli (2004), Patton (2002)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Les tests LR : Christo¤ersen (1998)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Tests LR : Christo¤ersen (1998)
Idée du test : Christo¤ersen (1998) suppose que, sous l’hypothèse
alternative de non e¢ cience de la VaR, le processus des violations
It (α) est modélisé par une chaîne de Markov. Les hypothèses UC,
IND et CC correspondent alors à des restrictions sur les paramètres
qui peuvent être testés grâce à de simples statistiques de type LR
Christoffersen, P. F.. (1998), ”Evaluating interval
forecasts”, International Economic Review 39, p. 841-862.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Christo¤ersen (1998) suppose que le processus des violations It (α)
peut être modélisé par une chaîne de Markov admettant pour
matrice des probabilités de transition la matrice suivante :
Π=
π 00 π 01
π 10 π 11
π ij = Pr [ It (α) = j j It
1
(α) = i ]
De…nition
L’hypothèse nulle d’e¢ cience conditionnelle est dé…nie par l’égalité
H0,CC : Π = Πα =
Christophe Hurlin
1
1
Backtesting
α α
α α
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Quel que soit l’état du système en t 1, la probabilité
d’observer à la date t une violation est égale au taux de
couverture conditionnelle
π t = Pr [It (α) = 1] = α
De plus, la probabilité d’observer une violation à la date t est
indépendante de l’état en t 1.
Une simple statistique de rapport de vraisemblance permet
alors de tester l’hypothèse nulle d’e¢ cience conditionnelle.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
De…nition (Christo¤ersen, 1998)
Sous HCC , la statistique de rapport de vraisemblance LRCC véri…e :
n
h
io
b I1 (α) , ., IT (α)
LRCC =
2 ln L [Πα , I1 (α) , ., IT (α)] ln L Π,
L
! χ2 (2)
T !∞
b désigne l’estimateur du MV de la matrice de transition sous
où Π
l’hypothèse alternative et où ln L [.] désigne la log-vraisemblance
des violations It (α) associées à une matrice de transition Π.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
De…nition (Christo¤ersen, 1998)
Par dé…nition
L [Π, I1 (α) , .., IT (α)] = (1
n 01
(1
π 01 )n00 π 01
π 11 )n10 π n1111
où nij désigne le nombre de fois où l’on observe It (α) = j sachant
It 1 (α) = i.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Il est en outre possible de distinguer suivant que l’ine¢ cience
est dûe au non respect de l’hypothèse IND et / ou CC
De…nition (Christo¤ersen, 1998)
Sous l’hypothèse IND, la matrice de transition est dé…nie par :
H0,IND : Π = Ππ =
1
1
π π
π π
où la probabilité π n’est pas nécessairement égale au taux de
couverture non conditionnelle α.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
De…nition (Christo¤ersen, 1998)
La statistique LRIND associée à la seule hypothèse nulle
d’indépendance des violations est dé…nie par :
i
h
io
n
h
b π , I1 (α) , ., IT (α)
b I1 (α) , ., IT (α)
LRIND =
2 ln L Π
ln L Π,
L
! χ2 (1)
T !∞
b π désigne l’estimateur du maximum de vraisemblance de la
où Π
matrice de transition sous l’hypothèse d’indépendance.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Remarque On véri…e que par dé…nion des statistiques LR
LRCC = LRUC + LRIND
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Example
Berkowitz et O’Brien (2002) appliquent les tests de Christo¤ersen
(1998) aux VaR issues des modèles internes de six grands banques
commerciales américaines de Janvier 1988 à Mars 2000 :
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests LR : Christo¤ersen (1998)
Ces tests faciles à mettre en œuvre, apparaissent toutefois assez
réducteur pour deux raisons essentielles.
1
Tout d’abord, l’indépendance est testée contre une forme très
particulière de non indépendance qui ne prend pas en compte
notamment des dépendances d’ordre supérieur à 1.
2
De plus, l’utilisation d’une chaîne de Markov ne permet pas de
mesurer le rôle d’autres variables que la seule séquence des
violations passées It (α) dans une possible dépendance des
violations.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Les tests de durée
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée
Les Tests de durée
Une approche alternative des tests de validation de la VaR
repose sur la modélisation de la durée entre deux violations
successives.
Sous l’hypothèse de CC la durée entre deux violations
successives, notée Di , admet une loi géométrique ("sans
mémoire") avec une probabilité de succés égale à α :
H0,CC : Di
fD i (d; α) = (1
Christophe Hurlin
geometric (α)
α )d
1
α
Backtesting
d 2N
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée
Cette approche permet d’éviter le problème de la spéci…cation
de la forme de la dépendance des violations, mais pose le
problème similaire qui consiste à postuler une forme de
dépendance pour les durées.
Plusieurs tests ont été proposés
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée
Berkowitz, J, Christoffersen P.F. et Pelletier
(2005), "Evaluating Value-at-Risk Models with Desk-Level
Data", North Carolina State University, Department of
Economics, Working Paper 010.
Candelon, B, Colletaz, G, Hurlin C. et Tokpavi.
(2008), ”Backtesting Value-at-Risk: A GMM duration-based
test”, Working Paper.
Christoffersen, P. F., et D. Pelletier. (2004),
”Backtesting Value-at-Risk: A Duration-Based
Approach”,Journal of Financial Econometrics 2, 1, p. 84-108.
Haas, M. (2005), "Improved duration-based backtesting of
Value-at-Risk", Journal of Risk, 8(2), pp. 17-36.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée : Christo¤ersen et Pelletier (2004)
Sous l’hypothèse nulle de CC, Christo¤ersen et Pelletier
(2004) supposent que la durée Di suit une loi exponentielle
(approximation continue de la loi géométrique) de
paramètre α et de densité :
f (d; α) = α exp ( αd )
Sous l’hypothèse alternative, Christo¤ersen et Pelletier
supposent que la durée suit une loi de Weibull de paramètre
d’échelle b, de paramètre de centrage a et de densité égale à :
h
i
g (d; b, a) = ab b d b 1 exp
(ad )b
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée : Christo¤ersen et Pelletier (2004)
Rappel Si le paramètre d’échelle b est égal à 1, la loi de
Weibull se ramène à une loi exponentielle et
E (d ) = 1/a où a paramètre de centrage a
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée : Christo¤ersen et Pelletier (2004)
De…nition (Berkowitz, Christo¤ersen et Pelletier, 2005)
Le test de l’hypothèse d’e¢ cience conditionnelle se ramène au test
joint des hypothèses
H0,CC : b = 1 a = α
Une mise en oeuvre possible du test consiste à construire une
statistique LRT dé…nie par :
duree
LRCC
= 2 (llnc
llc )
L
! χ2 (2)
T !∞
où llc et llnc désignent les log-vraisemblances respectives obtenues
pour la loi exponentielle et la loi de Weibull.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée : Christo¤ersen et Pelletier (2004)
De…nition (Christo¤ersen et Pelletier, 2004)
Le test de l’hypothèse d’indépendance proposé par Christo¤ersen
et Pelletier (2004) se ramène au test de l’hypothèse
H0,IND : b = 1
Une mise en oeuvre possible du test consiste à construire une
statistique LRT dé…nie par :
duree
LRIND
= 2 (ll1
ll0 )
L
! χ2 (1)
T !∞
où ll0c et ll1 désignent les log-vraisemblances obtenues sous
distribution de Weibull et sous les contraintes H0 et H1
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée : Christo¤ersen et Pelletier (2004)
Extensions :
1
Haas (2007) construit un test LR similaire directement à
partir d’une loi gémétrique contre une distribution de Weibull
discrète
2
Dans Candelon, Colletaz , Hurlin et Tokpavi (2008) nous
proposons une démarche di¤érente, fondée sur un test GMM,
qui permet de ne pas spéci…er de distribution sous
l’alternative.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de durée : Christo¤ersen et Pelletier (2004)
Example (Candelon, Colletaz, Hurlin et Tokpavi, 2008)
Considérons les rendements quotidiens sur le Nasdaq sur la période
Août 2005 - Août 2006 et calculons les hits associés aux prévisions
out-of-sample à une période des VaR-HS, GARCH Student et
CAViaR. Appliquons alors les tests de durée de type LR (Berkowitz
et al. .2005) et le test GMM proposé par Candelon, B, Colletaz, G,
Hurlin C. et Tokpavi. (2008), pour chaque VaR.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Figure: 5%VaR Violations. Nasdaq (June 2005 - June 2006, T =250)
Hits: GARCH-t(d) 5% VaR
1
0.5
0
0
50
100
150
200
250
150
200
250
200
250
Hits: HS 5% VaR
1
0.5
0
0
50
100
Hits: CAViaR 5% VaR
1
0.5
0
0
50
100
Christophe Hurlin
150
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale
Les Tests de l’hypothèse de di¤érence de martingale
On sait que sous l’hypthèse nulle de coverture conditionnelle,
on a:
E [ It (α) α j Ωt 1 ] = 0
Une solution consiste alors à tester soit directement
l’hypothèse de di¤érence de martingale, soit une implication
de celle-ci.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale
Rappel la propriété de di¤érence de martingale implique en
e¤et que 8Zt k 2 Ωt 1 ,
E [(It (α)
α)
et qu’en particulier si It
E f[It (α)
α] [It
Christophe Hurlin
k
( β)
k
Zt
k]
( β ) 2 Ωt
=0
1,
alors
β]g = 0, 8 (α, β) 8k 6= 0
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale
Références de tests de l’hypothèse de di¤érence de
martingale
Berkowitz, J, Christoffersen P.F. et Pelletier
(2005), "Evaluating Value-at-Risk Models with Desk-Level
Data", North Carolina State University, Department of
Economics, Working Paper 010.
Hurlin C. and Tokpavi, S. (2007), ”Backtesting
Value-at-Risk Accuracy: A Simple and Powerful New Test”,
Journal of Risk, Vol 9, 2, p. 19-37
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Berkowitz et al. (2005)
L’objectif de Berkowitz et al. (2005) est de proposer une
approche uni…ée d’évaluation de la VaR.
Ils partent du constat que les hypothèses de couverture non
conditionnelle et d’indépendance ne sont que des implications
de l’hypothèse de di¤érence de martingale du processus
Hit (α) = It (α)
Christophe Hurlin
Backtesting
α
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Berkowitz et al. (2005)
Dans cette perspective, plusieurs tests de l’hypothèse de
di¤érence de martingale peuvent être mobilisés pour tester la
validité des modèles de VaR pour un taux de couverture α
(Durlauf, 1991)
Les auteurs retiennent en particulier les tests fondés sur
l’examen de la densité spectrale de Hit (α), mais aussi le test
de Ljung-Box univarié permettant de tester l’absence
d’autocorrélation dans la séquence Hit (α).
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Berkowitz et al. (2005)
De…nition
Berkowitz et al. (2005) proposent un test de Ljung-Box sur le
processus centré des hits, Hit (α) = It (α) α. La statistique
associée au test de nullité des K premières auto-corrélations du
processus de violations s’écrit :
K
LB (K ) = T (T + 2) ∑
i =1 T
b
ri2
L
i
! χ2 (K )
T !∞
où b
ri désigne l’autocorrélation empirique d’ordre i du processus
Hit (α) .
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Berkowitz et al. (2005)
Les simulations de Monte Carlo e¤ectuées par les auteurs
montrent que ce test possède de bonnes propriétés à distance
…nie dès lors que K > 1 (en l’occurrence K = 5 dans leurs
simulations). Ce constat met en exergue le caractère restrictif
du test de Christo¤ersen (1998) qui ne prend en compte que
l’auto-corrélation d’ordre 1 dans la séquence des indicatrices.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Hurlin et Tokapvi. (2007)
Hurlin et Tokpavi (2007)
Dans Hurlin et Tokpavi (2007), nous proposons une
extension aux cas multivarié permettant d’augmenter
sensiblement la puissance du test.
L’idée étant de tester la non corrélation des hits pour
di¤érents niveaux de couverture
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Hurlin et Tokapvi. (2007)
L’hypothèse de di¤érence de martingale telle que formulée par
Berkowitz et al. (2005),
E [ Hitt (α) j Ωt
1]
=0
implique en particulier (propriété d’espérance itérée) que pour
des taux de couverture α et β di¤érents :
E [Hitt (α) Hitt
E [Hitt (α) Hitt
k
k
(α)] = 0
( β)] = 0
Christophe Hurlin
Backtesting
8k 2 N?
8k 2 N? , 8(α, β)
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Hurlin et Tokapvi. (2007)
Soit Θ = fθ 1 , .., θ m g un ensemble discret de m taux de
couverture di¤érents, compris entre 0 et 1 strictement.
0
Soit Hitt = [Hitt (θ 1 ) : Hitt (θ 2 ) : ... : Hitt (θ m )] le vecteur de
dimension (m, 1) regroupant les séquences de violations
associées aux m di¤érents taux de couverture, à la date t,
θ 1 , ..., θ m .
De…nition (Hurlin et Tokpavi, 2007)
L’hypothèse de CC pour le processus vectoriel Hitt implique que :
H0 : E [Hitt (θ i ) Hitt
k
0
(θ j ) ] =
8k = 1, ..., K , 8(θ i , θ j ) 2 Θ
Christophe Hurlin
Backtesting
0
(m,m )
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Hurlin et Tokapvi. (2007)
De…nition (Hurlin et Tokpavi, 2007)
Soit Cˆk la matrice de covariance empirique associée au vecteur
Hitt :
T
∑
Cˆk = (ĉijk ) =
Hitt Hitt0
k
t =k +1
8k 2 N
On pose Rˆk = D Cˆk D où D est la matrice diagonale ayant pour
éléments lespécarts types associés aux processus univariés Hitt (θ i )
dé…nis par ĉii 0 , pour i = 1, ..., m. Sous l’hypothèse nulle :
K
Qm (K ) = T
∑
vec R̂k
0
Rˆ0
1
Rˆ0
1
k =1
Christophe Hurlin
Backtesting
vec R̂k
L
! χ2 Km2
T !∞
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de l’hypothèse de di¤érence de martingale : Hurlin et Tokapvi. (2007)
Example (Grigoletto et Lisi, 2006 )
Grigoletto et Lisi (2006) proposent une méthode de prévision de la
VaR fondée sur la un modèle GARCHDSK permettant de
modéliser non plus seulement la variance conditionnelle, mais aussi
les moments supérieurs (skewness et kurtosis). Ils comparent leurs
prévisions de VaR aux prévisions de VaR issues de modèles GARCH
sous normal, GARH sous Student et au modèle Risk Metric. Pour
ce faire, ils utisent la statistique Qm (K ) calculée à partir de deux
taux de couverture α = 0.01 et α = 0.05.
Grigoletto M. and Lisi F. (2006), "Value-at-Risk prediction by
higher moment dynamics", Working paper, Department of
Statistical Sciences, University of Padua, Italy
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits
Les tests fondés sur un modèle de régression des hits
Idée : considérer un modèle paramétrique sur le processus de hit It
de sorte à ramener les tests de backtesting à de simples tests
paramétriques
Engle, R. F., and Manganelli, S. (2004), ”CAViaR:
Conditional Autoregressive Value-at-Risk by Regression
Quantiles”, Journal of Business and Economic Statistics, 22,
pp. 367-381.
Patton, A. J. (2002), ”Application of Copula Theory in
Financial Econometrics”, Ph,D. Dissertation
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
Engle et Manganelli (2004) proposent d’utiliser un modèle
de régression linéaire liant les violations courantes aux
violations passées a…n de tester l’hypothèse d’e¢ cience
conditionnelle.
Soit Hit (α) = It (α)
α associé à It (α) :
Hitt (α) =
α, le processus de violations centré sur
(
α si rt < VaR t jt
1
α
Christophe Hurlin
sinon
Backtesting
1 (α)
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
De…nition (Engle et Manganelli, 2004)
Engle et Manganelli (2004) considèrent le modèle de régression
linéaire :
K
Hitt (α) = δ +
∑
K
βk Hitt
k
(α) +
k =1
∑
k =1
h
γk g Hitt
k
(α) , zt
où les innovations εt satisfont :
εt =
1
α
α avec une probabilité α
avec une probabilité 1
α
et où g (.) désigne une fonction des violations passées et de
variables zt k 2 Ωt 1 .
Christophe Hurlin
Backtesting
k
i
+ εt
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
De…nition (Engle et Manganelli, 2004)
Le test de l’hypothèse nulle de CC revient à tester dans le modèle
de regression linéaire précédent l’hypothèse jointe :
H0 : δ = βk = γk = 0,
8k = 1, .., K
Les violations courantes de la VaR sont non corrélées aux
violations passées dès lors que βk = γk = 0 (implication de
l’hypothèse d’indépendance)
l’hypothèse de couverture non conditionnelle est satisfaite dès
lors que la constante δ est nulle.
E [Hitt (α)] = E (εt ) = 0 => Pr [It (α) = 1] = E [It (α)] = α
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
Sur le plan technique, puisque sous l’hypothèse nulle les
régresseurs ne sont pas correlés avec la variable dépendante, il
est possible d’invoquer un thèorème central limite pour
démontrer la normalité asymptotique de l’estimateur des
MCO.
Engle et Manganelli déduisent un test simple de l’hypothèse
de nullité simultanée des coe¢ cients du modèle.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
De…nition (Engle et Manganelli, 2004)
Soit Ψ = (δ β1 ..βK γ1 ..γK )0 le vecteur des 2K + 1 paramètres
du modèle de régression et Z la matrice des variables explicatives,
la statistique de Wald, notée DQCC , associée au test de
l’hypothèse d’e¢ cience conditionnelle véri…e :
DQCC =
b 0Z 0Z Ψ
b
Ψ
α (1 α )
Christophe Hurlin
L
! χ2 (2K + 1)
T !∞
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
De la même façon que pour le test de Christo¤ersen, on peut
décomposer ce test en ne testant par exemple que l’hypothèse
d’indépendance des violations.
De…nition (Engle et Manganelli, 2004)
On peut ainsi construire une statistique DQIND associée au test de
l’hypothèse d’indépendance H0 : βk = γk = 0 qui véri…e :
DQIND =
h
b 0 R 0 R (Z 0 Z )
Ψ
α (1
1
R0
α)
i
1
b
RΨ
L
! χ2 (2K )
T !∞
où R = [0 : I2K ] est une matrice de dimension (2K , 2K + 1) telle
que RΨ = β, avec β = ( β1 ..βK γ1 ..γK )0 .
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004)
Example
Dionne, Duchesne et Pacurar (2005) proposent une méthode
originale pour calculer et prévoir la VaR sur données de haute
fréquence (Intraday Value at Risk, IVaR). Pour valider cette IVaR,
ils ont recours à des tests de Kupiec (1995) et des tests d’Engle et
Manganelli (2004). Dans ces derniers ils posent K = 5 et ne
considèrent que l’IVaR passée comme variable explicative :
5
Hitt (α) = δ +
∑ βk Hitt
5
k
k =1
(α) +
∑ γk
VaRt
k
( α ) + εt
k =1
Dionne G., Duchesne P., Pacurar M . (2005),
"Intraday Value at Risk (IVaR) Using Tick-by-Tick Data with
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Patton (2002)
Test LR et Modèle Logit : Patton (2002)
Un extension naturelle du test de Engle et Manganelli (2004)
consiste tout simplement à considérer un modèle
dichotomique (probit ou logit) liant les violations
courantes aux violations passées.
En e¤et, il est admis que le modèle de régression linéaire n’est
pas le modèle le plus adapté lorsque, comme c’est le cas ici, la
variable dépendante est une variable dichotomique du fait des
problèmes d’hétéroscédasticité (Gourieroux, 2000).
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Patton (2002)
De…nition (Patton, 2002)
Patton (2002) considère un modèle logit liant la probabilité de
violation à la date t à un ensemble de variables explicatives Zt
(incluant éventuellement les violations passées de la VaR). La
probabilité d’occurrence d’une violation π t satisfait :
π t = Pr [It (α) = 1] = Λ βZt
ln
1
α
α
où Λ (ω ) = e ω / (1 + e ω )
Patton, A. J. (2002), ”Application of Copula Theory in
Financial Econometrics”, Ph,D. Dissertation
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Patton (2002)
Le test de l’hypothèse d’e¢ cience conditionnelle se ramène
alors au test de l’hypothèse de nullité du vecteur β.dans le
modèle
π t = Pr [It (α) = 1] = Λ βZt
ln
1
α
α
Sous l’hypothèse H0 : β = 0, les variables caractéristiques de
l’ensemble de l’information disponible n’ont pas d’in‡uence
sur la probabilité d’occurrence d’une violation, qui est alors
égale au taux de couverture α.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Patton (2002)
De…nition (Patton, 2002)
Dans le modèle logit, le test de l’hypothèse CC H0 : β = 0 peut
être mené à partir d’une simple statistique de ratio de
vraisemblance, notée LRlogit , telle que :
Logit
LRCC
=
2 fln L [α, I1 (α) , .., IT (α)]
L
! χ2 (dim(Z ))
T !∞
b , I1 (α) , .., IT (α)]g
ln L [π
b est la probabilité estimée à partir du modèle logit et où :
où π
T
ln L [π, I1 (α) , .., IT (α)] =
∑ It (α) ln(π ) + [(1
t =1
Christophe Hurlin
Backtesting
It (α)] ln(1
π )]
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Patton (2002)
De la même façon, un test de l’hypothèse d’indépendance
consiste à tester la même hypothèse nulle H0 : β = 0 mais
cette fois dans un modèle logit où la constante n’est plus
égale à une transformée de α.
π t = Pr [It (α) = 1] = Λ [ βZt + c ]
La forme de la statistique LR associée au test d’indépendance
est alors similaire à celle du test d’e¢ cience conditionnelle.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004) Patton (2002)
Example (Berkowitz, Christo¤ersen et Pelletier, 2005)
Berkowitz et al. (2005) appliquent plusieurs tests de backtesting à
un jeu de quatre distributions de P&L associés à quatre desks
d’une même banque. Parmi ces tests il utilisent le test d’Engle et
Manganelli (qu’ils nomment CAViaR) en considérant le modèle
suivant :
Hitt (α) = δ + β1 Hitt
1
Christophe Hurlin
(α) + γ1 VaRt
Backtesting
1
( α ) + εt
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests fondés sur un modèle de régression des hits : Engle et Manganelli (2004) Patton (2002)
Example (suite)
Plutôt que d’utiliser la statistique DQ, ils supposent que εt a une
distribution logistique et testent la nullité des coe¢ cients dans un
modèle logit en adoptant une statistique de Patton (2002)
πt
= Pr [It (α) = 1]
= Λ β1 Hitt
1
(α) + γ1 VaRt
Christophe Hurlin
1
Backtesting
(α)
ln
1
α
α
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Tests de couverture conditionnelle
Les tests de type Density Forecast
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de type Density Forecast
Les tests précédents s’intéressaient à l’e¢ cience conditionnelle
pour un taux de couverture nominale α donné. Or, la
propriété d’e¢ cience conditionnelle doit être valide pour
n’importe quel taux de couverture.
Si un modèle de calcul de VaR conduit à des violations
indépendantes pour un taux de couverture à 1%, mais fait
apparaître des clusters de violations pour un taux de
couverture de 5%, il ne peut pas être considéré comme valide.
Ce raisonnement, poussé à l’extrême, conduit alors à tester
l’e¢ cience conditionnelle pour tous les taux de couverture
possibles compris entre zéro et un : c’est le principe de
l’approche Density Forecast Approach
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Les
Les
Les
Les
Les
Les
stratégies de test
tests LR
tests de durée
tests de l’hypothèse de di¤érence de martingale
tests fondés sur un modèle de régression des hits
tests de type Density Forecast
Tests de couverture conditionnelle
Les tests de type Density Forecast
Quelques tests de cette littérature :
Berkowitz, J. (2001), ”Testing Density Forecasts With
Applications to Risk Management”, Journal of Business and
Economic Statistics, 19, pp. 465-474.
Crnkovic, C., and Drachman, J. (1997), Quality
Control in VaR: Understanding and Applying Value-at-Risk,
London, Risk Publications.
Diebold, F. X., Gunther, T. A. and Tay, A. S.
(1998), ”Evaluating Density Forecasts”, International
Economic Review, 39, pp. 863-883.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Une evaluation des procédures de
Backtesting
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Doit-on croire au backtesting
La question centrale est la suivante : les procédures
actuelles de backtesting sont elles …ables ?
Nécessité d’évaluer les procédures de backtesting
Remplissent elles clairement leurs objectifs ?
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Remarque La plupart des tests de backtesting sont des tests de
validation (et non des tests de comparaison)
dont l’hypothèse nulle s’écrit sous la forme :
H0 : le modèle de prévision de VaR est valide
au sens de la couverture non conditionnelle, de
l’indépendance ou de la couverture conditionnelle.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Dans un test de validation, les notions de risque de première
espèce et de puissance s’interprètent ainsi
De…nition
Le risque de première espèce associé à un test de backtesting
correspond à la probabilité de rejeter la validité d’une prévision de
VaR (et donc d’un modèle) alors que la prévision est valide
Fact
De…nition
La puissance associée à un test de backtesting correspond à la
probabilité de rejeter la validité d’une prévision de VaR (et donc
d’un modèle) alors que cette prévision est e¤ectivement non valide
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Quel est sont les principaux problèmes des procédures de
backtesting ?
1
Le nombre de violations (ou de durées entre les
violations) est très faible pour des échantillons de taille
réaliste. Exemple : pour un année de rendements quotidiens
(T = 250) et un taux de couverture de 1%, on ne disose en
moyenne que 2.5 violations.
2
Il existe des distorsions de taille à distance …nie.
3
La puissance des tests fondés sur une distribution
asymptotique est généralement très faible
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
De…nition
Les tests des procédures de backtesting sont généralement très peu
puissants pour des tailles d’échantillons réalistes. Cela signi…e que
ces procédures ont tendance à souvent ne pas rejetter la validité de
modèles fournissant des prévisions pourtant e¤ectivement non
valides.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Example (Hurlin et Tokpavi, 2007)
Dans Hurlin et Tokpavi (2007), nous reportons les résultats de
di¤érents exercices de simulation de puissance. En particulier on
considère le cas où le vrai DGP des rendements correspond à un
modèle GARCH et que l’on applique à tort une méthode HS pour
calculer la VaR générant ainsi des clusters de violations. Pour
chaque simulation de VaR et de violation, on applique les tests LR
(Christo¤ersen, 1998), DQ (Engle et Manganelli, 2004) et QK
(Hurlin and Tokpavi, 2007). A partir de 10 000 simulations, on
calcule les fréquences de rejet de l’hypothèse nulle de CC en
utilisant une technique de test garantissant que la taille e¤ective
du test corresponde e¤ectivement au seuil nominal de 10%
(Dufour, 2006)
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Example (Berkowitz, Christo¤ersen et Pelletier, 2005)
Berkowitz et al. (2005) appliquent plusieurs tests de backtesting à
un jeu de quatre distributions de pertes et pro…t (P&L) associés à
quatre desks d’une même banque. Ils proposent ensuite une exrcice
de puissance en simulant des séries de rendements suivant un
processus ajusté sur les données historiques. Ils comparent les
performances des tests DQ, Ljung-Box, Markov, KS et CVM
Berkowitz, J, Christoffersen P.F. et Pelletier
(2005), "Evaluating Value-at-Risk Models with Desk-Level
Data", North Carolina State University, Department of
Economics, Working Paper 010.
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Christophe Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Une évaluation des procédures de backtesting
Doit-on croire au backtesting ?
Autre façon de mettre en évidence les failles des procédure
de backtesting
1 Dans Hurlin et Tokpavi (Finance, 2008), nous proposons une
démarche originale visant à évaluer la capacité des tests usuels
de backtesting à discriminer di¤érentes prévisions de Value at
Risk (VaR) ne fournissant pas la même évaluation ex-ante du
risque.
2 Nos résultats montrent que, pour un même actif, ces tests
conduisent très souvent à ne pas rejeter la validité, au
sens de la couverture conditionnelle, de la plupart des six
prévisions de VaR étudiées, même si ces dernières sont
sensiblement di¤érentes.
3 Autrement dit, toute prévision de VaR a de fortes chances
d’être validée parChristophe
ce type
de procédure.
Hurlin
Backtesting
Plan de la Partie II
Introduction
Dé…nitions
Tests de couverture non conditionnelle
Tests de couverture conditionnelle
Une évaluation des procédures de backtesting
Fin de la Partie 3.
Christophe Hurlin
Backtesting