La vérification des résultats est un principe de base du Financement Basé sur les Résultats (FBR). Mais la vérification est coûteuse. Dans un blog post récent, Matthieu Antony recommandait que nous cherchions des approches moins intensives. Certains pays vont dans ce sens. Erik Josephon nous présente l'approche adoptée au Zimbabwe.
Les mécanismes de Financement basé sur les résultats (FBR) se sont développés très rapidement depuis les premières expériences au Cambodge en 1999. Ils sont désormais répandus dans toute l’Afrique ainsi que dans plusieurs pays d’Amérique Latine; plusieurs pays de l’OCDE ont également leur version des mécanismes FBR. L’un des principes de base du FBR est de vérifier les résultats avant de procéder au paiement. Dans de nombreux cas, la méthodologie mise en place à cette fin consiste à vérifier les résultats de tous les indicateurs quantitatifs et à procéder à un contrôle de qualité, dans chaque centre de santé et au moins une fois par trimestre. Cependant, avec la nécessité croissante d'une meilleure maîtrise des dépenses administratives du FBR, l’intensité des vérifications devient un sujet de discussion essentiel dans la communauté FBR et auprès des décideurs politiques du secteur de la santé.
Vers une vérification moins coûteuse
Des questions se posent en particulier quant à la manière de mettre en place une méthodologie de vérification moins onéreuse mais qui mais qui offre presque le même niveau de confiance dans le fait que les services payés aient bien été fournis.
Dans certains cas, comme en Afghanistan, un échantillonnage est utilisé pour réduire le volume des vérifications trimestrielles. C’est certainement une voie à approfondir, bien que ce modèle où l'échantillonnage est non lié au risque, ait ses inconvénients, comme la possibilité que certains centres ne soient pas visités aussi souvent qu’ils devraient l’être. L’échantillon étant aléatoire, la méthodologie n’est pas conçue pour localiser les éventuels problèmes. En fait, la faiblesse dans la gestion des données n’est pas universelle: certains centres ont des équipes plus fortes que d’autres; la tentation de frauder ne concernera que quelques équipes. L’échantillonnage aléatoire ne tient pas compte de ces facteurs.
Une autres manière de voir la vérification serait de concevoir une méthodologie qui tienne compte du fait que les erreurs de déclaration, quelles qu’en soient les motivations, ne seront pas uniformément réparties sur l'ensemble des centres de santé. Autrement dit, les erreurs seront plus répandues et plus récurrentes au fil du temps dans certains centres. Sous cet angle, certains exemples de ce que l’on appelle la vérification basée sur le risque surgissent. Cela est en place en Argentine depuis plusieurs années, basé sur le volume de patients de chaque centre. Le Zimbabwe en est un autre exemple.
L’évolution de la vérification au Zimbabwe
Lors d’une visite à Harare en septembre 2016, j’ai rencontré le Dr Tafadzwa Goverwa, Directeur médical provincial, Chenjerai Sisimayi, de la Banque Mondiale, et Arjanne Rietsema, de Cordaid. Le Dr Goverwa et Arjanne Riestema m'ont présenté le contexte de la vérification du FBR Zimbabwéen.
Dr Goverwa a commencé par expliquer comment la vérification était initialement menée au Zimbabwe. La vérification était effectuée sur une base mensuelle, avec contrôle de tous les indicateurs. Cette vérification était lourde: chaque centre, chaque indicateur, chaque mois. Des sanctions ont été appliquées aux formations sanitaires avec des erreurs de déclaration dès le début du programme. Arjanne Rietsema a précisé que s’il existait des différences de plus de 5% entre les déclarations et les vérifications, les indicateurs spécifiques n’étaient pas rétribués du tout. Cette vérification était effectuée par Cordaid. Le Dr Goverwa a ensuite expliqué que les motivations ayant mené au changement de méthodologie étaient largement financières: la viabilité du programme était un enjeu essentiel et se rendre chaque mois dans tous les centres engendrait des dépenses importantes.
Arjanne a également souligné que la vérification mensuelle de chaque centre n’a pas révélé un nombre d’erreurs qui justifie un tel volume de vérification. Les besoins ont changé. Initialement, les vérificateurs procédaient également à un renforcement des capacités au niveau opérationnel et à l’amélioration du fonctionnement des comités dans les centres de santé. Quand les équipes médicales ont mieux pris leur rôle en main, ce renforcement des capacités ne s'est plus avéré nécessaire. Ce dernier point est important lorsque l’on pense à l’évolution de la vérification, et en particulier à sa fréquence. Depuis les débuts du FBR, les vérificateurs ont également, dans certains cas, fait office de superviseurs. Pour encourager les superviseurs de district ou régionaux à remplir leur rôle, et souvent pour leur en donner les moyens, la première vérification leur était attribuée. Avec le temps, ce double rôle peut parfois être perçu comme contradictoire.
Au départ donc, au Zimbabwe, des vérifications mensuelles étaient effectuées, d’une part en raison des besoins en matière de renforcement des capacités, mais également parce qu’ils suspectaient que le niveau d’erreur entre les résultats déclarés et vérifiés le justifierait. Deux ans après la mise en place du programme, il a été constaté que le niveau d’erreur n’était plus aussi élevé, cela a amené Cordaid à envisager une méthode de vérification plus légère. Et pas seulement en en diminuant la fréquence des contrôles: ils avaient d'autres idées.
L’adoption de la vérification basée sur le risque
Au cours de la préparation à cet entretien, je me suis également entretenu avec Petra Vergeer de la Banque Mondiale. Elle m’a expliqué qu'au moment où le Zimbabwe envisageait de changer de méthodes de vérification, elle-même et trois collègues (y compris l'auteur de ce blog) étaient en train de rédiger une analyse comparative de six cas-pays, sur la vérification dans le FBR. Petra a partagé les conclusions et les recommandations de cette analyse transversale avec l'équipe au Zimbabwe, et l'une des recommandations était d'introduire une vérification fondée sur le risque. Petra a aidé l'équipe à avoir une réflexion poussée sur les déclencheurs à utiliser, sur la base des enseignements tirés de, par exemple, l'Argentine et le Royaume-Uni.
Le Dr Goverwa m’a expliqué que dans la méthodologie basée sur le risque développée par l'équipe du Zimbabwe, l'examen des différences entre les données déclarées et vérifiées est effectué tous les six mois (en juin et décembre, selon le manuel de vérification du Zimbabwe). Si en moyenne il y a moins de 5% d’erreurs entre données déclarées et vérifiées, pour un établissement de santé donné, alors ce dernier est classé « vert » . Une erreur est constituée par toute différence, positive ou négative, entre les résultats déclarés et ceux vérifiés. Les établissements « verts » sont vérifiés une fois par trimestre et, au cours de cette visite, les résultats sont vérifiés intégralement pour l’un des mois du trimestre précédent tandis qu’une vérification plus légère est effectuée pour les deux autres mois du trimestre. La vérification plus légère implique des contrôles ponctuels d’indicateurs présentant un volume d’activité élevé, ou des indicateurs où le volume a évolué de plus de 20% par rapport au mois précédent. Lorsqu'un établissement de santé a eu un taux d'erreur compris entre 5% et 10%, il est classé dans la catégorie « orange ». Ces établissements de santé sont visités deux fois par trimestre. Ceux dont le taux d'erreur est supérieur à 10% sont classés dans la catégorie « rouge ». Il est à noter que les nouvelles formations sanitaires et tous les hôpitaux, ces derniers en raison de leur important volume d’activités, sont automatiquement classés dans la catégorie « rouge ». Si vous êtes dans cette catégorie, votre formation sanitaire est visitée et vérifiée chaque mois.
J'ai remarqué que l'aspect analytique de cette approche, par ex. l’identification des installations avec des erreurs dans chaque catégorie, la recherche d'indicateurs avec un volume d’activités élevé ainsi que la vérification des tendances d’un mois à l’autre, pourrait être largement simplifié à l’aide d’une solution informatique dédiée. Chenjerai Sisimayi m’a expliqué que pour le moment les données sont téléchargées à partir du logiciel DHIS2, qui est utilisé pour le Système d'Information Sanitaire au Zimbabwe; l'analyse est effectuée sous Excel. Il y a un désir, mais actuellement pas de plans, de développer un logiciel qui accomplirait le plus gros du travail analytique.
Le FBR couvre actuellement 394 établissements de santé au Zimbabwe. En septembre 2016, 319 établissements étaient dans la catégorie « verte », 51 étaient « orange », et 34 (soit 10% des formations sanitaires) étaient dans la catégorie « rouge » . Arjanne Rietsema a fait remarquer que seuls quelques centres de santé ruraux appartiennent à cette catégorie et que la plupart des établissement en rouge sont en fait des hôpitaux, qui restent rouge par nature, en raison du risque financier résultant du fait qu'ils reçoivent d’importants paiements liés au FBR. Elle a également souligné qu'elle souhaitait inclure dans le processus de vérification une activité consistant à choisir au hasard un indicateur non rémunéré et à inclure celui-ci dans le calcul de l'erreur, mais cette mesure n'a pas encore été mise en œuvre. La vérification de la qualité est effectuée trimestriellement dans tous les cas, sans catégorisation en fonction des risques.
Bénéfices réels
J'ai demandé dans quelle mesure la méthode de vérification révisée avait eu un impact sur le coût. Arjanne Rietsema a déclaré qu'une évaluation limitée avait été faite, qui a montré une réduction de 80% des coûts liés aux véhicules. Et comme Chenjerai Sisimayi l'a souligné, l'amélioration de la qualité de saisie des données s'est poursuivie dans le contexte de la vérification basée sur le risque.
Certains au sein de la communauté du FBR postulent que, avec le temps, l'intensité de la vérification peut être réduite parce que la manière de penser des gestionnaires des établissements de santé change et qu’ils réalisent que des données correctement déclarées ont de multiples avantages. Le Dr Goverwa a noté que les gestionnaires d'établissements de santé au Zimbabwe savent désormais que des données entrées incorrectement devront être corrigées par la suite. Arjanne Rietsema a ajouté qu'il existe dans certains districts une concurrence entre les établissements de santé, créée intentionnellement, car leur statut (couleur) est rendu public. Ainsi, passer du rouge à l'orange, ou de l'orange au vert, peut être source de fierté. Et l'inverse est également vrai.
Un autre élément important est la politique de sanction. Tout indicateur présentant une différence entre données déclarées et vérifiées supérieure à 5% n'est pas payé. J'ai mentionné que cette disposition est très stricte par rapport à la plupart des autres cas de mise en œuvre du FBR, où des sanctions peuvent être prévues mais dans les faits rarement mises en œuvre, et d'autres cas où il n'y a pas de sanctions du tout, dans la politique ou dans la pratique. J'ai demandé s'il y avait eu une résistance face à cette politique de sanction. Arjanne m’a répondu qu’ étant donné que la politique de sanction était prévue dès le début du FBR, personne ne l'a remise en cause. Du point de vue des gestionnaires d'établissements de santé, cela faisait partie intégrante de l'approche FBR. Et ils ont très vite compris ce que cela impliquait pour leurs paiements FBR.
Il est intéressant de noter que, bien que le Zimbabwe ait adopté une méthodologie basée sur les risques, il est passé d'une méthodologie de vérification initiale très lourde à une méthode qui pourrait être encore considérée comme lourde dans certains contextes. Même les installations « vertes » sont visitées une fois par trimestre, ce qui dans d'autres pays est le point de départ à partir duquel les régulateurs et les acheteurs essaient d'alléger le fardeau de la vérification.
Le Zimbabwe fait figure de pionnier en matière de vérification du FBR dans les pays à faible revenu et les pays à faible et moyen revenu. Il y aura très probablement un certain nombre de pays qui chercheront à faire de même, au premier rang desquels figure déjà le Bénin. La vérification est un élément clé du FBR et en particulier de sa théorie du changement. Mener une réflexion sérieuse en vue de rendre la vérification, et au-delà le FBR en général, plus coût-efficace est un défi important, et tout particulièrement en matière de qualité des soins, qui est beaucoup plus sujette à des phénomènes de 'gaming' que ne l’est la quantité de services fournis.
