Blog Archives

Vérification des résultats: l’expérience du Zimbabwe

1/31/2017

La vérification des résultats est un principe de base du Financement Basé sur les Résultats (FBR). Mais la vérification est coûteuse. Dans un blog post récent, Matthieu Antony recommandait que nous cherchions des approches moins intensives. Certains pays vont dans ce sens. Erik Josephon nous présente l'approche adoptée au Zimbabwe.

Les mécanismes de Financement basé sur les résultats (FBR) se sont développés très rapidement depuis les premières expériences au Cambodge en 1999. Ils sont désormais répandus dans toute l’Afrique ainsi que dans plusieurs pays d’Amérique Latine; plusieurs pays de l’OCDE ont également leur version des mécanismes FBR. L’un des principes de base du FBR est de vérifier les résultats avant de procéder au paiement. Dans de nombreux cas, la méthodologie mise en place à cette fin consiste à vérifier les résultats de tous les indicateurs quantitatifs et à procéder à un contrôle de qualité, dans chaque centre de santé et au moins une fois par trimestre. Cependant, avec la nécessité croissante d'une meilleure maîtrise des dépenses administratives du FBR, l’intensité des vérifications devient un sujet de discussion essentiel dans la communauté FBR et auprès des décideurs politiques du secteur de la santé.

Vers une vérification moins coûteuse

Des questions se posent en particulier quant à la manière de mettre en place une méthodologie de vérification moins onéreuse mais qui mais qui offre presque le même niveau de confiance dans le fait que les services payés aient bien été fournis.

Dans certains cas, comme en Afghanistan, un échantillonnage est utilisé pour réduire le volume des vérifications trimestrielles. C’est certainement une voie à approfondir, bien que ce modèle où l'échantillonnage est non lié au risque, ait ses inconvénients, comme la possibilité que certains centres ne soient pas visités aussi souvent qu’ils devraient l’être. L’échantillon étant aléatoire, la méthodologie n’est pas conçue pour localiser les éventuels problèmes. En fait, la faiblesse dans la gestion des données n’est pas universelle: certains centres ont des équipes plus fortes que d’autres; la tentation de frauder ne concernera que quelques équipes. L’échantillonnage aléatoire ne tient pas compte de ces facteurs.

Une autres manière de voir la vérification serait de concevoir une méthodologie qui tienne compte du fait que les erreurs de déclaration, quelles qu’en soient les motivations, ne seront pas uniformément réparties sur l'ensemble des centres de santé. Autrement dit, les erreurs seront plus répandues et plus récurrentes au fil du temps dans certains centres. Sous cet angle, certains exemples de ce que l’on appelle la vérification basée sur le risque surgissent. Cela est en place en Argentine depuis plusieurs années, basé sur le volume de patients de chaque centre. Le Zimbabwe en est un autre exemple.

L’évolution de la vérification au Zimbabwe

Lors d’une visite à Harare en septembre 2016, j’ai rencontré le Dr Tafadzwa Goverwa, Directeur médical provincial, Chenjerai Sisimayi, de la Banque Mondiale, et Arjanne Rietsema, de Cordaid. Le Dr Goverwa et Arjanne Riestema m'ont présenté le contexte de la vérification du FBR Zimbabwéen.

Dr Goverwa a commencé par expliquer comment la vérification était initialement menée au Zimbabwe. La vérification était effectuée sur une base mensuelle, avec contrôle de tous les indicateurs. Cette vérification était lourde: chaque centre, chaque indicateur, chaque mois. Des sanctions ont été appliquées aux formations sanitaires avec des erreurs de déclaration dès le début du programme. Arjanne Rietsema a précisé que s’il existait des différences de plus de 5% entre les déclarations et les vérifications, les indicateurs spécifiques n’étaient pas rétribués du tout. Cette vérification était effectuée par Cordaid. Le Dr Goverwa a ensuite expliqué que les motivations ayant mené au changement de méthodologie étaient largement financières: la viabilité du programme était un enjeu essentiel et se rendre chaque mois dans tous les centres engendrait des dépenses importantes.

Arjanne a également souligné que la vérification mensuelle de chaque centre n’a pas révélé un nombre d’erreurs qui justifie un tel volume de vérification. Les besoins ont changé. Initialement, les vérificateurs procédaient également à un renforcement des capacités au niveau opérationnel et à l’amélioration du fonctionnement des comités dans les centres de santé. Quand les équipes médicales ont mieux pris leur rôle en main, ce renforcement des capacités ne s'est plus avéré nécessaire. Ce dernier point est important lorsque l’on pense à l’évolution de la vérification, et en particulier à sa fréquence. Depuis les débuts du FBR, les vérificateurs ont également, dans certains cas, fait office de superviseurs. Pour encourager les superviseurs de district ou régionaux à remplir leur rôle, et souvent pour leur en donner les moyens, la première vérification leur était attribuée. Avec le temps, ce double rôle peut parfois être perçu comme contradictoire.

Au départ donc, au Zimbabwe, des vérifications mensuelles étaient effectuées, d’une part en raison des besoins en matière de renforcement des capacités, mais également parce qu’ils suspectaient que le niveau d’erreur entre les résultats déclarés et vérifiés le justifierait. Deux ans après la mise en place du programme, il a été constaté que le niveau d’erreur n’était plus aussi élevé, cela a amené Cordaid à envisager une méthode de vérification plus légère. Et pas seulement en en diminuant la fréquence des contrôles: ils avaient d'autres idées.

L’adoption de la vérification basée sur le risque

Au cours de la préparation à cet entretien, je me suis également entretenu avec Petra Vergeer de la Banque Mondiale. Elle m’a expliqué qu'au moment où le Zimbabwe envisageait de changer de méthodes de vérification, elle-même et trois collègues (y compris l'auteur de ce blog) étaient en train de rédiger une analyse comparative de six cas-pays, sur la vérification dans le FBR. Petra a partagé les conclusions et les recommandations de cette analyse transversale avec l'équipe au Zimbabwe, et l'une des recommandations était d'introduire une vérification fondée sur le risque. Petra a aidé l'équipe à avoir une réflexion poussée sur les déclencheurs à utiliser, sur la base des enseignements tirés de, par exemple, l'Argentine et le Royaume-Uni.

Le Dr Goverwa m’a expliqué que dans la méthodologie basée sur le risque développée par l'équipe du Zimbabwe, l'examen des différences entre les données déclarées et vérifiées est effectué tous les six mois (en juin et décembre, selon le manuel de vérification du Zimbabwe). Si en moyenne il y a moins de 5% d’erreurs entre données déclarées et vérifiées, pour un établissement de santé donné, alors ce dernier est classé « vert » . Une erreur est constituée par toute différence, positive ou négative, entre les résultats déclarés et ceux vérifiés. Les établissements « verts » sont vérifiés une fois par trimestre et, au cours de cette visite, les résultats sont vérifiés intégralement pour l’un des mois du trimestre précédent tandis qu’une vérification plus légère est effectuée pour les deux autres mois du trimestre. La vérification plus légère implique des contrôles ponctuels d’indicateurs présentant un volume d’activité élevé, ou des indicateurs où le volume a évolué de plus de 20% par rapport au mois précédent. Lorsqu'un établissement de santé a eu un taux d'erreur compris entre 5% et 10%, il est classé dans la catégorie « orange ». Ces établissements de santé sont visités deux fois par trimestre. Ceux dont le taux d'erreur est supérieur à 10% sont classés dans la catégorie « rouge ». Il est à noter que les nouvelles formations sanitaires et tous les hôpitaux, ces derniers en raison de leur important volume d’activités, sont automatiquement classés dans la catégorie « rouge ». Si vous êtes dans cette catégorie, votre formation sanitaire est visitée et vérifiée chaque mois.

J'ai remarqué que l'aspect analytique de cette approche, par ex. l’identification des installations avec des erreurs dans chaque catégorie, la recherche d'indicateurs avec un volume d’activités élevé ainsi que la vérification des tendances d’un mois à l’autre, pourrait être largement simplifié à l’aide d’une solution informatique dédiée. Chenjerai Sisimayi m’a expliqué que pour le moment les données sont téléchargées à partir du logiciel DHIS2, qui est utilisé pour le Système d'Information Sanitaire au Zimbabwe; l'analyse est effectuée sous Excel. Il y a un désir, mais actuellement pas de plans, de développer un logiciel qui accomplirait le plus gros du travail analytique.

Le FBR couvre actuellement 394 établissements de santé au Zimbabwe. En septembre 2016, 319 établissements étaient dans la catégorie « verte », 51 étaient « orange », et 34 (soit 10% des formations sanitaires) étaient dans la catégorie « rouge » . Arjanne Rietsema a fait remarquer que seuls quelques centres de santé ruraux appartiennent à cette catégorie et que la plupart des établissement en rouge sont en fait des hôpitaux, qui restent rouge par nature, en raison du risque financier résultant du fait qu'ils reçoivent d’importants paiements liés au FBR. Elle a également souligné qu'elle souhaitait inclure dans le processus de vérification une activité consistant à choisir au hasard un indicateur non rémunéré et à inclure celui-ci dans le calcul de l'erreur, mais cette mesure n'a pas encore été mise en œuvre. La vérification de la qualité est effectuée trimestriellement dans tous les cas, sans catégorisation en fonction des risques.

Bénéfices réels

J'ai demandé dans quelle mesure la méthode de vérification révisée avait eu un impact sur le coût. Arjanne Rietsema a déclaré qu'une évaluation limitée avait été faite, qui a montré une réduction de 80% des coûts liés aux véhicules. Et comme Chenjerai Sisimayi l'a souligné, l'amélioration de la qualité de saisie des données s'est poursuivie dans le contexte de la vérification basée sur le risque.

Certains au sein de la communauté du FBR postulent que, avec le temps, l'intensité de la vérification peut être réduite parce que la manière de penser des gestionnaires des établissements de santé change et qu’ils réalisent que des données correctement déclarées ont de multiples avantages. Le Dr Goverwa a noté que les gestionnaires d'établissements de santé au Zimbabwe savent désormais que des données entrées incorrectement devront être corrigées par la suite. Arjanne Rietsema a ajouté qu'il existe dans certains districts une concurrence entre les établissements de santé, créée intentionnellement, car leur statut (couleur) est rendu public. Ainsi, passer du rouge à l'orange, ou de l'orange au vert, peut être source de fierté. Et l'inverse est également vrai.

Un autre élément important est la politique de sanction. Tout indicateur présentant une différence entre données déclarées et vérifiées supérieure à 5% n'est pas payé. J'ai mentionné que cette disposition est très stricte par rapport à la plupart des autres cas de mise en œuvre du FBR, où des sanctions peuvent être prévues mais dans les faits rarement mises en œuvre, et d'autres cas où il n'y a pas de sanctions du tout, dans la politique ou dans la pratique. J'ai demandé s'il y avait eu une résistance face à cette politique de sanction. Arjanne m’a répondu qu’ étant donné que la politique de sanction était prévue dès le début du FBR, personne ne l'a remise en cause. Du point de vue des gestionnaires d'établissements de santé, cela faisait partie intégrante de l'approche FBR. Et ils ont très vite compris ce que cela impliquait pour leurs paiements FBR.

Il est intéressant de noter que, bien que le Zimbabwe ait adopté une méthodologie basée sur les risques, il est passé d'une méthodologie de vérification initiale très lourde à une méthode qui pourrait être encore considérée comme lourde dans certains contextes. Même les installations « vertes » sont visitées une fois par trimestre, ce qui dans d'autres pays est le point de départ à partir duquel les régulateurs et les acheteurs essaient d'alléger le fardeau de la vérification.

Le Zimbabwe fait figure de pionnier en matière de vérification du FBR dans les pays à faible revenu et les pays à faible et moyen revenu. Il y aura très probablement un certain nombre de pays qui chercheront à faire de même, au premier rang desquels figure déjà le Bénin. La vérification est un élément clé du FBR et en particulier de sa théorie du changement. Mener une réflexion sérieuse en vue de rendre la vérification, et au-delà le FBR en général, plus coût-efficace est un défi important, et tout particulièrement en matière de qualité des soins, qui est beaucoup plus sujette à des phénomènes de 'gaming' que ne l’est la quantité de services fournis.

3 Commentaires

Verification of results: the experience of Zimbabwe

1/26/2017

6 Commentaires

Erik Josephson

Verifying results before payment is a core principle of Results-Based Financing (RBF). But verification is also costly. In a recent blog post, Matthieu Antony called for less intensive approaches. Some countries are moving in this direction. Erik Josephon reports on the approach adopted in Zimbabwe.

Results-based financing (RBF) mechanisms have been growing very quickly since Cambodia first initiated one in 1999. They are now commonplace across Africa, in several Latin American countries and several OECD countries also have versions of RBF mechanisms. One of the core principles of RBF is to verify results prior to payment. In many settings the methodology put in place to achieve this has been to verify the results of all quantity indicators, and to conduct an assessment of quality, at every health facility at least once per quarter. However with increasing scrutiny of the non-incentive operating cost of RBF mechanisms, the intensity of verification is becoming the topic of discussion across the RBF community, and in health policy-making circles.

Towards a less costly verification

Specifically questions are being asked as to how to construct a verification methodology which is less onerous, and less costly, but which still provides close to the same level of trust that the services being paid for were actually provided.

In certain settings, such as Afghanistan, sampling has been used to reduce the intensity of verification each quarter. This is certainly an avenue worth pursuing, albeit that non-risk-based sampling does come with disadvantages, such as the possibility that some facilities won’t be visited as often as they need to be. Where the sampling is random, the methodology isn’t designed to focus where the problems may be. After all low data management capacity is not universal – some facilities will have stronger staff than others – and the desire to commit fraud will only be present in a select few facilities. Random sampling does not take these factors into consideration.

A different way of looking at verification is to design the methodology such that it specifically takes into account that error in declaration, resulting from whatever motivation, will not be uniformly distributed across health facilities. That is to say, errors will be larger and more persistent over time in some facilities. With this in mind some examples of what is being called risk-based verification are springing up. This has been happening in Argentina for some years, and is based on the volume of patients at each facility. Another such example is in Zimbabwe.

The evolving verification in Zimbabwe

During a visit to Harare in September 2016, I sat with Dr. Tafadzwa Goverwa who is a Provincial Medical Director, Chenjerai Sisimayi of the World Bank and Arjanne Rietsema of Cordaid. Dr Goverwa and Arjanne Riestema helpfully tag-teamed to set the context of verification in the Zimbabwean RBF.

Dr Goverwa started by explaining how verification was originally conducted in Zimbabwe. Verification was on a monthly basis, with all indicators verified. It was a heavy verification – every facility, every indicator, every month. We applied sanctions to errors in declaration since the start of the program. Arjanne Rietsema clarified that if there were differences between declared and verified of more than 5%, that specific indicator would not be paid at all. This verification was carried out by Cordaid. Dr Goverwa then explained that the reason for changing from the old methodology was largely financial. The sustainability of the program was on their minds. Going to all facilities every month entails a significant cost.

Arjanne pointed out that during the monthly, all facility verification, they weren’t finding that many errors, and started to wonder at the utility of this intensity of verification. The needs changed. At the beginning the verifiers would also build capacity on operational plans, and the workings of the health center committee. Over a period of time, this capacity building became less necessary as facility staff took on their responsibilities.

This last point is important when thinking about the evolution of verification, and particularly its frequency. Verifiers have from the start of RBF also in some cases been supervisors. In order to encourage district or county supervisors to carry out their role, and often to have the resources to do so, the first order verification role has been given to district or county supervisors. With time this dual role can sometimes be seen as conflicted.

So initially in Zimbabwe they conducted monthly verification both because of the capacity building needs, and also because they suspected the level of error between declared and verified results would warrant it. About two years into the program, they noted the level of error wasn’t as large any more, and so they started thinking about a lighter verification methodology. However rather than simply lessen the frequency, they had other ideas.

The adoption of risk-based verification

As part of the preparation for this interview, I also spoke with Petra Vergeer of the World Bank. She explained that around the time that Zimbabwe was considering changing verification approaches, she and three colleagues (including the author of this blog) were in the midst of writing a cross-case analysis of six country case studies on verification in RBF. Petra shared the findings and recommendations from the cross-case analysis with the team in Zimbabwe, and one of the recommendations was to introduce risk-based verification. Petra helped the team think through what triggers to use, based on lessons learned from, for example, Argentina and the United Kingdom.

Dr Goverwa explained that in the risk-based methodology the Zimbabwe team settled on, the review of differences between declared and verified data occurs every six months (in June and December according to the Zimbabwe verification manual). If the average of errors has been under 5% between declared and verified for a given health facility, they are classified as green. Error means the verified result is different positively or negatively from the declared result. Green faciliites are verified once per quarter, and during that visit results are checked in full for one of the months in the foregoing quarter, and a lighter verification is carried out for the other two months in the quarter. The lighter verification involves spot checks of high-volume indicators, or indicators where the volume has moved by more than 20% from the previous month. Where a facility has had an average error rate of between 5% and 10%, they are classified as amber. Amber facilities are visited twice per quarter. Facilities with an average error rate above 10% are classified as red, as are new health facilities, and hospitals due to their high volumes. Red facilities are visited every month.

I remarked that the analytical aspect of this, e.g. identifying which facilities had had errors in each category, looking for high-volume indicators and checking trends between months would be much simplified with a dedicated IT solution. Chenjerai Sisimayi explained that for now, the data is downloaded from the DHIS2 software which is used as a health information system in Zimbabwe, and the analysis is done in Excel. There is a desire, but currently no plans, to create software which would do much of the analytical heavy lifting.

RBF currently covers 394 health facilities in Zimbabwe. As of September 2016, 319 facilities were in the green category, 51 were in the amber, and 34 were in the red, meaning that only 10% of facilities are in the red category. Arjanne Rietsema noted that only a few rural health centers are in that category, and that most of the red facilities are hospitals, which stay red by design, given the financial risk resulting from them receiving large RBF payments. She also noted that they have wanted to include in the verification process an activity to pick one non-incentivized indicator at random and include that in the assessment of error, however this has not yet been implemented. Quality verification is carried out quarterly in all cases, with no risk categorization.

Real benefits

I asked how the revised verification methodology had impacted on cost. Arjanne Rietsema said that a limited assessment had been done, and it had shown an 80% reduction in vehicle costs. And as Chenjerai Sisimayi remarked, the improvement in the quality of data entry has continued in the context of the risk-based verification.

Some within the RBF community would posit that over time, the intensity of verification can reduce because the mindsets of health facility managers changes and they realize that correctly declared data has multiple advantages. Dr Goverwa noted that health facility managers in Zimbabwe now know that incorrectly entered data will result in having to correct it down the line. As a result registers have become more complete, where entire columns used to be empty, they are now filled in. Arjanne Rietsema added that there is in some districts an intentional competition created between health facilities, as their color status is made known publicly. So moving from red to amber, and amber to green can be the source of pride. And the reverse is also true.

Another important element is the sanction policy. Any indicator with a difference between declared and verified of more than 5% is not paid. I mentioned that this is very strict compared to most other RBF implementations where there may be sanctions which are rarely implemented, and others where there are no sanctions at all, in policy or in practice. I asked whether there had been resistance to the sanction policy at the start. Arjanne’s response was that since the sanction policy came in at the start of RBF, no-one questioned it. From the point of view of facility managers, this was part and parcel of the RBF approach. And they very quickly understood its implications on their RBF payments.

It’s worth noting that although Zimbabwe has moved to a risk-based methodology, they have effectively moved from a very heavy initial verification methodology, to one which would still be considered heavy in some settings. Even green facilities are visited once per quarter, which in other places is the starting point from which regulators and purchasers are trying to lighten the burden.

Zimbabwe is blazing a trail for verification in RBF in LICs and LMICs. There will very likely be a number of countries looking to follow suit, with Benin already known to be among them. Verification is a key part of RBF and particularly the theory of change of RBF. Thinking through how to make verification, and with it RBF in general, more cost-effective is an important challenge, and is particularly important for quality of care, which is far more open to gaming than is quantity of services delivered.

6 Commentaires

À la rencontre de l’AfHEA

1/24/2017

3 Commentaires

Anna Boisgillot

L’association africaine d’économie et de politique de santé, l’AfHEA, rassemble des experts africains en économie et politique de santé autour de grands chantiers tels que celui du financement de la couverture sanitaire universelle en Afrique. En marge de la 4ème conférence de l’association (Rabat, septembre 2016), nous avons rencontré son directeur exécutif, le Dr Chris Atim.

Commençons par un peu d’histoire. Rappelez-nous dans quel contexte avez-vous fondé l’AfHEA.

La genèse de cette idée provient de deux initiatives aux alentours des années 2000: des échanges entre quelques professionnels africains travaillant sur les questions de financement des soins de santé en Afrique d’une part, et d’autre part, la décision de l’OMS-AFRO (Organisation Mondiale de la Santé, bureau régional Afrique), d’organiser le premier Comité Consultatif Africain d’Économie de la Santé (AHEAC). L’objectif de l’initiative de l’OMS était de conseiller son Directeur Régional sur des questions liées au financement de la santé en Afrique. Les économistes de la santé africains présents à ce comité ont alors saisi l’opportunité offerte par l’OMS de créer une association d’économistes de la santé indépendante de l’OMS-AFRO pour promouvoir l’intérêt des africains et, aider les décideurs politiques à s’approprier les données économiques lors de la prise de décision. Cette idée se concrétise en août 2007 avec une grande enquête conduite auprès des potentiels membres africains. L’enthousiasme fut réel et les réponses unanimes, la création d’une association en économie de la santé s’imposait. Suite à une demande forte nous avons élargi le champ au-delà de l’économie de la santé en incluant les politiques de santé. L’AfHEA a été officiellement enregistrée comme société à but non lucratif le 17 Septembre 2008 et, en mars 2009 une conférence internationale rassemblant 200 participants à Accra, finalisa la mise en place de l’association avec l’appui de plusieurs bailleurs dont la Fondation Bill & Melinda Gates, l’OMS ou encore la Fondation Rockefeller.

Parlez-nous des réussites de l’AfHEA, quel est leur impact sur les systèmes de santé en Afrique ?

La création de notre association entre experts africains et son existence jusqu’ici est déjà en soi un succès ! Nous participons à des sessions aux côtés des organisations qui travaillent dans le secteur de la santé aux niveaux régional et sous régional telles que l’Union Africaine, l’Organisation Ouest Africaine de la Santé (OOAS), ou l’Union Économique et Monétaire Ouest-Africaine (UEMOA). Nous sommes à présent reconnus comme représentants légitimes des champs de l’économie, du financement et des politiques de santé en Afrique. A ce titre, en 2010 la Commission des Affaires Sociales de l’Union Africaine nous a convié pour préparer un document d’orientation sur le financement des soins de santé en Afrique dont une analyse des cibles d’Abuja. Notre rapport stipulait notamment que ces cibles ne reflétaient pas l’engagement politique d’un Etat dans le secteur de la santé (indicateur ambigüe dont le niveau peut potentiellement varier du fait de la diminution de la dette de certains pays qui conduisait à une diminution des dépenses publiques totales). La Commission ajouta un nouvel indicateur complémentaire aux cibles d’Abuja, les dépenses de santé per capita.

L’organisation de conférences internationales par l’AfHEA permet aux jeunes chercheurs africains de rencontrer des économistes de la santé séniors, de présenter leurs travaux, de recevoir des critiques, et de proposer des articles pour des revues internationales. Ce renforcement des capacités des jeunes est essentiel. Une inégalité des chances subsiste néanmoins pour les pays francophones. Citons l’exemple de la formation bilingue sur la couverture sanitaire universelle (CSU) mise en place en 2015 par l’AfHEA. Trois autres formations en anglais sur la CSU étaient proposées simultanément par l’OMS, l’USAID, et la Banque Mondiale pour les pays africains anglophones. En revanche, l’AfHEA était la seule organisation à dispenser cette formation en français.

Animer une association scientifique internationale n’est pas un long fleuve tranquille. Quel est le plus grand défi auquel fait face l’AfHEA ?

Nous devons pérenniser notre association. Nous ne disposons pas de base institutionnelle solide et nos sources de financement sont insuffisantes pour assurer un avenir financièrement soutenable à l’AfHEA. La réflexion actuelle porte sur le développement d’autres activités génératrices de revenu pour l’association, mais jusqu’à présent nous n’avons pas encore trouvé de solution viable.

Certains pays (Bénin, Burkina Faso, Côte d’Ivoire, Ghana, Nigéria, Ouganda, Sénégal, etc.) ont créé des associations nationales d’économie et de politiques de santé inspirées de l’AfHEA. Elles demandent un appui financier de l’AfHEA auquel nous ne pouvons malheureusement pas répondre. C’est un vrai défi. La question d’un statut de « Fédération de l’AfHEA » est régulièrement soulevée par les associations nationales. Une profonde réflexion s’impose pour appuyer le développement de ces communautés d’experts au sein des pays africains tout en assurant un avenir pérenne à l’AfHEA.

Quelles seront les principales missions qui focaliseront l’attention de l’association dans l’avenir ?

Notre champ d’action concerne la réalisation d’analyses économiques, l’aide à l’appropriation de nos travaux par les décideurs politiques, et le renforcement des capacités des chercheurs africains.

Il existe un fossé en Afrique entre la production de nos analyses et la mise en pratique de nos conclusions par les politiciens. Nous accompagnons ces décideurs dans la prise d’actions concrètes basée sur nos résultats. Mais, avons-nous (au sein de l’AfHEA) le capital suffisant pour mener correctement cette mission ?

Le renforcement des capacités des chercheurs est une de nos priorités. Il y a 2 ans, avec l’appui de la fondation Bill & Melinda Gates, un concours de résumés a été organisé sur la thématique du financement des soins de santé primaires en Afrique. Une centaine de participations a été enregistrée. Notre constat est sans appel, la qualité technique des papiers soumis était inférieure à nos attentes. Ceci est un exemple parmi d’autres, mais cela revient constamment. Je me bats pour offrir aux jeunes chercheurs des opportunités qui puissent les élever au sein des réseaux scientifiques internationaux.

Pensez-vous qu’il existe des synergies entre l’AFHEA et les CoPs?

Jusqu’ici, au-delà des participations réciproques des membres de chaque institution (AfHEA et les CoPs) aux activités organisées par l’une ou l’autre, il n’y a pas eu suffisamment de coordination et de synergie entre nous. Il nous faut des réunions conjointes pour mieux coordonner et discuter des modalités de coopération, et pourquoi pas, même élaborer et signer un document officiel de collaboration ; tout comme nous l’avons fait avec le Réseau Maghrébin d'Economie et des Systèmes de Santé (RESSMA) au Maroc, pour concrétiser les liens et promouvoir les synergies. C’est un beau rêve, et il est grand temps qu’on le réalise !

N’hésitez pas à visiter le site internet de l’AfHEA. Les présentations orales de la dernière conférence à Rabat sont disponibles ici.

3 Commentaires

Health Financing in Africa - the blog: 2016 in a glance

1/17/2017

1 Commentaire

The challenge of scaling up & integrating RBF

1/9/2017

1 Commentaire

Bruno Meessen

In late 2014, the Alliance for Health Policy and Systems Research along with the Department of Health Governance and Financing, WHO launched an implementation research program “Taking Results Based Financing from scheme to system”. The main purpose of this program was to generate research knowledge useful for all the countries engaged in scaling up their Results-Based Financing (RBF) programs. The research is now over and the program has entered its dissemination phase. The Performance Based Financing Community of Practice supports the communication effort of this multi-country program of research.

As far as low-income countries are concerned, the first applications of the Performance Based Financing (PBF) approach can be tracked back to the late nineties in pioneer countries such as Haiti and Cambodia. Over the next 20 years, the strategy has grown in popularity and has been adopted by an increasing number of countries. Some early adopters, like Rwanda or Burundi, rapidly transitioned from a pilot experience to a national policy. In some other countries, the adoption is much more recent, things are simply taking more time and in others RBF has failed to come on to the policy agenda.

The policy process through which a country moves from the idea to test RBF to a fully-fledged national policy is far from straight-forward. It is about developing a proof of concept, addressing national public health problems, gathering support among a large set of stakeholders, raising funds… So far, knowledge on how to overcome all these obstacles has not been systematized and synthesized.

When reflecting on the expansionary policy development of a RBF or PBF scheme, it is also important to put it into perspective. PBF is not an end in itself – it is a strategy to improve performance of the national health system, in terms of outcomes for the population, general efficiency and equity. Therefore, the issue of scale up must be understood in a broad sense: policy makers and analysts have to take into account the necessity to integrate the strategy in the broader effort to establish a coherent national health financing system as opposed to expanding a scheme as a narrowly focused intervention framed as an end in itself.

It is with this two main considerations in mind that the Alliance for Health Policy & Systems research spearheaded the research program “Taking Results Based Financing from scheme to system”. The research was carried out in 2015 by national teams from 11 countries: Armenia, Burundi, Cambodia, Cameroon, Chad, Kenya, Macedonia, Mozambique, Rwanda, Tanzania, Uganda. The program was funded by the Alliance for Health Policy and Systems Research supported by NORAD with technical support from a team based at the Institute of Tropical Medicine, Antwerp.

Many of you contributed to this process, as researchers or as key informants. Some of you have already heard about our findings at international conferences, in Dar-Es-Salaam, Harare, Rabat and Vancouver. But many of you are also active in countries not covered by the program or have missed our face-to-face events. There will be three channels to catch up. We of course recommend that you use these opportunities together: indeed they complement each other well.

Webinars

We have agreed with Joël-Arthur Kiendébréogo and Nadège Ade, the editorial team of the CoP webinar series, to organize a series of webinars to present some key findings.

The first webinar will introduce the research program. It will be presented by the two scientific coordinators of the program (Zubin Shroff and myself). In this webinar, we will present the research program as a whole as well as the main lessons learnt.. Among other things, we will present the multi-dimensionality of scale-up (it is much more than covering the whole country!), we will propose to analyze any PBF scale-up as a process going through four main stages and provide an overview of barriers and facilitators for scaling up a RBF scheme. We believe that this is strategically useful information to all those of you directly or indirectly involved in the design, implementation and study of PBF schemes.

With 11 countries, we have potentially a large number of country cases to present. Our intention therefore is to organize a few webinars focusing on some country cases. The actual number of cases will partly depend on the interest observed at the first webinar.

We will schedule these different webinars in the weeks to come. Note that the first webinar (general presentation of the research program) is scheduled for January 18th 1-3 pm, GMT. It will be in French and you will have to connect here. The same content will be presented in English on January 20th (1-3 pm GMT as well).It will be here. We recommend you to save the dates in your agenda. For more detailed and up-to-date information, it is recommended to register to our PBF online forum.

As a reminder, a webinar consists of a 60-90 minute online session with a power point presentation and a discussion at the end. To participate, you will have to install the WebEx program on your computer and have a sufficiently good internet connection at the time of the session. More guidance is provided here. The webinar team is also ready to help those for whom it is the first WebEx webinar ever, but you must alert them in time. You contact them here.

Policy briefs

The case studies carried out in the 11 countries provide a wide range of experiences. We have selected three interesting cases, at different points of the scale up process for illustration through policy briefs. They are about the story of Chad (where the PBF pilot project never transitioned to a national program), the experience of Cameroon (which had to transfer the purchasing capacity from external actors to regional semi-autonomous entities) and the full scale-up of Armenia (whose PBF program was integrated within a plan of Primary Health Care revitalization, including in it a non-communicable disease component). A fourth policy brief synthesizes the enablers and barriers to scale up identified from the review of ten country experiences.

These policy briefs will be officially published in the weeks to come. They will be introduced here on Health Financing in Africa. We hope that they will be useful materials for your own policy development or teaching.

Papers

Finally, we have agreed with the journal Health Systems and Reform to develop a supplement consisting of a series of papers presenting findings from our multi-country program. This is of course a venture demanding a bit more time, as papers have to go through a rigorous peer review process. We expect the first papers to be published in Spring 2017. We will of course keep you informed of their publication.

1 Commentaire

FBP: le défi du passage à l’échelle et de l’intégration

1/9/2017

7 Commentaires

Bruno Meessen

Fin 2014, l’Alliance for Health Policy and Systems Research et l’OMS lançaient un programme de recherche appelé “Taking Results Based Financing from scheme to system”. Le principal objectif de ce programme était de produire des connaissances utiles pour tous les pays engagés dans le développement de politiques de Financement Basé sur les Résultats (FBR). La recherche est désormais finalisée ; les résultats sont en voie d’être partagés. La Communauté de Pratique Financement Basé sur la Performance va soutenir ce effort de dissémination.

Dans les pays à faible revenu, les premières applications de ce qu’on appelle désormais le Financement Basé sur la Performance (FBP) remontent à la fin des années 90. Les vétérans du FBP se souviennent que c’était à Haïti et au Cambodge. Les vingt années qui ont suivi, la stratégie a gagné en popularité – elle est désormais en développement dans de nombreux pays. Dans certains pays pionniers, comme le Rwanda ou le Burundi, les projets pilotes ont rapidement été convertis en politiques nationales, couvrant l’ensemble du pays. La majorité des pays sont toutefois moins avancés, soit parce que l’adoption est bien plus récente… soit parce que les choses prennent parfois du temps.

Evoluer de l’idée initiale “on va faire du FBP” à une politique nationale « en bonne et due forme » ne se fait pas en une nuit. Cela requiert un processus politique de longue haleine. Il faut adapter la stratégie au contexte et aux besoins sanitaires du pays, en démontrer la faisabilité avec un projet pilote, rassembler différents acteurs derrière soi, financer la politique… Les défis sont nombreux. Malheureusement, jusqu’à présent, il n’y a pas eu de synthèse des connaissances sur comment surmonter tous ces obstacles, ni de bon partage des nombreuses leçons apprises au fil de ces vingt années de FBP.

Quand on réfléchit à la trajectoire nationale d’une programme FBP, il est également important d’adopter la juste perspective. Le FBP n’est pas une fin en soi – c’est une stratégie pour améliorer la performance des systèmes de santé, en termes de résultats pour la population, d’efficience, d’équité. Cela suggère qu’il faut aborder la problématique du passage à l’échelle dans un sens large : les décideurs et les analystes doivent notamment prendre en compte le fait que la stratégie doit s’intégrer dans un système de financement de la santé cohérent. Elle fait partie d’un tout bien plus large.

C’est avec ces deux grandes considérations à l’esprit que l’Alliance for Health Policy & Systems Research a initié le programme de recherche “Taking Results Based Financing from scheme to system”. La recherche a été effectuée en 2015 par des équipes nationales de 11 pays: l’Arménie, le Burundi, le Cambodge, le Cameroun, le Kénya, la Macédoine, le Mozambique, l’Ouganda, le Rwanda, la Tanzanie et le Tchad. Ce programme, financé par l’Alliance avec le soutien de NORAD, était appuyé techniquement par l’Institut de Médecine Tropicale d’Anvers.

Beaucoup d’entre vous avez contribué à ce processus, soit comme chercheurs, comme informateurs-clés. Certains d’entre vous ont déjà eu l’occasion d’entendre une partie des résultats dans des réunions internationales, à Dar-Es-Salaam, Harare, Rabat et Vancouver. Mais beaucoup d’entre vous n’ont pas pu profiter de ces opportunités. Nous vous proposons donc trois canaux pour découvrir les résultats de ce programme. Nous vous recommandons d’exploiter ces trois canaux de front, car ils se complètent bien.

Webinaires

Avec l’équipe éditoriale de la série des webinaires des CoPs (Joël-Arthur Kiendébréogo et Nadège Ade), nous avons convenu d’organiser une série de webinaires pour présenter certains résultats-clés. Voici la séquence qui a été convenue.

Le premier webinaire va introduire la recherche dans son ensemble. La présentation sera assurée par les deux coordinateurs scientifiques du programme (Zubin Shroff et moi-même). Dans le cadre de ce webinaire, vous découvrirez le setup général de la recherche et les leçons principales qui s’en dégagent. Entre autres, nous vous présenterons notre cadre d’analyse, qui avance qu’un passage à l’échelle est une réalité multi-dimensionnelle (en fait, il s’agit bien plus que d’assurer une couverture sur l’ensemble d’un territoire). Nous proposons aussi d’analyser le processus du passage à l’échelle comme un processus en 4 grandes étapes. Enfin, nous passerons en revue les facteurs favorables et défavorable au passage à l’échelle et à l’intégration. Nous pensons que cette information est stratégique pour tous ceux d’entre vous qui êtes directement ou indirectement impliqués dans la conception, la mise en œuvre ou l’étude du FBP.

Avec 11 pays, nous avons potentiellement un large échantillon d’études de cas à présenter. Notre intention est donc d’organiser quelques sessions de webinaires qui se concentreront sur des expériences pays particulièrement intéressantes. Le nombre exact de pays couverts dépendra de différentes choses, notamment de l’intérêt que vous manifesterez lors du premier webinaire.

Nous avons commencé la programmation de ces webinaires. Le premier webinaire (la présentation générale du programme de recherche) se tiendra le 18 janvier de 13h à 15 h GMT en vous connectant ici. Mon intervention sera faite en français. Le même contenu sera présenté par Zubin Shroff, en anglais, le 20 janvier, à nouveau entre 13h et 15h GMT, en vous connectant ici. N’oubliez pas de réserver la date dans votre agenda. Pour une information plus complète, il vous est recommandé de suivre les messages d’annonce que Joël-Arthur postera sur le forum en ligne de la CoP FBP.

Pour rappel, un webinaire consiste traditionnellement en une session d’environ 90 minutes avec une présentation power point par un orateur invité suivie d’une séance de questions et réponses. Pour participer, vous devez installer l’application WebEx sur votre ordinateur et avoir une connexion internet de qualité. Vous pouvez trouver une fiche de guidance ici. L’équipe éditoriale peut aussi vous aider si votre première expérience avec WebEx, elle est disponible ici.

Policy Briefs

Les études de cas « pays » fournissent une large gamme d’expériences. Nous avons sélectionné trois pays, qui se situaient à des stades différents du passage à l’échelle, et avons produit des policy briefs. L’un porte sur l’histoire du Tchad (où le projet pilote n’a pas été converti en un programme national), un autre sur l’expérience du Cameroun de transfert de la fonction d’achat d’acteurs externes à des agences régionales semi-autonomes) et le dernier sur l’Arménie (dont le FBP a été intégré dans un plan de revitalisation des soins de santé primaires, y compris un composant visa les maladies non-transmissibles). Un quatrième policy brief synthétise les facteurs qui jouent positivement ou négativement dans le passage à l’échelle d’un dispositif FBP.

Ces policy briefs seront publiés dans les semaines qui viennent. Ils seront présentés ici sur notre blog Health Financing in Africa. Nous espérons qu’ils seront des documents utiles que ce soit pour vos propres politiques, vos formations, vos hub pays…

Articles scientifiques

Qui dit recherche scientifique dit aussi publications dans une revue scientifique de qualité. Depuis plusieurs mois, nous travaillons avec la revue Health Systems & Reform pour publier une série d’articles rapportant les résultats de notre programme multi-pays. Ces articles sont actuellement en cours de révision par d’autres chercheurs (dont peut-être certains d’entre vous !). Nous espérons que les premiers articles sortiront au printemps 2017. Nous vous informerons bien entendu de leur publication.

7 Commentaires

Best wishes

1/6/2017

2 Commentaires

The facilitation team

As one year ends, another begins. it’s the perfect time to take stock of our communities of practice!

If you are reading this blog post, you are most likely already part of our CoPs. Our communities continue to grow. The Financial Access to Health Services CoP exceeded the threshold of 1,000 members a few weeks ago. During 2016, the Performance-Based Financing CoP has reached 2,000 members. We attribute this success to the quality of our activities and exchanges. Let us review together some of our accomplishments in 2016.

2016 Activities

As you see from week to week, our online discussion forums remain active. Thank you all for sharing your experiences, knowledge and opportunities so generously!

Launched more than five years ago, our Health Financing in Africa blog continues to be a reference site for all those who are passionate about health financing in Africa (we will publish some statistics in the coming days). In recent months, we have expanded the database of contributors, by opening our blog to new bloggers (if you are interested in joining the team, this is the place to apply). This has already given us some interesting interviews, notably that of Matthew Jowett and Hyacinthe Kankeu Tchewonpi - the subject of corruption in the health services appealed to many of you.

The big digital development for our CoPs was the launch of our new Collectivity collaborative platform. Collectivity has grown throughout 2016 – but since the platform was in beta, we were relatively discreet about it. Thank you to those of you who as first users helped us to make improvements. From now on, we will use Collectivity almost systematically. If you have not yet created your profile on what will no doubt become the LinkedIn of the CoPs, it is probably time to do so. The main purpose of this platform is to encourage more of you to get involved in the various projects of the CoPs and to ensure that you benefit from your participation.

In 2016, we also generated new knowledge on several issues of interest. Experts from six countries have finalized the study on systemic learning for Universal Health Coverage. These results have already been presented in several countries and at international conferences. In the coming months, we will share the results of this multi-country research on our sites. Notably, this study also accelerated the creation of CoP hubs in several countries. We will tell you more about these developments soon on this blog.

A number of you have also contributed to the study on scaling-up of performance-based financing (coordination: Alliance for Health Policy and Systems Research and Institute of Tropical Medicine). Either you were directly involved in this study as a researcher, or you supported it as a key informant. The CoPs will soon be sharing of the results of these country studies. This will include a series of webinars starting in January. You can already book your afternoons on 18 and 20 January. We’ll get back to you very soon with more details.

In 2016, we also began to focus on strategic purchasing. In partnership with WHO, we organized a first working meeting in Rabat. The results of this meeting were presented in a blog post and a short report. This orientation is ... strategic for our CoPs and will be consolidated in 2017. We will tell you more in a few weeks.

Finally, we completed the year with a meeting in Antwerp with the facilitators of the various CoPs and country hubs. Stay tuned for the lessons that emerged from this meeting.

A busy program for 2017

Our program for 2017 is busy. In addition to the activities mentioned above, here are some highlights to come.

At the beginning of 2017, the PBF CoP will launch its RBF Atlas project. In the coming weeks, each country with an RBF experience will be invited to set up a team and register for this project. Our ambition is to make it the most inclusive collaborative project in CoP history.

With the PBF CoP, we are also tackling various central issues for the future of PBF. We are thinking in particular of the need for a more efficient audit process (you will certainly remember the blog of Matthieu Antony on this subject). A working group will be set up shortly. We also intend to launch a major initiative on quality of care with countries involved in PBF.

We will also continue to work on the development of CoPs. In the weeks to come, experts from the FAHS CoP will be invited to participate in a study on the barriers that women encounter to participate in CoP activities. We will also support the activities organized by the national hubs. In 2017, the facilitation of the CoPs is moving more and more towards you!

Wishes for 2017

This new year looks exciting. Our first wish is to continue, with all of you, to transform the management and production of knowledge on our themes of interest in global health... by giving an even greater role to our collective intelligence. We wish you a year 2017 full of challenges and achievements, both inside and outside the CoPs. And of course we wish you what remains essential to all: excellent health.

2 Commentaires

Nos voeux pour 2017

1/6/2017

1 Commentaire

Equipe de facilitation

Une année terminée, une autre qui commence. Voici une belle occasion pour faire le point sur nos communautés de pratique ! Meilleurs voeux à tous.

Si vous lisez ce billet de blog, il est probable que vous fassiez déjà partie de nos CoPs. En 2016, nos communautés ont continué à grandir. La CoP Accès Financier aux Services de Santé a dépassé le seuil de 1.000 membres il y a quelques semaines. Au cours de l’année 2016, la CoP Financement Basé sur la Performance a, elle, franchi le seuil des 2.000 membres. Ce succès nous le devons sans doute à la qualité de nos activités et de nos échanges. Passons donc en revue certaines de nos réalisations en 2016.

Activités de 2016

Comme vous le constatez chaque semaine, nos forums de discussion en ligne restent actifs. Merci à tous de partager si généreusement vos expériences, connaissances et opportunités ! Lancé il y a plus de cinq ans, notre blog Health Financing in Africa continue à être un site de référence pour tous ceux qui se passionnent pour le financement de la santé en Afrique (nous publierons quelques statistiques dans les prochains jours). Ces derniers mois, nous avons élargi la base des contributeurs, en ouvrant notre blog à de nouveaux bloggeurs (si vous êtes intéressés à rejoindre l’équipe, c’est ici qu’il faut postuler). Cela nous a déjà valu quelques belles interviews, notamment celle de Michel Sidibe, le directeur d’ONUSIDA et celle de Damien Glez, le dessinateur avec qui nous collaborons. L’interview la plus remarquée a sans doute été celle de Hyacinthe Kankeu Tchewonpi – le sujet de la corruption dans les services de santé a interpellé un grand nombre d’entre vous.

Le gros développement digital pour nos CoPs a certainement été le lancement de notre nouvelle plateforme collaborative Collectivity. Collectivity a grandi tout au long de l’année 2016 – la plateforme était alors en phase beta, nous avons donc été relativement discrets à son sujet. Merci à ceux d’entre vous qui comme premiers usagers nous ont aidé à identifier les améliorations possibles. Désormais, nous allons utiliser Collectivity de façon quasi systématique. Si vous n’avez pas encore créé votre profil sur ce qui est promis à devenir le LinkedIn des CoPs, il est probablement temps de le faire. La première finalité de cette plateforme est de favoriser l’implication d’un plus grand nombre d’entre vous dans les différents projets des CoPs et d’assurer que vous puissiez valoriser cet engagement.

En 2016, nous avons bien sûr aussi généré des connaissances nouvelles sur nos problématiques d’intérêt. Des experts de six pays ont ainsi finalisé l’étude sur l’apprentissage systémique pour la Couverture Sanitaire Universelle. Ces résultats ont déjà été présentés dans plusieurs pays et lors de conférences internationales. Ces prochains mois, nous allons partager les résultats de cette recherche multi-pays sur nos sites. Il est remarquable que cette étude ait aussi accéléré la création de hubs CoP dans plusieurs pays. On reviendra sur ces développements prochainement sur ce blog.

Un certain nombre d’entre vous ont également collaboré à l’étude sur le passage à l’échelle du financement basé sur la performance (coordination : Alliance for Health Policy and Systems Research et Institut de Médecine Tropicale). Soit vous étiez directement impliqués dans cette étude comme chercheurs, soit vous l’avez soutenue comme informateur-clé. Les CoPs vont contribuer au partage des résultats de ces études pays. Cela passera notamment par une série de webinaires qui commencera dès le mois de janvier. Vous pouvez déjà réserver dans vos agendas les après-midi des 18 et 20 janvier. Dès cette semaine, on revient à vous avec plus de détails.

En 2016, nous avons aussi commencé à nous intéresser à l’achat stratégique. En partenariat avec l’OMS, nous avons organisé une première réunion de travail à Rabat. Les résultats de cette réunion ont été présentés dans un billet de blog et sont repris dans un court rapport. Cette orientation est… stratégique pour nos CoPs et sera consolidée en 2017. Nous vous en dirons plus dans quelques semaines.

Enfin, nous avons bouclé l’année par une réunion à Anvers avec les facilitateurs des différentes CoPs et hub pays. Prochainement, nous pourrons vous en dire plus sur les leçons qui ont émergé de cette rencontre.

Un programme chargé pour l'année qui vient

Notre programme pour 2017 est chargé. Outre les activités mentionnées plus haut, voici quelques moments forts à venir.

Début 2017, la CoP FBP va lancer son projet d’Atlas sur le Financement Basé sur les Résultats. Dans les prochaines semaines, chaque pays avec une expérience FBR sera invité à monter une équipe et à s’inscrire à ce projet. Nous avons l’ambition d’en faire le projet collaboratif le plus inclusif de l’histoire des CoPs.

Avec la CoP FBP, nous avons aussi la responsabilité de travailler sur différents enjeux centraux pour l’avenir du FBP. Nous pensons en particulier à la nécessité d’une vérification plus efficiente (vous vous rappelez certainement le blog de Matthieu Antony sur ce sujet). Un groupe de travail sera mis en place prochainement. Nous comptons aussi lancer une grande initiative sur la problématique de la qualité des soins avec les pays engagés dans le FBP.

Nous continuerons aussi à œuvrer au développement des CoPs. Dans les semaines à venir, les experts de la CoP AFSS seront ainsi invités à participer à une étude sur les barrières que les femmes rencontrent dans le cadre de la participation à nos activités. Nous soutiendrons aussi les activités organisées par les hubs nationaux. Car désormais, l’animation des CoPs glisse progressivement vers vous !

Vœux pour 2017

Voilà donc une année nouvelle qui s’annonce aussi passionnante que les précédentes. Notre premier vœu est de continuer, avec vous tous, à transformer la gestion et la production des connaissances sur nos thématiques d’intérêt… en donnant un rôle encore plus grand à notre intelligence collective.

Nous vous souhaitons une année 2017 pleine de défis et de belles réalisations, au sein des CoPs ou en dehors. Et bien sûr nous vous souhaitons ce qui reste essentiel à tous : une excellente santé.

1 Commentaire

Vérification des résultats: l’expérience du Zimbabwe

Verification of results: the experience of Zimbabwe

À la rencontre de l’AfHEA

Health Financing in Africa - the blog: 2016 in a glance

The challenge of scaling up & integrating RBF

Webinars

Policy briefs

Papers

FBP: le défi du passage à l’échelle et de l’intégration

Webinaires

Policy Briefs

Articles scientifiques

Best wishes

Nos voeux pour 2017

Our websites

We like them...

Archives

Tags

Webinars

Policy briefs

Papers

Webinaires

Policy Briefs

Articles scientifiques

Our websites

We like them...

Archives﻿

Tags

Archives