Serge Mayaka (Kinshasa School of Public Health, and PhD student at the Université Catholique de Louvain) interviews Maria Bertone (PhD student at the London School of Hygiene & Tropical Medicine) and Bruno Meessen (ITM, Antwerp) on their recent article. The paper proposes an analytical framework to study the link between institutional arrangements and health system performance, with an empirical application to two Performance-based Financing (PBF) schemes in Burundi.

It seems that your article comes at an interesting point in the debate on Performance-based Financing (PBF). Could you summarize its key messages?

Maria Bertone: The paper has two objectives. First, it aims to contribute to the debate at a conceptual level. The idea is to articulate different concepts from New Institutional Economics to facilitate the study of health systems. Specifically, the paper proposes a simplified analytical framework to analyse changes in institutional arrangements structuring a health care system. For the purpose of illustrating this type of analysis, the article includes an application of the framework to two pilot PBF schemes in Burundi. So this is the second aim of the work, drawing lessons on the design and implementation of PBF schemes. Achieving this second aim helps corroborate and validate our theoretical proposition.

While the paper will not contribute much to the PBF programme in Burundi (indeed, long before the publication of this study, a unified PBF model has been implemented across the country), some more general lessons could be interesting, such as, for example, on how to assess PBF schemes. Although we agree on the need for impact studies, the article notes that the institutional arrangements of each PBF schemes are substantially different and that impact evaluations should be interpreted taking into account the particular nature of these arrangements.

Several authors have recently advocated for a “complex adaptive systems” approach to study of health systems. Such a suggestion was made also for PBF, in particular in order to identify unexpected effects. Have you addressed this recommendation in your paper?

Bruno Meessen: I'm not very familiar with this approach. I'd be curious to see what findings it may provide when applied to PBF. One point that I’d like to make, though, is that I believe it would be misleading to argue that we do not have enough conceptual “keys” to analyse PBF, its agenda and its effects. One of the messages of our paper is that New Institutional Economics is a powerful body of theory to better understand how to reform health systems. Personally, I can certainly say that it helped me to structure my own theoretical and political reflections in the past decade.

In this regard, perhaps the article will he also help avoid a misunderstanding. It will surprise some physicians reading this interview, but I've heard some criticisms based on the fact that "the problem is that the PBF was designed by doctors, not by health economists. PBF proposers do not know the vast literature on providers payment mechanisms ". With this article, we also wanted to show that in fact the theoretical foundations of PBF are substantial. They may actually be even more inclusive than the literature of health economics. Indeed, to address issues such as the redistribution of roles in a system or the introduction of new ‘rules of the game’, Organization Economics could be a better, more relevant toolkit.

Maria, what would you suggest to a young researcher who wants to apply this analytical framework, for example, looking at PBF in another context, different from that of Burundi?

MB: To adapt and apply the analytical framework to a specific situation has been an interesting, challenging exercise for me. It forced me to look at the two schemes from a new perspective. I was surprised by the fact that it allowed me to find out new aspects and better understand why the two schemes functioned differently.

The application of the framework certainly needs some theoretical knowledge and understanding of the principles of New Institutional Economics. At best, we have a “sketch” on which to base the analysis, and it remains to the researcher to draw the full picture. Although a social science background is undoubtedly useful for the task, we hope that the paper will facilitate dialogue between economists and health system researchers. Besides, it allows establishing links with previous work (such as that of Thomas Bossert) as well as more recent one (e.g., Kenneth Leonard’s).

Young researchers will also appreciate the use of a case study design and the demonstration that case studies  could be helpful and legitimate to look at PBF interventions. We could certainly use more the ‘comparative case study’ approach.

Bruno, Maria mentions this is a “sketch” of an analytic framework. In what direction do you see the scientific developments in this area of research, and particularly in the field of PBF?

BM: There are numerous possible developments. My recommendation to researchers who do not want or cannot carry out an impact study is to focus on the factors that could explain why the PBF scheme does not obtain the results we had hoped for (or why it achieves something that wasn’t planned for!). The reasons for the “failure” of a PBF scheme could be different, but they would probably fit into three broad (non-exclusive) categories: the design was misconceived, or it is the implementation process that is inappropriate, or the theory underlying PBF is failing.

Our analytical framework is primarily intended to study the problems in the first category: a mismatch between design and context, which leads ultimately to sub-optimal results. In other words, cases when the PBF scheme was poorly designed (such as, for example, when the PBF design is limited to “cut/paste”). In this sense, future developments of our analytical framework could add more details in the description of institutional arrangements, property rights and power relations between actors.

Then, there are the problems in a second category, during the implementation phase. As shown in the recent literature on use fee removal, to document these issues is relatively trivial and it will probably not be helpful to burdened them with too many theoretical elements. I'm not sure, therefore, that our framework is of help for such cases.

But there is a third type of problems, i.e. those which could arise from a failure in the theory underlying PBF.  Further research could help to reduce this risk by strengthening the theoretical foundations of PBF. Along this line, for example, well equipped researchers in social sciences and empirical methods could dig further, in order to better understand the underlying psychological mechanisms, including cognitive and motivational aspects. The theoretical base of PBF is indeed the assumption of the existence of the homo oeconomicus. The strength of this idea for modelling and prediction is well established, but it remains a simplification of human psychology. At the moment, our framework still leaves undetermined the question of the interaction between extrinsic motivation and intrinsic motivation. We do not say anything about how individuals change their preferences, develop expectations or process the information they are given. These are all aspects that can have an important weight in the effectiveness of the revision of institutional arrangements. Research developments in this sense are a very ambitious program that requires to get rid of one’s own prejudices and constructs and focus on empirical work. Someone like Kenneth Leonard is leading the way in this sense.

Going back to your study in Burundi. Maria, can you summarize the main results of the comparison of the two PBF pilots in Ngozi and Bubanza provinces?

MB: Our analysis explains how and why the two schemes worked differently. I would emphasize here three results.

The first concerns the role of the Purchasing Agency. We found that its role was organized differently in the two projects. In Ngozi, the purchasing function was held by a committee consisting of representatives of the implementing agency (Swiss Tropical Institute) and of the local health hierarchy, chaired by the Provincial Health Director. In Bubanza, the role was assigned to a separate, independent agency run by the NGO (Cordaid). While this second approach allowed for a much clear definition of responsibilities and effectively limited the conflicts of interest, it also had a downside, as it created an excessive transfer of ‘decision rights’ (a key concept in New Institutional Economics) to an external agency outside the State structure. For the record, the question on which actor should play the purchasing function has generated a lively debate in Burundi in 2009. The solution found by the Ministry of Health and its partners opted for an innovative, ‘mixed’ model which ensured the involvement of the State as well as that of some external actors.

Secondly, our analysis shows that support and guidance provided to health facilities during the introduction of a PBF – what is often referred to as ‘coaching’ by PBF practitioners, play a key role in PBF schemes. Indeed, such support is crucial to help healthcare providers to understand the content of the new institutions, i.e. the new ‘rules of the game’, which are put in place. In our analysis using the analytical framework, it appears that coaching is in fact a 'soft' but powerful enforcement mechanism for the adoption of new rules. In PBF schemes, the main enforcement mechanism is usually considered the verification procedures, but it is important to highlight that other mechanisms may also play an important role and that the purchasing agency has a variety of instruments at its disposal.

This brings us to a third point. One of these instruments is the use of rhetoric. We found a difference between the rhetoric on some issues and the actual practices of the actors on the ground. For example, in Bubanza, experts interviewed but also their documents of reference put forward the concept of the ‘black box’, which refers to the total autonomy of providers in their use of financial resources. In practice, though, the close coaching that the purchasing agency was providing, as well as the use of some planning tools (known to many as ‘business plans’ which in the ‘PBF language’ means ‘action plans’) reduced this autonomy. This is not to say that business plans or coaching are not useful – quite the opposite!, but it is to highlight how the design and the rhetoric around it can differ from the actual implementation. Jean-Benoît Falisse made a similar observation when he documented a similar disconnection with reference to the idea of channelling the ‘users voice’ through the verification procedures, in early PBF schemes in Burundi.

A difference between the plan and the practice is quite frequent in health policy. For instance,  Freddie Ssengooba in his analysis of the Uganda performance-based contracting pilot (note that this scheme was quite different from the current PBF interventions elsewhere in Africa) observed such a ‘policy-implementation gap’. He argued that this difference was a response to the difficulties in implementation.

Our institutional analysis goes beyond this. In the case of Burundi, it suggests that the gap could also stem from the rhetoric of the plan.  Especially at the initial stages of the introduction of the scheme, a coherent and radical rhetoric could be a helpful cognitive mechanism to clarify the new rules of the game and stress the break with previous practices. This casts a different light on the PBF rhetoric, which we know irritates some observers: in fact, it may have an internal function to facilitate the adoption of the new institutions.

We leave it to the readers to judge our work. But we hope that these three examples show how a thorough institutional analysis of PBF interventions can be helpful. We are certainly very interested in hearing comments, insights, and opinions.

Serge Mayaka


Serge Mayaka (Ecole de Santé Publique Kinshasa, doctorant à l’Université Catholique de Louvain) interviewe Maria Bertone (doctorante à la London School of Hygiene & Tropical Medicine) et Bruno Meessen (IMT, Anvers) sur leur récent article présentant un cadre d'analyse pour étudier les liens entre les arrangements institutionnels et la performance des systèmes de santé, avec une application à deux expériences FBP au Burundi.

 On peut dire que votre article tombe à point nommé pour le débat sur le Financement Basé sur la Performance (FBP). Pourriez-vous nous résumer ses messages principaux?

Maria Bertone: Le papier poursuit deux objectifs. C’est tout d’abord une contribution sur le plan conceptuel. Il s’agit d’articuler différents concepts issus de la Nouvelle Economie Institutionnelle pour faciliter l’étude des systèmes de santé. Concrètement, le papier propose un cadre d’analyse simplifié pour analyser des modifications des arrangements institutionnels structurant un système de santé. L’article comporte, à titre illustratif, une application du cadre d’analyse à deux expériences pilotes de FBP au Burundi. Cette application au FBP permet dès lors l’atteinte d’un 2° résultat : dégager des leçons sur des enjeux de design et de mise en œuvre du FBP. L’atteinte de ce second résultat valide d’une certaine façon notre proposition théorique.

Si l’article n’apportera probablement pas beaucoup au FBP du Burundi (depuis cette étude, un modèle unifié a été mis en place à l’échelle du pays), certaines leçons plus génériques peuvent être intéressantes, par exemple en matière d’évaluation des dispositifs FBP. Si nous ne contestons pas la nécessité d’études d’impact, l’article rappelle que la configuration institutionnelle de chaque FBP est différente et que chaque étude d’impact devra donc être interprétée en tenant compte de la nature particulière de ce dernier.

Plusieurs auteurs ont récemment prôné l’approche des « systèmes adaptatifs complexes » pour étudier les systèmes de santé. Une telle suggestion a été faite pour le FBP, notamment pour dégager les effets inattendus. Avez-vous répondu à leur recommandation?

Bruno Meessen : Je ne suis pas très familier avec cette approche; je serais curieux de voir ce qui pourrait en sortir, après application au FBP. La seule chose que je puisse en dire est que ce serait une erreur de l’adopter  avec le présupposé qu’on serait en manque de clés pour comprendre le FBP, ses intentions et ses effets. Le message sous-jacent de notre article est que la Nouvelle Economie Institutionnelle est un corpus théorique puissant pour mieux comprendre comment réformer les systèmes de santé. A titre personnel, je peux en tout cas dire qu’elle m’a aidé à structurer ma propre réflexion théorique et politique ces dix dernières années.

A cet égard, peut-être l’article va-t-il aussi évacuer un malentendu. Ça va surprendre certains médecins lisant cet interview, mais j’ai déjà entendu la critique que « le problème du FBP est qu’il a été conçu par des médecins, pas par des économistes de la santé: les concepteurs ne connaissent pas la vaste littérature sur les mécanismes de paiement». Avec cet article, nous voulions montrer qu’au contraire, les fondements théoriques du FBP sont substantiels. Ils sont peut-être même plus englobants que la littérature de l’économie de la santé : de fait, pour traiter des questions comme la redistribution des rôles dans un système ou l’introduction de nouvelles règles du jeu, l’économie des organisations (organisation economics) est une boîte à outils bien plus étoffée.

Maria, quelle suggestion ferais-tu à un jeune chercheur qui voudrait appliquer ce cadre d’analyse, par exemple s’il aborde le FBP dans un contexte différent de celui du Burundi ?

Adapter et appliquer le cadre analytique à une situation précise a été un exercice stimulant. Cela m’a forcé à regarder les deux expériences depuis une nouvelle perspective. J’ai été surprise par le fait qu’il m’ait permis de découvrir de nouveaux aspects et de mieux comprendre pourquoi les deux dispositifs fonctionnaient différemment.

Je dirais que l’application du cadre nécessite certaines notions théoriques et une compréhension du programme de la Nouvelle Economie Institutionnelle. Au mieux, nous avons là un « squelette », il reste à chaque chercheur de mettre la « chair » dessus.  Si un bagage en sciences sociales est sans doute souhaitable, nous espérons que le papier va faciliter le dialogue entre économistes et théoriciens des systèmes de santé. Il permet en tout cas d’établir des liens avec des travaux antérieurs (par exemple ceux de Thomas Bossert sur les droits décisionnels) et contemporains (par exemple ceux de Kenneth Leonard sur la motivation).

Les jeunes chercheurs apprécieront sans doute la démonstration que les études de cas sont légitimes en matière de FBP. On pourrait certainement faire plus d’études de cas comparatives.

Bruno, Maria parle de « squelette ». Dans quelle direction, vois-tu les développements scientifiques, en particulier dans le domaine du FBP ?

BM: Les développements possibles sont multiples. Ma recommandation aux chercheurs qui ne veulent ou ne peuvent conduire une étude d’impact est de se concentrer sur ce qui pourrait expliquer que l’on n’obtienne pas ce qu’on l’espérait obtenir avec le FBP (ou que l’on obtienne quelque chose que l’on ne voulait pas obtenir !). Les raisons de « plantage » d’un dispositif FBP sont multiples, mais elles s’inscriraient probablement dans trois grandes catégories (non-exclusives): soit c’est le design qui était mauvais, soit c’est le processus de mise en œuvre qui a été inapproprié, soit c’est la théorie FBP qui est défaillante.

Notre cadre d’analyse vise avant tout à étudier les erreurs du premier type : une inadéquation entre un design et un contexte, qui aboutit au final à un résultat sous-optimal. Autrement dit, le FBP était mal conçu (par exemple, parce qu'on a fait du FBP en couper/coller). A cet égard, les développements du cadre d’analyse pourraient aller vers plus de détails dans la description des arrangements institutionnels, des droits de propriété ou des rapports de force entre acteurs.

Il y a ensuite les erreurs du second type, lors de la mise en oeuvre. Comme la montré la littérature récente sur les gratuités des soins, documenter ces problèmes est relativement trivial et il ne faudra probablement pas s’encombrer d’éléments trop théoriques. Je ne suis pas sûr donc que notre cadre d’analyse sera d’une grande utilité.

Mais il existe un troisième type d’erreurs : celles qui découleraient de faiblesse dans la théorie sous-tendant les propositions FBP. La recherche peut aider à réduire ce risque en consolidant les bases théoriques du FBP. Des chercheurs bien équipés en sciences humaines et méthodes empiriques pourraient creuser les mécanismes d’ordre plus psychologique, notamment les aspects motivationnels et cognitifs. La « théorie FBP » repose en effet sur l’hypothèse de l’homo oeconomicus. La force de cette dernière en termes de modélisation et prédiction n’est plus à démontrer, mais elle reste une simplification de la psychologie humaine). Notre cadre laisse ainsi indéterminée la question de l’interaction entre la motivation extrinsèque et la motivation intrinsèque. Nous ne disons rien non plus sur comment les individus modifient leurs préférences, développent des attentes ou traitent l’information qu’on leur dispense. Ce sont des aspects qui peuvent peser (dans un sens comme dans un autre) dans l’efficacité d’une révision d’arrangements institutionnels. C’est sans doute le programme de recherche le plus ambitieux, qui demande de se défaire de ses propres convictions et de s’appliquer dans ses travaux empiriques. Quelqu’un comme Kenneth Leonard montre la voie.

Revenons maintenant à votre étude au Burundi. Maria, peux-tu nous résumer les principaux résultats de la comparaison des deux expériences Fbp de Ngozi et Bubanza?

MB: Notre analyse explique comment et pourquoi les deux dispositifs ont fonctionné différemment. J’insisterais sur trois résultats.

Le premier porte sur le rôle de l’agence d’achat. Nous montrons que son rôle a été organisé de façon différente dans les deux projets. A Ngozi, la fonction d’achat était tenue par un comité constitué de représentant de l’agence de mise en œuvre (l’Institut Tropical Suisse) et la hiérarchie sanitaire locale, sous la présidence du directeur de la province sanitaire. A Bubanza, la fonction a été assignée à une agence indépendante gérée par l’ONG (Cordaid). Cette seconde approche a permis une définition bien plus claire des responsabilités et limité les conflits d’intérêt ; son inconvénient est qu’elle a abouti à une transfert excessif de « droits décisionnels » (un concept-clé dans la Nouvelle Economie Institutionnelle) à une agence externe à la structure de l’Etat. Pour la petite histoire, la question de l’identité de l’acteur qui doit détenir la fonction d’achat a suscité un débat très vif au Burundi en 2009. Au final, le Ministère de la Santé et ses partenaires ont innové et opté pour un modèle mixte sécurisant tant l’implication de l’Etat que celle d’acteurs externes.

Deuxièmement, notre analyse montre que le support et la guidance fournis aux formations sanitaires lors de l’introduction d’un dispositif FBP – ce qui est souvent référé sous le vocable de coaching par les experts FBP- sont clés pour le succès d’un FBP. En effet, il est crucial d’aider les prestataires de soins à comprendre la teneur des nouvelles institutions, des nouvelles règles du jeux, qui sont mises en place. Dans notre analyse, il apparaît que le coaching est en fait un mécanisme ‘soft’ mais puissant dans l’imposition (enforcement en anglais) et l’adoption des nouvelles règles du jeux. Dans les interventions FBP, il est souvent pensé que la vérification est le principal mécanisme d’imposition des règles – notre analyse montre que les agences d’achat ont en fait une palette d’instruments.

Ceci nous amène à notre troisième leçon. Un de ces instruments est la rhétorique. Nous avons découvert une relative divergence entre cette dernière et les pratiques concrètes des acteurs sur le terrain. Par exemple, à Bubanza, les experts interviewés mais aussi leurs documents de référence mettaient en avant le concept de la ‘boîte noire’, qui réfère à l’autonomie totale des prestataires dans leur utilisation des ressources financières collectées grâce au FBP. En pratique, le coaching que l’agence d’achat ainsi que certains outils de gestion (comme le ‘business plan’, qui dans le « langage FBP » réfère à un plan d’actions) réduisent cette autonomie. Il ne s’agit pas ici de dire que le coaching ou les plans d’action sont inutiles – que du contraire ! – mais de montrer combien ce qui est mis en œuvre peut diverger du plan et de la rhétorique. D’autres chercheurs, comme Freddie Ssengooba dans son analyse de l’expérience pilote en Ouganda (qui pour rappel, n’était pas un FBP comme on l’entend aujourd’hui en Afrique), avaient déjà montré une divergence entre le plan et la mise en œuvre ; il l’expliquait par les difficultés de mise en œuvre.

La situation que nous décrivons est différente. Elle est plutôt analogue à celle identifiée par Jean-Benoît Falisse relativement au mécanisme de ‘voix des usagers’, qui n'est peut-être pas aussi effectif qu'on ne le prétend. Notre analyse institutionnelle suggère que la rhétorique est en fait un mécanisme cognitif clé pour imposer les nouvelles règles du jeu. Au stade initial d’introduction d’un FBP, une rhétorique cohérente, radicale et forte va aider à marquer le changement avec le passé, à clarifier la teneur des nouvelles règles du jeu. Ceci jette une autre lumière sur la rhétorique « FBP », qui nous le savons, irrite certains observateurs : elle a une fonction interne pour faciliter l’adoption des nouvelles institutions. 

Aux lecteurs de juger, mais nous pensons que ces trois exemples montrent qu’une analyse institutionnelle approfondie des expériences FBP peut être riche d’enseignements. Nous sommes certainement curieux de connaître leur avis.

Jean-Benoit Falisse


Dans le cadre de notre série sur l’Initiative de Bamako, Jean-Benoît Falisse a interviewé Sassy Molyneux (Oxford University Research Professor et chef d’unité) qui travaille avec le programme KEMRI-WT à Kilifi, au Kenya. Elle possède une vaste expérience de recherche sur la participation et la ‘redevabilité’ communautaire en Afrique de l’Est et a récemment co-écrit une revue de la linéature sur le sujet (community accountability at peripheral health facilities: a review of the empirical literature and development of a conceptual framework).

Jean-Benoît Falisse : Qu'est ce qui a déclenché votre intérêt pour la « redevabilité communautaire » (community accountability) dans la santé? Pourriez-vous m'en dire un peu plus sur les activités de recherche KEMRI-WT sur cette question?

Sassy Molyneux : Je suis intéressée par les interactions entre les communautés et les systèmes de santé depuis des années ; j'ai commencé à travailler sur le sujet lors de ma recherche doctorale menée sur la côte kényane dans les années 1990. La participation communautaire et l'autonomisation ont longtemps été soulignées comme étant des approches importantes pour assurer un prix abordable et adapté localement, de même que des bons services préventifs et curatifs. Cependant, atteindre cet objectif est clairement loin d'être simple. Une approche impliquant les communautés qui a été promue au Kenya comme dans beaucoup d'autres pays a été l'initiative de Bamako. Au Kenya, elle comprenait la création de pharmacies communautaires. Malheureusement ces pharmacies étaient en souffrance au moment de mon travail de terrain de doctorat. Au cours des années, il y a également eu de nombreux efforts pour promouvoir la participation communautaire dans les soins de santé au Kenya, via des comités au niveau des villages et des formations sanitaires. Ces comités ont été l'objet de discussions lors de ma thèse de doctorat. Les gestionnaires de santé les présentaient comme un énorme succès, comme «l'étalon-or», mais il est apparu que lorsque les frais d'utilisation ont été réduits au Kenya dans les années 2000, leur rôle a été affaibli. Ils avaient moins de ressources sur lesquelles ils avaient leur mot à dire. Je pouvais alors voir qu'il y avait un grand potentiel, mais aussi des défis, pour choisir et travailler avec des «représentants» de ces communautés complexes dans des systèmes de santé organisés de manière très hiérarchique.

J'ai de plus en plus commencé à entendre parler de «responsabilisation des communautés», une chose qui a été et est encouragée pour toute une gamme de fins instrumentales et intrinsèques. J'ai été intrigué de ce que «cela» était vraiment, et comment cela différait ou non de la participation communautaire. Je suis intéressée à comprendre davantage la façon d'impliquer les communautés compte tenu de la difficulté de les définir, de la nature technique de nombreux aspects de la prestation des services de santé, et des relations de pouvoir complexes au sein des communautés et des systèmes de santé, et entre les prestataires de santé et les membres de la communauté. En travaillant dans un programme de recherche multidisciplinaire, je me suis également intéressée aux aspects théoriques et pratiques de l'idée de redevabilité envers la communauté au sein du système de santé à l'information et l'implication de la communauté dans les activités de recherche biomédicale.

Aujourd'hui, la plupart des auteurs et des praticiens de la santé publique parlent de «responsabilité» communautaire plutôt que de «participation» communautaire (comme on le faisait au moment de l'Initiative de Bamako). Est-ce vraiment un concept différent?

Ma compréhension est que, dans la participation communautaire, des individus ou leurs représentants influencent des éléments des systèmes de santé en faisant entendre leur voix et opinions auxquels une réponse est ensuite donnée, donc il y a un élément de redevabilité. Cela nécessite une action et des interventions malgré les défis et des systèmes qui supportent ces attitudes. Je pense que la participation communautaire est un terme plus large, qui pourrait bien aussi inclure ce que je viens de décrire [la redevabilité]. Les deux termes [participation et redevabilité] sont utilisés différemment et se chevauchent. Peut-être le plus important, quelle que soit le terme ou à travers les deux termes, est de considérer la profondeur de l'engagement communautaire, soit les niveaux d'un véritable renforcement (empowerment). De nombreux auteurs ont fait valoir que la participation communautaire peut aller de la simple information donnée aux communautés à une extrémité du spectre, à la concertation, à l'influence de la communauté et finalement au contrôle à l'autre extrémité. Ceci est important pour souligner que la mise en place de possibilités d'interaction avec les membres de la communauté ne conduit pas nécessairement à plus d'influence ou de contrôle par la communauté. En outre, il est possible d'avoir des initiatives de participation communautaire «manipulatrices» ou «symboliques» qui apportent un soutien qui n'est que de façade à une idée à la mode. C'était ma reconnaissance à la fois du potentiel mais aussi des défis et même peut-être des effets pervers liés à la responsabilisation des communautés qui m'a amené à être plus curieuse à propos de ce domaine.

Dans une revue de la littérature récente (2012), vous soulignez qu'il n'y a pas beaucoup d'études sur l'impact des mécanismes de redevabilité communautaire. Quelle en est la raison? Savons-nous réellement ce qui fonctionne?

Il y a une mise en garde légère à apporter par rapport à cette conclusion, car nous nous sommes concentrés plus précisément sur les mécanismes de redevabilité communautaire au niveau des services de santé périphériques. Il y aura donc un corpus (probablement plusieurs) de littérature que nous ne considérions pas et qui traite de la responsabilisation des communautés en dehors des mécanismes spécifiques liés aux formations sanitaires. De plus, il est probable que des recherches qui ont été menée à ce sujet aient été rédigées dans des rapports qui ne sont pas (facilement) accessible au public.

Une partie du manque est, je pense, liée aux initiatives de renforcement de la redevabilité qui font souvent partie d'interventions très complexes menées en matière de santé et de systèmes sociaux complexes. Lorsque cela est combiné avec les difficultés à définir et à mesurer de nombreux aspects de la responsabilisation des communautés (par exemple la profondeur de l'implication ou l'engagement, les niveaux d'habilitation et des changements subtils dans les relations de pouvoir), la conception et la réalisation de stratégies d'évaluation pertinentes devient très difficile. Il existe donc un besoin pour des approches méthodologiques plus innovantes; il faut aller au-delà des simples expériences randomisées ou des méthodologies qualitatives standards. C'est un défi qui est reconnu dans les systèmes de santé, on voit par exemple de plus en plus de promotion de recherches-actions (participative) et d'intérêt pour l'intégration des approches réflexives et délibératives dans les évaluations afin de s'assurer que les connaissances implicites des acteurs soient prises en compte.

La majorité de la littérature sur le sujet s'intéresse aux comités de santé qui gèrent des formations sanitaires. Pourquoi en est-il ainsi? Quels sont les autres mécanismes de 'redevabilité communautaire' existant? Lequel vous semble particulièrement prometteurs?

Comme je l'ai mentionné ci-dessus, nous nous concentrions très précisément sur les mécanismes de redevabilité liés aux structures de santé périphériques, ce qui pourrait en partie expliquer ce phénomène. Bien sûr, il existe de nombreuses autres formes de groupes communautaires qui militent pour l'amélioration de la santé, qui ne sont pas spécifiquement liés aux formations sanitaires, y compris ceux qui ont été plus spontanément initié et mis en place par les membres de la communauté eux-mêmes. Dans les formations sanitaires, il y a d'autres interventions telles que : les chartes des droits des patients (pour promouvoir la sensibilisation aux droits et intérêts en exigeant le changement), le partage de l'information, les boîtes à idées/suggestions (pour réduire les asymétries d'information et d'encourager les idées et les opinions soient exprimées) et d'autres mécanismes qui peuvent être vaguement qualifiés de surveillance communautaire. Ceux-ci impliquent souvent des membres de la communauté et les prestataires de santé qui décident ensemble des domaines d'action prioritaires / changement, de la mise en œuvre du changement, du suivi communautaire du progrès, et du partage des informations avec le public sur les progrès des formations sanitaires par rapport à des indicateurs sélectionnés. Ces initiatives sont potentiellement très intéressantes. Le défi devient alors de partager les enseignements dans différents contextes et niveaux du système de santé, et d'encourager la propagation et l'adaptation des initiatives réussies dans d'autres lieux.

À propos de la validité externe. Que pouvons-nous apprendre d'expériences nécessairement locales de responsabilisation de la communauté? Quelle est l'importance des facteurs contextuels et culturels pour expliquer le succès des mécanismes redevabilité envers la communauté?

Je pense que nous avons vu de notre examen que si même si, bien sûr, les initiatives de responsabilisation communautaire doivent être adaptées au contexte local et réactives, il y a des idées maîtresses qui émergent de façon transversale et qui sont pertinentes dans tous les sites. Une forme de généralisation théorique est donc utile pour des initiatives dans d'autres contextes. Ainsi, dans notre travail nous avons par exemple vu l'importance de la clarté du rôle des membres des comités et de leurs responsabilités, de la disponibilité de ces personnes et de l'accès à l'information. Il est également important de souligner la nécessité d'examiner attentivement la rémunération et les autres formes d'incitations pour les représentants de la communauté, les défis de l'asymétrie entre le personnel de santé et les représentants de la communauté en matière de ressources et d'énergie et l'importance de construire une relation de confiance. Bon nombre de ces aspects sont à leurs tours liées à l'intérêt réel et à la valeur que le système de santé accorde à la participation communautaire.

Vous plaidez en faveur de méthodes de recherche mixtes pour explorer les mécanismes de redevabilité communautaires. Pourriez-vous nous expliquer comment les approches qualitatives et quantitatives se complètent les unes les autres lors de l'exploration des questions de redevabilité communautaire? Est-ce que l'utilisation d'une seule méthode serait nécessairement plus incomplète ou plus faible?

Je pense que de bonnes approches qualitatives peuvent être appropriées pour explorer les complexités que j'ai décrites ci-dessus. Un défi est de donner aux auteurs assez d'espace dans l'écriture, en particulier dans les revues scientifiques, pour convaincre les lecteurs de la profondeur méthodologique et analytique de leurs études. Certaines études qualitatives semblent être des discussions de groupe relativement superficielles et des entretiens individuels à travers lesquels il est très difficile de rendre justice à notre sujet. Compléter ces approches avec des méthodes quantitatives - lorsque cela est possible et pertinent par rapport à une question spécifique - peut aider à donner une meilleure vue d'ensemble de la taille des enjeux / impacts. Cela peut être également utile dans la diffusion de la recherche; dans l'élaboration d'initiatives destinées à des auditoires particuliers. Comme indiqué plus haut, en incorporant plus de "nouvelles" approches dans les évaluations qualitatives ou mixte -par exemple des approches participatives, des activités délibératives et des réflexions avec les d'acteurs clés- les travaux de recherche pourraient être renforcés. Ici, je pense qu'il est nécessaire de continuer à partager des idées sur la façon de renforcer la fiabilité et la transférabilité des données recueillies grâce à ces approches méthodologiques, et de convaincre les autres de cette qualité dans le but d'éclairer les politiques et les pratiques. Il existe de nombreuses initiatives communautaires de responsabilisation mise en œuvre tout le temps - soit initiées et soutenues par les collectivités ou les représentants eux-mêmes, ou par les gouvernements et d'autres acteurs. Trouver de nouvelles façons de documenter et d'évaluer leurs activités de façon convaincante pour les rapporter  à des publics clés serait utile. Il faudrait pour cela une analyse non seulement des réussites, mais aussi des défis et des échecs, et des raisons de ces résultats.

Il semble qu'il y ait un renouvellement récent de la recherche sur la participation/redevabilité communautaire. Êtes-vous d'accord? Quels sont, pensez-vous, les principaux domaines restants de la recherche sur la 'redevabilité' envers la collectivité (dans le domaine de la santé)?

Je pense que la participation communautaire / la redevabilité apparaît comme un domaine d'intérêt et d'attention au niveau politique et pratique, et donc aussi dans la recherche. Ceci est peut-être aidé par la nouvelle terminologie! Mon domaine d'intérêt aujourd'hui, en m'appuyant sur des recherches antérieures, est de savoir comment les formes de redevabilité externe ou communautaires tels que les comités de santé interagissent avec et sont affectés par la culture organisationnelle et les systèmes internes de redevabilité, à savoir la redevabilité des prestataires de soins et des gestionnaires envers leurs supérieurs hiérarchiques, le système bureaucratique et à d'autres bailleurs de fonds. Je suis intéressé par l'utilisation de des méthodes de recherche traditionnelles et moins traditionnelles, comme je l'ai mentionné ci-dessus, pour explorer ces questions. Certaines de ces réflexions et idées sont reprises dans un travail sur la gouvernance co-dirigé avec le professeur Lucy Gilson et financée par DFiD dans le cadre d'un consortium de recherche (RESYST).

As part of our series on the Bamako Initiative, Jean-Benoît Falisse interviewed Sassy Molyneux (Oxford University) who is working with the KEMRI-WT programme in Kilifi, Kenya. She has extensive experience on community accountability and participation research in East Africa and recently co-authored a literature review on the topic (community accountability at peripheral health facilities: a review of the empirical literature and development of a conceptual framework).

Jean-Benoît Falisse. What sparked off your interest in community accountability in health? Could you tell me a bit more about the KEMRI-WT research activities on this issue?

Sassy Molyneux. I’ve been interested in the interactions between communities and health systems for years, beginning with initial PhD research in the Coast of Kenya in the late 1990s.  Community participation and empowerment has long been emphasised as an important approach to ensuring affordable, locally responsive, health prevention and treatment services.  However achieving this is clearly far from straightforward.  An approach to involving communities that had been promoted in Kenya as in many other countries was the Bamako initiative, which in Kenya included the establishment of community run pharmacies, but unfortunately these pharmacies were struggling by the time of my PhD fieldwork.  There have also been many efforts over the years to promote community participation in health care in Kenya through village and facility level committees.  These committees were being discussed at the time of my PhD by health managers as a huge success, as ‘gold standards’ but it appeared that when user fees were reduced in Kenya in the early 2000s, their role was weakened through having less resources over which they had a say.  I could see then that there was great potential but also challenges in selecting and working with ‘representatives’ of such complex communities in very hierarchically organised health systems.

I increasingly began to hear about ‘community accountability’ which was and is being promoted for a whole range of instrumental and intrinsic purposes.  I was intrigued as to what ‘it’ really was, and if and how it differs from community participation.  I was also interested in learning more about how to feasibly involve communities given the difficulty in defining them, the technical nature of many aspects of health service delivery, and the complex power relations within communities and health systems, and between health providers and community members.  Working in a large multi-disciplinary research programme, I was also interested in learning from theoretical and practical insights and ideas from health system community accountability, to inform community involvement in the programme’s biomedical research activities.

Today most authors and public health practitioners talk about community ‘accountability’ rather than community ‘participation’ (as people did at the time of the Bamako Initiative). Is it really a different concept?

My understanding is that in community accountability, individuals or their representatives influence elements of health systems through voicing views and opinions, which are then responded to; therefore there is an element of answerability.  This requires action and response through challenges and systems that support this.  I think that community participation is a broader term, which might well include this too.  But both terms are used differently and in overlapping ways.  Perhaps most important, regardless of the term or across both terms, is to consider the depth of community involvement, or the levels of genuine empowerment, because many writers have argued that community involvement can range from simple information giving to communities at one end of the spectrum, through consultation, to community influence and control at the other end.  This is important in highlighting that setting up opportunities of interacting with community members does not necessarily lead to community influence and control.  Moreover, there is the potential for ‘manipulation’ or ‘tokenism’ in community involvement initiatives; for paying simple lip service to a fashionable idea.  It was my recognition of both the potential but also the challenges and even possibly perverse outcomes associated with community accountability that led me to be inquisitive about this area.

In a recent literature review (2012), you point out that there are actually not that many studies on the impact of community accountability mechanisms. What do you think is the reason? Do we know what actually works?

There is a slight caveat to that finding in that we were focusing very specifically on accountability mechanisms linked to peripheral health facilities.  So there will be a body (probably several bodies) of literature that we did not consider that deal with community accountability without specific mechanisms linked to facilities.  Also there is likely to be research that has been conducted that’s not written up formally in reports that are (easily) publically accessible.

Part of the gap is I think related to accountability strengthening initiatives often being part of quite complex interventions being conducted in complex health and social systems.  When this is combined with the difficulties in defining and measuring many aspects of community accountability (for example depth of involvement or engagement, levels of empowerment, and subtle shifts in power relationships), designing and conducting convincing and relevant evaluation strategies becomes very challenging.  There is therefore a need for more innovative methodological approaches; of moving far beyond the simple RCTs or relatively standard qualitative methodologies.  This is a challenge that’s recognised in health systems research more broadly, with growing promotion for example of (participatory) action research, and interest in incorporating reflexive and deliberative approaches into evaluations to ensure that the tacit knowledge of the range of actors involved is adequately drawn upon.

You also point out that most of the literature has focused on health facility committees. Why is it so? What are the other existing mechanisms? Any you think is particularly promising?

As I mentioned above, we were focusing very specifically on accountability mechanisms linked to peripheral health facilities so that might in part explain this.  Of course there are many other forms of community groups that advocate for health improvement, that are not specifically linked to facilities, including those that have been more spontaneously initiated and established by community members themselves.  And at facilities there are other interventions such as patients’ rights charters (to promote awareness of rights and interest in demanding change) and information sharing and suggestion boxes (to reduce information asymmetries and encourage ideas and opinions to be voiced), and other mechanisms which can be loosely termed community monitoring.  The latter often involve community members and health providers deciding together on priority areas for action/change, implementation of change, community monitoring of progress, and information sharing with the public about health facility progress along the lines of the indicators learned.  These are potentially very exciting initiatives, and the challenge then becomes sharing the lessons across different contexts and levels of the health system, and encouraging spread and adaption of successful initiatives to other places.

About external validity. What can we learn from necessarily local experiences of community accountability? How strong are the contextual and cultural factors in explaining the success of mechanisms of community accountability?

I think we saw from our review that while although of course community accountability initiatives have to be locally appropriate and responsive, there are cross cutting ideas that emerge that are relevant across all sites; a form of theoretical generalizability that is helpful for initiatives in other settings.  So for example in our work the importance of: clarity in community members’ roles and responsibilities; and information availability and access.  Also the need to carefully consider remuneration and other forms of incentives for community representatives, the challenges of asymmetries between health staff and community representatives in resources and power, and the importance of building trustful relationships.  Many of these aspects are in turn linked to how much real interest and value there is from the health system in community inputs.

You advocate for mixed-methods research on community accountability mechanisms. Could you explain how the qualitative and quantitative approaches reinforce/complement each other when exploring questions of community accountability? Would a single method necessary be incomplete or weaker?

I think good quality qualitative approaches can be in themselves appropriate for exploring the complexities I’ve described above.  A challenge is to be given enough space in write ups and particularly in peer- reviewed journals to convince readers of the methodological and analytical depth of studies.  Some qualitative studies appear to be relatively superficial group discussions and individual interviews through which it is very hard to give justice to the topic.  To complement these approaches with quantitative methodologies – where possible and relevant to the specific question – can assist to give an overall picture of scale of issues/impacts, and can be helpful also in research uptake; in framing the importance of initiatives to particular audiences.  As noted above, incorporating more ‘novel’ approaches into qualitative or mixed method evaluations – for example participatory approaches, deliberative activities and key actor reflections could strengthen studies further.   Here, I think there is a need to continue to share ideas about how to strengthen the trustworthiness and transferability of the data gathered through such methodological approaches, and to convince others of this quality in order to inform policy and practice.  There are numerous community accountability initiatives being implemented all of the time – either initiated and sustained by communities or representatives themselves, or by governments and other actors.  Finding new ways to document and evaluate such activities convincingly to key audiences would be helpful.  This would require unpacking not only of the successes but also of the challenges and failures, and the reasons behind the outcomes.

It seems there is a recent renewal of research on community participation/accountability. Would you agree? What do you think are the main remaining areas of research on community accountability (in health)?

I think community participation/accountability is (re)emerging as an area of focus and attention in policy and practice and therefore in research also. This is possibly assisted by the new terminology!  My area of interest now, building on from past research, is how forms of external or community accountability such as committees and community monitoring, interact with and are affected by organisational culture and internal accountability systems ie answerability of health providers and managers to their bosses up the bureaucratic system and to other funders.  And I’m interested in drawing on both traditional and less traditional methodological approaches, as I’ve mentioned above, to doing this.  Some of these thoughts and ideas are being taken up through governance work co-led with Professor Lucy Gilson, and funded by DFID as part of a research consortium (RESYST).

Dear readers,

We hope that 2012 closed on a high note, and that you enjoyed time with friends and family. 

2012 was another busy year for your financing communities of practice (CoPs): two regional workshops, plenty of debates on our online discussion groups, the launch of our Facebook page… At the end of 2011 as you may recall we began this new project, the “Financing Health in Africa” blog – with several objectives in mind: to create linkages among CoPs, to give broader visibility to the knowledge exchange happening in them, to provide a platform for CoP members, all in order to create synergies and deepen knowledge around health financing.

We sincerely hope that our blog is adding value to debates on health financing in Africa.

Over the past 12 months, we have published 26 original blogs (plus another 12 translations). Our readership is broad, international, and reactive. More than 40% of hits come from Africa, with participation from almost all countries across the continent, albeit some much more often than others, which is explained in part by the subjects covered (figure 1).

The blog is also followed closely by readers in Western Europe and North America. When we took a closer look into our statistics, we were pleasantly surprised to find out that we also had regular readers in South Asia – a region whose poorest areas share some common challenges with Africa. We are heartened by the lively exchanges that some of the blogs have generated and their increasing visibility on Facebook and Twitter. 

Looking back at the 2012 archives, you will notice that CoP experts have written most prolifically on access to health care, universal health coverage, experiences with fee exemptions, performance-based financing, and community participation. We have also covered national and regional political developments, notably in Benin, Burkina Faso, Burundi, Kenya, Niger, and Senegal. Our blog gives a special focus to implementation issues.

As we begin 2013, we wish good health to all of our readers and those they hold dear: it goes without saying that access to quality health services for all is a priority in Africa, but also elsewhere in the world. It seems that economic growth on the continent will remain strong this year. Africa seems to be making its place in the world, but even if a strong middle class is in the process of emerging, challenges remain daunting for the poorest. We must hope that the gains growth yields are put to use to improve access to health for all.

We are convinced that knowledge sharing is one of the key underlying forces in this dynamic context. We also recognize that in this rapidly changing world, it is becoming difficult to read – much less process – all of the information being shared and exchanged. Despite the sometimes “information overload”, we trust that you will continue to find value in this blog and that you will help to disseminate its content even further.

This forum comes to life through the blogs you propose. Our wish for 2013 is that our pool of blog contributors grows much larger. We hope that many of you will be inspired by the debate on “post MDGs”, or by the trend toward universal health coverage and the innovative financing mechanisms being proposed to attain UHC, by the role of the private health sector, or by lessons from pilots of performance-based financing. Use this blog as a place to explore ideas or reforms in which you believe. It is ever important that the voice of African experts be heard, and that innovative experiences be shared across the continent! 

In 2013 we will continue to serve as a forum for researchers to share their work. We are encouraged to do so by the excellent response to our coverage of the legacy of the Bamako Initiative (see the interviews with Lucy Gilson, Susan Rifkin and Valéry Ridde), and especially by the series produced by Jean-Benoît Falisse on community participation. Jean-Benoît is prolific! His series will continue in the months to come. We also plan to test out this year the formula of a CoP member interviewing a researcher from within the CoP to disseminate ongoing research and hopefully make it accessible to those of you who may not have the time to read scientific journal articles. If you are interested in seeing some of your research covered here – or if you would like to interview a researcher within the CoP, we encourage you to make contact with us.

The life of our CoPs is lived forward: we feel sure that the year ahead holds more than a few surprises for us. Please don’t hesitate to write us with suggestions on thematic areas, subjects, or people to interview. This is your platform!

We take this opportunity to remind those readers who are not yet CoP members that they are always welcome to join: all that is required is to sign up through our on-line discussion groups to participate in ongoing exchanges and to stay informed about our various ongoing activities.


Our very best to you,

Bruno & Allison

Chers tous,

Nous espérons que vous avez pu clôturer l’année 2012 en beauté, auprès de vos familles et amis. 

L’année 2012 a été, à nouveau, une année chargée d’activités du côté de vos communautés de pratique (CoPs) « financement » : deux ateliers régionaux, de nombreux débats sur nos groupes de discussion en ligne, des 'webinars' sur l'équité, le lancement de notre page Facebook… Fin 2011, nous avions souhaité lancer un nouveau projet – le blog « Financing Health in Africa » – avec plusieurs objectifs en tête : construire des collaborations entre CoPs, offrir une visibilité externe aux partages de savoirs qu’elles génèrent, donner une tribune aux membres des CoPs, tout cela bien sûr pour approfondir la réflexion sur les problématiques qui nous interpellent.

Nous espérons avoir été à la hauteur de vos attentes en matière de débat sur la thématique du financement de la santé en Afrique.

Sur 12 mois, nous avons publié 26 blogs originaux (plus 12 traductions vers l’autre langue). Notre lectorat est large, international et réactif. Plus de 40% des visites proviennent du continent africain, avec une participation de quasi tous les pays du continent, mais avec une dominance de certains, en partie expliquée par les sujets que nous avons couverts (figure 1: les 10 premiers pays africains en termes de visites).

Le blog est également suivi attentivement par un public basé en Europe de l’Ouest et Amérique du Nord. En nous penchant sur nos statistiques, nous avons eu l’agréable surprise de découvrir que nous avons aussi un lectorat fidèle en Asie du Sud – une région qui dans ses zones les plus pauvres, partagent certains défis sanitaires avec l’Afrique. Nous sommes particulièrement heureux des nombreux échanges que génèrent certains blogs et de leur visibilité croissante sur Facebook et Twitter.

En parcourant nos archives 2012, vous constaterez que les experts des CoPs ont beaucoup écrit sur l’accès aux soins, la couverture universelle, les expériences de gratuité des soins (ou dans les musées!), le financement basé sur la performance et la participation communautaire. Nous avons aussi couvert des développements politiques au niveau régional ou national, notamment au Bénin, Burkina Faso, Burundi, Kenya, Niger et Sénégal. Vous reconnaîtrez aussi notre ligne éditoriale faite de pragmatisme et d’attention aux problèmes de mise en œuvre.  

Nous voici en 2013 ; nous souhaitons bien sûr une bonne santé à nos lecteurs et à leurs proches : inutile de vous expliquer combien l’accès pour tous à des soins de qualité est une priorité en Afrique, mais également ailleurs dans le monde. En Afrique, la croissance économique restera robuste. Le continent semble en train de trouver son destin planétaire ; mais si une classe moyenne est bien en train d’émerger, les défis restent énormes pour les plus pauvres. Il faut espérer que les gains de la croissance permettront d’améliorer l’accès de tous aux soins.

Nous sommes convaincus que le partage des savoirs est une des forces soutenant cette dynamique de changement. A cet égard, nous sommes conscients du monde qui change et notamment de la difficulté à consommer toute l’information qui est aujourd’hui partagée en ligne. Nous espérons que malgré tout, vous resterez des lecteurs fidèles de ce blog et que vous contribuerez à la diffusion de son contenu.

Ce dernier sera fait des contributions que vous nous proposerez. A cet égard, notre propre vœux pour 2013 serait de voir notre pool de contributeurs s’élargir. Nous espérons que plusieurs d’entre vous seront inspirés par exemple, par le débat sur l’ « Après-OMD », par l’expansion de la dynamique de la couverture universelle en Afrique, par les mécanismes innovants pour financer cette dernière, par le rôle du secteur privé ou les leçons générées par les expériences pilotes (ou plus matures) de financement basé sur la performance. N’hésitez pas à exploiter ce blog pour promouvoir les idées ou réformes dans lesquelles vous croyez. Il est important que la voix des experts africains soit entendue et que les expériences innovantes soient partagées sur l’ensemble du continent!

En 2013, nous continuerons à donner une tribune aux scientifiques. Ce qui nous confirme dans cette direction, ce sont les excellents scores de notre couverture de l’Initiative de Bamako (cf. les interviews de Lucy Gilson et Valéry Ridde), et plus particulièrement la série conduite par Jean-Benoît Falisse sur la participation communautaire. Jean-Benoît est prolifique : sa série continuera encore sur les mois à venir. En 2013, nous testerons également une nouvelle formule : l’interview d’un chercheur de la CoP par un autre membre de la CoP. Cela permettra de mettre en avant vos résultats scientifiques et de les rendre accessibles à ceux qui n’ont pas le temps de lire les articles. Si vous voulez voir un de vos articles couverts ou si vous voulez interviewer un chercheur de la CoP, n’hésitez pas à rentrer en contact avec nous. 

La vie des CoP s’écrit en avançant : nous sommes certains que de nombreuses surprises seront au rendez-vous durant l’année devant nous. N’hésitez pas à nous faire des suggestions de thèmes, de sujets ou de personnes à interviewer. Cette plateforme est la vôtre.

Rappelons à nos lecteurs qui ne sont pas encore membres de nos communautés qu’elles leur sont ouvertes: il leur suffit de s'inscrire à nos groupes de discussion en ligne pour participer aux échanges et être informés de nos multiples activités.

Bien à vous,

Bruno & Allison