Un des deux éditoriaux du numéro d’août du Bulletin de l’OMS était consacré au Financement Basé sur la Performance (FBP). Fretheim et al. y rapportaient les principaux résultats de leur revue systématique Cochrane publiée quelques mois plus tôt. Les semaines qui suivirent – en dépit d’une torpeur toute estivale et du départ en vacances de beaucoup d’experts – un débat s’est tenu (en anglais) sur le forum de discussion en ligne de la communauté de pratique FBP (CoP). Cette discussion a bénéficié des contributions de deux auteurs de la revue systématique (Atle Fretheim et Sphie Witter). Cet article résume les principaux points discutés. Il essaie d’être aussi objectif que possible. Il est par ailleurs possible d’accéder à l’ensemble des emails (en anglais) sur la page Resources de ce blog.
Bruno Meessen, 12 septembre 9 2012.
Le débat est lancé
Le 9 août, Emmanuel Ngabire (Ecole de Santé Publique, Kigali), co-facilitateur de la CoP partage l’article sur le groupe de discussion en ligne. La première réponse arrive deux heures plus tard, de Stefaan Van Bastelaere (Coopération Technique Belge, Bruxelles). Il exprime ses craintes sur l’impact possible de l’éditorial, et sa frustration: “Les auteurs réduisent le FBP à une stratégie qui génère de la quantité, selon moi, c’est injuste.”
Bruno Meessen (Institut de Médecine Tropicale, Anvers), facilitateur principal de la CoP, invite alors les membres du groupe de discussion à lire l’article et à partager leur point de vue.
Longin Gashubije (Ministère de la Santé du Burundi, Bujumbura) s’interroge sur la définition restrictive utilisée par Fretheim et al. dans l’éditorial: “Je pense que le FBP est plus qu’un transfert d’argent; quand il est mis en œuvre correctement, il permet de transformer l’ensemble du système de santé ”. Il explique aussi pourquoi aucune étude aléatoire n’a été faite au Burundi: la simple observation, à travers le système de monitoring, de l’amélioration d’indicateurs quantitatifs et qualitatifs qui n’avait jamais bougé avant l’introduction du FBP s’est avérée suffisante pour persuader les décideurs d’étendre l’expérience pilote à l’échelle du pays.
Les auteurs de la revue systématique veulent engager un dialogue
Le 10 août, Atle Fretheim (Centre Norvégien de Connaissance sur les Services de Santé, Oslo) rejoint le groupe. Après s’être introduit, il recommande à tous de lire également la revue systématique, pas seulement l’éditorial. II exprime sa volonté de dialoguer sur comment les expériences FBP pourraient être évaluées d’une façon pratique, réaliste mais robuste.
Bruno Meessen réagit le jour-même. Sa frustration est palpable – l’essentiel de son long mail concerne justement le manque d’intérêt dont ont fait preuve les auteurs de la revue pour un tel dialogue avec les praticiens du FBP. En ce qui concerne la revue systématique, une meilleure connexion avec le terrain et les personnes engagées dans la mise en œuvre auraient évité certains malentendus.
Démarrage d’une discussion sur l’application de la méthodologie des revues systématiques aux réformes des systèmes de santé
Dans le même message, Bruno partage aussi sa vue personnelle, comme chercheur, sur les limites des revues systématiques une fois qu’elles concernent des stratégies de réforme des systèmes de santé. Cependant, il reconnaît que la discussion qui s’annonce sera bénéfique pour renforcer le programme général d’évaluation du FBP.
Le 10 août toujours, Sophie Witter (Université d’Aberdeen), première auteure de la revue systématique répond à Bruno. “Comme chercheuse travaillant sur les systèmes de santé, je peux tout à fait comprendre tes frustrations avec le processus d’une revue Cochrane . Il a des forces et des faiblesses, comme toute méthode.” Dans son courrier, elle rappelle à quel niveau les revues systématiques se situent dans le corpus de connaissance. Elle reconnaît que “c’était peut-être trop tôt pour le FBP, mais ces revues sont mises à jour régulièrement, ça ne devrait donc pas être un problème à long terme” et que “le FBP est une intervention particulièrement peu commode pour les revues systématiques, car il a été interprété de façons diverses et mis en œuvre dans des contextes très différents”. Elle ajoute : “ce sont tous des problèmes que nous avons soulignés dans la revue. Dans cette dernière, nous faisons un appel pour plus de recherche sur les effets systémiques et la relation aux différents contextes.”
Le 11 août, Ir Por (Institut National de Santé Publique, Cambodge) – qui est alors juste en train de finaliser une revue (non-systématique) sur le financement basé sur les résultats appliqué à la santé maternelle et néonatale au nom de la Coopération au Développement Allemande – partage sa surprise “de voir autant de réactions sur l’éditorial mais pas sur la revue Cochrane elle-même quand elle a été publiée”. Por a lu la revue Cochrane, et il la trouve “bien écrite, respectant des règles transparentes, et équilibrant bien ses résultats et conclusions. Dès lors, si nous voulons contester les résultats, il serait plus correct de contester les méthodes « Cochrane » (surtout pour la recherche en système de santé), mais pas les auteurs.”
Une revue systématique trop encline à inclure suffisamment d’études?
Après une semaine calme, le débat est relancé par Joanne Harnmeijer (ETC Crystal, Pays-Bas) le 17 août. Elle revient sur un point soulevé par Bruno : son analyse que la revue Cochrane est venue trop tôt. La discussion qui suit va alors permettre aux membres de la CoP de mieux comprendre certaines tensions internes à la revue systématique. Pour Joanne, la revue systématique est injuste : les auteurs ont inclus des données, rapports et études qui ne prétendaient pas nécessairement atteindre les standards d’une revue Cochrane pour ensuite à l’étape suivante du processus, correctement évaluer ces études comme atteignant un score faible en termes de rigueur.
Le même jour, Sophie Witter réagit, en fournissant plus d’information sur l’approche prise et comment elle respecte les standards Cochrane. Joanne répond le même jour, réitérant son analyse. Elle rappelle la pertinence de la recommandation d’ Atle d’avoir “un débat sur comment les expériences FBP pourraient être évaluées d’une façon pratique, réaliste, mais robuste” ; ses contributions relèvent de cette préoccupation.
Le mail de Joan déclenche aussi une réponse de Atle. Son commentaire à lui porte surtout sur les critères de sélection. Il rappelle les règles qu’une revue Cochrane doit respecter si elle porte sur une intervention sur le système de santé. Il écrit également : “Nous ne critiquons pas les auteurs des études originales. Ce n’est en tout cas pas notre intention. Que du contraire! Ils ont peut-être produit les meilleures études possibles compte tenu des circonstances. Je voudrais ajouter que nous sommes reconnaissants à de nombreux auteurs des études originales. Plusieurs d’entre eux ont répondu rapidement à nos emails et même envoyé leurs bases de données. Je pense qu’en général, les cherchant effectuant une revue Cochrane rencontrent bien plus de difficultés que nous n’en avons rencontrées quand ils essaient de dialoguer avec les auteurs des études primaires et d’accéder aux données non publiées. Donc, nous les remercions certainement !”
Toujours le même jour, Joanne répond à Atle. Le désaccord n’est pas évacué.
Comment prendre en compte les facteurs contextuels dans l’évaluation des experiences FBP?
Le 21 août, Eric Bigirimana (AEDES et BREGMANS Consulting, Cameroun) revient sur l’importance du contexte dans la conception et l’efficacité d’un mécanisme FBP. Il illustre cela avec des observations faites par les participants d’une visite d’étude qu’il a organisé dans trois pays de l’Afrique des Grands Lacs. Eric est aussi chercheur. Il estime qu’une approche scientifique alternative – l’évaluation réaliste – prendrait mieux le contexte en compte que des études aléatoires. Dans son long mail, il explique pourquoi.
Sophie, qui est familière avec l’approche de l’évaluation réaliste (elle est actuellement coordinatrice d’un projet de recherche sur les politiques de gratuité en santé maternelle qui en partie, recourt à cette approche) répond: “Je pense que l’approche réaliste est très intéressante et je suis d’accord qu’elle pourrait bien s’appliquer au FBP. Pour la méthode Cochrane, s’il y a assez d’études robustes, alors vous pouvez regarder les patterns contextuels qui émergent. Malheureusement, si vous n’avez que quelques études (comme c’est le cas avec la revue FBP), ceci est exclu. Mais je voudrais juste noter que la méthodologie en elle-même n’est pas incapable de prendre en compte les différences contextuelles”.
Contribution de Robert Soeters: une synthèse, quelques autres critiques et une piste pour aller de l’avant en matière de recherche
Le 22 août, Robert Soeters (SINA Health, Pays-Bas) envoie sa contribution. Dans son long mail, Robert fournit de l’information sur comment il a été impliqué dans le processus de la revue Cochrane. Son sentiment est que les chercheurs faisant la revue n’ont pas été transparents à la hauteur de son propre engagement à être transparent. Accorder aux chercheurs de terrain l’opportunité de donner un feedback précoce sur la revue aurait été un mécanisme de validation précieux. Robert explique aussi comment le savoir actuel sur le FBP a été développé graduellement sur le temps via une accumulation d’expérience. Il note qu’une large adoption de bonnes pratiques est un autre type de validation, une validation en termes de pertinence. Son évaluation de la revue est que “le résultat est un ensemble biaisé de recommandations et certaines conclusions qui sont communiquées hors de leur contexte.” Il développe ce dernier point en fournissant plus d’information sur plusieurs pays dans lesquels il a travaillé ces dernières années.
Dans le reste de son message, Robert met en avant plusieurs idées pour une autre approche de la recherche sur le FBP. Il formule plusieurs inquiétudes, qui doivent être prises en compte pour l’agenda futur. Une est de trouver des stratégies de recherche qui ne nuisent pas au processus politique. Par exemple, l’échantillonnage de districts plutôt que de formations sanitaires au sein d’un même district ou encore une mise en œuvre progressive du FBP “par laquelle un nombre de districts est inclus dans l’intervention et un nombre de districts pas (encore) inclus.”
Pour les revues systématiques, il insiste sur le fait que les interventions étudiées doivent être homogènes. “ il y a un consensus grandissant dans les pays à revenu faible ou intermédiaire sur la définition du FBP. Il faut éviter que des études de projets ne correspondant pas à cette définition soient incluses. Cela n’aide en rien d’inclure un projet non FBP et puis d’en tirer des conclusions sur le FBP. Je pense en particulier à une étude sur l’Ouganda (Palmer et al) et la Zambie (Revue Cochrane).” Comme d’autres, il souligne l’importance du contexte. Il conclut en marquant son adhésion à l’objectif commun de travailler sur les méthodes de recherche. “Nous invitons le monde académique à participer de façon constructive sur les réformes sanitaires FBP et par là, améliorer l’agenda scientifique.”
Une lettre de réponse par Atle et un engagement partagé pour un programme de recherche sur le FBP
Le même jour, Atle répond à Robert, point par point (cependant, pour une raison inconnue, le mail n’est jamais parvenu au groupe de discussion). Dans son mail, Atle rappelle aux membres de la CoP certaines règles des revues Cochrane. Il fournit aussi une guidance sur comment les auteurs des études primaires pourraient aider les chercheurs conduisant des revues systématiques (par ex, en fournissant plus d’information sur le contexte). Dans un mail privé, 4 jours plus tard, Robert remercie Atle et Sophie pour leur feedback et conclu : “Nous sommes très heureux qu’une discussion sérieuse sur comment documenter rigoureusement les développements prometteurs du FBP dans de nombreux endroits du monde soit désormais bien lancée. Bien sûr, vous comprendrez que sur une variété de points, je reste en désaccord avec vous, mais au moins un dialogue est entamé – quelque chose que nous accueillons sincèrement. (…) Tout débat ultérieur reste le bienvenu et nous vous remercions également pour la recommandation que plus de recherche soit entreprise – sur ce point, nous sommes pleinement d’accord.”
Le 25 août, un des membres de la CoP informe le groupe de discussion de l’approbation par le parlement burundais d’un don de 14.8 millions de dollars de la Banque Mondiale. Le groupe de discussion en ligne abandonne alors spontanément le débat sur l’étude Cochrane pour discuter la problématique de la pérennité (en français cette fois !).
Manifestement, la discussion sur la meilleure stratégie de recherche pour les interventions FBP continuera. N’hésitez pas à contribuer via la section « commentaire » de ce blog.
Bruno Meessen, 12 septembre 9 2012.
Le débat est lancé
Le 9 août, Emmanuel Ngabire (Ecole de Santé Publique, Kigali), co-facilitateur de la CoP partage l’article sur le groupe de discussion en ligne. La première réponse arrive deux heures plus tard, de Stefaan Van Bastelaere (Coopération Technique Belge, Bruxelles). Il exprime ses craintes sur l’impact possible de l’éditorial, et sa frustration: “Les auteurs réduisent le FBP à une stratégie qui génère de la quantité, selon moi, c’est injuste.”
Bruno Meessen (Institut de Médecine Tropicale, Anvers), facilitateur principal de la CoP, invite alors les membres du groupe de discussion à lire l’article et à partager leur point de vue.
Longin Gashubije (Ministère de la Santé du Burundi, Bujumbura) s’interroge sur la définition restrictive utilisée par Fretheim et al. dans l’éditorial: “Je pense que le FBP est plus qu’un transfert d’argent; quand il est mis en œuvre correctement, il permet de transformer l’ensemble du système de santé ”. Il explique aussi pourquoi aucune étude aléatoire n’a été faite au Burundi: la simple observation, à travers le système de monitoring, de l’amélioration d’indicateurs quantitatifs et qualitatifs qui n’avait jamais bougé avant l’introduction du FBP s’est avérée suffisante pour persuader les décideurs d’étendre l’expérience pilote à l’échelle du pays.
Les auteurs de la revue systématique veulent engager un dialogue
Le 10 août, Atle Fretheim (Centre Norvégien de Connaissance sur les Services de Santé, Oslo) rejoint le groupe. Après s’être introduit, il recommande à tous de lire également la revue systématique, pas seulement l’éditorial. II exprime sa volonté de dialoguer sur comment les expériences FBP pourraient être évaluées d’une façon pratique, réaliste mais robuste.
Bruno Meessen réagit le jour-même. Sa frustration est palpable – l’essentiel de son long mail concerne justement le manque d’intérêt dont ont fait preuve les auteurs de la revue pour un tel dialogue avec les praticiens du FBP. En ce qui concerne la revue systématique, une meilleure connexion avec le terrain et les personnes engagées dans la mise en œuvre auraient évité certains malentendus.
Démarrage d’une discussion sur l’application de la méthodologie des revues systématiques aux réformes des systèmes de santé
Dans le même message, Bruno partage aussi sa vue personnelle, comme chercheur, sur les limites des revues systématiques une fois qu’elles concernent des stratégies de réforme des systèmes de santé. Cependant, il reconnaît que la discussion qui s’annonce sera bénéfique pour renforcer le programme général d’évaluation du FBP.
Le 10 août toujours, Sophie Witter (Université d’Aberdeen), première auteure de la revue systématique répond à Bruno. “Comme chercheuse travaillant sur les systèmes de santé, je peux tout à fait comprendre tes frustrations avec le processus d’une revue Cochrane . Il a des forces et des faiblesses, comme toute méthode.” Dans son courrier, elle rappelle à quel niveau les revues systématiques se situent dans le corpus de connaissance. Elle reconnaît que “c’était peut-être trop tôt pour le FBP, mais ces revues sont mises à jour régulièrement, ça ne devrait donc pas être un problème à long terme” et que “le FBP est une intervention particulièrement peu commode pour les revues systématiques, car il a été interprété de façons diverses et mis en œuvre dans des contextes très différents”. Elle ajoute : “ce sont tous des problèmes que nous avons soulignés dans la revue. Dans cette dernière, nous faisons un appel pour plus de recherche sur les effets systémiques et la relation aux différents contextes.”
Le 11 août, Ir Por (Institut National de Santé Publique, Cambodge) – qui est alors juste en train de finaliser une revue (non-systématique) sur le financement basé sur les résultats appliqué à la santé maternelle et néonatale au nom de la Coopération au Développement Allemande – partage sa surprise “de voir autant de réactions sur l’éditorial mais pas sur la revue Cochrane elle-même quand elle a été publiée”. Por a lu la revue Cochrane, et il la trouve “bien écrite, respectant des règles transparentes, et équilibrant bien ses résultats et conclusions. Dès lors, si nous voulons contester les résultats, il serait plus correct de contester les méthodes « Cochrane » (surtout pour la recherche en système de santé), mais pas les auteurs.”
Une revue systématique trop encline à inclure suffisamment d’études?
Après une semaine calme, le débat est relancé par Joanne Harnmeijer (ETC Crystal, Pays-Bas) le 17 août. Elle revient sur un point soulevé par Bruno : son analyse que la revue Cochrane est venue trop tôt. La discussion qui suit va alors permettre aux membres de la CoP de mieux comprendre certaines tensions internes à la revue systématique. Pour Joanne, la revue systématique est injuste : les auteurs ont inclus des données, rapports et études qui ne prétendaient pas nécessairement atteindre les standards d’une revue Cochrane pour ensuite à l’étape suivante du processus, correctement évaluer ces études comme atteignant un score faible en termes de rigueur.
Le même jour, Sophie Witter réagit, en fournissant plus d’information sur l’approche prise et comment elle respecte les standards Cochrane. Joanne répond le même jour, réitérant son analyse. Elle rappelle la pertinence de la recommandation d’ Atle d’avoir “un débat sur comment les expériences FBP pourraient être évaluées d’une façon pratique, réaliste, mais robuste” ; ses contributions relèvent de cette préoccupation.
Le mail de Joan déclenche aussi une réponse de Atle. Son commentaire à lui porte surtout sur les critères de sélection. Il rappelle les règles qu’une revue Cochrane doit respecter si elle porte sur une intervention sur le système de santé. Il écrit également : “Nous ne critiquons pas les auteurs des études originales. Ce n’est en tout cas pas notre intention. Que du contraire! Ils ont peut-être produit les meilleures études possibles compte tenu des circonstances. Je voudrais ajouter que nous sommes reconnaissants à de nombreux auteurs des études originales. Plusieurs d’entre eux ont répondu rapidement à nos emails et même envoyé leurs bases de données. Je pense qu’en général, les cherchant effectuant une revue Cochrane rencontrent bien plus de difficultés que nous n’en avons rencontrées quand ils essaient de dialoguer avec les auteurs des études primaires et d’accéder aux données non publiées. Donc, nous les remercions certainement !”
Toujours le même jour, Joanne répond à Atle. Le désaccord n’est pas évacué.
Comment prendre en compte les facteurs contextuels dans l’évaluation des experiences FBP?
Le 21 août, Eric Bigirimana (AEDES et BREGMANS Consulting, Cameroun) revient sur l’importance du contexte dans la conception et l’efficacité d’un mécanisme FBP. Il illustre cela avec des observations faites par les participants d’une visite d’étude qu’il a organisé dans trois pays de l’Afrique des Grands Lacs. Eric est aussi chercheur. Il estime qu’une approche scientifique alternative – l’évaluation réaliste – prendrait mieux le contexte en compte que des études aléatoires. Dans son long mail, il explique pourquoi.
Sophie, qui est familière avec l’approche de l’évaluation réaliste (elle est actuellement coordinatrice d’un projet de recherche sur les politiques de gratuité en santé maternelle qui en partie, recourt à cette approche) répond: “Je pense que l’approche réaliste est très intéressante et je suis d’accord qu’elle pourrait bien s’appliquer au FBP. Pour la méthode Cochrane, s’il y a assez d’études robustes, alors vous pouvez regarder les patterns contextuels qui émergent. Malheureusement, si vous n’avez que quelques études (comme c’est le cas avec la revue FBP), ceci est exclu. Mais je voudrais juste noter que la méthodologie en elle-même n’est pas incapable de prendre en compte les différences contextuelles”.
Contribution de Robert Soeters: une synthèse, quelques autres critiques et une piste pour aller de l’avant en matière de recherche
Le 22 août, Robert Soeters (SINA Health, Pays-Bas) envoie sa contribution. Dans son long mail, Robert fournit de l’information sur comment il a été impliqué dans le processus de la revue Cochrane. Son sentiment est que les chercheurs faisant la revue n’ont pas été transparents à la hauteur de son propre engagement à être transparent. Accorder aux chercheurs de terrain l’opportunité de donner un feedback précoce sur la revue aurait été un mécanisme de validation précieux. Robert explique aussi comment le savoir actuel sur le FBP a été développé graduellement sur le temps via une accumulation d’expérience. Il note qu’une large adoption de bonnes pratiques est un autre type de validation, une validation en termes de pertinence. Son évaluation de la revue est que “le résultat est un ensemble biaisé de recommandations et certaines conclusions qui sont communiquées hors de leur contexte.” Il développe ce dernier point en fournissant plus d’information sur plusieurs pays dans lesquels il a travaillé ces dernières années.
Dans le reste de son message, Robert met en avant plusieurs idées pour une autre approche de la recherche sur le FBP. Il formule plusieurs inquiétudes, qui doivent être prises en compte pour l’agenda futur. Une est de trouver des stratégies de recherche qui ne nuisent pas au processus politique. Par exemple, l’échantillonnage de districts plutôt que de formations sanitaires au sein d’un même district ou encore une mise en œuvre progressive du FBP “par laquelle un nombre de districts est inclus dans l’intervention et un nombre de districts pas (encore) inclus.”
Pour les revues systématiques, il insiste sur le fait que les interventions étudiées doivent être homogènes. “ il y a un consensus grandissant dans les pays à revenu faible ou intermédiaire sur la définition du FBP. Il faut éviter que des études de projets ne correspondant pas à cette définition soient incluses. Cela n’aide en rien d’inclure un projet non FBP et puis d’en tirer des conclusions sur le FBP. Je pense en particulier à une étude sur l’Ouganda (Palmer et al) et la Zambie (Revue Cochrane).” Comme d’autres, il souligne l’importance du contexte. Il conclut en marquant son adhésion à l’objectif commun de travailler sur les méthodes de recherche. “Nous invitons le monde académique à participer de façon constructive sur les réformes sanitaires FBP et par là, améliorer l’agenda scientifique.”
Une lettre de réponse par Atle et un engagement partagé pour un programme de recherche sur le FBP
Le même jour, Atle répond à Robert, point par point (cependant, pour une raison inconnue, le mail n’est jamais parvenu au groupe de discussion). Dans son mail, Atle rappelle aux membres de la CoP certaines règles des revues Cochrane. Il fournit aussi une guidance sur comment les auteurs des études primaires pourraient aider les chercheurs conduisant des revues systématiques (par ex, en fournissant plus d’information sur le contexte). Dans un mail privé, 4 jours plus tard, Robert remercie Atle et Sophie pour leur feedback et conclu : “Nous sommes très heureux qu’une discussion sérieuse sur comment documenter rigoureusement les développements prometteurs du FBP dans de nombreux endroits du monde soit désormais bien lancée. Bien sûr, vous comprendrez que sur une variété de points, je reste en désaccord avec vous, mais au moins un dialogue est entamé – quelque chose que nous accueillons sincèrement. (…) Tout débat ultérieur reste le bienvenu et nous vous remercions également pour la recommandation que plus de recherche soit entreprise – sur ce point, nous sommes pleinement d’accord.”
Le 25 août, un des membres de la CoP informe le groupe de discussion de l’approbation par le parlement burundais d’un don de 14.8 millions de dollars de la Banque Mondiale. Le groupe de discussion en ligne abandonne alors spontanément le débat sur l’étude Cochrane pour discuter la problématique de la pérennité (en français cette fois !).
Manifestement, la discussion sur la meilleure stratégie de recherche pour les interventions FBP continuera. N’hésitez pas à contribuer via la section « commentaire » de ce blog.
