Evaluer la réforme, exercice complexe mais nécessaire

retour au n°72 "Santé mentale : les enjeux de la réforme ?"

Auteur(s) :

Interview par Christine LUCASSEN

de LORANT Vincent Faculté de Santé publique, Institut de recherche Santé et Société, Université Catholique de Louvain

Présentation :

Vincent Lorant s’exprime ici au nom des trois équipes de recherche en charge de cette évaluation : Pablo NIcaise, Janaina Costa Campos Lopes et lui-même pour l’UCL ; le Professeur Docteur Chantal Van Audenhove, Ann De Smet et Veerle De Jaegere pour la KUL (Katholieke Universiteit Leuvel) ; le Professeur Docteur Mark Leys, Griet De Roeck pour la VUB (Vrije Universiteit Brussel).

Extrait :

(...)

La réforme des soins en santé mentale en Belgique est ambitieuse. Comment évalue-t-on un tel programme ?

L’évaluation d’une politique publique vise à déterminer dans quelle mesure celle-ci a atteint ses objectifs et produit les impacts attendus auprès des publics concernés. Dans le cas de la réforme belge en santé mentale, nous nous trouvons face à une multiplicité d’objectifs, que nous pouvons résumer en deux grandes préoccupations : d’une part, poursuivre la désinstitutionnalisation, entamée avec la création des services de santé mentale dans le milieu des années septante en Belgique, et qui a pour but de rapprocher les patients de leur milieu de vie, et d’autre part, assurer davantage de continuité et d’intégration dans les soins et services proposés aux patients. A ces deux grands objectifs, s’ajoute un troisième, lié à la réalité institutionnelle de notre pays : améliorer l’utilisation des ressources. En effet, notre système de soins de santé est organisé en plusieurs couches, divisé entre différents niveaux de pouvoir et institutions, possédant chacun une certaine autonomie, ce qui met à mal la cohérence et l’efficience des politiques menées. C’est d’ailleurs la raison pour laquelle c’est une conférence interministérielle, réunissant tous les acteurs institutionnels concernés (fédéral, régions, communautés, COCOF, COCOM), qui se trouve derrière cette réforme.

Ainsi, au vu des différents objectifs poursuivis par cette réforme, l’évaluation va s’articuler autour de plusieurs questions pour lesquelles une série d’indicateurs d’analyse ont été déterminés. Ces indicateurs sont :

• le territoire : population générale, épidémiologie de la santé mentale dans la région, inventaire de l’offre de services dans la région,...

• les réseaux : configuration, capacité des partenaires, coordination et partage des tâches, accessibilité des soins, utilisation des réseaux de soins par les usagers, continuité des soins,...

• les professionnels : compétences axées sur le rétablissement /la réhabilitation (recovery), satisfaction au travail, charge de travail, bonnes pratiques,...

• les usagers : rétablissement / réhabilitation (recovery), autonomie, satisfaction liée aux soins, inclusion sociale, qualité de vie,...

• la famille et les proches : satisfaction liée aux soins, participation,...

Comment avez-vous construit cette évaluation ?

Les différents niveaux d’analyse et les indicateurs sont le fruit d’une concertation avec les acteurs de terrain. Une enquête web auprès d’une centaine de parties prenantes a été réalisée, puis plusieurs « groupes focaux » se sont réunis pour discuter des résultats. Il y a donc, tout au long du processus, le souci d’une véritable consultation du terrain, avec de fréquents allers-retours. Par ailleurs, en tant que chercheurs, nous sommes en permanence en contact avec des collègues à l’étranger et nous nous inspirons des expériences menées dans d’autres pays dans le champ de la santé mentale.

Quelles difficultés rencontrez-vous ? Le fait que les projets diffèrent de par leur ancrage territorial, leur état d’avancement, etc. vous pose-t-il problème ?

Les projets « 107 » connaissent effectivement des stades d’avancement différents. Certains sont encore en phase de création, d’autres sont en chemin et attendent déjà les premiers résultats de l’évaluation... En fait, la réforme permet cette latitude qui émane des recommandations du terrain et qui est de permettre à chacun d’avancer à son rythme. La disparité que cette possibilité occasionne ne nous pose pas véritablement problème. Elle nous est même utile du point de vue méthodologique, puisqu’elle nous permet de disposer de groupes ou territoires contrôles qui serviront de référence, de base de comparaison. Cela étant, notre mission est d’abord de fournir un regard sur la mise en oeuvre globale de la réforme au niveau national, pas de nous centrer sur les différences régionales ou locales.

Les difficultés de l’évaluation tiennent surtout à la complexité de la réforme, en ce qu’elle contient une multiplicité d’objectifs et de niveaux qui s’entrecroisent, mais aussi que, de par son ampleur, elle ne produira certains de ses effets que dans longtemps... Les premières années, dans un projet comme celui-ci, servent surtout à étudier l’implémentation de la nouvelle politique, ce qui sert de point de départ à partir duquel on peut analyser l’évolution de la situation.

Actuellement, nous en sommes au démarrage d’une étude de faisabilité qui servira à tester les outils d’évaluation (méthodes d’échantillonnage, de collecte,...) auprès d’un échantillon restreint de professionnels, d’usagers et de familles. Dans un second temps, nous les appliquerons aux différents projets issus de la réforme.

A quoi sert cette évaluation ? A qui ?

Ce serait une question à poser au SPF Santé Publique, qui a commandité l’étude... De manière générale, et là mes propos n’engagent que moi, je vois plusieurs utilités potentielles à cette évaluation.

Tout d’abord, elle va servir à décrire l’implémentation de la réforme ; ensuite à relever les écueils inévitablement rencontrés, mais aussi les découvertes et les bonnes pratiques pouvant être généralisées et les conditions pour le faire.

Comme la réforme permet à chaque projet de se développer de manière adaptée à sa situation et donc de prioriser telle ou telle dimension suivant ce qui lui semble le plus opportun, les expériences engrangées par les uns pourront servir aux autres qui auront fait d’autres choix, etc. L’évaluation favorisera cette circulation dynamique de l’information venue du terrain et permettra aux acteurs d’économiser du temps et de l’énergie.

Elle pourra également servir au volet formation, qui occupe une place importante dans la réforme, en le nourrissant, en l’alimentant de ces mêmes expérimentations, qui, souvent, sont plus parlantes, plus éclairantes que les explications abstraites quand il s’agit de présenter des concepts ou des outils.

Par ailleurs, comme nous allons nous atteler à mener et à construire cette évaluation en fonction des besoins des équipes et des questions qui surgissent dans l’action, l’évaluation sera aussi le lieu, l’occasion où réfléchir les blocages et inventer, faire émerger des solutions.

Enfin, à un niveau plus macro, cette évaluation peut amener à véritablement questionner une politique publique et ses acteurs : qu’est-ce qui fonctionne ou non et que faire pour améliorer ce qui ne fonctionne pas ou mal ? Le fait qu’une évaluation ait été prévue et souhaitée par la conférence interministérielle est déjà en soi très positif, significatif d’un changement dans le chef des pouvoirs publics car en Belgique, la culture de l’évaluation des politiques publiques n’est pas très développée, contrairement à ce qui se passe dans les pays anglo-saxons, par exemple. Il y a ici un réel effort de communication et de transparence et le site internet (www.psy107.be) régulièrement alimenté, y compris par nos équipes, en est une preuve.

Vous n’avez pas parlé de l’évaluation des aspects économiques et budgétaires de la réforme. Ce sont pourtant des aspects importants ?

Pour le moment, l’évaluation de ces aspects ne fait pas partie de nos missions. Bien évidemment, nous sommes conscients que ce sont des éléments importants, qui ont et vont avoir des impacts significatifs sur le travail de terrain et les différents acteurs concernés. Que coûte cette réforme ? ou, au contraire, que permet-elle d’économiser ? et comment l’allocation des ressources est-elle modifiée ? et avec quelles conséquences ?, sont des questions qui reviennent régulièrement.

Vous savez, une évaluation n’est jamais un exercice purement académique ou scientifique, elle est toujours politique, ne fût-ce que par la manière dont les questions d’évaluation et les indicateurs sont identifiés et choisis, sans parler de l’interprétation des résultats et de leur utilisation ! Mais c’est aussi ce qui fait l’intérêt du travail et sa difficulté car l’évaluateur se trouve toujours entre le commanditaire et les personnes concernées sur le terrain. L’évaluation est un art délicat mais passionnant !