TALIS, ou qu'apprend-on de l'efficacité de l'Ecole, des conditions d'apprentissages et du développement professionnel ?

Nous avons déjà évoqué tout le profit et l’intérêt que nous manifestons à l’approche d’auto-évaluation régulatrice de l’établissement, particulièrement développée dans le système scolaire en Ecosse. Pragmatique et continu, son traitement en système permet aux acteurs locaux et à leurs accompagnateurs (ou « amis critiques ») d’intégrer les résultats scolaires dans une vision plus globale; on a découvert notamment comment finement et parfois de façon trés indirecte tel ou facteur influe durablement sur la performance scolaire.

Une étude d’envergure internationale (OCDE, mais la France n’y participe pas pour l’heure…) vient compléter ce genre d’étude; les données viennent d’être rendues publiques . Les résultats sont disponibles en version pdf à partir de la page

A suivre…

Qu’est-ce que TALIS ?
TALIS est la nouvelle enquête internationale de l’OCDE sur les enseignants, l’enseignement et l’apprentissage. Il s’agit de la première enquête internationale qui se concentre sur l’environnement de l’apprenant et les conditions de travail des enseignants dans les écoles. Elle vise à combler le manque d’information en matière de comparaison internationale des différents systèmes éducatifs. TALIS offre l’opportunité aux enseignants et aux chefs d’établissements de contribuer aux travaux d’analyse de l’éducation ainsi qu’au développement de la politique générale sur certains sujets clé. L’analyse internationale des pays par TALIS permettra aux pays d’identifier les autres pays faisant face à des défis similaires et d’apprendre de ces derniers d’autres approches de la politique générale. L’enquête est actuellement effectuée dans 24 pays à travers quatre continents, et d’autres pays pourraient participer à l’enquête ultérieurement.

Qui fera l’objet d’une enquête ?

TALIS enquête sur les enseignants du premier cycle du secondaire et les chefs d’établissements dans lesquels ils travaillent. Un groupe d’experts internationaux a développé des questionnaires différents pour les enseignants et pour les chefs d’établissements. Ces questionnaires ont fait l’objet de discussions avec des représentants du corps enseignant tout au long de leur développement, en particulier avec la Commission syndicale consultative (Trades Union Advisory Council – TUAC) à l’OCDE. Chaque questionnaire prend environ 45 mInutes. L’enquête TALIS peut également être remplie en ligne sur internet et la structure des questionnaires a été adaptée à l’informatique.
Les réponses à l’enquête sont entièrement confidentielles et les noms des enseignants, des chefs d’établissements et des établissements scolaires ne sont jamais identifiés.
Au sein des pays participants, les établissements scolaires et les enseignants au sein de ces établissements sont choisis au hasard pour prendre part à TALIS. Dans chaque pays – à l’exception des plus petits pays – environ 200 établissements et 20 enseignants dans chacun d’eux feront partie de l’échantillon.

Sujets examinés par TALIS
Les pays participants à TALIS ont choisi de concentrer l’enquête sur un certain nombre d’aspects principaux concernant l’environnement de l’apprenant qui peuvent influencer la qualité de l’enseignement et de l’apprentissage à l’école :
• La direction et la gestion des établissements scolaires – les rôles adoptés par les chefs d’établissements, en prenant en compte les responsabilités croissantes et la décentralisation de l’autorité éducative ainsi que l’impact que cela a sur l’environnement dans les établissements scolaires et le travail des enseignants (en complément de l’examen de l’OCDE en cours sur la direction des établissements scolaires).
• L’évaluation du travail des enseignants dans les établissements scolaires ainsi que la forme et la nature des retours d’informations qu’ils reçoivent et l’utilisation des résultats de ce processus d’évaluation pour récompenser et aider les enseignants à évoluter. Lié à cela : le développement professionnel entrepris par les enseignants et comment cela est associé aux systèmes d’évaluation ; quel soutien est apporté par les chefs d’établissements et quel impact cela a sur les pratiques d’enseignement.
• Le profil des pays au vu des pratiques, des activités, des convictions et attitudes, et concernant l’enseignement, les différences en fonction de la formation de base des enseignants.

Pays participants
(au 18 février 2008)
Vingt-quatre pays participent à TALIS : l’Australie, l’Autriche, la Belgique, le Brésil, la Bulgarie, la Corée, le Danemark, l’Espagne, l’Estonie, la Hongrie, l’Irlande, l’Islande, l’Italie, la Lituanie, Malte, la Malaisie, le Mexique, la Norvège, les Pays-Bas, la Pologne, le Portugal, la République Slovaque, la Slovénie et la Turquie. D’autres pays pourraient se joindre à l’enquête plus tard.

Ce que TALIS nous apprendra sur la direction des établissements
La recherche a montré l’influence importante que la direction d’un établissement peut avoir sur les résultats éducatifs des élèves. TALIS fournira un profil de la direction des établissements au sein des pays et montrera comment ces profils varient entre les établissements au sein des pays et selon les différents contextes.
L’approche des chefs d’établissements quant à la direction et la gestion d’un établissement sera résumée selon l’importance accordée aux diverses activités accomplies. Ces profils indiqueront, par exemple, les différents rôles adoptés par les chefs d’établissements, y compris quelle part le rôle éducatif du chef d’établissement représente.
TALIS décrira non seulement comment les établissements sont dirigés et gérés, mais permettra également un examen de l’environnement pédagogique créé par les différentes approches. L’environnement pédagogique sera caractérisé, par exemple, par le degré de coopération professionnelle et de collaboration entre professeurs, le moral et le niveau de satisfaction vis à vis de leur travail, ainsi que la nature des relations entre enseignants et élèves.
Lors de cet examen, il est également important de comprendre le contexte et les conditions dans lesquelles les établissements fonctionnent. En particulier, TALIS examine comment la direction d’un établissement inter-agit avec l’environnement d’apprentissage selon le degré d’autonomie de l’établissement et de sa direction, ainsi que le cadre des responsabilités auquel l’établissement est soumis.

Ce que TALIS nous apprendra sur la façon dont un bon enseignement est reconnu et récompensé dans les établissements scolaires
Les systèmes et les pratiques en matière d’évaluation du travail des enseignants, de reconnaissance et de récompense pour un bon enseignement, et visant à faire face aux besoins de développement des enseignants peuvent être essentiels afin de mettre en valeur et retenir des enseignants de qualité. TALIS examine comment le travail des enseignants est évalué et sous quelles formes et avec quelle fréquence ils reçoivent des information en retour, qui est concerné par ce processus et quelles en sont les issues.
En plus des informations sur l’étendue et le type d’évaluation des établissements, l’analyse des réponses révèlera jusqu’à quel degré ces processus sont motivés par un but administratif, comptable ou de développement, ainsi que la façon dont différents modèles façonnent l’environnement scolaire. L’analyse de ces réponses nous éclairera sur les questions suivantes :
• Comment différents systèmes d’évaluation/de retour d’informations récompensent les bons enseignants et soutiennent leurs besoins en termes de développement ?
• Comment différents systèmes sont-ils associés avec l’étendue de la coopération entre enseignants, leur satisfaction au travail et la sécurité de leur emploi ?
• Comment les différents systèmes influencent-ils les pratiques d’enseignement des enseignants ?

Ce que TALIS nous apprendra sur le développement professionnel des enseignants
Il existe de fortes exigences des enseignants pour mettre à jour régulièrement leurs connaissances et leurs compétences. Par conséquent, l’accès à un développement professionnel de bonne qualité est essentiel. TALIS révèlera comment les besoins de développement des enseignants sont pris en compte, en examinant :
• La quantité et le type de développement professionnel entrepris ;
• L’aide apportée pour entreprendre un développement professionnel et les obstacles rencontrés ;
• L’impact que les différentes formes de développement professionnel a eu sur le travail des enseignants ;
• Les types de besoins en développement que les enseignants ressentent ;
• Les systèmes d’intégration et de mentorat pour les nouveaux enseignants.

Ce que TALIS nous apprendra sur les pratiques d’enseignement et les convictions concernant l’éducation
La qualité de l’environnement d’apprentissage au niveau de la classe est influencée par les méthodes d’enseignement et par les pratiques des enseignants en classe. TALIS ne mesure pas l’efficacité des enseignants ou des différentes pratiques d’enseignement. L’enquête mettra plutôt en exergue les contrastes entre les profils de pratiques des enseignants, les attitudes et les convictions entre les pays participants. En termes de pratiques d’enseignement, les réponses des enseignants à l’enquête TALIS seront résumées afin d’examiner si différentes pratiques d’enseignement peuvent être identifiées, telles que des pratiques tendant à se concentrer sur des directives de l’enseignant et d’autres basées sur une approche plus ouverte.
En complément, TALIS offrira également une image comparée des convictions des enseignants sur l’enseignement. Cette image montrera, par exemple, les contrastes entre les points de vue traditionnels sur l’enseignement (telle que la transmission directe) et les points de vue non traditionnels.
L’analyse des réponses permettra d’examiner la manière dont les pratiques d’enseignement et les convictions varient selon les établissements, les caractéristiques des enseignants et de la classe (y compris l’ambiance dans l’établissement) et comment ces pratiques sont mises en relation avec les activités professionnelles des enseignants (telles que les activités de développement professionnel ou la collaboration avec les autres enseignants).

Table of contents

  • Foreword.
  • Reader’s Guide.
  • Chapter 1 – Introduction
  • Chapter 2 – A profile of the teacher population and the schools in which they work
  • Chapter 3 – The professional development of teachers
  • Chapter 4 – Teaching practices, teachers’ beliefs and attitudes
  • Chapter 5 – School evaluation, Teacher appraisal and feedback and the impact on schools and teachers
  • Chapter 6 – Leading to learn: School leadership and management styles
  • Chapter 7 – Key factors in developing effective learning environments: Classroom disciplinary climate and teachers’ self-efficacy
  • References.
  • Annex A1 – Technical Notes on Survey procedures and analysis
  • Annex A1.1 – Construction of indices and other derived measures
  • Annex A1.2 – TALIS sampling procedures and response rates
  • Annex A1.3 – Quality assurance
  • Annex A1.4 – Technical notes on multiple regression analyses
  • Annex A2 – Selected characteristics of data collected from the Netherlands
  • Annex A3 – The development and implementation of TALIS – a collaborative effort

L’évaluation est-elle dangereuse pour les pratiques ?


De quoi s’agit-il à la lecture de ces lignes ?:

« On ne sait pas bien ce que recouvre le terme de « culture du résultat » qui sous-tend les réformes, mais il semble légitimer des pratiques d’évaluations des individus sur la base d’un nombre le plus réduit possible d’indicateurs chiffrés, diffusés largement selon un principe de transparence et associées à des systèmes formels de sanction-récompense que l’on souhaite le plus objectif possible. »

(…) Quelques mois après la mise en place de ces tableaux de bord et alors qu’il s’agissait d’évaluer les réalisations par rapport aux objectifs, (…) la pratique s’avèrait plus complexe que ce que les discours laissaient entendre.

Ce projet repose sur un mythe (…) : de nombreux travaux académiques témoignent déjà de manière rigoureuse des risques de ces méthodes :

en terme d’impact sur la performance,

risque de focalisation sur le court terme,

impact négatif sur les capacités d’innovation, la coopération ou la coordination,

confusion entre l’évaluation des activités et des individus, et

d’effets sur les individus,

La corrélation entre ces pratiques et l’accroissement de la souffrance au travail est plus en plus documentée, en particulier par la psychopathologie du travail et de l’existence de nombreux autres moyens de pilotage de la performance (par la règles, par les pairs etc…) souvent déjà largement mises en œuvre avec succès dans les organisations dans lesquelles on souhaite introduire de la culture du résultat.

(…) Il faut sortir de ces discours simplistes pour favoriser l’émergence de pratiques associant plusieurs modes de contrôle et permettant une utilisation intelligente des systèmes de mesure. (…) Les discours simplificateurs comme celui de l’efficacité en toutes circonstances de l’association transparence-indicateurs-incitations contribuent à justifier des pratiques dangereuses derrière des principes semblant relever du bon sens. »

L’actualité de la rentrée, civile, politique et sociale, en attendant la « nôtre » (scolaire) nous amène à porte notre attention sur la politique d’évaluation…des politiques ; en effet, un article paru dans le Monde, du 18 août 2009, dans la rubrique Débats, argumente ; Philippe DOBLER et Olivier SAULPIC, professeurs associés au département contrôle et pilotage des organisations (ESCP-EAP), nous livre quelques réflexions toute réflexives… à propos de la politique d’évaluation des ministres.

Toute chose égale par ailleurs, ces principes de précaution contre les dérives potentielles de l’évaluation nous semblent intéressants pour nos propres pratiques relatives à la conduite de l’expérimentation et du changement en éducation.

En lecture complémentaire, nous vous invitons à partager le point de vue subjectif sur l’évaluation, à la lumière d’Ardoino, Weiss et de Ketele

Lectures de vacances, mais aussi préparation pour la rentrée

Temps de l’otium, période d’approfondissement personnel et professionnel, ces semaines d’été, où que vous soyez, sont des moments privilégiés pour se ressourcer et (re)trouver le sens de l’activité parfois éclatée, ou malmenée, ou encore saturée.
C’est pourquoi il nous a semblé opportun de proposer en ligne quelques lectures, si ce n’est quelques chapitres, qui puissent vous faire vous reposer les questions fondamentales qui agitent notre métier et notre système d’éducation.

Quatre ouvrages sont mis ainsi à votre disposition:
– l’un est consacré au métier, dans toutes ses dimensions, en trentes compétences à affermir, selon les contextes
– un autre à l’approche métaphorique et imagée, trés puissante pour nos groupes de jeunes ou de moins jeunes
– encore un autre sur les possibles dans l’éducation, dans nos situations d’enseignements, dans nos organisations
– enfin, André de Peretti nous permet d’accéder à une dimension historique de notre éducation, tout à fait éclairante pour comprendre les questions du niveau, de l’évaluation, de l’organisation de l’enseignement. C’est là une exclusivité que je vous réserve dans ses prochaines semaines: