|
 
|
|
|
|
|||||||
|
mise à jour: sept. 2003 |
|
|
||||||
Évaluation de l'opération
Document de synthèse du rapport final
Rapport final en téléchargement - format powerpoint : 2,6 Mo
L’évaluation de l’opération « Campus numériques » a eu vocation de mesurer les effets directs et indirects imputables aux actions entreprises dans ce cadre, leur conformité aux objectifs et à évaluer la performance ou la valeur ajoutée des moyens mobilisés. Plus précisément, elle devait permettre de :
• mesurer les effets sur l’offre de formation nationale et sur l’offre à l’international ;
• évaluer l’efficacité des dispositifs mis en place ;• déterminer les effets sur les organisations, et notamment le caractère pérenne de ces dispositifs ;
• prendre, au travers de l’analyse de chacun des projets, la mesure de l’efficacité de la politique globale « Campus numériques » ;
• formuler des recommandations susceptibles d’améliorer la pertinence et la cohérence de l’opération, en tenant compte notamment de la nécessité de s’intégrer dans un contexte international.Pour mener à bien cette évaluation, le Ministère de la Jeunesse, de l’Education Nationale et de la Recherche, via ses services, a demandé à Ernst & Young :
• d’élaborer et rédiger le cahier des charges de l’évaluation ;
• de sélectionner le prestataire de l’évaluation ;
• de mettre en œuvre la méthodologie de l’évaluation ;
• d’accompagner le prestataire de l’évaluation jusqu’à la remise du rapport final.
La société Ipsos Opinion a été retenue comme prestataire.Une évaluation menée en quatre
phases• Un diagnostic préalable de l’offre de formation à
distance disponible dans l’enseignement supérieur.• Une phase d’analyse et de mesure des effets de l’opération, qui a reposé notamment sur des enquêtes terrain auprès des différents acteurs des Campus numériques (les apprenants, les acteurs dans les établissements et différents acteurs partenaires de l’opération).
• Une phase d’analyse globale de l’opération, s’appuyant sur l’appréciation de l’efficacité des dispositifs mis en place, des effets et des impacts globaux, et finalement de la valeur ajoutée apportée par l’opération.
• Une phase de conclusions et de recommandations.
Le projet « Campus numériques » s’inscrit dans une politique de généralisation des Tic dans l’enseignement supérieur
Dans un contexte de concurrence internationale accrue, le ministère de la Jeunesse, de l’Education Nationale et de la Recherche, soucieux de préserver l’excellence de l’enseignement supérieur et de le moderniser, a lancé depuis 2000 trois appels à projets « Campus numériques Français ». Un Campus numérique se définit comme un dispositif de formation inter-universitaire centré sur l’apprenant proposant des services innovants via des technologies numériques.
L’objectif majeur des appels à projets est d’arriver à construire une offre structurée de formation ouverte et à distance (FOAD) de qualité et compétitive sur le marché international, et prenant en compte le développement de la formation tout au long de la vie.
Les financements accordés devaient permettre :
• la réalisation des contenus de formation ;
• la qualité et la pertinence de leur mode de
diffusion ;• la mise en place des services d’accueil et de
tutorat ;• l’organisation des regroupements en mode
présentiel.
Les deux premiers appels à projets portaient sur des offres de formation partiellement ou entièrement à distance. Le troisième comprenait un volet spécifique destiné au développement de nouveaux environnements de travail.
En avril 2003, 64 campus numériques FOAD sont labellisés auxquels s'ajoutent quatre campus concernant les environnements numériques de travail.
Le contenu de l’offre de formation est conforme aux attentes
Sur la base des Campus numériques ayant renseigné le catalogue Formasup, on établit que la moitié des formations (81) proposées sont diplômantes dans des domaines très variés.
Les formations mises en ligne sont, dans la grande majorité des cas, des formations existantes. Si les chefs de projet estiment proposer plus de 50% de formations innovantes, les différents acteurs partenaires s’accordent néanmoins sur le fait que des innovations réelles ont vu le jour, mais de façon relativement marginale.
Pour le moment, la mise en œuvre de formations à l’international est assurée principalement par des partenaires étrangers, les chefs de projets français n’ayant pas encore engagé d’actions précises pour adapter leurs formations.
Le dispositif de formation répond aux attentes des apprenants
Le niveau global de satisfaction des apprenants est extrêmement encourageant. Du point de vue des apprenants, la mise à disposition d’outils de travail collaboratif performants est le plus grand contributeur à leur satisfaction.
La FOAD est un système qui permet aux apprenants de s’affranchir des contraintes géographiques et de gérer leur temps à leur convenance tout en correspondant bien aux objectifs qu’ils s’étaient fixés. Cela est souligné surtout par les apprenants en formation continue. Les aspects du dispositif particulièrement appréciés sont :
• l’accès en ligne aux contenus et activités proposés ;
• l’intérêt et la variété de ces activités ;
• la qualité des ressources pédagogiques ;
• la compétence des tuteurs.Pourtant, des insuffisances sont relevées concernant l’organisation générale et le suivi administratif. Les principaux motifs d’insatisfaction des apprenants concernent :
• le manque d’organisation des activités en présentiel ;
• la réactivité des tuteurs ;
• l’assistance technique.
La quasi-totalité des apprenants est suivie au moins partiellement par un tuteur, qui a principalement en charge la résolution de leurs difficultés sur les tâches d’apprentissage. Cette ressource très appréciée pour ses compétences pèche en revanche par sa disponibilité et sa réactivité. Ce manque rejaillit et renforce les principaux inconvénients mis en avant de la FOAD : le manque de suivi et de soutien, la difficulté à rester motivé et les difficultés d’organisation dans le travail.
La dimension technologique reste, elle aussi, à améliorer. A titre d’exemple, bien que l’équipement technique des apprenants soit globalement au-dessus de la moyenne (leur taux d’équipement ADSL est de 50%) les problématiques techniques resteraient la troisième cause d’abandon des formations (après la difficulté d’organisation et le niveau des apprenants).
Quoi qu’il en soit, le taux actuel d’abandon (19%) reste limité par rapport aux moyennes habituelles de l’enseignement à distance. D’après les chefs de projets ces abandons sont principalement liés aux difficultés d’organisation du travail rencontrées par les apprenants.
La satisfaction globale et le service rendu est lui aussi
indéniable auprès des apprenants qui mettent en avant
deux éléments clés de leur satisfaction :• la reconnaissance académique et professionnelle de la formation suivie est considérée pour la large majorité des apprenants (>85%) comme supérieure ou équivalente à une formation en mode présentiel ;
• dans les mêmes proportions, les apprenants ayant suivi une FOAD choisiraient, lorsqu’on les interroge, de refaire appel à ce type de formation dans l’avenir.
Cette satisfaction repose sur plusieurs éléments.
L’implication forte des enseignants chercheurs est un des piliers de la satisfaction. En effet, si 40% des tuteurs (contre deux tiers des auteurs) ont déjà participé à la production de ressources numériques, beaucoup vont au-delà de leur rôle d’enseignant dans le cadre des Campus numériques :
• près des deux tiers des enseignants auteurs assument d’autres rôles au sein du Campus numérique ;
• les enseignants tuteurs sont impliqués en amont et en aval de leur fonction.
L’autre pilier de la satisfaction repose sur l’implication des équipes techniques dans toutes les phases du projet, de la conception à l’administration de la plate-forme d’enseignement.
Tout en conservant la qualité des services proposés,
l’organisation générale des dispositifs doit encore
être améliorée.
Les Campus numériques sont de taille très variable,
avec en moyenne 45 personnes impliquées dans le
projet. Le fonctionnement en mode projet est un facteur
de succès pour les Campus numériques qui nécessitent
un engagement important des enseignants et des
équipes techniques.A ce titre, la plupart des campus ont constitué des structures ad hoc (comités de pilotage, comités de direction) qui réunissent tous les partenaires impliqués. Cette structure de pilotage a deux rôles essentiels :
• fédérer les différents interlocuteurs pour centraliser les prises de décisions et mettre en œuvre les outils et les programmes de développement ;
• réfléchir sur les pratiques pédagogiques pour assurer une veille sur les expériences d’autres Campus numériques, évaluer la production et ajuster les objectifs.
Malgré la mise en place de ces organisations, nombre de problèmes organisationnels subsistent. Les chefs de projet soulignent fréquemment un manque de respect des procédures et des échéanciers, ainsi qu’un manque de culture projet. Il apparaît aussi que moins d’un campus sur deux possède un responsable administratif et que près d’un tiers n’a pas de personnel spécifiquement technique.
Ainsi, l’implication des services techniques est jugée encore trop faible, notamment en ce qui concerne la fourniture d’un service 24h/24h et 7jours/7 aux apprenants.
La planification de la production de ressources semble encore à améliorer. Le premier poste budgétaire des Campus numériques est consacré à la production de ressources numériques. Or, les chefs de projet estiment que plus de la moitié des unités de cours de leur projet doit encore être finalisée.
On gardera à l’esprit que les partenaires des Campus numériques ont des rôles d’élaboration des contenus ou de soutien financier. Ces partenaires disposent, dans la
plupart des cas, de documents contractuels régissant leur participation. Cette contractualisation est facilitée par le fait que 80% des partenariats étaient antérieurs au consortium. De la même manière, on notera que le CNED intervient dans un peu moins d’un tiers des Campus numériques, son rôle consistant avant tout en l’accueil des apprenants et la gestion du dispositif
technique.Un impact sur les organisations en
général limitéL’utilisation des structures existantes permet d’éviter la sous-traitance. Dans plus de 8 campus sur 10, le projet Campus numériques s’appuie totalement ou partiellement sur des techniques existantes au sein des établissements. Par exemple, les développements techniques sont le plus souvent confiés à un service de production multimédia de type cellule TICE.
En dépit du rôle moteur des enseignants, l’intégration des campus dans les établissements est souvent peu satisfaisante.
Les enseignants s’impliquent fortement dans les développements – mise à disposition de fichiers sous format électronique, conception des différentes activités proposées aux apprenants, participation à la scénarisation pédagogique – ainsi que pour l’intégration des Campus numériques dans les établissements. Dans le même temps, l’implication des services techniques et administratifs dans les Campus numériques est mitigée et fortement variable. Si plus des trois quarts des centres de ressources informatiques sont impliqués, on note en revanche un manque d’implication des services de gestion du personnel et des ressources humaines, des services de communication, des services d’accueil et
d’orientation et surtout des services des relations internationales.Ainsi, la reconnaissance de l’implication des enseignants est difficilement évaluable.
• Dans 40% des cas, le conseil d’administration des établissements n’a pas encore statué sur des dispositions visant à prendre en compte le travail des enseignants impliqués dans les Campus numériques.
• De nombreux enseignants (de 25 à 30%) déclarent ne percevoir aucune rémunération.
• Les secrétaires généraux soulignent que la réglementation semble peu cohérente au sujet du statut des enseignants du supérieur et le code de la propriété intellectuelle. Il apparaît qu’une évolution juridique et statutaire est nécessaire pour soutenir la motivation des personnels enseignants (question de la propriété intellectuelle, du statut des enseignants
chercheurs). Parallèlement, il est important de ne pas créer de distorsion entre les personnels enseignants en présentiel et à distance.
• Le manque de compétences des personnels administratifs et techniques est le plus souvent à mettre sur le compte d’un manque de formation ou de lourdeur des dispositifs.
• Les partenaires institutionnels estiment, pour leur part, que les campus auraient intérêt à intégrer des ingénieurs et des techniciens dédiés et motivés, aptes à maintenir les performances des outils de travail collaboratif pour les enseignants et les apprenants.
Par ailleurs, les Campus numériques ont eu un impact limité sur les procédures et les pratiques pédagogiques et ont entraîné peu de changement au niveau des services aux étudiants ou des collaborations avec les structures inter-universitaires.
Cependant, près de 50% des services techniques et administratifs ont modifié leurs procédures de travail suite à la mise en place d’un Campus numérique dans leur établissement.
Les partenaires institutionnels estiment, pour leur part, que peu de réflexions sur de nouvelles pratiques pédagogiques liées à la FOAD ont été amorcées.
En dehors de l’enseignement et de la documentation, peu de nouveaux services aux étudiants ont été développés en liaison avec les Campus numériques.
Dans la moitié des cas, les Campus numériques ont renforcé le recours à des structures inter-universitaires. Ceux qui ont choisi de collaborer avec ce type de structure admettent que cela allège considérablement la charge de travail de l’établissement.
La mutualisation inter-universitaire n’est pas suffisamment développée. Un comité transversal national assurant une réflexion sur les éléments produits semble indispensable. En effet, les pratiques sont récentes, les expériences doivent être analysées et mutualisées, afin d’en extraire les meilleures pratiques.
Les impacts les plus positifs des Campus numériques concernent l’organisation générale en rapport avec la préparation de la mise en place des cursus LMD, le développement des TICE dans les établissements ainsi que sur le mode de gestion par projet.• Plus des trois quarts des Campus numériques
considèrent que leur organisation est cohérente avecla mise en place des cursus LMD, notamment en raison de certaines caractéristiques des campus comme l’organisation modulaire de l’offre de formation ou le développement d’une offre de formation inter-établissements.• Selon les partenaires institutionnels, les appels à projets ont permis la rencontre et la sollicitation de partenaires différents autour d’un même projet. En phase de démarrage, ce mode de financement est unanimement apprécié.
• 9 chefs d’établissements sur 10 reconnaissent que l’appel à projet ministériel – au travers de l’exemple de nouvelles pratiques procurées par les Campus numériques - a eu un impact sur la reconnaissance institutionnelle apportée aux TIC.
Une question majeure doit encore trouver une réponse : comment mettre en cohérence l’ensemble des initiatives engagées en matière de TIC (européen, national et local) ? Quelle est la stratégie en matière de Technologies de l’Information et de la Communication dans le domaine de l’Enseignement au sein d’un établissement ?
Si les enseignants déclarent mutualiser les
connaissances et les ressources, des freins et des
lenteurs subsistent.• Plus des trois quarts des responsables techniques considèrent qu’il y a bien eu mutualisation de connaissances et de compétences techniques entre les différents partenaires impliqués dans les Campus numériques.
Cependant, les acteurs institutionnels considèrent que cette mutualisation n’a pas été suffisante. Une « structure de pilotage » amont pourrait servir de relais à l’ensemble des partenaires impliqués dans les campus.• L’un des freins principaux à la mutualisation est la réticence des enseignants - auteurs à utiliser des ressources d’autres enseignants ainsi qu’à partager « leurs » ressources. A noter également les problèmes liés aux droits d’auteurs.
A noter que parmi les ressources numériques mises à disposition pour des formations en présentiel, 58% le sont gratuitement.
La pérennité des Campus numériques est soumise à de nombreuses conditions
Même si la plupart des apprenants suivant une FOAD (plus de 85%) peuvent envisager de suivre à nouveau une telle formation à l’avenir, des efforts sont à fournir à tous les niveaux pour mettre en œuvre une stratégie d’augmentation d’effectifs et assurer ainsi la pérennité des Campus numériques.
• Les chefs de projets sont unanimes pour déclarer que les coûts de fonctionnement qu’ils ont à supporter sont trop élevés et qu’ils ont du mal à recruter des enseignants tuteurs.
• Les apprenants mettent parfois en avant le manque de contact et la pédagogie parfois inadaptée.
Des opérations de communication sont à mettre en place rapidement.
• Pour le moment, le bouche à oreille est encore l’un des vecteurs les plus importants de transmission de l’information concernant les Campus numériques. Moins de 50% des campus ont mis en oeuvre des opérations de communication formalisées.
• La mise en place d’un catalogue des formations et la communication sur les expériences est un levier à actionner pour assurer une meilleure visibilité des Campus numériques. Pour assurer la pérennité des Campus numériques, l’élargissement de l’offre, de sa portée ainsi que l’amélioration de la reconnaissance de l’implication des enseignants semblent nécessaires. Environ la moitié des auteurs et des tuteurs ont le sentiment que leur travail n’est pas valorisé ou reconnu. Malgré tout, près de 8 auteurs sur 10 se sentent plutôt prêts à s’impliquer d’avantage dans l’enseignement à distance ou dans le développement des TIC au sein de leur UFR ou établissement, mais aussi dans les Campus Numériques. De plus, la quasi-totalité des enseignants auteurs et tuteurs souhaitent poursuivre leur activité au sein des Campus numériques, en insistant tout de même sur le fait qu’une meilleure reconnaissance au niveau de la rémunération notamment, serait un facteur important de motivation.
Pour le moment, le développement international des Campus numériques est avant tout francophone et des collaborations européennes sont rarement envisagées même si pour la plupart des partenaires, l’ouverture à l’international est un objectif prioritaire pour l’avenir.Les chefs de projet souhaitent des améliorations dans leurs relations avec les acteurs partenaires, notamment avec les ministères (assistance et soutien financier), les établissements d’enseignement supérieur français (mutualisation, partage) et l’Agence Universitaire de la Francophonie (information et améliorations organisationnelles).
Enfin, dans plus de 8 cas sur 10, les chefs de projets indiquent que le financement futur des Campus Numériques n’est pas assuré. Pour palier cette déficience, les chefs de projet et les responsables d’établissements comptent se lancer dans la recherche d’autres financements, et avoir recours à des financements internes à l’établissement.
L’évaluation financière des Campus numériques fait ressortir certains facteurs clés de succès
La pérennité des Campus numériques repose sur des éléments financiers mais aussi sur des éléments plus subjectifs :
• l’intégration budgétaire des Campus numériques au sein des établissements d’enseignement supérieur est un gage de pérennité du projet considéré. Les financements issus de la Dotation Globale de Fonctionnement et du volet TIC du contrat quadriennal sont alors mobilisés ;
• un travail de prévisions budgétaires est indispensable. La valorisation du volume d'investissement technologique résiduel, lié à l’avancement des programmes de formations (faisabilité, expérimentation, exploitation courante) doit pouvoir conditionner le niveau des recettes à allouer aux investissements par rapport à celles à allouer au fonctionnement ;
• la recherche de sources de financements
alternatives au dispositif de subventions des appels à projets est indispensable ;• l’amélioration globale de l’infrastructure technique et organisationnelle est nécessaire : plate-forme, réseaux, hébergement, administration, maintenance ;
• la cohésion des consortiums et la participation
active des partenaires, qu’ils soient établissements d’enseignement ou non doit être renforcée ;• la motivation et la personnalité du chef de projet ou du responsable de formation est clé, son choix n’en est que plus fondamental. Son attitude plus ou moins volontariste et créative dans le démarchage auprès des partenaires publics et privés et l’obtention de subventions directes conditionne largement l’activité du Campus Numérique.
Recommandations pour l’évolution de
l’opération Campus numériques
françaisDes pistes de recommandations ont été formulées à l’issue de l’évaluation de l’opération, avec pour objectif de permettre aux acteurs d’envisager l’évolution des Campus numériques, dans des conditions optimales.
Des Campus numériques plus « industrialisés »
Cette « industrialisation » devrait pouvoir s’appuyer sur un certain nombre d’actions pragmatiques :
1. La création d’une structure fédérale de support au service des Campus : dans une organisation structurée en réseaux fédérés, le pouvoir est ascendant et le pilote du réseau a pour vocation première le service aux membres du réseau, pour mutualiser des ressources communes.
2. La participation de cette structure à l’élaboration d’une stratégie globale qui respecte les objectifs des différentes parties prenantes (Europe, Etat, Région).
3. La participation de cette structure fédérale à la définition et la mise en œuvre de normes et standards. Ces normes et standards seraient d’ordres technique et méthodologique. Des normes techniques visant à assurer l’interopérabilité des plates-formes d’enseignement des Campus numériques. Des normes méthodologiques visant à fournir les éléments de base incontournables pour le succès d’un projet de Formation Ouverte et à Distance. La définition de ces normes serait accompagnée de la fourniture d’outils d’auto évaluation de la performance.
4. L’implication de cette structure dans l’organisation de communications interne et externe (catalogue
des formations, campagne de communication, etc.).
5. L’implication de cette structure pour une veille technique et fonctionnelle.
6. L’implication de cette structure pour l’organisation de la capitalisation et la mutualisation des expériences et l’analyse des opportunités liées à la généralisation d’applications locales et de ressources pédagogiques.
Des Campus numériques internationaux
Il s’agit de favoriser les développements internationaux des Campus numériques. L’enjeu est majeur, notamment au niveau européen, car de nombreux projets d’e-learning sont financés par des subventions européennes. Ceci permettrait également aux Campus numériques de côtoyer des établissements peut-être plus avancés dans leurs projets de formation à distance et ainsi de faire progresser l’ensemble de l’offre de formations ouvertes et à distance française.
7. Mettre à disposition une ressource commune permettant d’accompagner les campus dans le montage de partenariats internationaux et/ou la recherche de financements européens.
Lever les obstacles statutaires et réglementaires
8. Intégrer les activités d’auteur et de tuteur de FOAD dans la définition des services des enseignants du supérieur.
9. Appliquer ou adapter les règles de la propriété intellectuelle pour les enseignants du supérieur.
|
|
