External evaluation 2021 report brief

Avaliação externa realizada por: (Veja o relatório completo)

No biénio 2020–21, o Centro assistiu a uma passagem maciça da formação presencial para a aprendizagem plenamente em linha, impulsionada pela eclosão da pandemia de COVID-19. Em dois anos, o número de inscrições por ano em atividades de formação em linha quintuplicou.

A fim de comprovar a pertinência, a validade da conceção, a eficácia, a eficiência, o impacto e a sustentabilidade das suas atividades de formação plenamente em linha e formular recomendações para a melhoria e o desenvolvimento dos cursos de formação em linha, o Centro encomendou, em meados de 2021, uma avaliação externa. Os critérios de avaliação basearam-se nos princípios de avaliação do CAD-OCDE e envolveram pesquisa documental, um inquérito em linha com mais de 9 000 participantes, entrevistas com participantes, clientes institucionais e com o pessoal do Centro e a elaboração de estudos de caso.

A avaliação analisou uma amostra de vinte atividades de formação oferecidas em 2020, e alcançou mais de 9 000 participantes. A amostra incluiu uma variedade de cursos pagos e gratuitos, abertos e personalizados, com apoio de tutores/as e auto-orientados, que foram realizados usando um conjunto diversificado de ferramentas e plataformas, incluindo eCampus, Solicomm, webinars e realidade virtual.

Os critérios de avaliação basearam-se nos princípios de avaliação do CAD-OCDE e a metodologia utilizada combinou análises quantitativas e qualitativas dos resultados.

Foi recolhido um número significativo de 1 284 respostas através de um inquérito em linha aos/às participantes (análise quantitativa) que avaliou igualmente a validade da conceção da formação para apoiar uma experiência de aprendizagem em linha significativa utilizando o quadro da Comunidade de Investigação (CoI).

O modelo pressupõe que a aprendizagem e o envolvimento efetivos em atividades de aprendizagem em linha ocorrem dentro de uma comunidade de aprendizagem em linha através da interação da presença social, presença cognitiva e presença de ensino.

Foram realizadas entrevistas aprofundadas com membros do pessoal do CIF-OIT (27), clientes institucionais (2) e participantes (7), além de uma análise documental de documentos relevantes, relatórios, conceção dos cursos, avaliação e resultados de aquisição de conhecimentos. Além disso, o eCampus foi visitado para analisar o envolvimento dos/as participantes (análise qualitativa).

Com base nas entrevistas, foram apresentados três estudos de caso que captam os impactos positivos criados pelas atividades de formação em linha do Centro. Cada caso inclui informações sobre o modo como os/as participantes ou os beneficiários institucionais introduziram alterações positivas nas suas experiências de trabalho ou na sua cultura institucional através da aprendizagem de novos conhecimentos e competências a partir das atividades de formação em linha do Centro.

• Existe um forte sentimento de apreço e reconhecimento, partilhado entre os/as entrevistados/as, de que o Centro conseguiu chegar com êxito aos seus grupos-alvo e proporcionar a formação exigida pelos seus beneficiários, parceiros e doadores.

• O Centro tem desempenhado eficazmente o seu papel na prestação de formação especializada aos constituintes da OIT sobre diferentes aspetos da Agenda para o Trabalho Digno, através da transição rápida e eficaz das suas atividades de formação em linha.

• O pessoal mantinha relações de trabalho colegiais e de apoio com as organizações que são suas clientes. Foram capazes de recolher uma série de provas empíricas positivas, demonstrando a eficácia de suas atividades de ensino (por exemplo, consequências bem-sucedidas da aquisição de conhecimentos, mudanças organizacionais efetivas).

• O Centro tem ajudado, com sucesso, as organizações que são suas clientes e os/as participantes nos cursos a navegar em situações em rápida evolução e a recuperar dos desafios inesperados que surgiram durante a pandemia.

• Entre as atividades analisadas, mais de metade recebeu pontuações médias de satisfação mais elevadas em 2020 do que em 2019. Os restantes cursos, apesar da ligeira diminuição das suas pontuações globais de avaliação, obtiveram pontuações médias elevadas nas questões relacionadas com a aplicação dos conhecimentos, os benefícios para a organização e a satisfação global.

• O Centro alcançou um público mais amplo e diversificado com as atividades de aprendizagem à distância em linha, especialmente participantes de países com rendimento médio que beneficiaram de soluções de aprendizagem digital, evitando os custos com viagens e alojamento.

• Responderam ao inquérito participantes de 151 países diferentes. Após a experiência de aprendizagem em linha, apenas um quarto dos/as entrevistados/as afirmou que preferiria regressar a uma formação totalmente presencial; a maioria preferiria cursos mistos de aprendizagem, seguidos de perto por participantes que prefeririam cursos totalmente em linha. Assim, três quartos dos/as participantes prefeririam um formato digital de algum tipo no futuro.

• Os/as participantes tendem a acreditar que têm mais probabilidades de beneficiar do intercâmbio de ideias e experiências com outros participantes numa comunidade de aprendizagem à escala internacional. Muitos/as apreciaram poder aceder às oportunidades de formação e conhecimentos especializados atualizados através da realização em linha durante a pandemia, quando as viagens internacionais foram totalmente proibidas. No entanto, sentiram a falta dos aspetos sociais das atividades de formação presencial.

• Apenas nos países da Oceânia, a maioria dos/as entrevistados/as preferiria a formação presencial no futuro. Na África, América Latina e Europa, a maioria dos/as participantes prefere cursos mistos de aprendizagem, e na Ásia e no Oriente Médio, cursos totalmente em linha seriam a primeira opção.

• Os/as participantes nos cursos da amostra parecem estar bem equipados com dispositivos técnicos e ferramentas para aceder aos cursos em linha do CIF-OIT. A análise também constatou que o acesso e a navegação no sistema de aprendizagem em linha, eCampus, não era um problema.

• Alguns participantes experimentaram dificuldades no acesso aos cursos em linha através de dispositivos móveis.

• As barreiras linguísticas suscitam maiores preocupações (do que as barreiras tecnológicas). Tendo em conta o aumento dramático da participação em linha entre os grupos-alvo, esta preocupação pode merecer uma atenção mais cuidadosa.

• O Centro fornece uma combinação adequada de ferramentas de informação e comunicação síncronas e assíncronas. Os/as participantes tendem a preferir ligeiramente o conteúdo assíncrono que permite níveis mais altos de flexibilidade e acessibilidade.

• As discussões sobre como aplicar os tópicos e conceitos abordados nos cursos são mais eficazes em cursos orientados por tutores, que também oferecem oportunidades de interação entre os/as participantes que podem trazer as suas experiências a partir do seu contexto de trabalho.

• Os/as participantes tendem a considerar que os cursos em linha que lhes proporcionam oportunidades estruturadas e orientadas para utilizar novas competências melhoram as suas próprias práticas de forma mais positiva do que outros tipos de cursos.

• Os/as participantes relataram níveis mais baixos de aplicação de conhecimentos em cursos auto-orientados.

• Os criadores e facilitadores conseguiram oferecer cursos em linha altamente envolventes, interativos e solidários, que proporcionaram oportunidades para experiências de aprendizagem ricas e profundas.

• A transição emergente resultou no rápido surgimento de uma série de abordagens diferentes para a conceção de atividades de formação em linha. A falta de um quadro de conceção coerente e uma seleção existente de boas práticas levaram a que cada unidade desenvolvesse as suas próprias abordagens e estratégias para a conceção de cursos em linha. Assim, a conceção do curso foi feita de forma bastante intuitiva (mais do que sistematicamente) com base nas suas experiências anteriores de formação presencial (ou mista).

• As atividades de formação em linha com elementos interativos multimédia tendem a ser consideradas mais eficazes do que outras atividades de formação, tendencialmente baseadas em texto ou menos interativas.

• Os recursos investidos na realização de atividades de formação em linha têm sido utilizados de forma económica. As contribuições foram traduzidas nos resultados desejados para satisfazer as exigências de beneficiários, parceiros e doadores. Com exceção de um pequeno número de atividades de formação anteriormente concebidas num formato misto, a maior parte das novas atividades de formação em linha foram desenvolvidas de forma altamente eficiente em condições financeiras e conjunturais restritas (por exemplo, cortes orçamentais, medidas de confinamento) em 2020. Quando se trata de olhar para os recursos e os insumos não humanos (por exemplo, fundos), os custos operacionais diretos foram reduzidos, e os resultados obtidos significativos.

• Todas as atividades analisadas geraram receitas, cobrindo custos diretos (muitas com receitas muito superiores aos custos). Dado o aumento dramático das inscrições nesses cursos em linha sem aumentar os insumos, é um sucesso notável. Por conseguinte, as atividades de formação em linha do Centro podem ser consideradas altamente eficientes com base numa fórmula relativamente simples de entradas e saídas.

• A grande maioria dos/as participantes concordou ou concordou fortemente que o curso era pertinente (95,4 %), traduziu a teoria em prática (92,3 %) e que podem aplicar o que aprenderam no seu ambiente de trabalho (94,3 %). 54,6 % partilharam um exemplo concreto da sua aplicação do conhecimento após a formação. Além disso, os/as participantes comunicaram que conseguiram melhorias significativas ou muito significativas em termos das suas competências (85,6 %) e do desempenho no emprego (69,0 %) em resultado das atividades de formação.

• Os/as participantes exprimiram o seu desejo de receber formação mais pertinente para os seus contextos locais e conhecimentos prontamente aplicáveis nos seus próprios contextos organizacionais, em vez de conhecimentos gerais ou teóricos.

• O Centro serviu com êxito os seus grupos-alvo em 2020, apesar da perturbação maciça causada pelo surto de COVID-19.

• A pertinência das atividades de formação em linha do Centro foi inesperadamente elevada em 2020, respondendo eficazmente às exigências e necessidades dos seus grupos-alvo.

• O Centro conseguiu aumentar massivamente o número de participantes através da aprendizagem à distância.

• As atividades de formação em linha do Centro têm sido um instrumento extremamente eficaz para reforçar a capacidade dos constituintes da OIT e de outros parceiros de desenvolvimento da OIT — especialmente durante a pandemia de COVID-19. Uma vez que a transição em linha foi impulsionada e influenciada principalmente pelas necessidades e exigências reais dos parceiros, é claramente vista como um grande êxito na realização da missão e dos planos estratégicos do Centro.

• As atividades de formação revistas atingiram efetivamente os seus objetivos imediatos. Muitos participantes consideraram benéfico o seu envolvimento com as atividades, contribuindo para sua prática profissional e desenvolvimento. A fórmula simples – os bons objetivos adequados conduzem a bons resultados – foi observada neste processo de revisão.

• Encontrar um equilíbrio entre acesso, qualidade e custos abre caminho para que o CIF-OIT alcance e sirva os seus grupos-alvo, ampliando o acesso e aumentando as atividades de formação à distância.

• Dada a enorme importância do impacto a longo prazo e do reforço das atividades de formação à distância do CIF-OIT, é necessário explorar a procura dos/as participantes de diferentes modos de prestação, bem como de interação síncrona e assíncrona.

• É muito importante prestar apoio técnico. Poderá haver margem para melhorias no que respeita à informação prestada aos/às participantes.

• Apesar da rápida transição em linha e dos desafios pedagógicos associados, a eficácia das novas atividades em linha revelou-se extremamente elevada.

• Uma vez que as preferências pedagógicas e as limitações técnicas variam significativamente entre os diferentes grupos de aprendentes, a abordagem baseada em unidades para a conceção do curso e o modelo de tomada de decisão, que surgiu durante a pandemia, ainda é considerada adequada.

• Os cursos mais longos tendem a ser considerados mais eficazes pelos aprendentes porque lhes é dado mais tempo para adquirirem novos conhecimentos e competências e aplicá-los nos seus contextos de trabalho. Por outro lado, os cursos mais curtos proporcionam tempo limitado e, portanto, oportunidades limitadas de aquisição de conhecimento e de aplicação. A duração das atividades de curso em linha pode ser alargada, acomodando as possibilidades para a aplicação de conhecimentos.

• Os materiais de aprendizagem desenvolvidos em 2020, em comparação com os produzidos antes de 2020, são certamente vistos como menos estéticos e orientados para gráficos – uma vez que a maioria dessas produções de vídeo foram feitas internamente. Em especial, algumas atividades de formação em linha foram diretamente traduzidas a partir das antigas atividades presenciais, substituídas por uma série de webinars síncronos, sem que as atividades fossem concebidas de novo e de forma sistemática, com utilização intensiva de recursos.

• Os recursos e os insumos institucionais foram bastante reduzidos na fase de planeamento das atividades. Tendo em conta os resultados positivos desses cursos, tanto no seu alcance como na perceção da sua eficácia, podemos concluir que os recursos investidos na fase PLANEAR foram eficientes, com uma nota de advertência de que há muito espaço para melhorias na conceção e desenvolvimento dessas atividades em linha. É necessária uma abordagem sistemática e mais centrada no/a aprendente para o planeamento do curso em linha.

• Um fator fundamental que contribuiu para o êxito das atividades de formação em linha em 2020 foi a dedicação e a resiliência do pessoal do Centro, apoiada e facilitada pelo nível de liderança e colaboração da unidade. A maioria do pessoal do Centro estava totalmente empenhado para «superar a crise».

• Parece necessário rever cuidadosamente a carga de trabalho atual e a estrutura de unidades do ponto de vista da sustentabilidade e, no que se refere ao ciclo do PDCA, o Centro pode aumentar os contributos para as tarefas de Verificar e Agir e desenvolver um modelo de trabalho sistemático e um quadro abrangente para a conceção e implementação de cursos em linha, a fim de manter o nível de eficiência.

• A medida única do indicador 2.3, por si só, não é uma forma válida de medir a aplicação do conhecimento. É mais provável que os/as entrevistados/as do inquérito respondam a itens numa escala do que compartilhem as suas histórias numa janela de texto aberta.

O relatório formulou as recomendações com base nas três dimensões do quadro estratégico do CIF-OIT.

Veja a resposta da gestão do CIF-OIT