Non-training QA report brief

 
Relatório de síntese
Consolidação dos processos de garantia da qualidade para os serviços de desenvolvimento de capacidades não ligados à formação do CIF-OIT

Relatório original elaborado por:

O.J. krueck

O.J. Krueck

Managing Director at ECCOS
1. Contexto operacional

 

Em conformidade com a estratégia de desenvolvimento de capacidades da OIT de 2019, os serviços de desenvolvimento de capacidades do Centro dividem-se em três categorias: desenvolvimento de capacidades a nível individual, desenvolvimento de capacidades a nível institucional e desenvolvimento de capacidades a nível do sistema. 

O principal meio do Centro para reforçar capacidades a nível individual é a formação, ministrada em linha ou presencial. A fim de reforçar as capacidades a nível institucional, o Centro oferece, aos constituintes da OIT e a outros intermediários, serviços de aconselhamento técnico, desenvolvimento de materiais de formação e apoio ao desenvolvimento dos meios de comunicação social, com o mandato de promover o trabalho digno. Para reforçar a capacidade a nível do sistema, o Centro facilita atividades de diálogo e serviços de gestão do conhecimento

 

Typology of capacity development services

 

A elaboração do relatório original aconteceu no momento em que o Centro assistiu a uma mudança da sua principal ênfase anterior na carteira de serviços no desenvolvimento de capacidades a nível individual, com destaque para a formação presencial, para a aprendizagem à distância, devido às grandes restrições de viagem ao longo de 2020 provocadas pela COVID-19.

Em 2020, o Centro alcançou mais de 50 000 aprendentes de mais de 180 países com serviços de formação, e mais de cem organizações com outros serviços não ligados à formação.

Além disso, o Centro registou uma mudança significativa no que respeita à prestação de serviços, tendo os serviços de desenvolvimento de capacidades a nível institucional e a nível do sistema experimentado um aumento do número de atribuições e de presenças em relação à prestação de serviços de formação tradicionais no campus ou no terreno. 

2. Objetivos

 

  • O objetivo global da atribuição consistia em contribuir para a plena conformidade do Centro com a norma ISO 29993 para os prestadores de serviços de aprendizagem fora do ensino formal e, quando aplicável, com a norma ISO 20700 (para os prestadores de serviços de consultoria). 

  • O objetivo imediato consistia em reforçar a capacidade do gabinete do diretor de Formação para assegurar a qualidade dos serviços de desenvolvimento de capacidades a nível institucional e a nível do sistema do Centro, através da introdução de processos e ferramentas para recolher e analisar dados de qualidade pertinentes ao longo do ciclo do PDCA.#

  • O resultado direto da atribuição foi o estabelecimento de um sólido sistema de garantia de qualidade para os serviços de desenvolvimento de capacidades não ligados à formação.

 

 

The PDCA cycle

 

3. Discussão

 

  • O CIF-OIT já dispõe de uma arquitetura de garantia da qualidade que visa melhorar continuamente a qualidade no domínio dos serviços de formação, com um conjunto de procedimentos, instrumentos e práticas adequados.

  • As três dimensões mais comuns para definir a qualidade são: 
  1. conformidade com as normas
  2. satisfação das necessidades dos clientes
  3. nível aceitável de preço e custos
  • Existem muitas definições para os serviços de aconselhamento, mas as duas abordagens principais são:
COM UMA VISÃO FUNCIONAL

Qualquer forma de prestação de ajuda sobre o conteúdo, o processo ou a estrutura de uma tarefa ou de uma série de tarefas, em que o prestador de serviços não é efetivamente responsável pela execução da tarefa em si, mas está a ajudar aqueles que o são

COMO SERVIÇO PROFISSIONAL

Quando, a qualquer momento, um profissional tenta alterar ou melhorar uma situação ou um sistema, mas não tem controlo direto sobre a implementação

  • A investigação mostra que a dimensão mais importante dos serviços de aconselhamento é a fiabilidade, porque resultará numa maior satisfação dos clientes:
  1. A fiabilidade abrange a consistência de desempenho e a confiança
  2. A capacidade de resposta diz respeito à disponibilidade do pessoal para prestar o serviço
  3. A competência diz respeito às aptidões e aos conhecimentos necessários para executar o serviço
  4. O acesso envolve acessibilidade e facilidade de contacto
  5. A cortesia implica boa-educação, respeito e consideração por parte do pessoal de contacto
  6. A comunicação significa manter os clientes informados
  7. A credibilidade envolve a honestidade, a fiabilidade e os interesses do cliente
  8. Compreender as necessidades do cliente

 

  • O CIF-OIT beneficia de uma vantagem comparativa, uma vez que faz parte da família das Nações Unidas, com regulamentos de contratação bem conhecidos e, além disso, um grupo definido de constituintes bem conhecidos como clientes aos quais o CIF-OIT deverá prestar serviços como parte do mandato.
  • Os prestadores de serviços podem utilizar várias ferramentas e instrumentos para medir a qualidade dos serviços e a satisfação dos clientes no que diz respeito aos resultados e impactos. Os inquéritos aos clientes são os mais usados para medir a satisfação e identificar aspetos problemáticos na prestação de serviços, desde o planeamento até à implementação.
  • Em processos ágeis, um ciclo contínuo de feedback minimiza os resultados abaixo do ideal dos serviços de aconselhamento. No entanto, a maioria dos clientes ainda prefere uma conceção de processo tradicional unidimensional, com objetivos, marcos e cronogramas predefinidos. Os dados empíricos mostram, contudo, que os processos ágeis produzem uma melhor sustentabilidade e um impacto mensurável dos serviços de aconselhamento.

Agile process

Um processo ágil iterativo prototípico

 

  • A qualidade de um serviço de aconselhamento pode ser medida através de um ciclo de feedback ágil contínuo, do seguinte modo:
Discussão
Fase 1: Discussão com o cliente

para compreender e definir por escrito:

  • O contexto estratégico e operacional
  • As partes interessadas, facilitadores, obstáculos, desafios
  • A cultura organizacional
  • A visão, a missão e os objetivos operacionais
  • A estratégia atual para alcançar os objetivos
  • A estrutura organizacional e os processos atuais para atingir objetivos
Objetivos
Fase 2: Definição dos objetivos dos serviços de aconselhamento
  • Contribuição desejada dos serviços para os objetivos estratégicos e operacionais
  • Limites do sistema de serviços de aconselhamento
  • Calendário global
  • Responsáveis pelas decisões
  • Gestores/as de tarefas
  • Outros especialistas envolvidos
Implementação
Fase 3: Implementação iterativa de serviços de aconselhamento:
  • Reuniões mensais (pelo menos) do projeto para avaliar o progresso das etapas do processo, as realizações e os desafios encontrados
  • Revisão da validade dos objetivos dos serviços de aconselhamento
  • Revisão das etapas do processo e decisão sobre as alterações necessárias
  • Revisão da adequação dos decisores, dos/as gestores/as de tarefas, dos especialistas envolvidos, tanto do cliente como do prestador de serviços de aconselhamento
  • Identificação dos parâmetros conducentes à mudança

 

  • Em contraste com a forma iterativa de um processo ágil, a forma mais convencional de avaliar a qualidade da prestação de serviços de aconselhamento pode ser assegurada utilizando um «sistema de gestão da qualidade total ou integrado» linear com um processo padrão, como a ISO 9001.
  • Com a última modificação da ISO 9001:2015, existem sete princípios de gestão da qualidade que a maioria dos sistemas de garantia de qualidade utiliza como base para uma das muitas abordagens modificadas para a prestação da qualidade do serviço:
  1. Enfoque no cliente
  2. Liderança
  3. Envolvimento das pessoas
  4. Abordagem por processos
  5. Melhoria
  6. Tomada de decisões assente em dados concretos
  7. Gestão dos relacionamentos.
  • Por conseguinte, o serviço de aconselhamento seguiria uma abordagem estruturada, transparente e linear do processo para:
necessidades do cliente
1. Compreender as necessidades do cliente e alinhar o serviço de aconselhamento em conformidade

versus vender serviços padronizados prontamente disponíveis e alinhar as necessidades do cliente com os serviços disponíveis.

funções na implementação
2. Definir funções claras para a implementação dos serviços de aconselhamento

versus funções e responsabilidades pouco claras ou frequentemente alteradas durante a implementação do projeto.

diferentes níveis de pessoal
3. Envolver ativamente diferentes níveis e grupos-alvo do pessoal e da gestão do cliente

versus enfoque apenas na pessoa que toma decisões e/ou no/a gestor/a de tarefas designado/a durante a implementação do projeto.

marcos
4. Introduzir metas claras e mensuráveis para o processo global

versus apresentar resultados no final do processo.

Indicadores
5. Introduzir indicadores quantitativos e qualitativos para mostrar as melhorias decorrentes do serv

versus fornecer somente um serviço de aconselhamento sem ligação com os objetivos operacionais do cliente.

Compilação de dados
6. Introduzir um sistema para compilar dados durante todo o processo

como base para a tomada de decisões assente em dados concretos para o cliente – versus a tendência de usar «projetos/processos preferidos» de clientes ou prestadores de serviços de aconselhamento como base para a tomada de decisões.

Gestão da relação com o cliente
7. Introduzir um sistema de gestão do relacionamento

(«pós-venda»), através do qual uma comunicação contínua com clientes anteriores garante que os serviços de aconselhamento: a) continuam a produzir os resultados inicialmente pretendidos, b) as alterações exigidas podem ser abordadas rapidamente, c) podem ser identificados serviços adicionais e transformados em novas oportunidades de negócio.

  • O processo acima seria documentado logo no início e verificado (em especial, o atingimento de metas) durante todo o processo de implementação e entregue ao cliente. Geralmente, este documento é designado «manual de documentação do processo», garantindo ao cliente que todas as etapas do processo: a) foram implementadas, e b) podem ser replicadas a qualquer momento.

  • Outro padrão de relevância a ser considerado é a ISO 20700, que é uma diretriz para a gestão de serviços de aconselhamento. Em benefício do CIF-OIT, pode servir de base para a prestação de serviços de aconselhamento, mas menos para a conceção de uma arquitetura de garantia da qualidade.

4. Melhores práticas globais

 

  • Muitas organizações do setor dos serviços de aconselhamento de gestão desenvolveram sistemas de gestão da qualidade total (GQT) para proporcionar uma abordagem mais abrangente que visa integrar o maior número possível de desafios de qualidade. Não existe uma norma internacionalmente acordada para a GQT, e muito menos uma designação uniforme para o quadro e o processo de melhoria subjacente. A digitalização de processos (selecionados) tornou-se uma tendência para os sistemas de GQT.
GQT
Sistemas de gestão da qualidade total

A GQT é uma abordagem de gestão para o sucesso a longo prazo por meio do enfoque na satisfação do cliente. Este quadro é definido como um processo de melhoria incremental em vez de um sistema fixo.

  • Um grande número de outras organizações está a desenvolver e a adotar sistemas de gestão integrados (SGI) que visam combinar todos os aspetos dos sistemas, processos e normas de uma organização num sistema holístico. Os SGI também utilizariam soluções digitais, se e quando aplicáveis por razões de eficiência.
SGI
Sistemas de Gestão Integrados

Um SGI permite que uma organização aborde todos os elementos do sistema de gestão no seu conjunto, evitando a utilização de vários sistemas de gestão. Evitar-se-ia a existência de várias normas numa organização, visando a racionalização dos processos segundo as mesmas normas, quando aplicável. Um SGI permite que estes processos sejam combinados de modo a abranger simultaneamente todos os requisitos específicos de cada norma.

  • As arquiteturas da GQT e do SGI baseiam-se estruturalmente na norma ISO 20700 para a prestação de serviços de gestão de consultoria e aconselhamento, mas vão para além desta. A norma ISO 20700 serve de orientação básica para a prestação dos serviços, mas não permite a construção de uma arquitetura abrangente enquanto tal.
5. Conclusões

 

  • O ciclo PDCA da ISO 29993 já reflete a recomendação geral da ISO 20700 sobre avaliações e melhorias contínuas «para avaliar e determinar a eficácia da atribuição». A ISO 20700 não acrescenta mais detalhes ou valor ao sistema de garantia de qualidade existente no CIF-OIT com a sua série de verificações de qualidade realizadas ao longo do ciclo PDCA.

  • A conceção e implementação da metodologia de avaliação de 4 níveis do Departamento de Formação, com o KAT como peça central, é o estado da arte. Em comparação com outros centros de formação, esta metodologia de avaliação pode mesmo ser considerada uma boa prática.

  • Os constituintes da OIT exigem, com razão, um impacto mensurável na agenda do trabalho digno. É evidente que o Departamento de Formação, com a sua abordagem de avaliação abrangente e rigorosa, avalia profissionalmente o impacto das atividades de formação pelos níveis 3 e 4 da metodologia de avaliação do Centro. Por sua vez, o processo de garantia da qualidade para os serviços não ligados à formação também necessitaria de compilar informações qualitativas sobre os resultados e o impacto imediatos dos serviços do Centro.

6. Recomendações
  • It is recommended to follow the existing and tested QA framework of the ITCILO in line with ISO 29993 also for the evaluation process of institutional capacity development services. The corresponding PDCA cycle adequately mirrors the four required stages for providing both individual and institutional capacity development services.
  • ITCILO already uses an online institutional capacity self-assessment through a survey-monkey questionnaire to record the satisfaction with outputs towards desired outcomes and impacts.
  • Similarly, the assignment-specific assessment reports are a suitable way to individually assess and evaluate the service delivery.
  • When it comes to the annual reports with aggregated data on advisory services the question arises if corrective action can derived from aggregated data for rather specific designs for assignments. But overall, the tools are only utilized on an ad-hoc basis or demand basis for non-training services. This is clearly not enough to match the professional approach and set of tools already in place for assuring the quality of training services.
  • The challenge for ITCILO therefore is two-fold, i.e. there are currently not enough tools to assess quality and the ones in place are not being used systematically enough to generate reliable data for the two main purposes of a QA architecture: accountability and quality improvement.

In line with the international trend of applying “holistic” or “integrated” management systems to an organization, the question then arises what elements of the QA architecture ITCILO already has in place for individual level training services could possibly be utilized for assessing quality and impact of institutional level non-training services to avoid parallel or even competing QA systems, tools, and processes.

  • ITCILO is up to now missing suitable tools and instruments to allow for quality assurance for institutional-level capacity development services at least for the stages of planning and checking.
  • An adapted version of the “New World Kirkpatrick Model” can very well serve as an evaluation methodology for non-training services and in turn cover several elements of the PDCA cycle.
  • It is recommended to design and introduce tools that evaluate performance more on a qualitative level than on a quantitative level. Reason being that non-training advisory services provided by ITCILO are usually less standardized.They typically address the needs of a specific client with little opportunities to create and benefit from economies of scale. It is still possible and recommended to introduce standardized tools and instruments to quality check all stages of the PDCA cycle for non-training services.For easy reference the following table compiles specific recommendations for tools along the full PDCA cycle.

Recommended tools on PDCA cycle

 

  • The results obtained from these tools will feed the suggested additional indicator either/or in a quantitative or a qualitative manner. 
  • If ITCILO decides to select a quantitative indicator, e.g. the percentage of customer satisfaction in regard to professional implementation and suitability of provided services to improve performance results from categories 1 - Plan and 2 – DO will feed into the indicator.
  • If ITCILO opts to select a qualitative indicator, e.g. impact of improved services on target groups/beneficiaries of customers, results from categories 3 - CHECK and 4 - ACT would feed into the indicator.

Utilize the set of quality assurance tools and instruments on a regular basis by default instead of ad-hoc basis.

The Centre can set and aim for achieving a key performance indicator (KPI),i.e. the change in the clients institutional performance as an immediate outcome of the delivered service. To measure this, clients should be asked after a 6 to 12 months incubation period for the emerged impacts, for example:

1. To what extent have systems, materials, tools provided through the service been actually been applied and used in the institution

For the data collection, it is recommended to design an online questionnaire in line with the process steps of the agile or linear process design as basic information. The results of this questionnaire will be more of a quantitative nature as replies can be ticked in a yes / no format. The advantage is that only representatives of the customer are required to reply and they can easily and quickly fill such an online questionnaire. The KPI would be designed in way of e.g. “percentage of provided tools used in (daily) operations of customer”.

 

2. To what extent has the performance of the institution improved as a result of their application of the service provided.

For the data collection, a wider perspective is required, i.e. because the target group/beneficiaries of the customer will have to be addressed to actually assess the performance improvement thanks to the advisory services of ITCILO. In turn, a more qualitative methodology is required to produce tangible data, e.g. a focus group discussions or bilateral interviews with beneficiaries.

  • What became apparent during the analysis of documents and when conducting the interviews is a rather interchangeable use of different terms for non-training services. While some Programme representatives might call them advisory services, others might refer to them as non-training services. Also, different documents of the ILO and ITCILO are using different terms. Therefore, before taking a closer look at what non-training service products ITCILO is currently providing a clarification of the terms and its context seems justified.
  • While the typology aims at clarifying the type and level of the capacity development service, an alternative suggestion might be discussed, i.e. the (contractual) relationship of ITCILO with the respective (business) partner in a capacity development service delivery process. The typology could then follow a classification of e.g. Business to Customer (B2C) for individual level services and Business to Business (B2B) for institutional and system level capacity development  services.
  • Going even one step further and selecting the appropriate classification for ITCILO as a non-for-profit organization, one could also think of the more adequate terms of Organization to Participant (O2P) and Organization to Organization (O2O). In either case, the notion of ITCILO providing capacity development services for a “beneficiary” seems a bit outdated carrying the connotation of “handing out a service”. Instead it is recommended to discuss the idea of creating the understanding of a professional relationship between two equally interested parties for supplying and demanding capacity development services.

Introduce at least 4 types and clear definitions of services with two respective sub-categories for Training Material and Media Development and a separation of advisory services into Technical Advisory Services and Project Management Services

For better and more transparent understanding in MAP, aggregated reports, and potential replication of CD services for new clients. For ease of reference as well as internal and external communication it is recommended to introduce a revised categorization of institutional capacity development services.