por CELSO HENRIQUE SOUFEN TUMOLO

Pedagogo pela UNICAMP, Mestre e Doutor em Letras/Inglês pela UFSC, com pesquisa na área de validação em testes. Pesquisador colaborador do IPPSEA e membro do NEL, Núcleo de Estudos em Leitura, UFSC.

Procedimentos usados em processos seletivos: será que são defensáveis?

Resumo

Este texto traz uma reflexão sobre procedimentos usados em processos seletivos, tomando como base um processo seletivo desenvolvido para seleção de professor de inglês para docência em uma universidade pública estadual. Usando, para análise, o critério validade, é possível concluir que procedimentos usados no processo seletivo não são defensáveis para as interpretações sobre o conhecimento dos candidatos, como também para as ações de pontuação, aprovação e reprovação dos mesmos. Ou seja, os procedimentos não são defensáveis considerando os objetivos para os quais o processo seletivo foi desenvolvido, tornando-o um processo não defensável como um todo.

Introdução

Processos seletivos fazem parte de nosso cotidiano e são usados para objetivos como escolha de candidatos para desempenhar funções específicas. Mas como saber se os procedimentos usados são defensáveis?

Neste texto, faço uma reflexão sobre procedimentos usados em testes, usando como critério principal validade, considerado o mais importante para análise de processos avaliativos. Validade pode ser definida, grosso modo, como uma investigação a partir do questionamento se um teste mede aquilo para o qual ele foi desenvolvido. Seria, assim, estabelecida a partir da investigação da adequação do teste para os objetivos traçados para seu desenvolvimento.

Como validade não é um critério a ser usado para avaliar o teste, mas sim as interpretações e ações decorrentes de seu uso (Messick, 1989), farei uso aqui, como fiz em Tumolo (2005), do termo defensável para conclusões sobre os itens do processo seletivo, onde defensável refere-se a itens que permitem coletar evidências para interpretações e ações com maior grau de validade para os objetivos delineados para o processo seletivo.

Analisando o processo seletivo

A reflexão será baseada em um processo seletivo para seleção de professor de inglês para o Centro de Ciências da Educação, Universidade do Estado de Santa Catarina - UDESC, para ministrar aulas de leitura em inglês para o curso de biblioteconomia, processo seletivo acontecido em fevereiro de 2006[1], do qual participei como candidato.

O processo seletivo consistiu em três provas: prova de conhecimento, prova de títulos, e prova didática. Minha análise, neste texto[2], será baseada somente na prova de conhecimento[3] usada no processo seletivo do qual participei, e focará no aspecto específico de relevância para a investigação de validade. Focará, também, em confiabilidade, já que sem confiabilidade, não existe validade por ser impossível a identificação do fator relevante sendo medido.

Confiabilidade refere-se à consistência da medida, dos resultados, isto é, um candidato deve ser capaz de demonstrar suas habilidades ou conhecimentos relevantes em todas as situações de teste. Para isto, um item de teste deve ser capaz de possibilitar essa demonstração, permitindo interpretações e ações válidas baseadas nos fatores relevantes.

O item de preenchimento de lacunas[4] usado no processo seletivo analisado é baseado no princípio da psicologia da Gestalt que a mente humana é capaz de preencher informações ausentes para formar um todo coerente. A formação desse todo coerente requer assunto conhecido, pistas contextuais sintáticas e semânticas suficientes para possibilitar e restringir a inferência da informação, e número de palavras omitidas pequeno para possibilitar a construção do todo coerente.

O item continha textos da área de biblioteconomia, com assuntos normalmente desconhecidos por professores de inglês. A escolha das palavras omitidas parecia ter sido aleatória, não considerando pistas contextuais suficientes para as inferências e o provimento das palavras para as lacunas. Ademais, o número de palavras omitidas era muito grande, dificultando a construção do todo coerente e, assim, o provimento das palavras adequadas para o preenchimento das lacunas.

O item pode, assim, não ter permitido que os candidatos tivessem performance de acordo com suas habilidades ou conhecimento, carecendo de confiabilidade. Como não existe validade sem confiabilidade, este item não pode ser considerado defensável.

A seleção de candidatos para preenchimento de vagas e exercício de funções deve ser baseada em definições de habilidades e/ou conhecimentos específicos esperados, claramente definidos a partir de um construto[5], os quais tornam-se os critérios para análise de validade. Seguindo a ementa fornecida para o processo seletivo, as habilidades que podem ser esperadas para ser professor de inglês seriam fazer uso das técnicas de skimming e scanning como também para orientar o aprendiz a fazer uso autônomo das mesmas técnicas, e habilidades para orientar o aprendiz a desenvolver os conhecimentos necessários para o desenvolvimento da microestrutura e macroestrutura de um texto.

Uma questão[6] usada para a prova de conhecimento, o que significa ISBN[7]; pode ser considerada irrelevante para avaliar um professor de inglês. Saber ou não o significado da sigla ISBN não faria diferença para o uso das habilidades exigidas na ementa. Assim, este item possibilitou coletar pouca ou nenhuma evidência de validade relacionada a critério para inferência sobre desempenho futuro dos candidatos.

O que cada letra das siglas usadas significa pode ser considerado conhecimento exigido para um profissional da área de biblioteconomia, e não da área de ensino de inglês como língua estrangeira[8]. Não é possível incluir qualquer habilidade ou conhecimento em construtos usados sem argumentação plausível ou justificativa teórica para tal. Ter o conhecimento do significado de ISBN, em meu ponto de vista, carece de argumentação ou justificativa para ser parte do construto esperado para um professor de inglês. Este item pode, assim, ser considerado irrelevante, portanto não defensável.

Conclusão

A partir da análise apresentada neste texto, há argumentos para considerar que as evidências coletadas através de itens usados na prova de conhecimentos não permitem um grau aceitável para interpretação válida sobre os candidatos. Portanto, as ações de pontuação, aprovação e reprovação de candidatos nela baseadas carecem de um grau aceitável de validade. Com caráter eliminatório, esta prova pode ter resultado na reprovação de candidatos com o uso de itens não defensáveis.

Os procedimentos usados em processos seletivos precisam ser desenvolvidos por pessoas especializadas na área de avaliação. Devem seguir códigos de ética e de prática como também as exigências da noção atual de validade, que incluem justificativa de seus procedimentos. Desta forma, os resultados dos procedimentos usados estarão refletindo o nível de habilidade e/ou conhecimento dos testados, não procedimentos indefensáveis.

Bibliografia

Messick, S. Validity. In R. L. Linn (ed.) Educational measurement. 1989. Washington, DC: The American Council on Education and the National Council on Measurement in Education.

Tumolo, C.H.S. Assessement of Reading in English as a Foreign Language: Investigating the defensibility of test items. 2005. Tese (doutorado em Letras/Inglês e Literatura Correspondente) – Universidade Federal de Santa Catarina, Florianópolis.

por CELSO HENRIQUE SOUFEN TUMOLO