Search

The evaluation of knowledge is an important step in the teachers’ work, because it is fundamental that the evaluation results be valid and reliable. Several faculty development programs have been undertaken to improve teachers’ skills on item writing. Few studies, however, have explored the benefits of providing feedback to multiple-choice item writers. Progress Testing is a longitudinal assessment of students’ knowledge gain. Their results are useful for generating feedback to students, teachers and medical school managers. The aim of this report is to present a successful experience of faculty development on high-quality item writing for Progress Testing through feedback about the fate of the items written by faculty members. Annually, faculties from medical schools participating in a consortium for the application of the Progress Test are asked to formulate new items to compose the test version. However, the fate of the items is not known by their authors, that is, they do not know if the items are incorporated into the test, if the items have good quality, what is the students’ performance in each of the items, and what is the psychometric function of the items. In 2017, one of the schools participating in the consortium offered its item authors a feedback regarding the flaws in item writing, modification of items by the review committee and students’ performance, as well as psychometric function in each item. The percentage of flawed item (items without enough quality to be selected for the test) was more than 30%. There was an inverse relation between the number of flawed item and the number of items included in the final exam, when analyzing the different content areas of the test (that is, Internal Medicine, Surgery, Pediatrics, Obstetrics and Gynecology, Public Health, and Basic Sciences). In the following year, we observed a decrease in the number of flawed item (less than 10%) and an increase in the number of eligible items to be selected for the Progress Testing. Therefore, giving feedback to item writers seems to be a good strategy for developing the faculty’s ability on writing good quality items. Resumo: A avaliação de conhecimentos é uma etapa importante do trabalho docente, pois é preciso que os resultados das avaliações sejam válidos e confiáveis. Diversos programas de desenvolvimento docente têm sido realizados para melhorar a habilidade em elaborar questões objetivas pelos professores. Poucos estudos, no entanto, exploraram os benefícios de fornecer feedback aos autores de itens de múltipla escolha. O Teste de Progresso é uma avaliação longitudinal do ganho de conhecimentos dos estudantes cujos resultados são úteis para gerar feedback aos próprios estudantes, aos professores e aos gestores das escolas médicas. O objetivo deste relato é apresentar uma experiência exitosa em gerar desenvolvimento docente na habilidade de elaborar itens de qualidade para o Teste de Progresso por meio do feedback a respeito da qualidade e do destino destes. Anualmente, os professores das escolas médicas participantes de um consórcio para aplicação do Teste de Progresso são solicitados a formular novos itens para compor a versão do teste. Porém, o destino dos itens não é conhecido por seus autores, ou seja, eles não sabem se as questões são incorporadas à prova, se elas têm boa qualidade, qual o desempenho dos estudantes em cada questão e qual o funcionamento psicométrico delas. Em 2017, uma das escolas participantes do consórcio ofereceu aos seus autores de questões uma devolutiva sobre as falhas na redação, a modificação dos itens pelo comitê revisor, o desempenho dos estudantes nas questões e o funcionamento psicométrico em cada item. A porcentagem de itens falhos, ou seja, de qualidade não satisfatória para a inclusão no teste, era superior a 30%. Houve uma relação inversa entre a quantidade de itens falhos e o número de itens incluídos na prova final, numa análise por área de conhecimento da prova (ou seja, clínica, cirurgia, pediatria, ginecologia e obstetrícia, saúde pública e ciências básicas). No ano seguinte, observamos uma diminuição no número de falhas de itens (menor que 10%) e um aumento no número de questões elegíveis a serem selecionadas para o exame de Teste de Progresso. Portanto, oferecer feedback para os redatores de questões parece ser uma boa estratégia para desenvolver a habilidade docente em elaborar itens objetivos de boa qualidade.

RESUMO Conclusão As diretrizes curriculares propõem um perfil desejado para o médico formado, adequando o currículo às necessidades da população, com abordagem integral do indivíduo. Os profissionais da área da saúde frequentemente participam da integração ensino-serviço como preceptores. O curso de Medicina da Universidade Estadual de Campinas, em 2001, reformulou seu currículo para uma abordagem ampliada de cenários de aprendizagem, levando seus estudantes também para o ambiente em que residem seus clientes e trabalhando com a perspectiva de promover saúde. Em 2004, teve início a disciplina Atenção Integral à Saúde, em parceria com a Prefeitura Municipal de Campinas (SP), para que médicos das áreas de Pediatria, Clínica Médica e Ginecologia que atuam em Unidades Básicas de Saúde (UBS) utilizassem quatro horas de sua carga horária para supervisão de estudantes no sétimo e oitavo semestres do curso de Medicina, em conjunto com docentes da universidade. O objetivo deste estudo foi avaliar a satisfação do cliente atendido na UBS por médicos que atuam como preceptores e conhecer se estes profissionais relacionam a preceptoria com sua qualificação. De 22 preceptores, 20 aceitaram responder a uma entrevista semiestruturada sobre como se atualizam para a supervisão dos estudantes do quarto ano de Medicina da Unicamp e se, por estarem vinculados à universidade, passam por educação médica permanente, refletindo-se em um atendimento integral a seus clientes, sendo a preceptoria um instrumento para qualificar sua atuação profissional. Seus clientes foram entrevistados com um questionário fechado utilizando Smilles (emotions) para classificar o preceptor nos itens: qualidade do atendimento médico, valorização da queixa, tempo da consulta, resolutividade da consulta, confiança e aderência à orientação, e percepção geral sobre o atendimento médico. Mais de 90% dos clientes atendidos pelos preceptores apresentam satisfação quanto à assistência recebida e 80% dos médicos entrevistados relacionam a preceptoria como um instrumento para qualificar sua atividade profissional. ABSTRACT Conclusion Medical curricula guidelines outline the desired profile for graduate physicians, adapting to the needs of the population by means of an integrated approach to the individual. Healthcare professionals often participate in initiatives integrating teaching and service as preceptors. In 2001, Unicamp Medical School reformulated its curriculum to adopt an extended approach to learning scenarios, taking their students into the environment in which their users reside and working in the aim of promoting health. In 2004, the discipline entitled “Comprehensive Healthcare” was introduced in partnership with the municipality of Campinas (SP), in order that physicians in the field of pediatrics, general practice, and gynecology working in basic healthcare units (BHU) could use four of their scheduled hours to supervise students in the seventh and eighth semesters of medical school completing preceptorships, in a joint initiative with university professors. The objective of this study was to assess the satisfaction of users served in BHUs by physicians acting as preceptors and to determine if the professionals linked the preceptorship to their qualifying as professionals. Of a total of 22 preceptors, 20 submitted to a semi-structured interview, with one of the questions asking if the preceptorship helped conceptualize the service offered to the users in the BHUs in which they were acting as physicians. Users were interviewed by means of a close-ended questionnaire using emoticons to classify the preceptor on factors including quality of medical care, appreciation of the complaint made, duration of the consultation, resolution rate, trust and adherence to orientation, and general perception of the care received. Over 90% of users rated the care positively, with 80% of the physicians interviewed regarding the preceptorship as contributing to their qualifying as professionals.

RESUMO As Diretrizes Curriculares Nacionais para o Curso de Medicina de 2001 evidenciaram a necessidade de mudanças na educação médica para a formação desses profissionais. As novas Diretrizes de 2014 vieram reforçar as mudanças para maior integração ensino-serviço. A Faculdade de Ciências Médicas da Universidade Estadual de Campinas (Unicamp) promoveu uma mudança, inserindo o estudante em atividades de Atenção Primária à Saúde (APS) desde o primeiro ano, incluindo no quarto ano a disciplina Atenção Integral à Saúde, na qual se vivencia a realidade da assistência em Unidades Básicas de Saúde (UBS) durante o ano letivo. Objetivo Avaliar o interesse do estudante em atuar como médico na APS. Método Questionário estruturado enviado ao terceiro, quarto, quinto e sexto anos de Medicina no ano de 2012, antes, durante e após a disciplina. A disciplina Atenção Integral à Saúde foi criada e implementada durante a reforma curricular com a intenção de que os estudantes tivessem uma imersão na APS com responsabilidade e vínculo médico-paciente, atendendo às DCN e formando médicos para as necessidades da população. As outras disciplinas de inserção ensino-serviço que já existiam no internato tiveram adaptações durante a reforma sem transformações. Resultados Observa-se uma mudança no interesse em trabalhar na APS, que passou de 20,9% no terceiro ano de Medicina, dado confirmado por estudos anteriores, para 47% no sexto ano. Foram comparadas e analisadas estatisticamente respostas das turmas vinculadas ao estudo, mostrando que a inserção mais cedo na rede pública com integração ensino-serviço foi efetiva quanto à mudança de intenção de atuar como profissional médico na APS. O cuidado com o ensino nos estágios nas UBS com professores e preceptores, mostrando qualidade e resolutividade no atendimento, pode ter auxiliado nesta mudança nas intenções de atuar futuramente como profissionais na rede municipal de Saúde. ABSTRACT The National Curriculum Guidelines for the 2001 medical course highlighted the need for changes in medical education for training professionals. The new 2014 Guidelines strengthened the changes in order to promote greater integration between teaching and service. One change instigated by UNICAMP Faculty of Medical Sciences was to place students in Primary healthcare (PHC) activities from the first year, including the addition of an Integral Healthcare subject in the fourth year, where students experience the reality of primary healthcare in Basic Health Units (UBS) over the course of the academic year. Objective To assess student interest in working as doctors in APS. Method A structured questionnaire was sent to students in the 3rd, 4th, 5th, and 6th years of medical school in 2012, before, during, and after the course. The Integral Healthcare subject was created and implemented as part of the curriculum reform with the aim that the students would be immersed in APS, with responsibilities and doctor-patient bonds, meeting the DCNs and training physicians to the population’s needs. The other subjects related to teaching-service integration that were already part of the residency underwent adjustments during the reform but no transformations. Results A change in student interest in working in PHC was registered, rising from 20.9% in the 3rd year of medicine, as confirmed by previous studies, to 47% in the 6th year. The group responses were statistically compared and analyzed, and suggested that the earlier inclusion in the public healthcare network with teaching-service integration was effective at shifting the students’ desire to work as medical professionals in PHC. Care with teaching during residencies at UBS with teachers and tutors demonstrating quality and resoluteness in attending the public may have influenced this change in the will to work as professionals in the Municipal Health Network in the future.