Mostrar mensagens com a etiqueta ranking. Mostrar todas as mensagens
Mostrar mensagens com a etiqueta ranking. Mostrar todas as mensagens

sexta-feira, 12 de julho de 2024

Ranking das Escolas 2023

O Expresso divulga o ranking das escolas secundárias e básicas, públicas e privadas, ordenadas pelas médias das notas nos exames nacionais. Pode pesquisar por distrito e concelho, por tipo de ensino e também pelo indicador que identifica quais as escolas que ajudam os alunos mais vulneráveis a ir mais além. Também há dados sobre o ensino profissional

Ranking Escolas 2023

xxx

O Observador produziu um ranking que sugere diversas consultas, uma delas é baseada na “Equidade” e a outra apresenta a diferença entre as classificações internas e os resultados em provas finais e exames.

Façam uma pesquisa pelo critério da Equidade e podem constatar que dessa forma o ranking é dominado pelas Escolas Públicas


Pode pesquisar por escola, concelho ou disciplina os rankings para o 9.º ano e o secundário nestes rankings do Observador com a Nova SBE. Têm por base as notas dos exames e a equidade.

sexta-feira, 16 de junho de 2023

Ranking das Escolas 2022



O Expresso divulga o ranking das escolas secundárias e básicas, ordenadas pelas médias nos exames nacionais. Pode pesquisar por distrito e concelho, escolher só escolas públicas ou privadas e olhar para o indicador que permite identificar quais as que ajudam os alunos mais vulneráveis a ir mais além. Se carregar no nome de cada escola encontrará mais informação. Também há dados sobre o ensino profissional. 
Expresso


Saiba aqui que lugar ocupa cada escola no ranking dos exames. Mas porque há outros indicadores que revelam o trabalho de alunos e professores, pesquise aqui a que contexto socioeconómico pertence cada escola. E como se sai cada uma no ranking da superação, feito pelo PÚBLICO, em parceria com a Católica Porto Business School. Se carregar no nome da cada escola, fica ainda a saber como tem ela evoluído e que taxas de retenção apresenta.

Veja os rankings dos anos anteriores 2018 -  2019 - 2020 - 2021
Público 

segunda-feira, 11 de julho de 2022

Queremos fazer da Educação uma competição baseada nas classificações obtidas nos exames?

A melhor escola será sempre aquela que não desiste dos seus alunos

Queremos fazer da Educação uma competição baseada nas classificações obtidas nos exames, que é, como vimos, absurdamente desigual, ou queremos continuar num caminho mais atento às necessidades individuais, que forme cidadãos ativos e preparados para viver em sociedade?
A ler no Público

sexta-feira, 8 de julho de 2022

Ranking Escolas 2021


O Expresso divulga o ranking das escolas secundárias, ordenadas pelas médias nos exames nacionais. 

Pode pesquisar por distrito e concelho, escolher só escolas públicas ou privadas e olhar para o indicador calculado pelo Ministério da Educação que permite identificar os estabelecimentos de ensino que ajudam os alunos mais vulneráveis a ir mais além. Se carregar no nome de cada escola verá a habilitação média dos pais ou a taxa de chumbos. Também há dados sobre o ensino profissional

Rankings das Escolas: veja o mapa interativo de todas as secundárias

Amplie o mapa e escolha os marcadores coloridos para saber mais sobre cada uma das 645 escolas secundárias, públicas e privadas, onde se realizaram exames nacionais em Portugal e no mundo

Ministério perdeu controlo sobre as notas dadas pelas escolas privadas

Mudança das regras de acesso ao Ensino Superior fez com que os colégios deixassem de comunicar as notas internas à tutela.
O diretor-geral de Estatísticas da Educação, Nuno Rodrigues, confirma que a atual recolha de dados junto das escolas privadas não inclui essa informação. “Neste momento, para efeito da produção das estatísticas oficiais, não lhes são pedidas as notas internas dos alunos a cada uma das disciplinas.



O PÚBLICO, em parceria com a Católica Porto Business School, disponibiliza um conjunto de dados sobre as escolas do ensino secundário. Saiba aqui que lugar ocupam no ranking dos exames. Mas também a que contexto socioeconómico pertence cada escola, como se saem os estabelecimentos públicos no ranking que mede os que mais e menos superam os resultados esperados para o seu contexto e em que disciplinas os estudantes se saíram melhor.

quarta-feira, 26 de maio de 2021

A opinião de Santana Castilho sobre o rumo errado das atuais políticas de Educação

Rankings, indisciplina e violência
Santana Castilho

Todos os anos, por esta altura, os rankings escolares marcam a discussão pública, incentivada por manchetes acicatadoras de uma disputa insana, que apenas exacerba o vedetismo. Ano após ano, limita-se a questão da qualidade das escolas à comparação do ensino público com o privado, com base nos resultados obtidos nos exames, sendo o argumento mais sério para defender os rankings a evocação da necessidade de avaliação externa. Mas são os rankings avaliação ou estrita classificação, construída a partir de um parâmetro único, qual seja o resultado dos exames? Semelhante visão redutora do que é complexo, acrescenta absolutamente nada ao que pode ser feito para ajudar as escolas que têm mais dificuldades. Então, a escola soçobra ante esta inversão de valores e esta desigualdade de influências. Porque a escola deve ser local de realizações, que não de frustrações, de cooperação, que não de competição. Porque o que é fundamental em qualquer escola é aprender. E aprender não é uma competição.

Pode uma escola ser dissociada de tudo o que nela se faz, para ser salva ou condenada pelas notas que um exíguo número dos seus alunos obtém nos exames? Que acolhimento têm nestes rankings milhares de alunos que, mediante muito esforço pessoal e dos seus professores, superam dramáticas situações de partida, embora sem conseguirem obter classificações elevadas? Pode comparar-se o trabalho a desenvolver com alunos oriundos de ambientes familiares desestruturados, paupérrimos, com o que se acrescenta a alunos de famílias ricas, onde nada falta? Pode comparar-se um sistema que recebe, e bem, todos os alunos (350 mil apoiados pela Acção Social Escolar e 80 mil com necessidades educativas especiais) com outro que os seleciona criteriosamente e só admite os mais dotados e os mais ricos? Pode comparar-se uma escola do interior desertificado com outra de um grande centro urbano, alunos “emigrantes” no seu próprio país, que andam diariamente dezenas de quilómetros para chegarem á “escola de socialização”, com outros que se deslocam no Mercedes do pai? Que aconteceria aos resultados das melhores escolas, no próximo ranking, se fossem obrigadas a trabalhar com os alunos das piores deste?

A indisciplina, a violência (física e psicológica) de uns quantos sobre muitos, cobardemente ignorada ou escondida pelos responsáveis, a começar pelo Ministro da Educação, é o fenómeno que mais prejudica a qualidade do ensino público. A delirante propaganda dos actuais responsáveis acerca de uma inclusão que não existe agravou a tendência para abafar a indisciplina endémica. Mas essa tendência não resiste quando, esporadicamente, a dimensão dos acontecimentos salta as barreiras da censura. Com efeito, precisamente na mesma altura em que o ministro da Educação (as suas afirmações, vazias de existência, nem provocam já resistência) dizia no Porto, a propósito da Cimeira Social da União Europeia, que “Portugal é orgulhosamente conhecido como um país que está na vanguarda da inclusão na educação”, a imprensa noticiava que uma aluna de uma escola da Amadora foi barbaramente espancada numa sala de aulas por colegas, que lhe arrancaram unhas, e que noutra, de Ponte de Sor, onde um jovem já foi esfaqueado, os professores têm medo de dar as aulas, são constantes as agressões, circula droga e houve uma tentativa de violação.

Entendamo-nos, sem tibiezas. Quando um menor agride outro dentro da escola, há duas entidades directamente responsáveis: a escola e os pais do agressor. Mas a escola tem de ter meios e dirigentes capazes de resolver, de modo célere e sem titubear, agressões e vandalismos. Alunos, auxiliares de educação e professores não podem viver aterrorizados por pequenos marginais, que recusam regras mínimas.

O rumo errado das actuais políticas de Educação, perpetuando erros de há muito, conduziu a escola pública para um ambiente de desalento e deixou bloqueado na cave o decantado elevador social. No jogo de enganos em que se transformou o nosso sistema de ensino, os professores têm fome de sentido para a sua verdadeira profissionalidade. Quanto mais os proletarizam, mais humanidade se retira à escola.

domingo, 23 de maio de 2021

O problema está no rumo errado que tomaram as atuais Políticas de Educação

Carla Castro

O problema não é dos liberais e nem das escolas privadas fazerem corretamente o seu trabalho. O problema está no rumo errado que tomaram as atuais Políticas de Educação, que nos conduziram a este estado de desalento e desorientação em tantos profissionais de elevador social estragado, de assimetrias diversas, e que é imperativo reformar urgentemente.
A ler no Público

sexta-feira, 21 de maio de 2021

20 anos de rankings de escolas: o que se ganhou e o que se perdeu


O director da Escola Secundária Eça de Queirós, José Eduardo Lemos, e o director do Colégio Efanor, João Trigo — respectivamente a pública e a privada com as melhores médias nos rankings deste ano —, um ex-ministro da Educação e o actual secretário de Estado Adjunto e da Educação discutem a importância de conhecer os resultados de cada escola, o que distingue as que se saem melhor e o que pode ser feito para recuperar as que ficam para trás.

Em direto a partir das 14 horas, ou depois no vídeo do Youtube

Em dia de rankings João Costa fala de concursos!?!?

Apesar de dizer abertamente que não gosta de rankings, o Secretário de Estado não perdeu a oportunidade, que o Público lhe oferece, de vir falar do concurso nacional de educadores e professores e tentar vender, mais uma vez, a catastrófica ideia de as Escolas TEIP selecionarem os seus professores.

Associar os maus resultados de algumas escolas ao método de seleção dos docentes é falacioso e revelador de uma política educativa sempre de costas voltadas para uma classe docente cansada e desmotivada. 

Devia o Senhor Secretário de Estado, se estivesse atento ao ambiente que se vive nas nossas escolas, preocupar-se e pensar em mudar radicalmente a avaliação do desempenho e os travões artificiais no desenvolvimento da carreira docente, acabando definitivamente com as penalizações e injustiças que afetam milhares de professores e educadores e que devem ser urgentemente corrigidas, valorizando e reconhecendo o esforço de uma classe atacada e desconsiderada pelos sucessivos governos.

A valorização dos educadores e professores é o primeiro passo para garantir uma educação de qualidade.


:::::::::::::::



RANKING DAS ESCOLAS 2020

Expresso

Ranking Escolas 2020: Veja em que lugar ficou a sua escola


Pode pesquisar por distrito e concelho, escolher só escolas públicas ou só privadas ou olhar para o novo indicador calculado pelo Ministério da Educação que permite assinalar os estabelecimentos de ensino que mais ajudam os alunos mais vulneráveis a ter sucesso. Se carregar no nome de cada escola verá a habilitação média dos pais ou a taxa de chumbos. Também há dados sobre o ensino profissional.


“Os alunos estão inseguros e os professores exaustos”


"Concorda com a criação de academias de verão para recuperar as aprendizagens perdidas?
Não. Para haver uma academia de verão seria mais um espaço onde os jovens conversassem sobre o que viveram e participassem em atividades desportivas, e não para recuperar aprendizagens. Os alunos estão vulneráveis, saturados, inseguros. E os professores também estão exaustos. Ambos estão a precisar de férias verdadeiras para recuperar. O próximo ano será fundamental e é importante que estejam o melhor possível."

terça-feira, 30 de junho de 2020

Rankings constituem um instrumento enganador para a opinião pública

Rankings das escolas: a cereja em cima do bolo


E como se não bastasse tudo aquilo por que as escolas, professores, alunos e pais passaram nos últimos meses, vieram os rankings tendo em conta os resultados dos exames de 2019. Era aquilo que faltava à escola num momento em que a pandemia obrigou a esforços desumanos, em que todos os setores foram afetados, onde houve desigualdades de acesso, ensino a distância, ou falta dele. Onde houve medos e receios, responsabilidade e irresponsabilidade, num cenário em que a pressão psicológica sobre todos é grande.

Faltavam os rankings para por o povo a falar, a dizer mal e a dizer bem, sem que isso tenha qualquer vantagem para as escolas, alunos e professores, que neste momento precisavam de incentivos e não de dedos acusatórios ou de abraços de felicitações.

Os rankings escolares, que cada órgão de comunicação apresenta à sua maneira, tendo em conta aquilo que são os dados disponibilizados pelo Ministério da Educação, transpõem para a opinião pública resultados que não têm em conta contextos importantes, como o tipo de alunos, os locais em que as escolas estão implantadas, a caracterização sócio económica da comunidade em que estão inseridos, o número de professores e funcionários, se são públicos ou privados, se estão bem apetrechados tecnologicamente, se os alunos têm explicações fora da escola, etc etc.

Era mesmo o que faltava. O circo voltou. O Ministério da Educação deveria ter tido tudo isto em conta. Já no passado, e todos os anos por esta altura, o refiro. Os rankings das escolas, como são feitos e divulgados, não traduzem o trabalho que é feito no meio escolar. Mas afinal qual é a melhor escola?, pergunto de novo. Será a melhor escola aquela que, num contexto escolar, social e económico adverso, localizada numa região deprimida ou num bairro problemático de uma qualquer cidade, consegue obter resultados escolares e sociais positivos, recuperando muitas vezes situações que pareciam impossíveis de ter solução? Ou será a escola inserida num cenário sócio económico positivo, em que os pais dos alunos até têm possibilidade de pagar explicações aos seus filhos?

Os rankings das escolas, já o referi e volto a fazê-lo, apresentados da forma como o são, constituem um instrumento enganador para a opinião pública, influenciando-a na escolha do futuro dos jovens, denegrindo muitas vezes trabalho sério e eficaz, vangloriando resultados que por vezes não se sabe se resultam apenas do que é feito nas escolas, ou se vai para além disso, através de reforço externo aos alunos (vulgo explicações).

Os rankings (e é bom que as escolas conheçam a sua realidade) devem constituir, isso sim, um instrumento de trabalho para as próprias escolas, agrupamentos e, porque não dizê-lo, para os mega agrupamentos, que cada vez mais são um conjunto de mega problemas, que não conseguem dar resposta às exigências das instituições de ensino. Devem ser um instrumento de reflexão e de análise que deve ser visto à realidade de cada estabelecimento de ensino, do meio em que está inserido e da comunidade que serve.

Neste novo tempo, em que alunos, professores e comunidade em geral mudaram procedimentos, ajustaram-se, sem aviso prévio, ao ensino a distância, ao teletrabalho, muitas vezes sem condições, excluindo-se muitos alunos (que a burocracia impediu de os ajudar de forma mais célere), só faltavam os rankings a mostrarem a todos uma realidade diferente daquilo que é a escola. Porque a escola não são números, são pessoas, e as pessoas não são máquinas, são gente.

Mais uma vez, o Ensino Magazine não publica estes rankings. Não é esta a nossa forma de olhar para a escola.

sábado, 27 de junho de 2020

A opinião do Presidente do Conselho das Escolas sobre o ranking das Escolas

Janelas fechadas são olhos de cego

A divulgação dos resultados dos alunos e a elaboração de rankings fazem, na sua simplicidade, incomparavelmente mais pela transparência da administração educativa do que qualquer discurso oficial. 

Os rankings das escolas têm sido utilizados, desde que viram a luz do dia, como arma de arremesso por alguns responsáveis políticos, por vários comentadores e por putativos líderes ligados à educação. Uns para justificar políticas educativas relativistas e de duvidosa exigência; outros para desvalorizar e relativizar resultados injustificáveis, que se repetem ano após ano; outros simplesmente porque vão na corrente.

A população, sabiamente, vê os rankings das escolas com a mesma naturalidade com que vê as pautas de frequência no final do ano letivo, ou seja, sem drama e sem sofrer os anunciados malefícios que muitos especialistas associam à divulgação de listas ordenadas das escolas.

No limite, o que está verdadeiramente em causa com a publicação dos rankings é a transparência da administração e não a forma como os cidadãos e as empresas de comunicação utilizam informação que deve ser de acesso livre a todos os cidadãos. Os detratores dos rankings mais não fazem que proteger a administração pública e os decisores políticos do escrutínio público. Bonito serviço.

Da parte que nos toca, tentaremos, mais uma vez, desmontar aquilo que consideramos ser uma narrativa demagógica e articulada para subtrair o serviço público de educação ao escrutínio dos portugueses, impedindo-os de observar, comparar, avaliar e, no final de contas, de formar opinião e retirar as suas conclusões sobre a qualidade de uma importante parte do trabalho que se faz nas escolas.

A primeira observação a fazer é a de que os rankings são construídos por vários órgãos de comunicação social, de acordo com critérios próprios devidamente explicitados, mas com base em resultados obtidos pelos alunos nos exames nacionais. Ou seja, trata-se de listagens de escolas construídas com base em dados reais e fidedignos, fornecidos pelo próprio Ministério da Educação (ME). Portanto, sem margem para contestação, os rankings são de fiar, independentemente das leituras e interpretações que cada um deles queira fazer.

A segunda observação é a de que se os rankings feitos pelos jornais com base em dados fiáveis, fornecidos pelo ME, merecem crítica também hão de merecer crítica os rankings promovidos pelo próprio ME, como sejam o ranking das escolas com melhores “percursos diretos de sucesso”, ou a listagem das Escolas que alcançam prémios promovidos pela Fundação Ilídio Pinho, ou a tabela de classificação de qualquer uma das dezenas de provas do desporto escolar, ou a lista de classificações dos alunos nas olimpíadas das várias disciplinas, ou a lista das 20 escolas que mais manuais escolares reutilizaram. Ou seja, não existem rankings bons e nem rankings maus.

A terceira observação é a de que os rankings têm impacto positivo nas escolas, pois permitem comparar os resultados dos seus alunos com resultados homólogos, de escolas mais ou menos próximas e de contextos mais ou menos idênticos. Ou seja, obrigam-nas a refletir sobre o trabalho que realizam e desafiam-nas a procurar e a implementar medidas para que os seus alunos melhorem ano após ano. Dito de forma mais simples: todas as iniciativas que promovam o conhecimento e a reflexão nas escolas sobre o trabalho que desenvolvem e os resultados que obtêm, são úteis às escolas e à sociedade.

A quarta observação é a de que a elaboração e a divulgação dos rankings são um serviço público, prestado ao país por entidades privadas (a comunicação social), que têm a importantíssima missão democrática de informar livremente. Estas entidades obrigaram, e bem, o ME a libertar informação que, durante décadas e unilateralmente, entendeu não ser relevante para conhecimento da opinião pública, como acontece ainda hoje com muita informação que subtrai ao conhecimento das escolas e da população em geral, como sejam, por exemplo, os dados relativos à gestão do pessoal docente e não docente e à distribuição do orçamento de cada escola.

Por último, a divulgação dos resultados dos alunos nos exames nacionais e a elaboração de rankings fazem, na sua simplicidade, incomparavelmente mais pela transparência da administração educativa do que qualquer discurso oficial, proclamação ou relatório hermético com que, amiúde, se brinda o povo.
José Eduardo Lemos 
Presidente do Conselho das Escolas

Não vá pelos rankings!

Quer saber o que faz uma escola? Não vá pelos rankings

“Ele anda numa boa escola”. Qual o significado desta frase? Não tenho a menor hesitação em responder. A escola boa é a que tem poder transformador, por receber todos e levar todos por um caminho de desenvolvimento pessoal e humano, em que o conhecimento, a arte, a cultura, a cidadania e o bem-estar são o instrumento para um sucesso pleno.

A escola boa não seleciona alunos à entrada. Acolhe todos e gosta de todos. A escola boa é um lugar vivo, em que as paredes com as produções dos alunos refletem o envolvimento de todos. A escola boa é a que estimula pensamento e curiosidade, a que ajuda a saber fazer perguntas antes de procurar se as respostas estão certas. É a que estabelece relações positivas com os que chegam sem acreditar em si próprios, vestindo demasiado cedo a camisola da incapacidade. É também uma escola em que há entreajuda à frente da competição desmesurada. Em que a presença do aluno com dificuldades ou problemas sociais é vista como uma responsabilidade de todos os alunos e de todas as famílias e não como uma questão só dele.

E eis que, no ano em que se tornam mais absurdos, nos aparecem os rankings. Se acha que refletem uma avaliação clara da qualidade da escola, desengane-se.

Os rankings são o resultado de uma lista ordenada a partir dos resultados dos exames nacionais. Ponto. É mesmo só isto.

Se procura qual a escola que mais consegue prevenir o abandono de crianças ciganas, não a vai encontrar no topo da lista. É, contudo, geralmente das que mais trabalha.

Se procura qual a escola que investe na saúde mental e harmonia como instrumento para a aprendizagem, não sabemos onde está na lista.

Se procura qual a escola em que se consegue cativar pais para a valorização do saber, inclusive trazendo-os para a formação nos Centro Qualifica, também não sabemos onde está.

Se procura a escola em que os alunos mais se desenvolvem na criatividade, pela arte, pelo desenvolvimento da sensibilidade estética, continuamos sem saber onde está.

Se procura a escola que desenvolve projetos de intervenção comunitária, formando verdadeiros cidadãos participativos e esclarecidos, aquele número que aparece em frente ao nome da escola não está a dizer nada sobre isso.

Se procura uma lista que não espelhe assimetrias territoriais e socioeconómicas, também não é esta a lista certa.

Se procura saber a qualidade do trabalho desenvolvido nos Cursos Profissionais, estas listas tendem a ser omissas.

Avaliar uma escola e o seu desempenho é muito mais do que ordenar um ficheiro Excel por ordem descendente de resultados.

O Ministério da Educação tem vindo a disponibilizar um manancial de informação, presente no Infoescolas, que permite olhares muito mais abrangentes e esclarecidos. Refiro o indicador Percursos Diretos de Sucesso, que compara realidades comparáveis e mede o progresso efetivo dos alunos, não construindo avaliações que anulam o ponto de partida. Os vários estudos produzidos pela Direção-Geral de Estatísticas de Educação e Ciência, muitos deles sob a responsabilidade do Doutor João Baptista, permitem estabelecer correlações entre sucesso e qualificações, mostrar que a pobreza não é uma fatalidade, detetar assimetrias regionais, medir o desempenho dos cursos profissionais, perceber assimetrias entre escolas dentro do mesmo agrupamento, conhecer o perfil de resultados de todas as disciplinas.

Os relatórios individuais e de escola das provas de aferição dão informação detalhada, descritiva e qualitativa, sobre desempenhos e têm servido de base ao desenho de respostas em função das dificuldades específicas.

O Programa Nacional para a Promoção do Sucesso Escolar tem divulgado estudos de eficácia de estratégias pedagógicas que permitem a melhoria sustentada de resultados.

A Rede de Bibliotecas Escolares avalia e disponibiliza os dados das suas intervenções, centrando-se no impacto dos seus programas.

Todos estes instrumentos permitiram construir, ao longo dos dois últimos anos, um novo referencial para a Avaliação Externa das Escolas, que tem sido reconhecida nacional e internacionalmente como um dos fatores que tem possibilitado a melhoria do nosso sistema educativo.

O novo referencial não descarta resultados, mas inclui vários outros domínios que se traduzem em respostas a perguntas como: Quão inclusiva é a escola? Que resultados consegue a escola na mobilidade social dos alunos? Como se estabelece a relação construtiva com as famílias? Que projetos e instrumentos se promovem para que as aprendizagens sejam perenes?

Estas são as perguntas que ajudam o sistema educativo a crescer. Muito mais do que a glória fútil de ser a número um da lista ou o olhar paternalista e desmobilizador sobre a escola do fundo da lista.

Quer saber o faz uma boa escola? Visite-a. Fale com os alunos, veja-a como um todo. Se não quer que o seu filho se transforme numa média, aposte numa educação centrada no humanismo e na valorização de todos. Porque é isso e não uma centésima o que lhe dará asas para chegar mais longe.

João Costa - Secretário de Estado Adjunto e da Educação

Ranking das escolas 2019

Quer saber o que faz uma escola? Não vá pelos rankings



Artigos de opinião de João Costa 
 Secretário de Estado Adjunto e da Educação



Público

Em que lugar ficou a sua escola? Veja o ranking de 2019

Expresso


quarta-feira, 27 de fevereiro de 2019

Mediram~se os resultados dos exames e nunca os resultados do aproveitamento educativo

Mais vale uma escola na mão que duas a pavonear

João Ruivo 

Temos vindo, repetidamente, a zurzir contra a elaboração dos rankings das escolas portuguesas. Não porque discordemos de procedimentos fiáveis de avaliação interna e externa das instituições escolares, mas porque esses supostos rankings se têm vindo a basear apenas em variáveis de (alguns…) resultados escolares dos estudantes, escondendo a pluridimensão dos actos educativos que se operam dentro das paredes da escola.
Por isso, e pela última vez, porque nos sentimos esgotados perante a desinformação massiva que nos chega, ano após ano, através da generalidade dos órgãos de comunicação social, transcrevemos um texto, aqui publicado no Ensino Magazine, no ido ano de 2009. A ver:
"Há escolas boas e escolas más? Lá haver, há! Como há bons e maus governos, ministérios, hospitais, tribunais, oficinas, e sei lá mais o quê…
Porém a questão não é essa.
O problema está no critério da medida. Ou seja, no rigor dos indicadores objectivos que me levam a classificar os comportamentos, as atitudes e os desempenhos. Sem um critério universalmente válido e, por isso mesmo aceite, o resultado da medida não passa de uma apreciação subjectiva e, como tal, sujeita à divergência.
Vem isto a propósito de mais uma publicação de um suposto ranking das escolas portuguesas que, apressada e incorrectamente, uma boa parte da comunicação social tem vindo a designar por "lista das melhores e das piores escolas".
Concretamente o que se mediu nestas escolas? Respondemos: mediram-se resultados de aproveitamento escolar (académico) e, nunca, resultados de aproveitamento educativo. E mediram-se todos os resultados escolares? Não! Mediram-se os resultados obtidos nalgumas provas que os alunos do ensino secundário efectuaram nos exames nacionais.
O que quer isto dizer?
Vejamos um exemplo. A escola A tem alunos de classe média alta. São jovens com todas as condições de estudo, com excelente apoio e ambiente familiar. Os professores sentem que esses alunos aprendem a bom ritmo, e que com muita facilidade correspondem aos objectivos que lhes são solicitados. É uma das escolas que, habitualmente, obtém um bom posto no ranking nacional.
A escola B está situada num bairro muito problemático. As famílias são disfuncionais, há desemprego, muita miséria e o recurso a negócios menos claros. Os alunos não têm qualquer acompanhamento familiar, são nulas as condições de trabalho em casa, alguns têm mesmo carência de alimentos e de vestuário. Mesmo assim, os professores empenharam-se na motivação desses alunos para a frequência da escola, através de múltiplas actividades educativas de carácter interdisciplinar e, muitas delas, desenvolvidas extra curricularmente. Essa escola obteve um resultado educativo notável. Reduziu, significativamente, o abandono escolar, o absentismo às aulas, o insucesso académico e realizaram-se mesmo programas de apoio comunitário. Quanto aos resultados escolares nos exames nacionais… Bem, houve grandes progressos, mas não os suficientes para impedirem que a escola B ficasse no fim da lista do ranking nacional.
A escola A é boa e a escola B é má?
A diferença é que a escola A desenvolveu um esforço no sentido das aprendizagens do currículo formal e, aí, obteve resultados académicos muito satisfatórios. Já quanto há escola B, esta centrou as suas energias no alcance de objectivos educativos por parte dos seus alunos, apostou na transmissão de valores e na educação para a cidadania e, aí, obteve resultados considerados excelentes. Em que ficamos?
Quando olhamos para o ranking das escolas e, sobretudo, quando comparamos os resultados académicos dos alunos das escolas públicas, com os resultados académicos dos alunos das escolas privadas, temos que ter em atenção quais foram os indicadores de medida. Um indicador de medida vale o que vale. O metro padrão não pode medir um litro de leite, assim como se pode morrer afogado num rio que, em média, tenha apenas quarenta centímetros de profundidade…
Perverte-se a avaliação das escolas no momento em que se privilegiam apenas indicadores de medida e de progressão inerentes aos actos de aprendizagem do currículo formal. O que tem estado em causa para se alcançar uma valoração das escolas, tem sido o recurso à divulgação de rankings cuja elaboração se baseia apenas nos resultados académicos dos alunos. Para estes rankings pouco importam os resultados educativos globais da instituição escolar.
Há e sempre houve boas e más escolas. Há e sempre houve bons e maus exemplos de práticas educativas. Mas temos que saber relativizar os resultados em função dos indicadores de medida.
Termos em todas as nossas instituições escolares excelentes profissionais da educação que gostariam de ver reconhecido o seu esforço. Os professores estão habituados a fazer muito e bem. Mas não podem fazer tudo. Melhor diríamos: face às condições de trabalho em muitas das escolas portuguesas, é injusto e desmotivador que se lhes peça que façam mais."

domingo, 17 de fevereiro de 2019

Para que servem os rakings?

Ricardo Paes Mamede

Todos os anos as escolas portuguesas são ordenadas pelas classificações médias dos alunos nos exames nacionais. Do ponto de vista técnico, estes rankings são uma fraude. Em termos práticos, produzem efeitos contraproducentes. Não é o seu rigor nem as suas implicações que explicam o destaque que os media lhes dão. Os rankings são visíveis porque são polémicos e uma polémica acesa é sempre motivo de notícia. Mas, além de atraírem audiências, para que servem?

Quando surgiram em Portugal, em 2001, os rankings das escolas reflectiam uma tendência internacional na condução das políticas públicas. A ideia era simples. Numa sociedade complexa em que a comunicação é tudo, os decisores políticos só dão atenção aos temas que aparecem nos media. Para conquistarem o palco mediático, as mensagens têm de ser simples e curtas. Se puderem ser transmitidas em números, tanto melhor.

Espera-se também que os rankings melhorem a actuação dos agentes envolvidos, usando a reputação como prémio (ou como penalização) para os bons (ou maus) desempenhos. Esta lógica de name and shame (nomear e envergonhar) tem sido usada em vários âmbitos, incluindo o desempenho de governos, de agências públicas e de prestadores de serviços colectivos.

Os rankings das escolas ajudaram de facto a atrair as atenções para o problema da qualidade da educação em Portugal. E mudaram o comportamento dos actores do sistema de ensino (alunos, professores, encarregados de educação, directores escolares). Menos óbvia é a bondade destas transformações.

As limitações dos rankings escolares são há muito conhecidas e discutidas. Em termos simples, o desempenho académico de um aluno depende de vários factores, como o contexto familiar, o percurso escolar anterior, as características socioeconómicas do território, entre outros. Logo, não é possível perceber a qualidade das escolas olhando apenas para as médias dos resultados obtidos pelos alunos nos exames nacionais, sem ter em conta todos aqueles factores.

Os efeitos perversos dos rankings também já foram largamente debatidos. A obsessão com as notas nos exames incentiva as escolas e os professores a adoptarem métodos de ensino cada vez mais focados no desempenho em provas escritas, em prejuízo da diversidade de competências que a escola deve ajudar a desenvolver. A maioria dos encarregados de educação, sem disponibilidade ou preparação para entender as limitações dos rankings, tende a guiar as opções de educação dos jovens por um critério redutor e muitas vezes erróneo. Muitas escolas (públicas e privadas) acabam por seleccionar os seus alunos com base no desempenho académico expectável, o que no caso das escolas públicas é inadmissível.

A compreensão alargada das limitações e dos efeitos perversos dos rankings tem levado muitos jornalistas a redobrar o cuidado que colocam na sua análise. Levou também o Ministério da Educação a divulgar dados sobre o progresso escolar dos alunos que permitem perceber um pouco melhor em que medida as escolas contribuem para melhorar as trajectórias individuais (embora continuem a ignorar a diversidade de factores determinantes do (in)sucesso escolar).

Aquelas evoluções são bem-vindas, mas não alteram muito a situação. Como indicadores do empenho de professores e diretores na melhoria do funcionamento das escolas, os rankings continuam a ser largamente inúteis. Como guias para as escolhas dos encarregados de educação, continuam a ser equívocos - mas nem por isso menos utilizados.

Os rankings escolares pouco dizem sobre as dificuldades que as escolas enfrentam, ou sobre as respostas que funcionam. O melhor que podemos esperar é que sirvam de desculpa para darmos mais atenção aos problemas que importam na educação em Portugal. A posição de cada escola numa lista ordenada por médias de exames não é um deles.

:::::::::::

João Costa - Secretário de Estado da Educação 

A publicitação de uma lista ordenada de escolas com base no valor dos resultados finais de exames é defendida por alguns como um instrumento fundamental para garantir a transparência do sistema educativo. O argumento da transparência é falacioso e gera falsas impressões sobre a qualidade efetiva de uma escola.

Os rankings induzem práticas bastante questionáveis: seleção de alunos à entrada ou segregação entre escolas do mesmo agrupamento; retenção em anos não finais; encaminhamento para outras ofertas, independentemente da vocação dos alunos; moradas falsas para escolha de escolas. Estes são problemas conhecidos, de que se fala nas escolas, mas não são revelados na suposta transparência dos rankings.

Ao se reduzir a suposta qualidade de uma escola aos resultados finais dos alunos que chegam ao final, em nome da transparência, cria-se uma opacidade total sobre os que ficaram pelo caminho, sobre a dispersão de notas, sobre as desigualdades internas a cada escola, sobre as disciplinas que não são objeto de exame. Afinal a transparência é bastante opaca.

Por este motivo, o Ministério da Educação, através da Direção-Geral de Estatísticas de Educação e Ciência, tem vindo a disponibilizar um conjunto de dados mais fiável, metodologicamente mais robustos, que incluem, entre outros: Percursos Diretos de Sucesso - comparando alunos com o mesmo perfil e considerando resultados internos e externos; classificações internas das diferentes disciplinas; comparabilidade dos resultados em função do escalão de Ação Social Escolar; percurso de alunos ao longo da escolaridade.

Saber o quanto os alunos progridem numa escola, avaliar níveis de segregação na constituição de turmas, considerar os resultados em todas as disciplinas e não apenas nos exames, avaliar índices de sucesso em alunos de risco são contributos para uma avaliação do quanto cada escola cumpre a sua missão mais rigorosa, transparente e completa.

sábado, 16 de fevereiro de 2019

A pergunta de Filinto Lima: A quem interessa a sobrevalorização dos resultados dos exames nacionais?

A propósito das futriquices à volta do ‘ranking’ dos exames…
Filinto Lima 


O ranking dos exames, erradamente, ranking das escolas, é publicado cada ano mais tardiamente e cumpre o objetivo simplista, intencionalmente redutor: graduar as escolas atendendo aos resultados dos exames obtidos pelos alunos que as frequentam.

Considero-o um instrumento perverso e desigual para as escolas, alunos e professores, pela forma como desvirtua a realidade, uma vez que ao recorrer a uma fonte única, reflete somente a média do resultado dos exames por instituição, rejeitando uma multiplicidade de critérios essenciais, iludindo quem não percecionar a limitação intrínseca desta falsa tabela classificativa.

Pontuo a necessidade de adotar outros critérios alternativos, alguns já existentes, nomeadamente, a dimensão dos valores e atitudes dos alunos (empenho, dedicação, interesse, cumprimento com os seus deveres, assiduidade, motivação, etc.), o aporte da escola no aluno (valor que acrescenta desde que o discente entra até que sai da escola), o número de alunos da escola e o percurso escolar que cada um realizou, a estabilidade do corpo docente, o nível socioeconómico dos pais e encarregados de educação, bem como o da região onde a escola se encontra localizada, as expectativas dos alunos e das suas famílias, o efeito das explicações e os apoios extra sala de aula, entre outros.
Neste sentido, os percursos diretos de sucesso apresentam-se como um indicador fidedigno, mais factual e justo na avaliação do trabalho efetuado pelas escolas na capacitação e desenvolvimento dos potenciais de cada aluno, descrevendo a evolução deste durante o seu percurso escolar, ou seja, a melhoria efetiva que cada discente evidencia no que respeita aos seus resultados globais.

Todavia, o âmago do problema reside no acesso ao ensino superior, em que o exame é d(en)ominador!

Qual a razão que faz depender a entrada no ensino superior da avaliação externa, quando o ensino secundário se reveste de caráter obrigatório com os exames a serem uma componente da avaliação final? É razoável atribuir um papel incomensuravelmente redutor a este nível de ensino que, na prática, se limita ao cumprimento de metas para a triagem que deveria ser realizada pelas universidades?

A avaliação externa assume-se, desta forma, impessoal, uma tecnologia. Os exames não são elaborados para que se aprenda, antes, porém, têm como finalidade a certificação, com efeitos marcadamente seletivos no ensino secundário (à semelhança do superior). As suas desvantagens são, seguramente, maiores do que qualquer proveito que possa advir da sua realização (mobilização da escola para melhorar as suas práticas). Desde logo, porque interferem sobremaneira no trabalho das escolas, ensinando-se para os exames (efeito “washback” – efeito retroativo), perspetivado a pensar nos “rankings”. Estes, por sua vez, vão influenciar as escolhas das famílias, contribuindo, como referiu a OCDE, para um sistema escolar mais segregado. 

Com os olhos postos nos exames nacionais, tendo por pretensão o ingresso no ensino superior, a ditadura imposta a este nível de ensino declara que as aprendizagens priorizem os conteúdos programáticos prescritos por programas extensos, castradores, levando a que as escolas, numa subserviência implícita, secundarizem outros desempenhos, tendo por base aprendizagens estruturantes e transversais, como sejam, a capacidade reflexiva e crítica, a integridade e o espírito cívico, no que concerne o saber ser e saber estar com os outros, o desenvolvimento da consciência do “eu” como agente fundamental na construção do saber, a título de mero exemplo, que lhe vão ser úteis no seu percurso no ensino superior e, inequivocamente, ao longo da sua vida ativa.

Enquanto este desígnio não se concretizar, a pergunta continua a impor-se: a quem interessa a sobrevalorização dos resultados dos exames nacionais?

Rankings e Transparência

Rankings e Transparência

Paulo Guinote

A divulgação dos resultados do desempenho dos alunos nas provas finais do Ensino Básico e exames do Ensino Secundário é em si mesmo um acto de transparência que me parece ser tempo de voltar a defender.

Não por uma questão ideológica, não por ignorar que os dados divulgados não retratam todo o trabalho de alunos e escolas ao longo de anos ou que nem sempre a sua contextualização é feita da melhor forma ou com todas as variáveis relevantes. Mas porque é minha convicção que o acesso à informação é sempre um bem maior do que o seu ocultamento ou truncagem. Mesmo que apresentem uma realidade que não é a que eu mais gostaria de ver retratada, só dessa forma poderei agir para a alterar. No desconhecimento, o problema não é sermos iguais, é nem sabermos bem o que somos em relação ao que nos rodeia.

Escrevo isto porque observo dois fenómenos cuja convergência poderá estar a ameaçar a continuidade da divulgação destes resultados, obtidos a partir de provas externas às escolas. Antes de mais, a evidência do domínio das escolas privadas no topo dos rankings começa a ser uma constatação problemática para uma Escola Pública que enveredou por um caminho, ao nível da orientação política, de desvalorização desses rankings, mesmo quando construídos com alguma complexidade, em favor de outros indicadores, certamente estimáveis e interessantes, mas que podem funcionar em circuito fechado. Se me parece essencial que as escolas privadas de topo facultem dados de contexto socio-económico ou de inclusão de alunos com necessidades específicas de aprendizagem (ou como as queiram designar), não deixo de encarar com alguma reserva indicadores que resultem apenas de políticas internas de avaliação sem aferição externa, ditadas por metas contratualizadas com a tutela ou úteis para a avaliação dos órgãos de gestão, como os “percursos directos de sucesso”. Basta as escolas alterarem os critérios de retenção para se conseguir uma subida rápida deste indicador. Para o ajudar temos ainda a eliminação de factores exógenos de avaliação como as provas finais do Ensino Básico no 4º e 6º ano.

E é aqui que entra em cena outro fenómeno, ainda não assumido de forma explícita, que é o projecto ideológico da facção no poder no Ministério da Educação e periferias de “especialistas” de acabar com todas e quaisquer provas finais no Ensino Básico, mantendo apenas as cosméticas provas de aferição introduzidas nos últimos anos e cujos resultados, para além de servirem de alavanca a este ou aquele grupo disciplinar para exigir mais espaço no currículo, são praticamente inúteis para o trabalho com os alunos, pois não são feitas de forma articulada no tempo (os alunos aferidos num determinado ano/ciclo nesta ou aquela disciplina, deveriam voltar a sê-lo dois ou três anos mais tarde para se poder estabelecer um estudo comparativo), pois os relatórios produzidos obedecem a uma simplista lógica descritiva. Estou convicto que, continuando o actual processo de reforma educativa em curso, as provas de 9º ano desaparecerão e com elas os rankings do Ensino Básico, dando um salto atrás de 20 anos em termos de opacidade. As declarações políticas sobre o perfil adequado para a futura liderança do IAVE são evidentes nesse sentido. Assim como no caso do Ensino Secundário, a pressão para que sejam os Politécnicos e as Universidades a regular o acesso aos seus cursos vai no mesmo sentido da eliminação de exames, embora esse talvez seja um projecto a não tão curto prazo.
Contra esta tendência, é importante que a comunicação social continue a fazer o seu trabalho de tratamento dos dados para além de seriações de médias e aproveitem para investigar se a chamada “cultura do insucesso” é das escolas ou se não é uma consequência directa da ineficácia de políticas de desenvolvimento económico e inclusão social em reduzir o aumento de desigualdades para lá dos portões dessas mesmas escolas. 

Aí está o Rnking das Escolas 2018

PÚBLICO

terça-feira, 6 de fevereiro de 2018

“Meter no mesmo saco” realidades tão diferentes resulta injusto

David Rodrigues - Público

Será que o ranking da escola seria diferente se, em lugar do telefonema a perguntar qual a posição da escola, a pergunta fosse como é se pode colaborar nas atividades da escola?

Logo de manhã o telefone tocou e tocou. Muitos pais queriam saber qual era o lugar em que a escola tinha ficado no ranking. Os funcionários e mesmo a direção da escola foram respondendo com o número. As pessoas simplesmente agradeciam — “Tá bem. Obrigado!” —, mas algumas não se contiveram e comentaram: “Só?” E as pessoas que trabalham na escola perguntavam-se: “Que é isto?”

Todo este movimento conduziu-nos à saudável situação de se debater educação no nosso país. Debater educação não é debater os fait-divers de uma escola, de um agrupamento, de uma experiência; é sobretudo trazer à luz as razões das opções que se tomam ou que achamos se deviam tomar. E assim, a publicação anual do ranking das escolas acaba por originar este debate, esta manifestação de argumentos, enfim, um bem que vem por mal. De certa forma, quando é publicada uma lista “das melhores escolas” logo surge a pergunta: “melhores em quê?” O desporto — talvez uma das atividades humanas onde esta ânsia “do melhor” é mais inflamada — já se preveniu para a dificuldade desta pergunta. Criou modalidades, especialidades, “posições nos desportos coletivos”, etc., etc. De forma que sempre podemos dizer que fulano é “o melhor defesa esquerdo da terceira divisão distrital neste mês”. No futebol sabe-se que efeito desastroso seria colocar Cristiano Ronaldo a guarda-redes e Rui Patrício a “ponta-de-lança”. A questão “melhor em quê?” encoraja-nos uma resposta: “melhor a resolver os problemas específicos que se lhe deparam”

Ora se o “melhor for para resolver os problemas que se lhe deparam”, teríamos que dizer que o problema da Educação seriam os exames, dado que o ranking é elaborado com base nos resultados dos exames nacionais. Mas o problema da Educação são os exames? Digamos que... se acabássemos com os exames acabávamos com os problemas na educação? Ninguém acreditaria nisto. Os desafios da Educação contemporânea vão muito para além de termos alunos com bom desempenho nos exames nacionais, talvez o pudéssemos situar num objetivo bem mais complexo e ambicioso: “Educar com qualidade todos os alunos”. Devemos concordar que para avaliar este objetivo o ranking das escolas é bem insuficiente. Diríamos que por três razões:

Antes de mais porque os problemas com que as escolas se deparam não são os mesmos. Para umas escolas a questão principal é segurar os alunos para que eles não desistam, para outras é motivar os alunos para obterem as noções fundamentais de literacia, para outras é resolver sérios problemas de disciplina, para outras é lidar com a heterogeneidade dos alunos, para outras é a desmotivação dos professores, para outras é relacionar-se com os pais, etc. Para muitas escolas seria um verdadeiro presente se a preocupação central, única ou até predominante fosse “a aprendizagem dos conteúdos”. Mas quantas prioridades se intrometem antes de lá chegar!

Um outro aspeto é que os resultados dos alunos não são só fruto da intervenção da escola. Conhecemos melhor que nunca o efeito que a literacia das famílias tem no aproveitamento dos alunos. Os meios socioeconómicos de que os alunos são provenientes influenciam fortemente a previsão dos resultados da escola. A isto se poderia acrescentar um fenómeno extraordinário e ainda pouco estudado no nosso país, que são os “Centros de Estudos”. Há centros de estudos que detêm dossiers com os testes de anos anteriores de cada professor. Isto é uma vantagem bem pouco democrática para o sucesso nos testes e mesmo nos exames. Nos exames não são só as escolas e os alunos que comparecem.

Por fim, diríamos que os rankings enfermam de uma dificuldade que há mais de 50 anos já foi encontrada nos testes psicológicos: procuram através de uma amostra pequena, simples e estandardizada avaliar todo um percurso longo, complexo e singular. O exame nacional avalia unicamente — e com elevados riscos — os conhecimentos situados e específicos de um determinado conteúdo. O que fica de fora? Bom... fica toda a educação, fica o conhecimento do que foi o progresso do aluno, fica de fora o processo (dado que só o resultado interessa), fica de fora o que se aprendeu a fazer, a conhecer, fica de fora a vida da escola. Como poderemos querer que os estudantes se interessem pela vida na escola se só valorizamos os exames? Lembro que no fim de uma aula que um professor procurou que fosse de escuta das opiniões dos alunos, de debate de ideias, um aluno lhe perguntou no fim: “Ó sotor, disto tudo o que é que vem para o exame?”

A Educação, como toda a atividade humana, precisa de ser criteriosamente avaliada. “Meter no mesmo saco” (isto é, nos resultados dos exames nacionais) realidades tão diferentes resulta injusto. Ter critério quer dizer que não pode haver boa avaliação sem levar em conta o processo e os meios que se colocaram para o objetivo.

Será que o ranking da escola seria diferente se, em lugar do telefonema a perguntar qual a posição da escola, a pergunta fosse como é se pode colaborar nas atividades da escola?

domingo, 4 de fevereiro de 2018

Voltaram os VERGONHOSOS RANKINGS


Por que NÃO FAZEM o RANKING do NÍVEL ECONÓMICO das FAMÍLIAS dos ALUNOS que OBTIVERAM MELHORES RESULTADOS??

Ao ouvir, na RTP1, uma jornalista dizer que "a receita do sucesso está na cultura de equipa... " deu-me uma enorme vontade de rir!!

Quantos cidadãos de minorias étnicas ou comunidades pobres, vivendo em bairros sociais (ou bairros de lata) estão a frequentar essas escolas cimeiras do Ranking?

Ora, o sucesso está na capacidade de poder escolher os alunos. Não porque considere que as privadas se recusam a aceitá-los mas, porque os alunos com maiores dificuldades (menores recursos, menores potencialidades, oriundos de famílias mais carenciadas, desestruturadas, cujos pais apresentam um mais baixo nível de escolaridade) nem se atrevem a entrar nas Escolas Privadas para inscreverem os seus filhos.

Se aparecessem, estou convencido de que as Escolas Privadas aceitariam as matrículas. O que duvido é que fossem admitidos sem pagarem o que lhes é exigido!!! Aliás, estou profundamente convencido de que, na hora em que fossem admitidos, a maioria das "famílias top" (que querem proteger os seus filhos da miscelânea e balbúrdia que a Escola Pública não pode recusar porque não tem quaisquer meios de fazer uma selectividade) fugiria, imediatamente, com os seus filhos para as Escolas Públicas...!

Fazendo um paralelismo com outras áreas da vida pergunto: Será que o sucesso do Porto, do Sporting ou do Benfica está na cultura de equipa... ou no nível dos jogadores contratados?

Em educação, os portugueses misturam escolas (clubes) que têm capacidade (se não directa, pelo menos indirecta!) para escolher alunos (jogadores) com os que não podem escolher alunos (jogadores)!!!

Comparam clubes da 1ª Liga e que têm todas as condições (como Porto, Sporting, Benfica, ...) com clubes da mesma Liga sem nenhumas condições?? Não! Por que será que há objetivos diferentes em níveis diferentes do mundo do futebol? Numa mesma Liga, uns querem ser campeões, outros aspiram chegar às competições europeias e, outros ainda, apenas pretendem manter-se na mesma divisão.

Já imaginaram se o Ronaldo e outros craques jogassem no Tondela?? Por que será que os jornalistas não fazem Ranking de Clubes de Futebol comparando os resultados de todos os clubes, metendo-os todos no mesmo saco?

Em Portugal, no que respeita a Educação, mistura-se tudo! E compara-se o incomparável...

Porque não fazem o mesmo sobre os clubes de Futebol? E já agora, com o nível de vida das diferentes Autarquias do país...? Afinal, como nas escolas, todos os clubes têm o mesmo número de jogadores...!

Conclusão: TEMOS UM JORNALISMO QUE METE NOJO...!

Que me diz o leitor??

Joaquim Ferreira