Café Com Código #09: Entendendo Métricas de Avaliação de Modelos

Entendendo Métricas de Avaliação de Modelos

Salve Minerador!,

No Café com Código #09 vai mais um dica para você aprender Data Science na pausa para o sagrado cafezinho.

ENTENDENDO_METRICAS_MODELOS

Como sempre de forma rápida e objetiva…Entendendo Métricas de Avaliação de Modelos.

Na rapidinha de hoje mostraremos como entender algumas métricas de avaliação de modelos de classificação quando trabalhamos com Machine Learning.

As métricas de avaliação são fundamentais para verificar se o nosso modelo está com bons resultados e como podemos melhorar.

Com as métricas precision (precisão), recall (revocação) e f1-score (medida F) temos uma visão clara dos resultados e nos permite entender melhor como o modelo está funcionando.

Para entender o que é a Precisão, Revocação e F1-Score, primeiro temos que saber sobre a terminologia para classificação. São elas:

  • True positive (TP) : significa uma classificação correta da classe positive. Por exemplo, a classe real é Positivo e o modelo classificou como Positivo.
  • True negative (TN) : significa uma classificação correta da classe negative. Por exemplo, a classe real é Negativo e o modelo classificou como Negativo.
  • False positive (FP) : significa uma classificação errada da classe positive. Por exemplo, a classe real é Negativo e o modelo classificou como Positivo.
  • False negative (FN) : significa uma classificação errada da classe negative. Por exemplo, a classe real é Positivo e o modelo classificou como Negativo.

A precisão (precision) é calculada da seguinte forma:

precision = true positive / (true positive + false positive)

Isso significa o número de vezes que uma classe foi predita corretamente dividida pelo número de vezes que a classe foi predita.

Por exemplo, o número de vezes que a classe Positivo foi classificada corretamente dividido pelo número de classes classificadas como Positivo.

A revocação (recall) é calculada da seguinte forma:

recall = true positive / (true positive + false negative)

Isso significa o número de vezes que uma classe foi predita corretamente (TP) dividido pelo número de vezes que a classe aparece no dado de teste (FN).

Por exemplo, o número de vezes que a classe Positivo foi predita corretamente dividido pelo número de classes Positivo que contém no dado de teste.

Já a F1-score é calculada da seguinte forma:

f1-score = 2*((precision * recall) / (precision + recall)

Essa medida é a média harmônica entre precisão e revocação. Com essa informação podemos dizer a performance do classificador com um indicador apenas.

Como essa medida é uma média, esta da uma visão mais exata da eficiência do classificador que apenas a precisão ou a revocação.

Humm, e a acurácia ? Como funciona?

Para calcular, use a formula:

Accuracy = (TP +TN ) / (TP + FP +TN +FN)

Perceba que a acurácia nos mostra como o classificador se saiu de uma maneira geral, pois, esta mede a quantidade de acertos sobre o todo.

Por isso podemos dizer que seria o percentual de instâncias classificadas corretamente.

Então, o que achou? alguma dúvida? Me fale aqui.

Esse foi mais um Café com Código, toda Quarta as 15h no seu e-mail.

Gostou dessa dica? então assine a lista de e-mail abaixo para receber diretamente no seu e-mail. 😉

Não esqueça de compartilhar com seus amigos e me conte aqui o que está achando.

Forte abraço!

Coloque o seu e-mail abaixo para receber gratuitamente as atualizações do blog!