13.1 - Análise de frequência de palavras
Como de hábito, você deve pelo menos tentar fazer os exercícios antes de ler as minhas soluções.
Exercício 13.1
Escreva um programa que leia um arquivo, quebre cada linha em palavras, remova os espaços em branco e a pontuação das palavras, e as converta em letras minúsculas.
Dica: O módulo string oferece uma string chamada whitespace, que contém espaço, tab, newline etc., e punctuation, que contém os caracteres de pontuação. Vamos ver se conseguimos fazer o Python falar palavrões:
>>> import string
>>> string.punctuation
'!"#$%&\'()*+,-./:;<=>?@[\]^_`{|}~'
Além disso, você pode usar os métodos de string, strip, replace e translate.
Exercício 13.2
Acesse o Projeto Gutenberg (https://gutenberg.org) e baixe seu livro favorito em domínio público em formato de texto simples.
Altere seu programa do exercício anterior para ler o livro que você baixou, pulando as informações do cabeçalho no início do arquivo e processando o resto das palavras como antes.
Então altere o programa para contar o número total de palavras no livro e o número de vezes que cada palavra é usada.
Exiba o número de palavras diferentes usadas no livro. Compare livros diferentes de autores diferentes, escritos em eras diferentes. Que autor usa o vocabulário mais extenso?
Exercício 13.3
Altere o programa do exercício anterior para exibir as 20 palavras mais frequentes do livro.
Exercício 13.4
Altere o programa anterior para ler uma lista de palavras (ver “Leitura de listas de palavras”, na página 133) e então exiba todas as palavras do livro que não estão na lista de palavras. Quantas delas são erros ortográficos? Quantas delas são palavras comuns que deveriam estar na lista de palavras, e quantas são muito obscuras?