Web Scraping com BeautifulSoup: Do Zero ao Primeiro Dataset

Imagem: Pexels
Web scraping é a habilidade que separa quem só consome dados de quem os transforma em planilha, dashboard ou modelo. Com requests + BeautifulSoup, o fluxo inteiro cabe em cinquenta linhas de Python — e este guia usa o site books.toscrape.com, criado especificamente para treino de scraping, para levar você do HTML cru ao primeiro dataset em CSV, com as regras de ética e robustez que faltam nos exemplos genéricos da internet.
1. Antes do código: o que você pode e deve coletar
Scraping de site alheio tem três filtros que você mesmo aplica. Primeiro, o robots.txt do domínio: se o caminho está bloqueado para crawlers, respeite. Segundo, os termos de uso do site: muitos proíbem extração automatizada explicitamente. Terceiro, a carga no servidor: um request por segundo já é educado; dez por segundo é ataque. Dados públicos de preço, vaga de emprego ou catálogo que você mesmo visita manualmente são o campo comum do scraping legítimo; dados pessoais protegidos não são. Site de treino como o books.toscrape.com elimina tudo isso — comece por lá.
2. Duas bibliotecas, um fluxo
requests baixa o HTML; BeautifulSoup transforma a string em árvore navegável. Instale com pip install requests beautifulsoup4. O esqueleto:
import requests
from bs4 import BeautifulSoup
url = "https://books.toscrape.com/"
resp = requests.get(url, timeout=10)
resp.raise_for_status()
soup = BeautifulSoup(resp.text, "html.parser")
Três detalhes que salvam projeto: timeout sempre — sem ele, uma conexão pendurada trava o script inteiro; raise_for_status() — para falhar alto em 404/500 em vez de tentar parsear página de erro; e o parser explícito "html.parser", que já vem com Python (instale lxml se quiser mais velocidade e tolerância a HTML torto).
3. Localizar os elementos: find, find_all e select
Para extrair os livros da página de catálogo, inspecione o DOM e note que cada item vive num elemento <article> com classe product_pod. Duas formas de pegar:
# Caminho por classes (mais robusto que por estrutura)
livros = soup.select("article.product_pod")
# Depois, dentro de cada item:
titulo = livro.h3.a["title"]
preco = livro.find("p", class_="price_color").get_text()
select() aceita qualquer seletor CSS que você já conhece do front-end — combinações, descendentes, atributos — e costuma ser mais legível que a corrente de find(). Prefira classes e ids estáveis; hierarquia como div > ul > li:nth-child(3) quebra com o primeiro redesign do site.
4. Do HTML ao dataset: paginação e CSV
O catálogo de treino tem 50 páginas no padrão catalogue/page-2.html. O padrão de paginação é anotar o padrão de URL, iterar e coletar:
import csv, time
linhas = []
for pagina in range(1, 51):
r = requests.get(
f"https://books.toscrape.com/catalogue/page-{pagina}.html",
timeout=10)
soup = BeautifulSoup(r.text, "html.parser")
for livro in soup.select("article.product_pod"):
linhas.append({
"titulo": livro.h3.a["title"],
"preco": livro.find("p", class_="price_color").get_text(),
"estoque": livro.find("p", class_="instock").get_text(strip=True),
})
time.sleep(1) # respeite o servidor
with open("livros.csv", "w", newline="", encoding="utf-8") as f:
w = csv.DictWriter(f, fieldnames=linhas[0].keys())
w.writeheader()
w.writerows(linhas)
Cinquenta páginas, um time.sleep(1) e um CSV com mil itens — o mesmo shape que você alimentaria em pandas com pd.read_csv("livros.csv"). Normalize preço depois, removendo o símbolo de moeda e convertendo para float.
5. Quando a página é JavaScript: os limites do requests
Se o conteúdo só aparece após o navegador executar JavaScript, requests vê HTML vazio. Antes de migrar para Playwright ou Selenium, procure o dado em outro lugar: muitos sites carregam via API JSON interna, acessível com o mesmo requests — abra as ferramentas de rede do navegador, recarregue e veja qual chamada traz os dados. API interna é mais rápido, mais estável e menos pesado que navegador headless.
6. Robustez que separa script de brincadeira de ferramenta
- Trate try/except por item: um livro sem preço não pode derrubar a varredura inteira.
- Registre o progresso (print ou log por página) para retomar de onde parou.
- Versione o script e o CSV, não o HTML bruto.
- Revalide o seletor de tempos em tempos: mudança no site é rotina, não exceção.
O dataset de livros que você acabou de gerar é o degrau inicial: pratique agregações em pandas (preço médio por disponibilidade, histograma de valores) e só depois aponte o mesmo fluxo para um alvo de trabalho real — com a mesma educação de rate limit e as mesmas verificações legais. Scraping bem feito é coleta disciplinada, não downloads no automático.