TECNOLANDIA TECH
Publicidade

Conecte-se com o Tecnolândia Tech

BLOG + INSTAGRAM + FACEBOOK

Tecnologia na prática, em todos os formatos.

Aqui no Tecnolândia Tech, você encontra artigos e guias completos. No Instagram @djwinformatica e no Facebook TecnoInfo, acompanhe vídeos, dicas e novidades de IA, automação e tecnologia. São nossos canais oficiais.

Web Scraping com BeautifulSoup: Do Zero ao Primeiro Dataset

Web Scraping com BeautifulSoup: Do Zero ao Primeiro Dataset

Imagem: Pexels

Web scraping é a habilidade que separa quem só consome dados de quem os transforma em planilha, dashboard ou modelo. Com requests + BeautifulSoup, o fluxo inteiro cabe em cinquenta linhas de Python — e este guia usa o site books.toscrape.com, criado especificamente para treino de scraping, para levar você do HTML cru ao primeiro dataset em CSV, com as regras de ética e robustez que faltam nos exemplos genéricos da internet.

1. Antes do código: o que você pode e deve coletar

Scraping de site alheio tem três filtros que você mesmo aplica. Primeiro, o robots.txt do domínio: se o caminho está bloqueado para crawlers, respeite. Segundo, os termos de uso do site: muitos proíbem extração automatizada explicitamente. Terceiro, a carga no servidor: um request por segundo já é educado; dez por segundo é ataque. Dados públicos de preço, vaga de emprego ou catálogo que você mesmo visita manualmente são o campo comum do scraping legítimo; dados pessoais protegidos não são. Site de treino como o books.toscrape.com elimina tudo isso — comece por lá.

2. Duas bibliotecas, um fluxo

requests baixa o HTML; BeautifulSoup transforma a string em árvore navegável. Instale com pip install requests beautifulsoup4. O esqueleto:

import requests
from bs4 import BeautifulSoup

url = "https://books.toscrape.com/"
resp = requests.get(url, timeout=10)
resp.raise_for_status()

soup = BeautifulSoup(resp.text, "html.parser")

Três detalhes que salvam projeto: timeout sempre — sem ele, uma conexão pendurada trava o script inteiro; raise_for_status() — para falhar alto em 404/500 em vez de tentar parsear página de erro; e o parser explícito "html.parser", que já vem com Python (instale lxml se quiser mais velocidade e tolerância a HTML torto).

3. Localizar os elementos: find, find_all e select

Para extrair os livros da página de catálogo, inspecione o DOM e note que cada item vive num elemento <article> com classe product_pod. Duas formas de pegar:

# Caminho por classes (mais robusto que por estrutura)
livros = soup.select("article.product_pod")

# Depois, dentro de cada item:
titulo = livro.h3.a["title"]
preco = livro.find("p", class_="price_color").get_text()

select() aceita qualquer seletor CSS que você já conhece do front-end — combinações, descendentes, atributos — e costuma ser mais legível que a corrente de find(). Prefira classes e ids estáveis; hierarquia como div > ul > li:nth-child(3) quebra com o primeiro redesign do site.

4. Do HTML ao dataset: paginação e CSV

O catálogo de treino tem 50 páginas no padrão catalogue/page-2.html. O padrão de paginação é anotar o padrão de URL, iterar e coletar:

import csv, time

linhas = []
for pagina in range(1, 51):
    r = requests.get(
        f"https://books.toscrape.com/catalogue/page-{pagina}.html",
        timeout=10)
    soup = BeautifulSoup(r.text, "html.parser")
    for livro in soup.select("article.product_pod"):
        linhas.append({
            "titulo": livro.h3.a["title"],
            "preco": livro.find("p", class_="price_color").get_text(),
            "estoque": livro.find("p", class_="instock").get_text(strip=True),
        })
    time.sleep(1)  # respeite o servidor

with open("livros.csv", "w", newline="", encoding="utf-8") as f:
    w = csv.DictWriter(f, fieldnames=linhas[0].keys())
    w.writeheader()
    w.writerows(linhas)

Cinquenta páginas, um time.sleep(1) e um CSV com mil itens — o mesmo shape que você alimentaria em pandas com pd.read_csv("livros.csv"). Normalize preço depois, removendo o símbolo de moeda e convertendo para float.

5. Quando a página é JavaScript: os limites do requests

Se o conteúdo só aparece após o navegador executar JavaScript, requests vê HTML vazio. Antes de migrar para Playwright ou Selenium, procure o dado em outro lugar: muitos sites carregam via API JSON interna, acessível com o mesmo requests — abra as ferramentas de rede do navegador, recarregue e veja qual chamada traz os dados. API interna é mais rápido, mais estável e menos pesado que navegador headless.

6. Robustez que separa script de brincadeira de ferramenta

  • Trate try/except por item: um livro sem preço não pode derrubar a varredura inteira.
  • Registre o progresso (print ou log por página) para retomar de onde parou.
  • Versione o script e o CSV, não o HTML bruto.
  • Revalide o seletor de tempos em tempos: mudança no site é rotina, não exceção.

O dataset de livros que você acabou de gerar é o degrau inicial: pratique agregações em pandas (preço médio por disponibilidade, histograma de valores) e só depois aponte o mesmo fluxo para um alvo de trabalho real — com a mesma educação de rate limit e as mesmas verificações legais. Scraping bem feito é coleta disciplinada, não downloads no automático.

Publicidade