Skip to content

About

O projeto visa demonstrar como técnicas de webscraping podem ser integradas com ferramentas de análise de dados para fornecer informações relevantes sobre um mercado específico, ajudando empresas ou pesquisadores a tomar decisões informadas.

Resources

Stars

1 star

Watchers

1 watching

Forks

Latest commit

 

History

12 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Projeto: Webscraping para Análise de Mercado

Este projeto foi desenvolvido para realizar uma análise de mercado detalhada de tênis esportivos utilizando webscraping. Ele captura dados de um marketplace popular e apresenta os resultados em um dashboard interativo.

🛠 Funcionalidades Coleta de Dados Automatizada: Utiliza técnicas de webscraping para extrair informações de produtos, como:

Marca; Preço; Avaliações e outros dados relevantes. Análise de Dados: Geração de insights a partir dos dados coletados, como:

Número total de itens coletados; Número de marcas únicas; Preço médio dos produtos; Satisfação por marca (baseada em avaliações). Visualização Interativa: Dashboard dinâmico desenvolvido com Streamlit, que apresenta:

KPIs principais; Gráficos de barras; Tabelas detalhadas. Armazenamento Estruturado: Os dados extraídos são armazenados em um banco de dados SQLite, garantindo persistência e fácil reuso.

🎯 Objetivo Este projeto demonstra como técnicas de webscraping podem ser combinadas com ferramentas de análise de dados para fornecer insights estratégicos. Ele é útil para empresas e pesquisadores que desejam entender melhor o mercado de um produto específico.

🚀 Tecnologias Utilizadas Python: Linguagem base do projeto; Scrapy: Framework para web scraping; SQLite: Banco de dados para armazenamento dos dados coletados; pandas: Processamento e manipulação de dados; Streamlit: Criação de dashboard interativo.

📂 Estrutura do Projeto

projectwebscraping/
├── src/
│   ├── dashboard/
│   │   └── app.py  # Aplicação Streamlit
│   └── transformacao/
│       └── main.py  # Scripts de manipulação dos dados
├── data/
│   └── quotes.db  # Banco de dados SQLite com os dados extraídos
└── README.md       # Documentação do projeto

📈 Como Executar

  1. Rodar o Web Scraping Para coletar os dados diretamente do marketplace, execute o comando abaixo na pasta onde o Scrapy está configurado:
scrapy crawl mercadolivre -o ../../data/data.jsonl

Os dados serão salvos no arquivo data.jsonl, localizado na pasta data/.

  1. Processar os Dados com Pandas Após a coleta, você pode processar os dados com Pandas. Execute este comando dentro da pasta src:
python transformacao/main.py
  1. Executar o Dashboard Interativo Para visualizar os insights, rode o Streamlit para carregar o dashboard:
streamlit run src/dashboard/app.py

📝 Licença Este projeto é de código aberto e está licenciado sob os termos da MIT License.

About

O projeto visa demonstrar como técnicas de webscraping podem ser integradas com ferramentas de análise de dados para fornecer informações relevantes sobre um mercado específico, ajudando empresas ou pesquisadores a tomar decisões informadas.

Resources

Stars

1 star

Watchers

1 watching

Forks

Releases

Packages

Used by

Contributors

Languages