core: Melhorias gerais

Author: henriquesebastiao

CHANGELOG.md

@@ -1,3 +1,10 @@
+## [0.1.0](https://github.com/henriquesebastiao/vagas-dev/releases/0.1.0) - 2026-03-04
+
+### Core
+
+- Refatorando código e melhorias na busca de vagas
+
+
 ## [0.1.0-beta.5](https://github.com/henriquesebastiao/vagas-dev/releases/0.1.0-beta.5) - 2026-03-04
 
 ### Funcionalidade

README.md

@@ -8,7 +8,7 @@ Um sistema de busca de vagas de emprego para desenvolvedores e notificações vi
 
 Esse sistema é composto por uma API REST que busca por novas vagas de trabalho periódicamente em fontes como [Gupy](https://portal.gupy.io/) e [LinkedIn](https://www.linkedin.com) em background e notifica sobre as novas vagas encontradas via apps de mensagens como Telegram e Discord.
 
-Os links de acesso ao sistema estão listado abaixo:
+Os links de acesso ao sistema estão listados abaixo:
 
 - [Documentação](https://henriquesebastiao.github.io/vagas-dev/)
 - [Interface Web](https://vagas.henriquesebastiao.com/)
@@ -20,7 +20,7 @@ Os links de acesso ao sistema estão listado abaixo:
 
 ## 🔔 Notificações
 
-Para receber alertas das vagas encontradas pelo sistema faça parte do grupo de alertas no seu app mensageiro de preferência entre os listados abaixo:
+Para receber alerta das vagas encontradas pelo sistema faça parte do grupo de alerta no seu app mensageiro de preferência entre os listados abaixo:
 
 > O link de cada um é o link de convite para o grupo ou servidor.
 
@@ -30,7 +30,7 @@ Para receber alertas das vagas encontradas pelo sistema faça parte do grupo de
 ## Funcionalidades
 
 - **Busca periódica automática** — scheduler configurável que roda em background e coleta novas vagas em intervalos definidos, sem intervenção manual
-- **Notificações** — integração com Telegram e Discord para enviar alertas de novas vagas que correspondam a palavras-chave específicas
+- **Notificações** — integração com Telegram e Discord para enviar alerta de novas vagas que correspondam a palavras-chave específicas
 - **Sem duplicação de vagas** — vagas já registradas são ignoradas automaticamente, garantindo que o banco nunca acumule duplicatas, independente de quantas vezes o scheduler seja executado
 - **API REST centralizada** — todas as vagas de todas as fontes acessíveis por um único endpoint, com filtros por palavra-chave, localização, tipo de trabalho e fonte
 - **Filtros disponíveis** - busque vagas podendo filtrar pelas seguintes características:
@@ -42,13 +42,13 @@ Para receber alertas das vagas encontradas pelo sistema faça parte do grupo de
   - **Paginação** — controle o número de resultados retornados e a partir de qual posição começar (limit/offset)
 - **Trigger manual de sync** — é possível disparar uma sincronização sob demanda via endpoint, sem precisar esperar o próximo ciclo do scheduler
 - **Arquitetura extensível** — adicionar uma nova fonte de vagas exige apenas criar um novo scraper herdando da classe base; toda a lógica de persistência e deduplicação já está pronta
-- **Interface Web** - interface web desenvolvida com [Next.js](https://nextjs.org/)   para visualização e busca das vagas encontradas pelo sistema.
+- **Interface Web** - interface web desenvolvida com [Next.js](https://nextjs.org/) para visualização e busca das vagas encontradas pelo sistema.
 
 ## Fontes Suportadas
 
-| Fonte | Método | Status       |
-|-------|--------|--------------|
-| Gupy  | API    | ✅ Disponível |
+| Fonte    | Método  | Status       |
+|----------|---------|--------------|
+| Gupy     | API     | ✅ Disponível |
 | LinkedIn | Scraper | ✅ Disponível |
 
 > Novas fontes podem ser adicionadas criando um scraper que implementa `BaseJobScraper`.

backend/app/__init__.py

@@ -1 +1 @@
-__version__ = '0.1.0-beta.5'
+__version__ = '0.1.0'

backend/app/keywords.py

@@ -1,18 +1,9 @@
 KEYWORDS = [
     'python',
-    'fastapi',
     'django',
-    'flask',
-    'sqlalchemy',
-    'docker',
-    'kubernetes',
     'java',
-    'spring',
     'golang',
     'javascript',
-    'react',
-    'angular',
-    'vue',
     'frontend',
     'backend',
 ]

backend/app/scrapers/gupy.py

@@ -6,12 +6,7 @@
 
 from app.scrapers import transport
 from app.scrapers.base import BaseJobScraper
-from app.utils import (
-    add_time,
-    after_request,
-    before_request,
-    get_level_seniority,
-)
+from app.utils import get_level_seniority
 
 logger = logging.getLogger(__name__)
 
@@ -48,10 +43,6 @@ async def fetch_jobs(self) -> list[dict]:
             base_url=self.BASE_URL,
             transport=transport,
             timeout=10,
-            event_hooks={
-                'request': [before_request, add_time],
-                'response': [after_request],
-            },
         ) as client:
             for keyword in self.keywords:
                 offset = 0

backend/app/scrapers/linkedin.py

@@ -1,3 +1,4 @@
+import asyncio
 import hashlib
 import logging
 from http import HTTPStatus
@@ -7,11 +8,6 @@
 
 from app.scrapers import transport
 from app.scrapers.base import BaseJobScraper
-from app.utils import (
-    add_time,
-    after_request,
-    before_request,
-)
 
 logger = logging.getLogger(__name__)
 
@@ -23,8 +19,8 @@
 
 linkedin_workplace_type_id = {
     'remote': 2,
-    'hybrid': 3,
-    'on-site': 1,
+    # 'hybrid': 3,
+    # 'on-site': 1,
 }
 
 
@@ -46,85 +42,93 @@ async def fetch_jobs(self) -> list[dict]:
             base_url=self.BASE_URL,
             transport=transport,
             timeout=30,
-            event_hooks={
-                'request': [before_request, add_time],
-                'response': [after_request],
-            },
         ) as client:
             for keyword in self.keywords:
                 for level, level_id in linkedin_level_id.items():
                     for (
                         workplace_type,
                         workplace_type_id,
                     ) in linkedin_workplace_type_id.items():
-                        params = {
-                            'keywords': f'"{keyword}"',
-                            'f_E': level_id,
-                            'f_WT': workplace_type_id,
-                            'location': 'Brasil',
-                            'geoId': '106057199',
-                        }
-
-                        try:
-                            response = await client.get(
-                                '/jobs/search', params=params
-                            )
-                        except httpx.ReadTimeout:
-                            logger.warning(
-                                'Timeout ao buscar vagas para keyword '
-                                f'"{keyword}". Pulando para o próximo keyword.'
-                            )
-                            continue
-
-                        if response.status_code == HTTPStatus.OK:
-                            bs = BeautifulSoup(response.text, 'html.parser')
-
-                            # Busca pelos links e títulos das vagas.
-                            jobs_list = bs.find_all(
-                                'a', {'class': 'base-card__full-link'}
-                            )
-
-                            if len(jobs_list) == 0:
-                                continue
-
-                            jobs = []
-
-                            for job in jobs_list:
-                                job_data = {
-                                    'title': job.get_text(strip=True),
-                                    'url': job['href'],
-                                }
-                                jobs.append(job_data)
-
-                            for job in jobs:
-                                external_id = hashlib.md5(
-                                    job['title'].encode()
-                                ).hexdigest()[:10]
-                                content = {
-                                    'external_id': external_id,
-                                    'keyword': keyword,
-                                    'title': job['title'],
-                                    'description': None,
-                                    'company': None,
-                                    'location': 'Brasil',
-                                    'url': job['url'],
-                                    'workplace_type': workplace_type,
-                                    'published_at': None,
-                                    'end_applications': None,
-                                    'for_pcd': False,
-                                    'level': level,
-                                }
-
-                                all_jobs.append(self._parse(content))
-                        else:
-                            logger.warning(
-                                'Erro ao buscar vagas '
-                                f'para keyword "{keyword}". '
-                                f'Status code: {response.status_code}. '
-                                f'Resposta: {response.text[:200]}... '
-                                'Pulando para o próximo keyword.'
-                            )
-                            continue
+                        while True:
+                            params = {
+                                'keywords': f'"{keyword}"',
+                                'f_E': level_id,
+                                'f_WT': workplace_type_id,
+                                'location': 'Brasil',
+                                'geoId': '106057199',
+                            }
+
+                            try:
+                                response = await client.get(
+                                    '/jobs/search', params=params
+                                )
+                            except httpx.ReadTimeout:
+                                logger.warning(
+                                    'Timeout ao buscar vagas para keyword '
+                                    f'"{keyword}". Pulando para o próximo keyword.'
+                                )
+                                break
+
+                            if response.status_code == HTTPStatus.OK:
+                                bs = BeautifulSoup(
+                                    response.text, 'html.parser'
+                                )
+
+                                # Busca pelos links e títulos das vagas.
+                                jobs_list = bs.find_all(
+                                    'a', {'class': 'base-card__full-link'}
+                                )
+
+                                if len(jobs_list) == 0:
+                                    break
+
+                                jobs = []
+
+                                for job in jobs_list:
+                                    job_data = {
+                                        'title': job.get_text(strip=True),
+                                        'url': job['href'],
+                                    }
+                                    jobs.append(job_data)
+
+                                for job in jobs:
+                                    external_id = hashlib.md5(
+                                        job['title'].encode()
+                                    ).hexdigest()[:10]
+                                    content = {
+                                        'external_id': external_id,
+                                        'keyword': keyword,
+                                        'title': job['title'],
+                                        'description': None,
+                                        'company': None,
+                                        'location': 'Brasil',
+                                        'url': job['url'],
+                                        'workplace_type': workplace_type,
+                                        'published_at': None,
+                                        'end_applications': None,
+                                        'for_pcd': False,
+                                        'level': level,
+                                    }
+
+                                    all_jobs.append(self._parse(content))
+                                break
+                            elif response.status_code == 999:  # noqa
+                                logger.warning(
+                                    'Status 999 recebido, tentando novamente...'
+                                )
+                                await asyncio.sleep(
+                                    2
+                                )  # Aguarda antes de tentar novamente
+                                continue  # Repete o while com os mesmos valores
+                            else:
+                                logger.warning(
+                                    'Erro ao buscar vagas '
+                                    f'para keyword "{keyword}". '
+                                    f'Status code: {response.status_code}. '
+                                    f'Resposta: {response.text[:200]}... '
+                                    'Pulando para o próximo keyword.'
+                                )
+                                break
         return all_jobs
 
     @staticmethod

backend/app/utils.py

@@ -1,9 +1,6 @@
 import logging
-import time
-import uuid
 from typing import Annotated
 
-import httpx
 from fastapi import Depends
 from sqlalchemy.ext.asyncio import AsyncSession
 
@@ -42,27 +39,3 @@ def get_level_seniority(title: str) -> str | None:
         return JobLevel.senior
     else:
         return None
-
-
-async def before_request(request: httpx.Request):
-    request_id = str(uuid.uuid4())
-    request.headers['X-Request-ID'] = request_id
-    request.extensions['request_id'] = request_id
-
-
-async def add_time(request: httpx.Request):
-    request.extensions['start_time'] = time.monotonic()
-
-
-async def after_request(response: httpx.Response):
-    request = response.request
-    start = response.request.extensions.get('start_time', None)
-    if start:
-        elapsed = time.monotonic() - start
-    else:
-        elapsed = None
-
-    _logger.info(
-        f'{request.method} {request.url} {response.status_code}'
-        f'{elapsed} {request.extensions.get("request_id")}'
-    )

backend/app/wrappers/telegram.py

@@ -16,7 +16,6 @@
     PYTHON_KEYWORDS,
 )
 from app.models import Job
-from app.utils import add_time, after_request, before_request
 
 logger = logging.getLogger(__name__)
 
@@ -78,10 +77,6 @@ async def send_notification_jobs(
             base_url=f'https://api.telegram.org/bot{self._token}',
             transport=limiter_transport,
             timeout=10,
-            event_hooks={
-                'request': [before_request, add_time],
-                'response': [after_request],
-            },
         ) as client:
             settings = get_settings()
 

frontend/components/Header.js

@@ -37,7 +37,7 @@ export default function Header({ sources }) {
               width: 34,
               height: 34,
               borderRadius: 10,
-              background: "linear-gradient(135deg, #6366f1, #8b5cf6)",
+              background: "linear-gradient(135deg, #6366f1, #0CC0DF)",
               display: "flex",
               alignItems: "center",
               justifyContent: "center",

frontend/components/JobDetail.js

@@ -118,7 +118,7 @@ export default function JobDetail({ job }) {
               target="_blank"
               rel="noopener noreferrer"
               style={{
-                background: "linear-gradient(135deg, #6366f1, #8b5cf6)",
+                background: "linear-gradient(135deg, #6366f1, #0CC0DF)",
                 color: "#fff",
                 padding: "10px 20px",
                 borderRadius: 10,