Skip to content

README.md

Latest commit

 

History

History
121 lines (92 loc) · 3.16 KB

README.md

File metadata and controls

121 lines (92 loc) · 3.16 KB
Raw

🛍️ Korean Fashion Shops Scraper

Python Licence Fashion App CI

Un scraper simple pour collecter les produits et tendances des principales boutiques de mode coréennes.
Utile pour la veille, l'analyse ou l'automatisation des données e-commerce.

🚀 Fonctionnalités

  • Scraping des nouveautés et collections depuis :

  • Export des données en :

    • .json
    • .csv

  • Structure modulaire, facilement extensible par site

📦 Installation

git clone https://github.com/delitamakanda/scraper-kr-fashion-shops.git
cd scraper-kr-fashion-shops
pip install -r requirements.txt
python3 -m venv koreanfashion
source koreanfashion/bin/activate

django-admin startproject scraper .
django-admin startapp core

or 

python3 manage.py runserver

Optionnel : si des cookies ou des clés API sont nécessaires, créer un fichier .env à la racine :

MY_SECRET=xxx
ANOTHER_CONFIG=yyy

🔧 Utilisation

Exemple de lancement pour scraper un site précis :

Crawler maybe-baby.co.kr

python3 core/crawler.py headless

Crawler en.stylenanda.com

python3 core/crawler_stylenanda.py headless

3ce beauty products

python3 core/crawler_stylenanda.py headless baseurl

Crawler en.frombeginning.com

python3 core/crawler_frombeginning.py headless

Crawler en.wonlog.co.kr

python3 core/crawler_wonlog.py headless

Populate products in db

python3 manage.py crawler output.csv --baseurl=https://en.maybe-baby.co.kr
python3 manage.py crawler output2.csv --baseurl=https://stylenanda.com
python3 manage.py crawler output3.csv --baseurl=https://en.frombeginning.kr
python3 manage.py crawler output4.csv --baseurl=https://wonlog.co.kr

Tests

python3 -m pytest test/test_crawler.py
python3 -m pytest test/test_crawler_mock.py

cron jobs

100 0 0 * * * python3 manage.py crawler output4.csv --baseurl=https://wonlog.co.kr 99 0 0 * * * python3 manage.py crawler output3.csv --baseurl=https://en.frombeginning.kr 98 0 0 * * * python3 manage.py send_mail 97 0 0 * * * python3 manage.py deleteproduct 3month 96 0 0 * * * python3 manage.py crawler output.csv --baseurl=https://en.maybe-baby.co.kr

🛠️ Roadmap

  • Support d'autres shops coréens

monitoring

on each vm

import psutil, shutil, requests

def collect_and_send(host_id):
    payload = {
        "host_id": host_id,
        "cpu_percentage": psutil.cpu_percent(),
        "ram_percentage": psutil.virtual_memory().percent,
        "disk_percentage": shutil.disk_usage("/").used / shutil.disk_usage("/").total * 100,
    }
    requests.post("https://kf.applikuapp.com/api/metrics/", json=payload)