Dato un URL, fa lo scraping di una ricerca su immobiliare e poi invia una notifica con i risultati su ntfy
- Shell 56.7%
- Python 43.3%
| .gitignore | ||
| go.sh | ||
| go_n_log.sh | ||
| immobiliare.py | ||
| notify.sh | ||
| README.md | ||
| settings.conf | ||
SCRAPA UN LINK DI IMMOBILIARE
# git clona la repo
git clone https://git.lattuga.net/scossa/immobiliare-scraper
# Entra nella cartella della repo
cd immobiliare-scraper
# Crea l'ambiente virtuale python
python3 -m venv .venv
# Attivalo
source .venv/bin/activate
# Installa le dipendenze
pip3 install requests beautifulsoup4
# Rendi eseguibile lo script python
chmod +x immobiliare.py
# MODIFICA IL LINK NELLE PRIME RIGHE DEL FILE "immobiliare.py"
vim immobiliare.py
# Lancia lo Scraper !
python3 immobiliare.py
MANDA UNA NOTIFICA VIA NTFY
- Setta le variabili
Percorso,NTFY_SERVEReNTFY_TOPICnel filesettings.conf - Setta il path del CONFIG_FILE dentro
go.sh - Lancia lo script
go.sh:) - Se tutto è settato correttamente puoi metterlo in cron per essere lanciato ogni 10 minuti:
# elevati a root
sudo su
# apri l'editor del crontab
crontab -e
# Immobiliare scraper ogni 10min
*/10,20,30,40,50,00 * * * * cd /opt/immobiliare-scraper/; /opt/immobiliare-scraper/go.sh
# Immobiliare scraper e log ogni 10min
*/10,20,30,40,50,00 * * * * cd /opt/immobiliare-scraper/; /opt/immobiliare-scraper/go_n_log.sh