From ef3da656634d7ef8ef8025c03ef758cc26b8aca4 Mon Sep 17 00:00:00 2001 From: pezcurrel Date: Tue, 13 Oct 2020 17:48:55 +0200 Subject: [PATCH] ... --- .gitignore | 1 + web/dafa.txt | 1 + web/index.php | 11 +++++++++ web/mustard/clitools/crawl.bash | 9 +++++++ web/mustard/clitools/crawl.sh | 4 ---- web/mustard/clitools/crawler.php | 40 ++++++++++++++++++-------------- 6 files changed, 44 insertions(+), 22 deletions(-) create mode 100755 web/mustard/clitools/crawl.bash delete mode 100755 web/mustard/clitools/crawl.sh diff --git a/.gitignore b/.gitignore index 3c83bf2..28009ce 100644 --- a/.gitignore +++ b/.gitignore @@ -16,3 +16,4 @@ /web/mustard/zzz-materiali/snippettoni.php /web/mustard/zzz-materiali/worldcities/ /web/mustard/zzz-materiali/fork_awesome_css/ +/system/ diff --git a/web/dafa.txt b/web/dafa.txt index fed0376..1377ea4 100644 --- a/web/dafa.txt +++ b/web/dafa.txt @@ -18,6 +18,7 @@ - usare menu.php di mustard, poi modificarlo in modo che da cell si veda menu hamburger - o simili * blacklistare byoblu +- spostare tutta la roba sensibile in una dir "contenitore", tipo fare che la root dir è "/srv/http/mastodon.help/site", e in "/srv/http/mastodon.help" fare dir per logs, per accounts, per ini files, ecc. - rimuovere Instances.Chosen dappertutto * crawler.php: togliere "lecho", aggiungere time ed etr, aggiungere controllo memoria - crawler.php, peerscrawl.php: verificare perché stderr viene indirizzato a stdout, fare in modo che lo sia sempre a livello di script diff --git a/web/index.php b/web/index.php index fdcd240..7763f3e 100644 --- a/web/index.php +++ b/web/index.php @@ -158,6 +158,17 @@ switch($path) { $menu['instances']['selected']=true; break; + case '/instancesnew': + $cont=array( + 'fp'=>'instances_'.$dlang.'.php', + 'atit'=>' - '.$data[$dlang.'.instances.atit'], + 'desc'=>$data[$dlang.'.instances.desc'], + 'js'=>array() + ); + $menu['instances']['href']=null; + $menu['instances']['selected']=true; + break; + case '/about': $cont=array( 'fp'=>'about_'.$dlang.'.php', diff --git a/web/mustard/clitools/crawl.bash b/web/mustard/clitools/crawl.bash new file mode 100755 index 0000000..170f9ae --- /dev/null +++ b/web/mustard/clitools/crawl.bash @@ -0,0 +1,9 @@ +#!/bin/bash +BASEDIR=$(dirname "$0") +cd "$BASEDIR" +if [ "$1" == "dopeers" ]; then + php peerscrawl.php -e peerscrawl.exclude > peerscrawl.log + php crawler.php -p peers > crawler.log +else + php crawler.php > crawler.log +fi diff --git a/web/mustard/clitools/crawl.sh b/web/mustard/clitools/crawl.sh deleted file mode 100755 index 7eb5cfb..0000000 --- a/web/mustard/clitools/crawl.sh +++ /dev/null @@ -1,4 +0,0 @@ -#!/bin/sh -BASEDIR=$(dirname "$0") -cd "$BASEDIR" -php peerscrawl.php -e peerscrawl.exclude && php crawler.php diff --git a/web/mustard/clitools/crawler.php b/web/mustard/clitools/crawler.php index f83c8e4..f5da720 100755 --- a/web/mustard/clitools/crawler.php +++ b/web/mustard/clitools/crawler.php @@ -61,7 +61,7 @@ $opts=array( 'dryrun'=>false, 'jsonfp'=>__DIR__.'/instances.json', 'jsonwrite'=>false, - 'peersfp'=>__DIR__.'/peers' + 'peersfp'=>null ); $help='crawler.php @@ -81,10 +81,11 @@ $help='crawler.php peerscrawl.php [options] OPTIONS -p, --peersfp - Definisce il file da cui caricare la lista delle istanze di cui cercare - di recuperare i dati. Nota: questa opzione è ininfluente se il programma - viene lanciato per riprendere un’esecuzione precedente interrotta. - DEFAULT: «'.$opts['peersfp'].'» + Definisce un file da cui caricare la lista delle istanze di cui cercare + di recuperare i dati. Per default non è definito alcun file, quindi + il programma si limita a controllare le istanze già presenti del db. + Nota: questa opzione è ininfluente se il programma viene lanciato + per riprendere un’esecuzione precedente interrotta. -t, --timeout Definisce il timeout in secondi di ogni tentativo di connessione. DEFAULT: «'.$opts['timeout'].'» @@ -317,7 +318,7 @@ if (!$riprendi) { } } - echo('Carico le istanze note e vive dal DB e le aggiungo alla lista di quelle da controllare.'.N); + echo('Carico le istanze note e vive dal DB e le metto nella lista di quelle da controllare.'.N); $res=mysqli_query($link,'SELECT URI FROM Instances WHERE Dead=0') or mexit(__LINE__.': '.mysqli_error($link).N,3); while($row=mysqli_fetch_assoc($res)) @@ -331,20 +332,23 @@ if (!$riprendi) { while($row=mysqli_fetch_assoc($res)) $deadinsts[]=$row['URI']; - echo('Carico le istanze dalla lista «'.$opts['peersfp'].'» e aggiungo alla lista di quelle da controllare quelle che non ci sono già e che non risultano morte.'.N); - $peers=@file($opts['peersfp'],FILE_IGNORE_NEW_LINES|FILE_SKIP_EMPTY_LINES); - if ($peers===false) - mexit('Non ho potuto aprire in lettura «'.$opts['peersfp'].'».'.N,1); - foreach ($peers as $pdom) { - if (!in_array($pdom,$insts)) - if (!in_array($pdom,$deadinsts)) - if (!willtrunc($pdom,'Instances','URI')) - $insts[]=$pdom; + if (!is_null($opts['peersfp'])) { + echo('Carico le istanze dalla lista «'.$opts['peersfp'].'» e aggiungo alla lista di quelle da controllare quelle che non ci sono già e che non risultano morte.'.N); + $peers=@file($opts['peersfp'],FILE_IGNORE_NEW_LINES|FILE_SKIP_EMPTY_LINES); + if ($peers===false) + mexit('Non ho potuto aprire in lettura «'.$opts['peersfp'].'».'.N,1); + foreach ($peers as $pdom) { + if (!in_array($pdom,$insts)) + if (!in_array($pdom,$deadinsts)) + if (!willtrunc($pdom,'Instances','URI')) + $insts[]=$pdom; + else + echo('L’istanza «'.$pdom.'» non sarà considerata perché il suo dominio è troppo lungo per il campo «URI» della tabella «Instances» nel DB.'.N); else - echo('L’istanza «'.$pdom.'» non sarà considerata perché il suo dominio è troppo lungo per il campo «URI» della tabella «Instances» nel DB.'.N); - else - echo('L’istanza «'.$pdom.'» non sarà considerata perché È MORTA!'.N); + echo('L’istanza «'.$pdom.'» non sarà considerata perché È MORTA!'.N); + } } + sort($insts); // shuffle($insts); ksort($blacklist);