|
|
@@ -16,34 +16,44 @@
|
|
|
along with this program. If not, see <http://www.gnu.org/licenses/>.
|
|
|
*/
|
|
|
|
|
|
+require __DIR__ . "/../../vendor/autoload.php";
|
|
|
+use LanguageDetection\Language;
|
|
|
+
|
|
|
define('N',"\n");
|
|
|
|
|
|
+if (strtoupper(substr(PHP_OS,0,3))==='WIN')
|
|
|
+ $iswin=true;
|
|
|
+else
|
|
|
+ $iswin=false;
|
|
|
+
|
|
|
$link=false;
|
|
|
$logf=false;
|
|
|
$jsonf=false;
|
|
|
|
|
|
declare(ticks=1);
|
|
|
-pcntl_signal(SIGTERM,'signalHandler');// Termination ('kill' was called)
|
|
|
-pcntl_signal(SIGHUP,'signalHandler');// Terminal log-out
|
|
|
-pcntl_signal(SIGINT,'signalHandler');// Interrupted (Ctrl-C is pressed)
|
|
|
-function signalHandler($signal) {
|
|
|
- global $link, $logf, $jsonf;
|
|
|
- lecho(N.'Sono stato interrotto.'.N);
|
|
|
- if ($link) {
|
|
|
- lecho('La connessione MySQL è aperta, la chiudo.'.N);
|
|
|
- mysqli_close($link);
|
|
|
- }
|
|
|
- if ($jsonf) {
|
|
|
- lecho('Il file di dump json è aperto, lo chiudo.'.N);
|
|
|
-// qui no, altrimenti "riprendi" fa poi casino
|
|
|
-// fwrite($jsonf,'"Fine?": true'.N.'}'.N);
|
|
|
- fclose($jsonf);
|
|
|
- }
|
|
|
- if ($logf) {
|
|
|
- lecho('Il file di log è aperto, lo chiudo.'.N);
|
|
|
- fclose($logf);
|
|
|
+if(defined("pcntl_signal")) {
|
|
|
+ pcntl_signal(SIGTERM,'signalHandler');// Termination ('kill' was called)
|
|
|
+ pcntl_signal(SIGHUP,'signalHandler');// Terminal log-out
|
|
|
+ pcntl_signal(SIGINT,'signalHandler');// Interrupted (Ctrl-C is pressed)
|
|
|
+ function signalHandler($signal) {
|
|
|
+ global $link, $logf, $jsonf;
|
|
|
+ lecho(N.'Sono stato interrotto.'.N);
|
|
|
+ if ($link) {
|
|
|
+ lecho('La connessione MySQL è aperta, la chiudo.'.N);
|
|
|
+ mysqli_close($link);
|
|
|
+ }
|
|
|
+ if ($jsonf) {
|
|
|
+ lecho('Il file di dump json è aperto, lo chiudo.'.N);
|
|
|
+ // qui no, altrimenti "riprendi" fa poi casino
|
|
|
+ // fwrite($jsonf,'"Fine?": true'.N.'}'.N);
|
|
|
+ fclose($jsonf);
|
|
|
+ }
|
|
|
+ if ($logf) {
|
|
|
+ lecho('Il file di log è aperto, lo chiudo.'.N);
|
|
|
+ fclose($logf);
|
|
|
+ }
|
|
|
+ exit(2);
|
|
|
}
|
|
|
- exit(2);
|
|
|
}
|
|
|
|
|
|
$opts=array(
|
|
|
@@ -256,7 +266,9 @@ function flushtronc($id) {
|
|
|
}
|
|
|
|
|
|
function truncs($str,$tab,$col,$ctx) {
|
|
|
- global $tables, $tronconi;
|
|
|
+ global $tables, $tronconi, $iswin;
|
|
|
+ if ($iswin)
|
|
|
+ $tab=strtolower($tab);
|
|
|
$size=$tables[$tab][$col];
|
|
|
$len=mb_strlen($str,'UTF-8');
|
|
|
if ($len>$size) {
|
|
|
@@ -267,7 +279,9 @@ function truncs($str,$tab,$col,$ctx) {
|
|
|
}
|
|
|
|
|
|
function truncn($num,$tab,$col,$ctx) {
|
|
|
- global $tables;
|
|
|
+ global $tables, $iswin;
|
|
|
+ if ($iswin)
|
|
|
+ $tab=strtolower($tab);
|
|
|
if (is_numeric($num)) {
|
|
|
if ($num>$tables[$tab][$col]['max']) {
|
|
|
notify($ctx.': ho dovuto troncare «'.$num.'» al valore massimo «'.$tables[$tab][$col]['max'].'» che può avere nella colonna «'.$col.'» della tabella «'.$tab.'»).',2);
|
|
|
@@ -400,7 +414,9 @@ if (!$riprendi) {
|
|
|
}
|
|
|
|
|
|
function willtrunc($str,$tab,$col) {
|
|
|
- global $tables;
|
|
|
+ global $tables, $iswin;
|
|
|
+ if ($iswin)
|
|
|
+ $tab=strtolower($tab);
|
|
|
if (mb_strlen($str,'UTF-8')>$tables[$tab][$col])
|
|
|
return(true);
|
|
|
else
|
|
|
@@ -448,37 +464,204 @@ function subarimp($glue,$key,&$arr) {
|
|
|
}
|
|
|
|
|
|
function notify($msg,$sev) {
|
|
|
- global $link, $tables;
|
|
|
+ global $link, $tables, $iswin;
|
|
|
lecho('NOTIFICAZIÒ: '.strip_tags($msg).N);
|
|
|
- mysqli_query($link,'INSERT INTO Notifications (ID, Notification, Severity, Microtime, Seen) VALUES (NULL, \''.myesc($link,mb_substr($msg,0,$tables['Notifications']['Notification'],'UTF-8')).'\', '.$sev.', \''.microtime(true).'\', 0)')
|
|
|
+ $tab='Notifications';
|
|
|
+ if ($iswin)
|
|
|
+ $tab='notifications';
|
|
|
+ mysqli_query($link,'INSERT INTO Notifications (ID, Notification, Severity, Microtime, Seen) VALUES (NULL, \''.myesc($link,mb_substr($msg,0,$tables[$tab]['Notification'],'UTF-8')).'\', '.$sev.', \''.microtime(true).'\', 0)')
|
|
|
or mexit(mysqli_error($link).N,3);
|
|
|
}
|
|
|
|
|
|
-function langs($instid) {
|
|
|
+/** <LANGUAGE MANAGEMENT> */
|
|
|
+/**
|
|
|
+ * Effettua una chiamata alla API di Mastodon.
|
|
|
+ *
|
|
|
+ * @param string $host L'host da chiamare (e.g.: "mastodon.bida.im")
|
|
|
+ * @param string $path Il path della API (e.g.: "/api/v1/timelines/public?local=true")
|
|
|
+ * @return mixed L'oggetto ritornato dalla chiamata, già parsato da json_decode, o NULL se la chiamata fallisce
|
|
|
+ */
|
|
|
+function get_api($host, $path) {
|
|
|
+ global $context;
|
|
|
+ try {
|
|
|
+ $buf = @file_get_contents('https://' . $host . $path, false, $context);
|
|
|
+ } catch(Exception $e) {
|
|
|
+ echo "error:";
|
|
|
+ echo $e;
|
|
|
+ return NULL;
|
|
|
+ }
|
|
|
+ if ($buf!==false) {
|
|
|
+ $data = json_decode($buf, true);
|
|
|
+ return $data;
|
|
|
+ } else {
|
|
|
+ return NULL;
|
|
|
+ }
|
|
|
+}
|
|
|
+
|
|
|
+/**
|
|
|
+ * Torna un elenco di linguaggi riconosciuti nel toot fornito con relativa probabilità.
|
|
|
+ *
|
|
|
+ * @param mixed $toot Il toot da analizzare, come ritornato dalle API
|
|
|
+ * @return array Mappa tra codice lingua e probabilità che il toot sia in quella lingua.
|
|
|
+ */
|
|
|
+function get_toot_languages($toot) {
|
|
|
+ $l = $toot['language'];
|
|
|
+ $res = [];
|
|
|
+ if($l !== NULL) {
|
|
|
+ // la lingua è specificata già nel toot: usa quella
|
|
|
+ $langs[$l] = 1;
|
|
|
+ } else {
|
|
|
+ // la lingua non è specificata: deducila
|
|
|
+ $text = strip_tags($toot['content']);
|
|
|
+ $ld = new Language;
|
|
|
+ $langs = $ld->detect($text)->bestResults()->close();
|
|
|
+ }
|
|
|
+ // raggruppa le lingue derivate, e.g.: "zh" e "zh-CN"
|
|
|
+ $grouped_langs = array();
|
|
|
+ foreach($langs as $key => $value) {
|
|
|
+ $l = explode("-", $key)[0];
|
|
|
+ if(array_key_exists($l, $grouped_langs)) {
|
|
|
+ $grouped_langs[$l] = max($grouped_langs[$l], $value);
|
|
|
+ } else {
|
|
|
+ $grouped_langs[$l] = $value;
|
|
|
+ }
|
|
|
+ }
|
|
|
+ return $grouped_langs;
|
|
|
+}
|
|
|
+
|
|
|
+/**
|
|
|
+ * Date le probabilità di lingua per ogni toot, calcola la media.
|
|
|
+ *
|
|
|
+ * @param array $detected_langs Array di mappe tra lingua e probabilità
|
|
|
+ * @return array Mappa tra lingua e probabilità
|
|
|
+ */
|
|
|
+function summary($detected_langs) {
|
|
|
+ $res = Array();
|
|
|
+ foreach($detected_langs as $langs) {
|
|
|
+ foreach($langs as $l => $weight) {
|
|
|
+ if(!array_key_exists($l, $res)) {
|
|
|
+ $res[$l] = 0;
|
|
|
+ }
|
|
|
+ $res[$l] += $weight;
|
|
|
+ }
|
|
|
+ }
|
|
|
+ foreach($res as $l => $sumweight) {
|
|
|
+ $res[$l] = $sumweight / count($detected_langs);
|
|
|
+ }
|
|
|
+ return $res;
|
|
|
+}
|
|
|
+
|
|
|
+/**
|
|
|
+ * Helper function per usort: compara due array usando il primo elemento.
|
|
|
+ *
|
|
|
+ * @param array $entry1 Primo array da comparare
|
|
|
+ * @param array $entry2 Secondo array da comparare
|
|
|
+ * @return number -1, 0 o 1 a seconda che $entry1[0] sia minore, uguale o superiore a $entry2[0]
|
|
|
+ */
|
|
|
+function sort_weights($entry1, $entry2) {
|
|
|
+ $w1 = $entry1[0];
|
|
|
+ $w2 = $entry2[0];
|
|
|
+ if ($w1 < $w2)
|
|
|
+ $ret=1;
|
|
|
+ elseif ($w1 == $w2)
|
|
|
+ $ret=0;
|
|
|
+ else
|
|
|
+ $ret=-1;
|
|
|
+ return $ret;
|
|
|
+}
|
|
|
+
|
|
|
+/**
|
|
|
+ * Data una mappa di lingue, ritorna una lista di linguaggi considerati probabili.
|
|
|
+ *
|
|
|
+ * @param array $summary Mappa tra lingue e probabilità
|
|
|
+ * @return string[] Elenco di lingue considerate probabili
|
|
|
+ */
|
|
|
+function get_languages($summary) {
|
|
|
+ $lst = [];
|
|
|
+ foreach($summary as $code => $weight) {
|
|
|
+ $lst[] = [$weight, $code];
|
|
|
+ }
|
|
|
+ usort($lst, 'sort_weights');
|
|
|
+ $languages = [];
|
|
|
+ $lastweight = 0;
|
|
|
+ foreach($lst as $entry) {
|
|
|
+ $l = $entry[1];
|
|
|
+ $weight = $entry[0];
|
|
|
+ if($weight < $lastweight * 2 / 3) {
|
|
|
+ break;
|
|
|
+ }
|
|
|
+ $languages[] = $l;
|
|
|
+ $lastweight = $weight;
|
|
|
+ }
|
|
|
+ return $languages;
|
|
|
+}
|
|
|
+
|
|
|
+/**
|
|
|
+ * Ritorna una lista di lingue probabili per la data istanza.
|
|
|
+ *
|
|
|
+ * @param string $host Hostname dell'istanza (e.g.: "mastodon.bida.im")
|
|
|
+ * @return string[] Lista di lingue probabili
|
|
|
+ */
|
|
|
+function get_instance_langs($host) {
|
|
|
+ $data = get_api($host, '/api/v1/timelines/public?local=true');
|
|
|
+ if($data == NULL) {
|
|
|
+ return [];
|
|
|
+ }
|
|
|
+ $detected_langs = array_map('get_toot_languages', $data);
|
|
|
+ $summary = summary($detected_langs);
|
|
|
+ $languages = get_languages($summary);
|
|
|
+ return $languages;
|
|
|
+}
|
|
|
+/** </LANGUAGE MANAGEMENT> */
|
|
|
+
|
|
|
+/**
|
|
|
+ * ucfirst UTF-8 aware function
|
|
|
+ *
|
|
|
+ * @param string $string
|
|
|
+ * @return string
|
|
|
+ * @see http://ca.php.net/ucfirst
|
|
|
+ */
|
|
|
+function my_ucfirst($string, $e ='utf-8') {
|
|
|
+ if (function_exists('mb_strtoupper') && function_exists('mb_substr') && !empty($string)) {
|
|
|
+ $string = mb_strtolower($string, $e);
|
|
|
+ $upper = mb_strtoupper($string, $e);
|
|
|
+ preg_match('#(.)#us', $upper, $matches);
|
|
|
+ $string = $matches[1] . mb_substr($string, 1, mb_strlen($string, $e), $e);
|
|
|
+ } else {
|
|
|
+ $string = ucfirst($string);
|
|
|
+ }
|
|
|
+ return $string;
|
|
|
+}
|
|
|
+
|
|
|
+function langs($instid, $uri) {
|
|
|
global $info, $instrow, $link;
|
|
|
$instlangs=array();
|
|
|
- if (akeavinn('languages',$info)) {
|
|
|
- $pos=0;
|
|
|
- foreach ($info['languages'] as $lang) {
|
|
|
- $res=mysqli_query($link,'SELECT * FROM Languages WHERE Code=\''.myesc($link,$lang).'\'')
|
|
|
+ $languages = get_instance_langs($uri);
|
|
|
+ if(count($languages) == 0 && akeavinn('languages',$info)) {
|
|
|
+ $languages = $info['languages'];
|
|
|
+ }
|
|
|
+ lecho('Lingue trovate: '.implode(', ',$languages).N);
|
|
|
+ $pos=0;
|
|
|
+ foreach($languages as $lang) {
|
|
|
+ $res=mysqli_query($link,'SELECT * FROM Languages WHERE Code=\''.myesc($link,$lang).'\'')
|
|
|
+ or mexit(mysqli_error($link).N,3);
|
|
|
+ if (mysqli_num_rows($res)<1) {
|
|
|
+ $NameIt=myesc($link,truncs(my_ucfirst(locale_get_display_name($lang,'it')),'Languages','NameIT','«'.$instrow['URI'].'»'));
|
|
|
+ $NameEn=myesc($link,truncs(my_ucfirst(locale_get_display_name($lang,'en')),'Languages','NameEN','«'.$instrow['URI'].'»'));
|
|
|
+ $NameFr=myesc($link,truncs(my_ucfirst(locale_get_display_name($lang,'fr')),'Languages','NameFR','«'.$instrow['URI'].'»'));
|
|
|
+ $NameEs=myesc($link,truncs(my_ucfirst(locale_get_display_name($lang,'es')),'Languages','NameES','«'.$instrow['URI'].'»'));
|
|
|
+ $NameOrig=myesc($link,truncs(my_ucfirst(locale_get_display_name($lang,$lang)),'Languages','NameES','«'.$instrow['URI'].'»'));
|
|
|
+ $q = 'INSERT INTO Languages (ID, Code, NameIT, NameEN, NameFR, NameES, NameOrig) VALUES (NULL, \''.myesc($link,truncs($lang,'Languages','Code','«'.$instrow['URI'].'»')).'\', \''.$NameIt.'\', \''.$NameEn.'\', \''.$NameFr.'\', \''.$NameEs.'\', \''.$NameOrig.'\')';
|
|
|
+ mysqli_query($link, $q)
|
|
|
or mexit(mysqli_error($link).N,3);
|
|
|
- if (mysqli_num_rows($res)<1) {
|
|
|
- $NameIt=myesc($link,truncs(ucfirst(locale_get_display_name($lang,'it')),'Languages','NameIT','«'.$instrow['URI'].'»'));
|
|
|
- $NameEn=myesc($link,truncs(ucfirst(locale_get_display_name($lang,'en')),'Languages','NameEN','«'.$instrow['URI'].'»'));
|
|
|
- $NameFr=myesc($link,truncs(ucfirst(locale_get_display_name($lang,'fr')),'Languages','NameFR','«'.$instrow['URI'].'»'));
|
|
|
- $NameEs=myesc($link,truncs(ucfirst(locale_get_display_name($lang,'es')),'Languages','NameES','«'.$instrow['URI'].'»'));
|
|
|
- $NameOrig=myesc($link,truncs(ucfirst(locale_get_display_name($lang,$lang)),'Languages','NameOrig','«'.$instrow['URI'].'»'));
|
|
|
- mysqli_query($link,'INSERT INTO Languages (ID, Code, NameIT, NameEN, NameFR, NameES, NameOrig) VALUES (NULL, \''.myesc($link,truncs($lang,'Languages','Code','«'.$instrow['URI'].'»')).'\', \''.$NameIt.'\', \''.$NameEn.'\', \''.$NameFr.'\', \''.$NameEs.'\', \''.$NameOrig.'\')')
|
|
|
- or mexit(mysqli_error($link).N,3);
|
|
|
- $langid=mysqli_insert_id($link);
|
|
|
- flushtronc($langid);
|
|
|
- } else {
|
|
|
- $row=mysqli_fetch_assoc($res);
|
|
|
- $langid=$row['ID'];
|
|
|
- }
|
|
|
- $pos++;
|
|
|
- $instlangs[]=array('InstID'=>$instid,'LangID'=>$langid,'Pos'=>$pos,'Code'=>$lang);
|
|
|
+ $langid=mysqli_insert_id($link);
|
|
|
+ flushtronc($langid);
|
|
|
+ } else {
|
|
|
+ $row=mysqli_fetch_assoc($res);
|
|
|
+ $langid=$row['ID'];
|
|
|
}
|
|
|
+ $pos++;
|
|
|
+ $instlangs[]=array('InstID'=>$instid,'LangID'=>$langid,'Pos'=>$pos,'Code'=>$lang);
|
|
|
}
|
|
|
return($instlangs);
|
|
|
}
|
|
|
@@ -597,7 +780,7 @@ while ($i<$cinsts) {
|
|
|
$ok=false;
|
|
|
lecho('ERRORE :-('.N);
|
|
|
// questo è anche il limbo delle istanze che non rispondono, perciò controlliamo se già esistono nel db e, nel caso, aggiorniamo InstChecks
|
|
|
- $res=mysqli_query($link,'SELECT * FROM Instances WHERE URI=\''.myesc($link,mb_substr($dom,0,$tables['Instances']['URI'],'UTF-8')).'\'')
|
|
|
+ $res=mysqli_query($link,'SELECT * FROM Instances WHERE URI=\''.myesc($link,mb_substr($dom,0,$tables[$iswin ? 'instances' : 'Instances']['URI'],'UTF-8')).'\'')
|
|
|
or mexit(mysqli_error($link).N,3);
|
|
|
if (mysqli_num_rows($res)>0) {
|
|
|
lecho('«'.$dom.'» non risponde, ma è presente nel database; aggiorno InstChecks.'.N);
|
|
|
@@ -742,7 +925,7 @@ while ($i<$cinsts) {
|
|
|
$oldinstlangs=array();
|
|
|
while ($row=mysqli_fetch_assoc($res))
|
|
|
$oldinstlangs[]=$row;
|
|
|
- $instlangs=langs($instrow['ID']);
|
|
|
+ $instlangs=langs($instrow['ID'], $instrow['URI']);
|
|
|
if ($instlangs!=$oldinstlangs) {
|
|
|
notify('La lista delle lingue utilizzate dichiarate dall’istanza «<a href="editinst.php?id='.$instrow['ID'].'">'.$instrow['URI'].'</a>» è cambiata da «'.subarimp(', ','Code',$oldinstlangs).'» a «'.subarimp(', ','Code',$instlangs).'».',1);
|
|
|
mysqli_query($link,'DELETE FROM InstLangs WHERE InstID='.$instrow['ID'])
|
|
|
@@ -773,7 +956,7 @@ while ($i<$cinsts) {
|
|
|
|
|
|
flushtronc($instid);
|
|
|
|
|
|
- $instlangs=langs($instid);
|
|
|
+ $instlangs=langs($instid, $instrow['URI']);
|
|
|
foreach ($instlangs as $row) {
|
|
|
mysqli_query($link,'INSERT INTO InstLangs (InstID, LangID, Pos) VALUES ('.$row['InstID'].', '.$row['LangID'].', '.$row['Pos'].')')
|
|
|
or mexit(mysqli_error($link).N,3);
|
pezcurrel
pongrebio
RedGlow
