Webseite nach Downloads/ bestimmten Dateien durchsuchen

[tiermutter]

Moin zusammen,

ich suche nach einer Lösung um Webseiten nach Downloads oder bestimmten Dateien durchzusuchen.
Ich möchte mir damit die Suche/ Prüfung nach Softwareupdates erleichtern, da ich nicht in allen Fällen automatisch auf Updates hingewiesen werden kann.
Aus dem US QNAP Forum kenne ich sowas:

Das wird lt. @dolbyman allem Anschein nach von QNAP-Bots gepostet, aber so etwa stelle ich mir das vor. Quasi einfach eine Auflistung eines bestimmten Dateityps, etwaige Unterordner eingeschlossen.

Ob das nachher unter Windows oder Linux erfolgt ist mir eigentlich egal. Ich hatte schon ein wenig mit wget experimentiert, aber bin zu keiner Lösung gekommen.
Hat jemand Ideen dazu?

Cheers!

 

[Nival]

Mittels PHP, genauer mit https://www.php.net/file_get_contents und https://www.php.net/manual/de/function.preg-match-all sollte das relativ problemlos möglich sein, wenn Du die Möglichkeit hast, sowas zu betreiben.

 

[tiermutter]

PHP, juhu
Technisch habe ich bestimmt die Möglichkeit das zu betreiben, aber mein Kopf gibt es nicht her
Wäre dann wohl ein Projekt für das ich etwas mehr Zeit brauche...

 

[Tommes]

Hm… ich bin mir grad nicht sicher, ob dir mein Ansatz weiter hilft bzw. ob das in die Richtung geht, die du dir vorstellst, aber ich prüfe mit einem kleinen bash Script z.B. ob es auf GitHub eine neue Version meines Paketes Basic Backup gibt. Dazu lese ich aus einer bestimmten Datei die Versionsnummer auf GitHub aus und vergleiche diese mit der lokal installierten.

Der Vergleich läßt auch auf Dateinamen anwenden, nur kann ich das grade nicht bauen bzw. testen, da ich nur ein Smartphone zur Hand habe. Aber den Codeschnipsel kann ich dir schon mal geben *klick* (Zeile 46 bis 54). Keine Ahnung ob dir das was bringt. Auch müsstest du für jede Datei, die du überwachen willst, je eine Abfrage erstellen.

Tommes

 

[tiermutter]

Kenne mich damit zu wenig aus um zu erkennen/ wissen ob das soweit anwendbar ist...
Es wird definitiv zumindest in sehr vielen Fällen so sein, dass die alte Version auf dem Server vorhanden ist und eine neue hinzugefügt wird, das müsste entsprechend erkannt werden können... und da ist dann denke ich auch die Krux, weshalb ich stets die Auflistung aller Dateien und Ordner brauche, damit die gecachte Struktur mit der aktuellen Serverstruktur verglichen werden kann...

 

[Nival]

Kleines Beispiel:

<?php

$fetch = array();

//Einträge hinzufügen, URL = Regex-Ausdruck
$fetch['https://download.gimp.org/mirror/pub/gimp/v2.10/windows/'] = '/gimp.*\.exe/U';
$fetch['https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html'] = '/putty.*\.msi/U';

$result = array();
foreach ($fetch as $url => $regex) {
    getFiles($url, $regex, $result);
}

//Hier Direktausgabe, alternativ z.B. in eine Datei schreiben.
if (!empty($result)) {
    foreach ($result as $url => $results) {
        echo '<a href = "' . $url . '">' . $url . '</a>' . "<br>";
        foreach ($results as $entry)
            echo $entry . "<br>";
        echo "<br>";
    }
}

function getFiles($url, $regex, &$result)
{
    $res = array();
    $doc = file_get_contents($url);
    preg_match_all($regex, $doc, $res);
    if (!empty($res[0]))
        $result[$url] = $res[0];
}

Halt für alle Seiten die Du überwachen möchtest einen Eintrag mit URL und Regex hinzufügen. Um das passende Regex zu erstellen kann ich https://www.phpliveregex.com/#tab-preg-match-all empfehlen solange man das nicht alles im Kopf hat.

Das könnte man noch weiter ausführen und z.B. die Ergebnisse nicht direkt ausgeben, sondern in eine Datei schreiben, ggf. zusätzlich mit dem Datum davor, dann ließe sich das bei jedem Aufruf auch vergleichen: Habe ich diese Version schon hier drin stehen? Wenn nein, mit Datum hinzufügen.

 

[blurrrr]

Mal so als Schnellschuss:

Google: "website nach bestimmten dateien durchsuchen"

„FilePanther“ durchsucht Webseiten nach herunterladbaren Dateien und gibt eine Liste aller gefundenen Downloads aus. Ganz ohne Browser lassen Sie Webseiten nach Inhalten scannen und laden gewünschte Dateien direkt aus dem Programm heraus auf die Festplatte. Ein leistungsstarker Algorithmus sucht nicht nur auf der angegebenen Seite nach Dateien, sondern bezieht auch Links und Unterverzeichnisse in den Scan mit ein.

Ist halt irgendeine Software von irgendeinem Hersteller... ob dat tut wie et soll, keine Ahnung...

Ansonsten... für QTS4x gibt es z.B. noch ein XML-File: https://download.qnap.com/Liveupdate/QTS4x/qpkgcenter_ger.xml. Ich würde aber mal vermuten, dass es irgendwas in diese Richtung an Abfrage uach für QTS5 gibt. Wäre mal wieder ein typischer Fall für einen Paketmitschnitt (haste ja schon Übung drin). Die so gewonnenen Informationen könnte man dann auch entsprechend weiterverarbeiten.

 

[tiermutter]

Google: "website nach bestimmten dateien durchsuchen"

Funktioniert nicht
Jedenfalls nicht im ersten Schnellversuch...

Ansonsten... für QTS4x gibt es z.B. noch ein XML-File

Da scheinen nur Apps drin zu sein... und das könnte das Problem natürlich auch nur für QNAP lösen.

Kleines Beispiel:

Klappt leider auch nicht überall. Für ein paar Programme kann ich das alles vermutlich ohnehin vergessen, da ich mich vorher einloggen muss um Zugang zum Downloadbereich zu bekommen.
Bei QNAP klappt es zB auch nicht, ich vermute mal weil es grundsätzlich untersagt ist auf die Ordnerstruktur zuzugreifen, zB https://download.qnap.com/Storage/

 

[Nival]

Ja gut, wenn man die Seiten nicht aufrufen kann wird es in der Tat schlecht, da irgendwas auszulesen