Webseite nach Downloads/ bestimmten Dateien durchsuchen

tiermutter

Well-known member
Moin zusammen,

ich suche nach einer Lösung um Webseiten nach Downloads oder bestimmten Dateien durchzusuchen.
Ich möchte mir damit die Suche/ Prüfung nach Softwareupdates erleichtern, da ich nicht in allen Fällen automatisch auf Updates hingewiesen werden kann.
Aus dem US QNAP Forum kenne ich sowas:
1651558543195.png
Das wird lt. @dolbyman allem Anschein nach von QNAP-Bots gepostet, aber so etwa stelle ich mir das vor. Quasi einfach eine Auflistung eines bestimmten Dateityps, etwaige Unterordner eingeschlossen.

Ob das nachher unter Windows oder Linux erfolgt ist mir eigentlich egal. Ich hatte schon ein wenig mit wget experimentiert, aber bin zu keiner Lösung gekommen.
Hat jemand Ideen dazu?

Cheers!
 

tiermutter

Well-known member
PHP, juhu 🙈
Technisch habe ich bestimmt die Möglichkeit das zu betreiben, aber mein Kopf gibt es nicht her :D
Wäre dann wohl ein Projekt für das ich etwas mehr Zeit brauche...
 

Tommes

Active member
Hm… ich bin mir grad nicht sicher, ob dir mein Ansatz weiter hilft bzw. ob das in die Richtung geht, die du dir vorstellst, aber ich prüfe mit einem kleinen bash Script z.B. ob es auf GitHub eine neue Version meines Paketes Basic Backup gibt. Dazu lese ich aus einer bestimmten Datei die Versionsnummer auf GitHub aus und vergleiche diese mit der lokal installierten.

Der Vergleich läßt auch auf Dateinamen anwenden, nur kann ich das grade nicht bauen bzw. testen, da ich nur ein Smartphone zur Hand habe. Aber den Codeschnipsel kann ich dir schon mal geben *klick* (Zeile 46 bis 54). Keine Ahnung ob dir das was bringt. Auch müsstest du für jede Datei, die du überwachen willst, je eine Abfrage erstellen.

Tommes
 

tiermutter

Well-known member
Kenne mich damit zu wenig aus um zu erkennen/ wissen ob das soweit anwendbar ist...
Es wird definitiv zumindest in sehr vielen Fällen so sein, dass die alte Version auf dem Server vorhanden ist und eine neue hinzugefügt wird, das müsste entsprechend erkannt werden können... und da ist dann denke ich auch die Krux, weshalb ich stets die Auflistung aller Dateien und Ordner brauche, damit die gecachte Struktur mit der aktuellen Serverstruktur verglichen werden kann...
 

Nival

-
Moderator
Kleines Beispiel:
PHP:
<?php

$fetch = array();

//Einträge hinzufügen, URL = Regex-Ausdruck
$fetch['https://download.gimp.org/mirror/pub/gimp/v2.10/windows/'] = '/gimp.*\.exe/U';
$fetch['https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html'] = '/putty.*\.msi/U';

$result = array();
foreach ($fetch as $url => $regex) {
    getFiles($url, $regex, $result);
}

//Hier Direktausgabe, alternativ z.B. in eine Datei schreiben.
if (!empty($result)) {
    foreach ($result as $url => $results) {
        echo '<a href = "' . $url . '">' . $url . '</a>' . "<br>";
        foreach ($results as $entry)
            echo $entry . "<br>";
        echo "<br>";
    }
}

function getFiles($url, $regex, &$result)
{
    $res = array();
    $doc = file_get_contents($url);
    preg_match_all($regex, $doc, $res);
    if (!empty($res[0]))
        $result[$url] = $res[0];
}
Halt für alle Seiten die Du überwachen möchtest einen Eintrag mit URL und Regex hinzufügen. Um das passende Regex zu erstellen kann ich https://www.phpliveregex.com/#tab-preg-match-all empfehlen solange man das nicht alles im Kopf hat.

Das könnte man noch weiter ausführen und z.B. die Ergebnisse nicht direkt ausgeben, sondern in eine Datei schreiben, ggf. zusätzlich mit dem Datum davor, dann ließe sich das bei jedem Aufruf auch vergleichen: Habe ich diese Version schon hier drin stehen? Wenn nein, mit Datum hinzufügen.
 

blurrrr

Well-known member
Mal so als Schnellschuss:

Google: "website nach bestimmten dateien durchsuchen"

„FilePanther“ durchsucht Webseiten nach herunterladbaren Dateien und gibt eine Liste aller gefundenen Downloads aus. Ganz ohne Browser lassen Sie Webseiten nach Inhalten scannen und laden gewünschte Dateien direkt aus dem Programm heraus auf die Festplatte. Ein leistungsstarker Algorithmus sucht nicht nur auf der angegebenen Seite nach Dateien, sondern bezieht auch Links und Unterverzeichnisse in den Scan mit ein.

Ist halt irgendeine Software von irgendeinem Hersteller... ob dat tut wie et soll, keine Ahnung...

Ansonsten... für QTS4x gibt es z.B. noch ein XML-File: https://download.qnap.com/Liveupdate/QTS4x/qpkgcenter_ger.xml. Ich würde aber mal vermuten, dass es irgendwas in diese Richtung an Abfrage uach für QTS5 gibt. Wäre mal wieder ein typischer Fall für einen Paketmitschnitt (haste ja schon Übung drin). Die so gewonnenen Informationen könnte man dann auch entsprechend weiterverarbeiten.
 

tiermutter

Well-known member
Google: "website nach bestimmten dateien durchsuchen"
Funktioniert nicht ;)
Jedenfalls nicht im ersten Schnellversuch...
Ansonsten... für QTS4x gibt es z.B. noch ein XML-File
Da scheinen nur Apps drin zu sein... und das könnte das Problem natürlich auch nur für QNAP lösen.

Kleines Beispiel:
Klappt leider auch nicht überall. Für ein paar Programme kann ich das alles vermutlich ohnehin vergessen, da ich mich vorher einloggen muss um Zugang zum Downloadbereich zu bekommen.
Bei QNAP klappt es zB auch nicht, ich vermute mal weil es grundsätzlich untersagt ist auf die Ordnerstruktur zuzugreifen, zB https://download.qnap.com/Storage/
 

Nival

-
Moderator
Ja gut, wenn man die Seiten nicht aufrufen kann wird es in der Tat schlecht, da irgendwas auszulesen :D
 

Zurzeit aktive Besucher

Keine Mitglieder online.

Letzte Anleitungen

Statistik des Forums

Themen
568
Beiträge
8.288
Mitglieder
195
Neuestes Mitglied
hauzi
Oben