17 Jun

Wget alle dateien herunterladen

Wenn Sie alle Dateien eines bestimmten Typs von einer Website herunterladen müssen, können Sie dazu wget verwenden. In diesem Beispiel zeigen wir, wie Sie die Konfigurationsvorlage “Glances config” herunterladen und unter dem Verzeichnis /etc/glances/ speichern. Wenn Sie eine schwere Datei herunterladen, können Sie das Flag -c oder –continue hinzufügen, was bedeutet, dass Sie weiterhin eine teilweise heruntergeladene Datei erhalten. Mit ihm müssen Sie den Download nicht neu starten. Mit all diesen Optionen, um eine Website herunterzuladen, würde wie folgt aussehen: Dies lädt jedoch nur .pdf-Dateien herunter. Wie kann ich diesen Befehl erweitern, um auch .ppt- und .doc-Dateien herunterzuladen? Die Option -P oder –directory-prefix von Wget wird verwendet, um das Verzeichnispräfix festzulegen, in dem alle abgerufenen Dateien und Unterverzeichnisse gespeichert werden. Dies wartet 15 Sekunden zwischen jeder Seite und begrenzt die Download-Geschwindigkeit auf 50K/sec. Dies spiegelt die Website, aber die Dateien ohne jpg oder pdf Erweiterung werden automatisch entfernt. Sie können mehrere Dateien herunterladen, die ihre URLs in einer Datei gespeichert haben, jede in ihrer eigenen Zeile Alle Antworten mit -k, -K, -E usw.

Optionen haben die Frage wahrscheinlich nicht wirklich verstanden, wie diejenigen wie für das Umschreiben von HTML-Seiten, um eine lokale Struktur zu erstellen, umbenennen .php Dateien und so weiter. Nicht relevant. -N ist Zeitstempel abzurufen, also wenn lokale Dateien neuer als Dateien auf der Remote-Website überspringen sie. Mit dieser Option können Sie das Herunterladen einer Datei fortsetzen, die von einer früheren Instanz von wget oder einem anderen Programm oder einem angehaltenen Programm gestartet wurde. Es ist auch nützlich im Falle eines Netzwerkausfalls. Zum Beispiel, Der Befehl wget wird hauptsächlich verwendet, um Dateien von externen Ressourcen über HTTP oder FTP abzurufen, in diesem Artikel werden wir mehrere Beispiele, wie es verwenden, dies tun und Ihr Computer wird alle Dateien im Textdokument aufgeführt herunterladen, was praktisch ist, wenn Sie eine Reihe von Downloads über Nacht laufen lassen möchten. Das wget-Programm kann auf vielen verschiedenen Protokollen arbeiten, wobei die gängigsten ftp:// und . In diesem Artikel wird gezeigt, wie Sie Dateien in ein bestimmtes Verzeichnis herunterladen, ohne in dieses Verzeichnis zu wechseln. Dieses Handbuch ist nützlich, wenn Sie z. B. wget in einem Skript verwenden und Downloads automatisieren möchten, die in verschiedenen Verzeichnissen gespeichert werden sollen. wget folgt nur Links, wenn es keinen Link zu einer Datei von der Indexseite gibt, dann wird wget nichts über seine Existenz wissen und sie daher nicht herunterladen.

Ie. Es hilft, wenn alle Dateien in Webseiten oder in Verzeichnisindizes verknüpft sind. Ich benutze wget -rkpN -e robots=off www.example.com/ Wenn Sie nun alle mp3-Musikdateien herunterladen müssen, ändern Sie einfach den obigen Befehl in diesen: Der folgende Befehl lädt eine Datei über eine HTTP-Anfrage herunter und point wget zu diesem Dokument mit der Option -i. Wie folgt: Standardmäßig wird dies alles auf der Website herunterladen example.com, aber Sie werden wahrscheinlich ein paar weitere Optionen für einen nutzbaren Spiegel verwenden wollen. Dadurch wird die Datei filename.zip von www.domain.com heruntergeladen und in Ihrem aktuellen Verzeichnis gespeichert. Wenn Sie eine große Datei herunterladen und Ihre Verbindung zum Server schließen möchten, können Sie den Befehl verwenden: Ich brauche alle Dateien außer den Webseitendateien wie HTML, PHP, ASP usw. Der Schlüssel hier ist -c, was eine “Option” in der Befehlszeilensprache ist. Diese spezielle Option teilt wget mit, dass Sie einen vorhandenen Download fortsetzen möchten. Wenn Sie eine Datei über FTP herunterladen möchten und ein Benutzername und ein Passwort erforderlich sind, müssen Sie die Optionen –ftp-user und –ftp-password verwenden.

Wenn Sie eine große Datei herunterladen und sie teilweise fehlschlägt, können Sie den Download in den meisten Fällen mit der Option -c fortsetzen. Dies wird alle Arten von Dateien lokal herunterladen und zeigen sie aus der HTML-Datei und es wird Roboter-Datei ignorieren Darüber hinaus, wget nicht-interaktiv (kann im Hintergrund arbeiten) durch Design macht es einfach, für die Automatisierung von Downloads über Shell-Skripte zu verwenden.