Wget-utiliit võimaldab teil veebis lehti, faile ja pilte alla laadida Linuxi käsurealt.
Võite kasutada ühte käsku wget ise, et laadida alla saidilt või seadistada sisendfaili, et laadida mitu faile mitmesse saiti.
Käsiraamatu lehekülje järgi saab wget'i kasutada isegi siis, kui kasutaja on süsteemist välja logitud. Selleks kasutaksite käsku nohup.
Wget-utiliit proovib allalaadimist ka siis, kui ühendus langeb, taaskäivitades selle, kus see pärast ühenduse lõppemist võimaluse korral välja lülitatakse.
Võite alla laadida kogu veebisaiti, kasutades wgeti, ja teisendada linke, et viidata kohalikele allikatele, et saaksite võrguühenduseta veebisaiti vaadata.
Wgeti funktsioonid on järgmised:
- Failide allalaadimine HTTP, HTTPS ja FTP abil
- Allalaadimiste jätkamine
- Laaditud veebilehtede absoluutsete linkide teisendamine suhtelisteks URL-ideks, nii et veebisaite saab vaadata võrguühenduseta
- Toetab HTTP-puhverservereid ja küpsiseid
- Toetab püsivaid HTTP-ühendusi
- Võib töötada taustal isegi siis, kui te pole sisse logitud
- Töötab Linuxis ja Windowsis
Kuidas alla laadida veebisait wget-i abil
Selle juhendi jaoks näitan teile, kuidas oma isiklikku blogi alla laadida.
wget www.everydaylinuxuser.com
Tasub luua oma kausta oma masinas käsuga mkdir ja seejärel liikuda kausta kasutades cd käsku .
Näiteks:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Tulemuseks on üksindeks index.html. Üksinda korral on see fail üsna kasutu, kuna sisu tõmmatakse endiselt Google'ist ja pilte ja stiilide tabeleid hoitakse ikkagi Google'is.
Täieliku saidi ja kõigi lehtede allalaadimiseks saate kasutada järgmist käsku:
wget -r www.everydaylinuxuser.com
See laadib leheküljed rekursiivselt kuni 5 tasemeni sügavale.
5 taset sügav võib olla küllaldane, et saada kõik saidilt. Võite kasutada -l lülitit, et määrata tasemete arv, mida soovite minna järgmiselt:
wget -r -l10 www.everydaylinuxuser.com
Kui soovite lõpmatu rekursiooni, võite kasutada järgmist:
wget -r -l inf www.everydaylinuxuser.com
Võite asendada inf ka 0-ga, mis tähendab sama asja.
Veel üks probleem. Võite saada kõik lehed kohalikult, kuid kõik lehtede lingid viitavad ikkagi nende algsesse kohta. Seepärast pole lehtedel olevate linkide jaoks võimalik lokaalselt klõpsata.
Selle probleemi saate ümber lülitada, kasutades -k-lülitit, mis konverteerib kõik lehtede lingid, et viidata nende kohale allalaaditud ekvivalendile järgmiselt:
wget -r -k www.everydaylinuxuser.com
Kui soovite saada veebisaidi täieliku peegli, võite lihtsalt kasutada järgmist lülitit, mis võtab ära -r-k ja -l lülitite kasutamise vajaduse.
wget -m www.everydaylinuxuser.com
Seega, kui teil on oma veebisait, saate selle ühe lihtsa käsuga teha täieliku varukoopia.
Käivita wget kui taustjuhtimine
Võite saada wget käitamiseks taustakäsu, jättes sulle võimaluse oma töö lõpetamiseks terminali aknas failide allalaadimise ajal.
Lihtsalt kasutage järgmist käsku:
wget -b www.everydaylinuxuser.com
Võite muidugi ühendada lülitid. Taustal asuva wget käskluse käivitamiseks peate samas kohas kasutama järgmist käsku:
wget -b-m www.everydaylinuxuser.com
Te saate seda veelgi lihtsustada järgmiselt:
wget-bm www.everydaylinuxuser.com
Logimine
Kui kasutate taustal käsku wget, ei näe te tavalisi sõnumeid, mida see ekraanile saadab.
Kõiki neid sõnumeid saate saata logifaili, et saaksite igal ajal saba käsku kasutades kontrollida edusamme.
Wget-käsklusega teabe saamiseks logifaili kasutage järgmist käsku:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Loomulikult on tagurpidi nõutav logimine ja ekraanile väljundi puudumine. Kogu väljundi tühjendamiseks kasutage järgmist käsku:
wget-q www.everydaylinuxuser.com
Laadige alla mitmest saidilt
Saate seadistada sisendfaili, mida saab alla laadida paljudelt erinevatest saitidest.
Avage fail, kasutades oma lemmikredaktorit või isegi kassi käsku, ja alustage lihtsalt failide iga rea allalaaditavate saitide või linkide loendit.
Salvestage fail ja käivitage järgmine wget käsk:
wget-i / path / to / inputfile
Peale oma veebisaidi varundamise või võib-olla leida rongile lugemiseks midagi, mida on vaja alla laadida, on ebatõenäoline, et soovite kogu veebisaiti alla laadida.
Teil on suurem tõenäosus alla laadida ühte URL-i piltidega või alla laadida faile, näiteks zip-failid, ISO-failid või pildifailid.
Seda silmas pidades ei soovi sisendfaili sisestada järgmist, kuna see on aeganõudev:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Kui teate, et alus URL on alati sama, saate sisendfailis lihtsalt määrata järgmise:
- file1.zip
- file2.zip
- file3.zip
Seejärel saate baase URL-i anda wget-käsu osana järgmiselt:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Uuesti valikud
Kui olete sisendfailis alla laadinud failide järjekorra seadistanud ja jätad kogu päeva töölt arvutist faile allalaadimiseks, muutub see üsna tüütuks, kui jõuate hommikul alla, et leida, et see on esimesel failil kinni jäänud ja on proovitud kogu öö.
Saate määrata järgmise kordusläbimõõduga järgmiste lülitite arvu:
wget -t 10 -i / path / to / inputfile
Võite soovida kasutada ülaltoodud käsku koos -T lülitiga, mis võimaldab teil aeg-ajalt täpsustada sekundites järgmiselt:
wget-t 10 -T 10 -i / tee / to / inputfile
Ülalolev käsk üritab 10 korda uuesti proovida ja proovib iga faili lingi jaoks 10 sekundit ühendada.
Samuti on see üsna tüütu, kui olete osaliselt alla laadinud 75% 4-gigabaidise failist aeglasest lairibaühendusest ainult teie ühenduse katkestamiseks.
Võite kasutada wget uuesti proovimiseks, kust see allalaadimine peatatakse, kasutades järgmist käsku:
wget -c www.myfileserver.com/file1.zip
Kui sa serverit peksid, võib peremees seda liiga palju unustada ja võib teie taotlusi blokeerida või lihtsalt tappa.
Saate määrata ooteaja, mis määrab, kui kaua oodata iga väljavõtte vahel järgmiselt:
wget -w 60-i / path / to / inputfile
Ülalolev käsk ootab iga allalaadimise vahel 60 sekundit. See on kasulik, kui laadite alla ühest allikast pärinevaid faile.
Mõned veebihaldurid võivad sagedust esile tõsta ja blokeerida. Ooteperioodi saate teha juhuslikult, et see näeks välja, et te ei kasuta programmi järgmiselt:
wget - random-wait-i / path / to / inputfile
Allalaadimispiirangute kaitse
Paljud Interneti-teenuse pakkujad kohaldavad teie lairibaühenduse kasutamise allalaadimise piiranguid, eriti kui elate väljaspool linna.
Võimalik, et soovite kvoodi lisada, et te ei lööks alla allalaadimise piirangut. Seda saate teha järgmisel viisil:
wget-q 100m-i / path / to / inputfile
Pange tähele, et -q-käsk ei tööta ühe failiga.
Kui laadite alla 2 gigabaiti suuruse faili, siis -q 1000m kasutamine ei peata failide allalaadimist.
Kvooti kohaldatakse ainult siis, kui saidi rekursiivne allalaadimine või sisendfaili kasutamine.
Turvalisuse tagamine
Mõned saidid vajavad sisselogimist, et saaksite juurde pääseda sellele lehele, mida soovite alla laadida.
Kasutajanime ja parooli täpsustamiseks saate kasutada järgmisi lülitid.
wget --user = teie kasutajanimi - parool = teie parool
Märkus multi-kasutaja süsteemis, kui keegi käitab ps käsku, saavad nad näha oma kasutajanime ja parooli.
Muud allalaadimisvalikud
Vaikimisi kasutab -r lüliti rekursiivselt sisu ja loob kataloogid nii nagu see läheb.
Allalaaditavate failide saamiseks saate ühe kausta kasutada järgmist lülitit:
wget -nd-r
Selle vastupidi on sundida luua katalooge, mida saab saavutada järgmise käsuga:
wget-x-r
Kuidas teatavaid failitüüpe alla laadida
Kui soovite saidilt rekursiivselt alla laadida, kuid soovite alla laadida ainult kindlat failitüüpi, näiteks mp3-faili või pilti nagu png, võite kasutada järgmist süntaksit:
wget -A "* .mp3" -r
Selle tagurpidi on teatud failide ignoreerimine. Võib-olla te ei soovi mänge hankida. Sellisel juhul kasutaksite järgmist süntaksi:
wget -R "* .exe" -r
Cliget
Seal on Firefoxi lisandmoodul nimega cliget. Saate seda Firefoxi lisada järgmiselt.
Külastage aadressi https://addons.mozilla.org/en-US/firefox/addon/cliget/ ja klõpsake nupul "Lisa Firefoxi".
Kui see kuvatakse, klõpsake installi nuppu. Peate Firefoxi taaskäivitama.
Cligeti kasutamine külastage lehte või faili, mida soovite alla laadida, ja paremklõpsake. Avaneb kontekstimenüü nimega cliget ja seal on valikud "kopeerida wget-ile" ja "kopeerida kõverduseks".
Klõpsake suvandil "kopeeri wget'ile" ja avage terminali aken ja seejärel paremklõps ja kleepige. Vastav wget käsk lisatakse aknale.
Põhimõtteliselt säästab see, et peate ise käsu tippima.
Kokkuvõte
Wget-käsk on tohutu hulk suvandeid ja lülitid.
Sellepärast tuleks lugeda wget manuaalilehte , kirjutades järgmised terminalakonnasse:
mees wget