Dávkové stahování Fotografie z webů, jako je Smugmug

Chtěl bych představit snadný způsob, jak stahovat spoustu obrázků z webových stránek, které je pojmenovávají postupně, což znamená, že ke každému přidanému obrázku jednoduše přidají číslo a možná nějaké znaky. Smugmug například používá na svých webových stránkách jeden adresář / fotografie / a do tohoto adresáře vloží všechny obrázky nebo alespoň odkazy na ně. Všechny obrázky vypadají jako number-M.jpg, což velmi usnadňuje použití skriptu ke stažení všech obrázků v určitém rozsahu.

Budu používat rozšíření Firefoxu Dávkové stahování stáhnout obrázky z webu, jako je Smugmug. Generální ředitel Smugmug řekl, že bylo zamýšleným chováním, že soukromé obrázky v Smugmugu byly stále veřejně dostupné, což mi připadá trochu podivné, ale na koho si stěžuji?



Nainstalujte rozšíření Batch Download Firefox a poté Firefox restartujte. Poté otevřete možnosti Batch Download, to lze provést kliknutím pravým tlačítkem myši na prázdné místo ve Firefoxu a výběrem Batch Download z nabídky.

smugmug picture downloads

Základní adresa URL je adresa URL adresáře fotografií na serveru Smugmug, v našem případě je to http://www.smugmug.com/photos/(*)-M.jpg. Zástupný znak je numerická část každého obrázku, která se mění s každým jedinečným obrázkem. Tuto část definujeme níže. Protože se skládá pouze z čísel, používáme čísla od 1, což by byl obrázek 1-M.jpg až 10000, což by byl obrázek 10000-M.jpg.



Dávkové stahování nyní prohledá fotografie adresáře v Smugmug pro všechny obrázky mezi 1-M.jpg a 10 000-M.jpg, což znamená, že bude naskenováno celkem 10 000 obrázků. Pokud je obrázek nalezen, bude stažen do adresáře, který určíte v dolní části formuláře s názvem Download Folder.

Zadaná čísla jsou libovolná. Místo toho můžete začít o 10 000 a skončit na 96 000. Pokud si vyberete obrovská čísla, stahování obrázků samozřejmě trvá déle. Tuto techniku ​​lze použít pro mnoho různých webů, které ukládají své obrázky - nebo jiné soubory, jako jsou videa - tímto způsobem. Dále je možné začít znovu u určitého čísla, kde jste se zastavili.

Existuje několik způsobů, jak blokovat stahování dávky. Nejjednodušší cestou by byla kontrola referreru, která by zajistila, že soubory budou moci stahovat pouze návštěvníci ze stejného webu.