Zapisywanie każdego obrazka ze strony
-
- Piegowaty Guziec
- Posty: 12
- Rejestracja: 25 mar 2009, 22:24
- Płeć: Mężczyzna
- Wersja Ubuntu: 8.10
- Środowisko graficzne: GNOME
Zapisywanie każdego obrazka ze strony
Witam, czy da się napisać skrypt w najlepiej w bashu, który zapisywałby wszystkie obrazki z jednej wybranej strony internetowej?
-
- Piegowaty Guziec
- Posty: 14
- Rejestracja: 18 lut 2007, 12:06
- Płeć: Mężczyzna
- Wersja Ubuntu: inny OS
- Środowisko graficzne: GNOME
- Architektura: x86_64
Odp: Zapisywanie każdego obrazka ze strony
Nie wiem czy Cie to zainteresuje ale istnieje wtyczka do FF - DownThemAll! - przy jej pomocy mozna pobrac wszystkie obrazki z danej strony, wystarczy ustawic tylko odpowiedni filtr 
A jesli chodzi o skrypt w bashu to pewnie sie da zrobic to przy uzyciu curl ale jak to nie wiem bo nigdy z tego nie korzystalem

A jesli chodzi o skrypt w bashu to pewnie sie da zrobic to przy uzyciu curl ale jak to nie wiem bo nigdy z tego nie korzystalem

- kabanek
- Zakręcona Traszka
- Posty: 592
- Rejestracja: 23 cze 2009, 20:34
- Płeć: Mężczyzna
- Wersja Ubuntu: 13.10
- Środowisko graficzne: Xfce
- Architektura: x86_64
- Kontakt:
Odp: Zapisywanie każdego obrazka ze strony
albo można by było pobrać kod html strony, poszukać wszystkich ciągów znaków wg wzorca np: [url]http://*.jpg[/url] [url]http://*.png[/url] itp i mając już taką gotową listę obrazków wgetem pobrać 

- el.pescado
- Zakręcona Traszka
- Posty: 734
- Rejestracja: 26 maja 2005, 11:43
- Płeć: Mężczyzna
- Wersja Ubuntu: inny OS
- Środowisko graficzne: GNOME
- Architektura: x86
- Kontakt:
Odp: Zapisywanie każdego obrazka ze strony
Można też użyć programu wget:, coś w stylu
Polecam lekturę
Kod: Zaznacz cały
wget -r --no-directories -l 1 -A '.jpg,.png,.gif' http://adres_url/
Kod: Zaznacz cały
man wget
- sibul
- Wytworny Kaczor
- Posty: 318
- Rejestracja: 16 paź 2007, 22:29
- Płeć: Mężczyzna
- Wersja Ubuntu: inny OS
- Środowisko graficzne: Inne
- Architektura: x86_64
Odp: Zapisywanie każdego obrazka ze strony
można użyć programu HTTrack i pobrac obrazki i inne zawartości strony, w przypadku stron PHP pobierze tylko obrazki i kod html.
OS X 10.8.3
- kabanek
- Zakręcona Traszka
- Posty: 592
- Rejestracja: 23 cze 2009, 20:34
- Płeć: Mężczyzna
- Wersja Ubuntu: 13.10
- Środowisko graficzne: Xfce
- Architektura: x86_64
- Kontakt:
Odp: Zapisywanie każdego obrazka ze strony
myślę, że ten skrypt mógłby Ci pomóc
jak uda Ci się go jakoś udoskonalić to daj znać 
ps jest napisany na podstawie viewtopic.php?p=630018#p630018
edit:
jak chcesz, żeby działał tak jak chcesz, to musisz jakoś napisać w perlu, żeby wyszukiwało wszystkie ciągi znaków zaczynające się na http:// i kończące na jpg, gif itp (w pętli oczywiście) ja perla nie umiem niestety, to nie mogę Ci pomóc w tym... ale pomysł na rozwiązanie problemu jest. Jak poznasz odp to daj mi znać
chętni się dowiem jak to jest zrobione 
Kod: Zaznacz cały
wget onet.pl
for format in jpg gif png
do
wget -r --no-directories `cat index.html | perl -lane '/.*src=\"([^\"]+)\".*/; print $1'|grep $format`
done

ps jest napisany na podstawie viewtopic.php?p=630018#p630018
edit:
jak chcesz, żeby działał tak jak chcesz, to musisz jakoś napisać w perlu, żeby wyszukiwało wszystkie ciągi znaków zaczynające się na http:// i kończące na jpg, gif itp (w pętli oczywiście) ja perla nie umiem niestety, to nie mogę Ci pomóc w tym... ale pomysł na rozwiązanie problemu jest. Jak poznasz odp to daj mi znać


-
- Piegowaty Guziec
- Posty: 12
- Rejestracja: 25 mar 2009, 22:24
- Płeć: Mężczyzna
- Wersja Ubuntu: 8.10
- Środowisko graficzne: GNOME
Odp: Zapisywanie każdego obrazka ze strony
Ogólnie skrypt jest dobry, aczkolwiek istnieje jeden problem:
większość stron zawiera miniaturki zdjęć na swojej głównej stronie, i najlepiej by było, gdyby dało się zapisać tylko oryginalny plik a miniaturki nie
większość stron zawiera miniaturki zdjęć na swojej głównej stronie, i najlepiej by było, gdyby dało się zapisać tylko oryginalny plik a miniaturki nie
-
- Piegowaty Guziec
- Posty: 14
- Rejestracja: 18 lut 2007, 12:06
- Płeć: Mężczyzna
- Wersja Ubuntu: inny OS
- Środowisko graficzne: GNOME
- Architektura: x86_64
Odp: Zapisywanie każdego obrazka ze strony
tak się raczej nie da... jak skrypt ma wiedzieć co jest miniaturką a co nią nie jest? nie zawsze sytuacja będzie na tyle jasna dla skryptu - nie każdy plik musi zawierać nazwe sugerującą, że jest to miniaturka np xyz.jpg i cvy.jpg - pozatym jeden obrazek, może występować w kilku wersjach np. mały, średni, duży, zamglony, obramowanie itp. nie zawsze skrypt potrafiłby dokonać odpowiedniej selekcji. Jedynym wyjściem byłby algorytm który porównywałby zdjęcia i np. plik1 plik2 plik3 które wyglądają tak samo ale mają różny rozmiar, wybierałby ten największy... no ale wątpie, żebyś takie coś znalazł zadarmokonert pisze:większość stron zawiera miniaturki zdjęć na swojej głównej stronie, i najlepiej by było, gdyby dało się zapisać tylko oryginalny plik a miniaturki nie

- kabanek
- Zakręcona Traszka
- Posty: 592
- Rejestracja: 23 cze 2009, 20:34
- Płeć: Mężczyzna
- Wersja Ubuntu: 13.10
- Środowisko graficzne: Xfce
- Architektura: x86_64
- Kontakt:
Odp: Zapisywanie każdego obrazka ze strony
poza tym często gęsto gdy się kliknie na miniaturkę, to nie odwołuje się bezpośrednio do obrazka, ale np do podstrony, gdzie ten obrazek jest wyświetlany w większych wymiarach 
można napisać minimalistyczną wersję, gdzie jest miniaturka i ona odwołuje się bezpośredniego do obrazka, ale jak tak nie jest to tutaj pojawiają się schody

można napisać minimalistyczną wersję, gdzie jest miniaturka i ona odwołuje się bezpośredniego do obrazka, ale jak tak nie jest to tutaj pojawiają się schody

-
- Piegowaty Guziec
- Posty: 12
- Rejestracja: 25 mar 2009, 22:24
- Płeć: Mężczyzna
- Wersja Ubuntu: 8.10
- Środowisko graficzne: GNOME
Odp: Zapisywanie każdego obrazka ze strony
Załóżmy, że na stronie jest miniaturka, która po kliknięciu otwiera podstronę z tylko tym jednym obrazkiem, ale tez np z jakimś tekstem. Jak sciągnąć takie coś, bo opcja ściągania rekurencyjnego we wgecie nie działa w ten sposób jak by można po niej oczekiwać, albo ja czegoś nie ogarniam.
- kabanek
- Zakręcona Traszka
- Posty: 592
- Rejestracja: 23 cze 2009, 20:34
- Płeć: Mężczyzna
- Wersja Ubuntu: 13.10
- Środowisko graficzne: Xfce
- Architektura: x86_64
- Kontakt:
Odp: Zapisywanie każdego obrazka ze strony
a czy na tej stronie jest tak, że miniaturka ma podobną nazwę do oryginału? Tzn jak dużo obrazek nazywa się obraz.jpg, to miniaturka np obrazek_mini.jpg?
-
- Piegowaty Guziec
- Posty: 12
- Rejestracja: 25 mar 2009, 22:24
- Płeć: Mężczyzna
- Wersja Ubuntu: 8.10
- Środowisko graficzne: GNOME
Odp: Zapisywanie każdego obrazka ze strony
tak, dokładnie tak jak mówisz
Kto jest online
Użytkownicy przeglądający to forum: Obecnie na forum nie ma żadnego zarejestrowanego użytkownika i 8 gości