Ubuntu.pl 🇺🇦️ - Forum Ubuntu

Testuje polecenie wget w bashu I miałbym pytanie niektóre strony pobiera ok a na niektórych wyskakuje błąd:

Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 403 Forbidden

Najwyraźniej są one jakoś zabezpieczone czy mógłby mnie ktoś nakierować jak to obejść o ile to w ogóle możliwe?

I jeszcze jedno pytanie wget za pomocą powyższej komendy ściąga sam kod strony w niektórych przypadkach w ściągniętym pliku widać całą stronę wraz z obrazkami i formatowaniem css i wtedy strona cały czas się odświeża wie ktoś o co chodzi?

wiktor1984 pisze:Testuje polecenie wget w bashu
I miałbym pytanie niektóre strony pobiera ok a na niektórych wyskakuje błąd:
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 403 Forbidden

Podaj przykład.

I jeszcze jedno pytanie wget za pomocą powyższej komendy ściąga sam kod strony w niektórych przypadkach w ściągniętym pliku widać całą stronę wraz z obrazkami i formatowaniem css i wtedy strona cały czas się odświeża wie ktoś o co chodzi?

Jeśli ten "kod strony" otworzysz w przeglądarce, to ona będzie starać się wszystkie obrazki, skrypty, cssy bazując na odnośnikach jakie są podane w źródle. Jeśli są tam pełne odnośniki do plików na jakichś zewnętrznych serwerach, to przeglądarka je pobierze i zinterpretuje.

Poczytaj: Wget posiada mnóstwo opcji, z którymi warto się zapoznać.

Zapoznaj się też z narzędziem curl, które jest jeszcze potężniejsze

curl-em bawiłem się pod php ale niektóre opcje nie działaja na serwerach bez możliwości wyłączenia safe mode i open_basedir
a brak takich na darmowych lub tanich serwerach. a na lokalhoscie też tak do końca wszystko nie działa
(co prawda na serwerach dedykowanych jest możliwość wyłączenia ale zakupienie takiego serwera dla testów i nauki jak dla mnie mija się z celem)
będe kombinował w bash-u ewentualnie zainstaluje sobie serwer dla testów na ubuntu i podepne jakąs domenę.

A tak przy okazji istnieje coś takiego jak oficjalny manual php http://php.net/manual/ tylko że do bash-a gdzie są rozpisane polecenia

Zapoznaj się też z narzędziem curl, które jest jeszcze potężniejsze

Ja polecam zaprzyjaźnić się z Perlem, i modułami WWW::Mechanize i WWW::Scripter::Plugin::{Javascript|Ajax}.

Tymi modułami można baaaarrrdddzzzooo wiele zdziałać.

Sznurki:
http://search.cpan.org/~ether/WWW-Mecha ... chanize.pm
http://search.cpan.org/~lxp/WWW-Scripte ... ripter.pod
http://search.cpan.org/~sprout/WWW-Scri ... aScript.pm
http://search.cpan.org/~sprout/WWW-Scri ... in/Ajax.pm

Pozdro

Dzięki wszystkim za rady
Z perlem jeszcze nie miałem styczności ale wezme się za niego zaraz po bashu
Pozdrawiam

-- 8 sie 2014, o 19:28 --

Jeszcze jedno pytanie strona np. http://forum.php.pl/index.php?s=0f6ecf6 ... in&CODE=00
która ma w linku & nie otwiera się inne strony bez tego znaku się otwierają nie można jej nawet wpisać w referer wyskoczy błąd jak można zapisać taki adres?