wget - komunikat Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 403 Forbidden

[wiktor1984]

Testuje polecenie wget w bashu

Kod: Zaznacz cały

wget http://xxx > file.txt

I miałbym pytanie niektóre strony pobiera ok a na niektórych wyskakuje błąd:

Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 403 Forbidden

Najwyraźniej są one jakoś zabezpieczone czy mógłby mnie ktoś nakierować jak to obejść o ile to w ogóle możliwe?

I jeszcze jedno pytanie wget za pomocą powyższej komendy ściąga sam kod strony w niektórych przypadkach w ściągniętym pliku widać całą stronę wraz z obrazkami i formatowaniem css i wtedy strona cały czas się odświeża wie ktoś o co chodzi?

[norvoles]

Testuje polecenie wget w bashu
I miałbym pytanie niektóre strony pobiera ok a na niektórych wyskakuje błąd:
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 403 Forbidden

Podaj przykład.

I jeszcze jedno pytanie wget za pomocą powyższej komendy ściąga sam kod strony w niektórych przypadkach w ściągniętym pliku widać całą stronę wraz z obrazkami i formatowaniem css i wtedy strona cały czas się odświeża wie ktoś o co chodzi?

Jeśli ten "kod strony" otworzysz w przeglądarce, to ona będzie starać się wszystkie obrazki, skrypty, cssy bazując na odnośnikach jakie są podane w źródle. Jeśli są tam pełne odnośniki do plików na jakichś zewnętrznych serwerach, to przeglądarka je pobierze i zinterpretuje.

Poczytaj:

Kod: Zaznacz cały

man wget

Wget posiada mnóstwo opcji, z którymi warto się zapoznać.

Zapoznaj się też z narzędziem curl, które jest jeszcze potężniejsze

[wiktor1984]

curl-em bawiłem się pod php ale niektóre opcje nie działaja na serwerach bez możliwości wyłączenia safe mode i open_basedir
a brak takich na darmowych lub tanich serwerach. a na lokalhoscie też tak do końca wszystko nie działa
(co prawda na serwerach dedykowanych jest możliwość wyłączenia ale zakupienie takiego serwera dla testów i nauki jak dla mnie mija się z celem)
będe kombinował w bash-u ewentualnie zainstaluje sobie serwer dla testów na ubuntu i podepne jakąs domenę.

A tak przy okazji istnieje coś takiego jak oficjalny manual php http://php.net/manual/ tylko że do bash-a gdzie są rozpisane polecenia

[jacekalex]

Zapoznaj się też z narzędziem curl, które jest jeszcze potężniejsze

Ja polecam zaprzyjaźnić się z Perlem, i modułami WWW::Mechanize i WWW::Scripter::Plugin::{Javascript|Ajax}.

Tymi modułami można baaaarrrdddzzzooo wiele zdziałać.

Sznurki:
http://search.cpan.org/~ether/WWW-Mecha ... chanize.pm
http://search.cpan.org/~lxp/WWW-Scripte ... ripter.pod
http://search.cpan.org/~sprout/WWW-Scri ... aScript.pm
http://search.cpan.org/~sprout/WWW-Scri ... in/Ajax.pm

Pozdro

[wiktor1984]

Dzięki wszystkim za rady
Z perlem jeszcze nie miałem styczności ale wezme się za niego zaraz po bashu
Pozdrawiam

-- 8 sie 2014, o 19:28 --

Jeszcze jedno pytanie strona np. http://forum.php.pl/index.php?s=0f6ecf6 ... in&CODE=00
która ma w linku & nie otwiera się inne strony bez tego znaku się otwierają nie można jej nawet wpisać w referer wyskoczy błąd jak można zapisać taki adres?

Kod: Zaznacz cały

#!/bin/bash

userAgent="Mozilla/5.0 (X11; U; Linux i686; pl-PL; rv:1.9.2.3) Gecko/20100423 Ubuntu/10.04 (lucid) Firefox/3.6.3"
wget -q --user-agent="$userAgent" --keep-session-cookies --save-cookies=ciastka.txt --referer=http://forum.php.pl --post-data="UserName=XXX&PassWord=XXX&CookieDate=1&referer=http://forum.php.pl&Privacy=1" -O zalogowany.html http://forum.php.pl/index.php?s=0f6ecf62c84f969a705b23fdbba23f8b&act=Login&CODE=00

echo "Otwórz plik zalogowany.html"

read argument;
exit 0;