[solved] nie działa wget na www.chomikuj.pl

[fieloryb]

Usiłowałem napisać skrypt z poleceniem

Kod: Zaznacz cały

wget --password=haslo --http-user=uzytkownik1 http://chomikuj.pl/uzytkownik2/jakis+plik+

niestety wget ściąga zamiast pliku stronę na której jest on umieszczony.

Próbowałem również czegoś takiego:

Kod: Zaznacz cały

wget \
    --save-cookies ~/katalog/cookie \
    --post-data "login=uzytkownik&password=haslo" \
    -O - \
    http://chomikuj.pl/uzytkownik1 \
    > /dev/null

wget -c --load-cookies ~/katalog/cookie http://chomikuj.pl/uzytkownik2/jakis+plik+

niestety bezskutecznie, efekt jest podobny.
Potrzebuję polecenia wget, gdyż jest ono lekkie i przede wszystkim ma możliwość podania wielkości pliku do ściągnięcia i zapisania górnej granicy jego rozmiaru, powyżej której może wykonać się inna komenda.

[simonnam]

Nie jestem pewien, ale czy czasem chomik nie generuje linku dla każdego pobierania z osobna?

[Velvet]

jak masz ff to ściągnij sobie flashgota i ustaw żeby ściągał przez wget

[fieloryb]

Mam flashgota, ale:
- on potrafi korzystać z wgeta, chociaż nie wiem jak,
- pisałem powyżej, że potrzebuję wgeta z linii poleceń.

EDIT:

Nie jestem pewien, ale czy czasem chomik nie generuje linku dla każdego pobierania z osobna?

Nie za bardzo rozumiem.

[beluosus]

Może spróbuj się zalogować, zapisz ciasteczka, następnie wczytaj stronę z plikami (z załadowanymi ciasteczkami), przegrepuj/przeseduj/przeawkuj i pobierz odpowiedni link (z załadowanymi ciasteczkami).

[fieloryb]

Hmmm rozwiązanie połowiczne, bo korzystając z wgeta (niby proste narzędzie) będę musiał korzystać jeszcze z przeglądarki internetowej.
Dziękuję, ale poczekam jeszcze na inne podpowiedzi. W końcu flashgot używa wgeta... więc jest to możliwe.

[beluosus]

Hmmm rozwiązanie połowiczne, bo korzystając z wgeta (niby proste narzędzie) będę musiał korzystać jeszcze z przeglądarki internetowej.

Mówisz o moim rozwiązaniu? Jeśli tak to dziwne, bo nigdzie nie widzę wzmianki o przeglądarce. Tutaj masz temat z logowaniem do nk i ściąganie stron będąc zalogowanym - z chomikiem pewnie trzeba postąpić analogicznie. Niestety nie działa w tym momencie więc nie sprawdzę.

[simonnam]

Nie za bardzo rozumiem.

Chodzi mi o to, że bezpośrednim link do pliku jest zawsze inny (unikalny) i chomik go sam generuje przy każdym ściąganiu. Nie da się poznać bezpośredniego linku do ściąganego pliku.

[beluosus]

DOWNLOAD
Specjalnie dla was napisałem ten skrypt. W pliku config wpisujemy login i hasło. Logowanie i pobieranie wygląda tak:

Kod: Zaznacz cały

cmd ;> ./chomik_logon.sh 
Trwa logowanie... OK


Pliki w katalogu głównym:	<id>

/beluosus/Age+of+War.mp3	229768195
/beluosus/madguy_-_five.mp3	229609800


Aby pobrać plik: ./chomik_getFile.sh <id>
cmd ;> ./chomik_getFile.sh 229768195
*** wget stuff ***

2010-01-31 20:01:19 (91,2 KB/s) - zapisano `Age+of+War.mp3' [1770151/1770151]

Póki co można ściągać pliki tylko z katalogu głównego. Może zajmę się jeszcze podkatalogami. Myślę, że nie muszę tego mówić ale tak na wszelki wypadek. Gdyby skrypt zachował się w jakikolwiek sposób nieprzewidziany przeze mnie - nie biorę za to żadnej odpowiedzialności.

[fieloryb]

Z wdzięczności odechciało mi się spać...
Dziękuję tym bardziej, że jak spojrzałem na treść skryptów to doszedłem do wniosku, że pisałbym to jakiś tydzień ze swoją znajomością basha i reszty...
Tu moje dwa pytania
- jak długo trzeba czytać-próbować-uczyć się by dojść do takiej znajomości konsoli, żeby napisać to z palca?
- jak podać niejawnie hasło, (może to delikatny fioł, ale ono w żaden sposób nie jest zabezpieczone w pliku)?
- czy możesz w ramach edukacyjnych dodać komentarz do skryptów, nie wszystko jest dla mnie jasne?

[beluosus]

Tu moje dwa pytania

Widzę trzy.

- jak długo trzeba czytać-próbować-uczyć się by dojść do takiej znajomości konsoli, żeby napisać to z palca?

Jeśli człowiek dostatecznie interesuje się systemem i od czasu do czasu dla przyjemności napisze jakiś skrypt to to samo przychodzi po jakimś czasie. Trudno określić konkretną ilość dni.

- jak podać niejawnie hasło, (może to delikatny fioł, ale ono w żaden sposób nie jest zabezpieczone w pliku)?

Za każdym razem możesz usunąć hasło z pliku. Ewentualnie można hasło 'delikatnie' zaszyfrować ale każdy kto zdobędzie config i skrypt bez problemu wyciągnie hasło. Jeśli znowu podasz hasło z linii poleceń to będzie w historii (którą można wyczyścić równie łatwo jak plik z configiem).

- czy możesz w ramach edukacyjnych dodać komentarz do skryptów, nie wszystko jest dla mnie jasne?

Dla mnie wszystko jest jasne więc nie znając Twojego poziomu nie mogę stwierdzić z czym masz problem. Całego skryptu nie mam zamiaru opisywać. Myślę, że jest w nim więcej znajomości http niż samego bash'a. Niemniej jednak jeśli chcesz pomoc to napisz konkretnie czego nie rozumiesz.

[evann]

[jak usunac wpis?]

[fieloryb]

Miały być dwa pytania, ale zrobiło się późno i wyszły trzy... i nie poprawiłem dobrze postu.
Niestety, nie widzę sygnatur (mam to wyłączone), ale jak to mówią potrzeba jest armatką wynalazków. .
Jedyna wada jaką widzę w konsoli i korzystaniu w niej jest nadmiar. Podziwiam osoby, które potrafią wykorzystać więcej niż 20% możliwości manów "dużych" poleceń, chociaż nie stronię od konsoli.
Gdyby mnie posadzili jednak przy terminalu czym prędzej zainstalowałbym sobie jakieś środowisko graficzne.
Wracając do sprawy - najmniej rozumiem ze skryptu tego co dzieje się z poleceniami związanymi http. Nie proszę o całe wyjaśnienie - wystarczy, że wskażesz mi dobre miejsce w sieci gdzie to jest w miarę łopatologicznie wyjaśnione. Może być po angielsku, ale najlepiej z przykładami.

[e-San]

Witam!

A może jakiś pomysł na upload? Spodziewam się, że rozgryzienie jak wysyła chomikbox graniczy z cudem (http://208.101.10.185:8084, co dalej?), ale wysyłanie plików przez post nie powinno nastręczać takich trudności.

Może drobna rozbudowa skryptu?

Pozdrawiam!

[NoYes]

a ja podepne sie pod temat, chociaz wiem ze ma juz status "SOLVED"

skrypt pierwsza klasa, to trzeba przyznac.

jednak (nie wiem czy tylko ja tak mam) pojawily mi sie problemy:

chomik_login działa bez zarzutu.

chomik_getFile juz nie bardzo - a mianowicie, linia:

wget "http://chomikuj.pl/services/InterfaceCo ... wnloadFile" \
-q \
-O chomik \
--load-cookies="cookies.txt" \
--user-agent="$userAgent" \
--referer="http://chomikuj.pl/${ref}" \
--post-data="$postData"

zapisuje pusty plik niestety.

a co za tym idzie, dalsza czesc juz nie idzie

szkoda bo myslalem ze juz udalo sie rozwiazac problem ktory mnie gryzl, a tu $$$$$$$$ zbita :-/

masz Mistrzu pomysl jak to obejsc ? bawiles sie jeszcze dalej tym skryptem ?

[morsun]

Witam,

to nie uzywaj chomik_getFile, tylko po wydaniu ./chomik_login tworzy sie plik cookies.txt , użyj go do pobrania pliku:

wget --load-cookies cookies.txt -p http://obojetnie_jaki_link_wklejony_z_chomikuj.avi

zapewne utworzy ci sie nowy katalog o nazwie hosta z chomikuj.pl i dluga nazwa pliku, no ale plik się ściągnie a nazwe potem sobie można zmienić (chyba że ktoś ma ochotę pobawić się z sed-em, ja nie )

Pozdro

[rewers79]

Witam,

beluosus, wielka prośba do Ciebie, abyś w miarę możliwości uaktualnił swój skrypt do logowania na chomikuj. Ostatnio ten portal przeszedł zmiany i zaproponowane przez Ciebie rozwiązanie przestało działać. Próbowałem na własną rękę go zmienić ale utknąłem na postdata dołączanych do wget'a.

[trebuchet]

Hej,
skorzystałem z Waszego wątku, więc dodam coś od siebie.

Nie mam teraz za bardzo czasu na poprawienie udostępnionego skryptu, ale podam przepis jakiego sam użyłem, by pobrać wgetem plik z chomikuj.pl:

-2) chcąc skorzystać z flashgota z wgetem skonfigurowałem tego pierwszego; nie zadziałało (wget nie otrzymywał poprawnie User Agent, a że flashgot nie umożliwia dodawania apostrofów i cudzysłowów, nie mogłem go poprawić "z palca", a skryptu jakoś nie chciało mi się pisać
-1) z wcześniejszej próby pobrania pliku Operą (jedyna przeglądarka jaką znam, która potrafi wznowić pobieranie - niestety miałem zbyt często zrywane połączenie by miało to sens) uzyskałem ten bardzo długi URL - skopiowałem go po prostu z listy pobierań - zapisałem go do pliku url.txt (który skopiowałem na zdalny serwer)
0) będąc zalogowanym użyłem flashgota, ponieważ grzecznie zapisał wszystkie ciasteczka do pliku cookies.txt - te (tylko dla "chomikuj.pl" i podobnych) skopiowałem na zdalny serwer (szybsze i stabilne łącze)
1) na konsoli zdalnego serwera (więc inne IP) wydałem polecenie jak następuje:

Kod: Zaznacz cały

login@srv:~$ wget -c --tries=999 --load-cookies=cookies.txt --user-agent "Mozilla/6.0 (Windows NT 6.2; WOW64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1" -i url.txt

Rezultat:

Kod: Zaznacz cały

--2013-01-06 21:48:17--  http://s195.chomikuj.pl/File.aspx?e=2NVHxLoPo9PsKHzMS-ipt-itd_ten_dlugi_URL&pv=2
Resolving s195.chomikuj.pl... 50.22.209.55
Connecting to s195.chomikuj.pl|50.22.209.55|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://chomikuj.pl/File.aspx?e=kolejny-jakis-identyfikator&pv=2 [following]
--2013-01-06 21:48:17--  http://chomikuj.pl/File.aspx?e=kolejny-jakis-identyfikator&pv=2
Resolving chomikuj.pl... 174.36.207.146
Connecting to chomikuj.pl|174.36.207.146|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://s195.chomikuj.pl/File.aspx?e=2bardzo-dlugi-URI&pv=2 [following]
--2013-01-06 21:48:17--  http://s195.chomikuj.pl/File.aspx?e=2bardzo-dlugi-URI&pv=2
Reusing existing connection to s195.chomikuj.pl:80.
HTTP request sent, awaiting response... 200 OK
Length: 3875485169 (3.6G) [text/multipart]
Saving to: `File.aspx?e=oryginalna-nazwa_pliku--jak-uri_w_url.txt&pv=2'

100%[========================================================================================>] 3,875,485,001 28.7M/s   in 2m 14s

2013-01-06 21:50:31 (27.6 MB/s) - `File.aspx?e=2oryginalna-nazwa_pliku--jak-uri_w_url.txt&pv=2' saved [3875485169/3875485169]

FINISHED --2013-01-06 21:50:31--

Reasumując:
z pewnością da się to wszystko zrobić skryptem bashowym (podejrzewam nawet, że w perlu z WWW::curl byłoby jeszcze prościej, jako że perl jest stworzony do parsowania tekstu - np. stron www), ale że naprawdę potrzebuję tego raz w roku, nie znajdę na to czasu, przykro mi.
Zauważcie, że kluczowe są trzy elementy: "długa" nazwa pliku, cookies i User Agent. Nie trzeba było nawet używać referera.

Pozdrowienia (i dziękuję za pomoc),
k.