[SOLVED]Usunięcie wyrazów powtarzających - czym?

[filozofw]

Posiadam listę hiperłączy:

7. http://www.youtube.com/watch?v=i2B93BX2jUo
8. http://www.youtube.com/watch?v=i2B93BX2jUo
9. http://www.youtube.com/watch?v=i2B93BX2jUo
10. http://www.youtube.com/watch?v=KC39sKNC9Dk
[...]
6296. http://www.youtube.com/watch?v=Ku-s23ZJLiI
6297. http://www.youtube.com/watch?v=_gIozGwXp8A
6298. http://www.youtube.com/watch?v=_gIozGwXp8A
6299. http://www.youtube.com/watch?v=6mi0p-QrsqY
6300. http://www.youtube.com/watch?v=6mi0p-QrsqY

Chciałbym usunąć linki powtarzające. Czy ktoś mógłby mi podesłać jakąś komendę do konsoli/program/wyrażenie regularne, które pozwoliłoby usunąć wyrazy powtarzające?
Z góry dzięki za pomoc .

[Mały 1]

Zawartość pliku:

Kod: Zaznacz cały

7. http://www.youtube.com/watch?v=i2B93BX2jUo
 8. http://www.youtube.com/watch?v=i2B93BX2jUo
 9. http://www.youtube.com/watch?v=i2B93BX2jUo
 10. http://www.youtube.com/watch?v=KC39sKNC9Dk
[...]
6296. http://www.youtube.com/watch?v=Ku-s23ZJLiI
6297. http://www.youtube.com/watch?v=_gIozGwXp8A
6298. http://www.youtube.com/watch?v=_gIozGwXp8A
6299. http://www.youtube.com/watch?v=6mi0p-QrsqY

Polecenie i wynik:

Kod: Zaznacz cały

awk '{count[$2]} END {for (key in count) print key }' plik

http://www.youtube.com/watch?v=i2B93BX2jUo
http://www.youtube.com/watch?v=6mi0p-QrsqY
http://www.youtube.com/watch?v=KC39sKNC9Dk
http://www.youtube.com/watch?v=Ku-s23ZJLiI
http://www.youtube.com/watch?v=_gIozGwXp8A

[ethanak]

a bez awka? :)

[Mały 1]

Można i tak:

Kod: Zaznacz cały

userpc@userpc:~/Desktop$ sort -k 2 plik | while read f1 f2; do if [ ! "$f2" = "$lf2" ]; then echo "$f2"; lf2="$f2"; fi; done
http://www.youtube.com/watch?v=6mi0p-QrsqY
http://www.youtube.com/watch?v=_gIozGwXp8A
http://www.youtube.com/watch?v=i2B93BX2jUo
http://www.youtube.com/watch?v=KC39sKNC9Dk
http://www.youtube.com/watch?v=Ku-s23ZJLiI

Może podasz jak to zrobić w pythonie?

[ethanak]

Strasznie to skomplikowałeś = chodziło mi o użycie w pipie cut -> sort -> uniq
W pythonie podam jak się dorwę do kompa z Linuksem (teraz siedzę na gościnnej windzie), w każdym razie coś w stylu:

Kod: Zaznacz cały

adresy=set(x.split()[1] for x in open('plik.txt'))

i potem ładne wypisanie adresów.
Kto poda w Perlu?

[Mały 1]

Kod: Zaznacz cały

grep -o h.* plik | sort | uniq
http://www.youtube.com/watch?v=6mi0p-QrsqY
http://www.youtube.com/watch?v=_gIozGwXp8A
http://www.youtube.com/watch?v=i2B93BX2jUo
http://www.youtube.com/watch?v=KC39sKNC9Dk
http://www.youtube.com/watch?v=Ku-s23ZJLiI