Ubuntu.pl 🇺🇦️ - Forum Ubuntu

Polskie forum użytkowników Ubuntu
https://ubuntu.pl/forum/

[SOLVED]Usunięcie wyrazów powtarzających - czym?

https://ubuntu.pl/forum/viewtopic.php?t=171346

Strona 1 z 1

[SOLVED]Usunięcie wyrazów powtarzających - czym?

: 27 gru 2013, 23:54
autor: filozofw
Posiadam listę hiperłączy:
Chciałbym usunąć linki powtarzające. Czy ktoś mógłby mi podesłać jakąś komendę do konsoli/program/wyrażenie regularne, które pozwoliłoby usunąć wyrazy powtarzające?
Z góry dzięki za pomoc ;).

Re: Usunięcie wyrazów powtarzających - czym?

: 28 gru 2013, 08:58
autor: Mały 1
Zawartość pliku:

Kod: Zaznacz cały

7. http://www.youtube.com/watch?v=i2B93BX2jUo
 8. http://www.youtube.com/watch?v=i2B93BX2jUo
 9. http://www.youtube.com/watch?v=i2B93BX2jUo
 10. http://www.youtube.com/watch?v=KC39sKNC9Dk
[...]
6296. http://www.youtube.com/watch?v=Ku-s23ZJLiI
6297. http://www.youtube.com/watch?v=_gIozGwXp8A
6298. http://www.youtube.com/watch?v=_gIozGwXp8A
6299. http://www.youtube.com/watch?v=6mi0p-QrsqY
Polecenie i wynik:

Kod: Zaznacz cały

awk '{count[$2]} END {for (key in count) print key }' plik

http://www.youtube.com/watch?v=i2B93BX2jUo
http://www.youtube.com/watch?v=6mi0p-QrsqY
http://www.youtube.com/watch?v=KC39sKNC9Dk
http://www.youtube.com/watch?v=Ku-s23ZJLiI
http://www.youtube.com/watch?v=_gIozGwXp8A

Re: Usunięcie wyrazów powtarzających - czym?

: 28 gru 2013, 12:31
autor: ethanak
a bez awka? :)

Re: Usunięcie wyrazów powtarzających - czym?

: 28 gru 2013, 13:57
autor: Mały 1
Można i tak:

Kod: Zaznacz cały

userpc@userpc:~/Desktop$ sort -k 2 plik | while read f1 f2; do if [ ! "$f2" = "$lf2" ]; then echo "$f2"; lf2="$f2"; fi; done
http://www.youtube.com/watch?v=6mi0p-QrsqY
http://www.youtube.com/watch?v=_gIozGwXp8A
http://www.youtube.com/watch?v=i2B93BX2jUo
http://www.youtube.com/watch?v=KC39sKNC9Dk
http://www.youtube.com/watch?v=Ku-s23ZJLiI
Może podasz jak to zrobić w pythonie? :)

Re: Usunięcie wyrazów powtarzających - czym?

: 28 gru 2013, 14:27
autor: ethanak
Strasznie to skomplikowałeś = chodziło mi o użycie w pipie cut -> sort -> uniq
W pythonie podam jak się dorwę do kompa z Linuksem (teraz siedzę na gościnnej windzie), w każdym razie coś w stylu:

Kod: Zaznacz cały

adresy=set(x.split()[1] for x in open('plik.txt'))
i potem ładne wypisanie adresów.
Kto poda w Perlu?

Re: Usunięcie wyrazów powtarzających - czym?

: 28 gru 2013, 16:26
autor: Mały 1

Kod: Zaznacz cały

grep -o h.* plik | sort | uniq
http://www.youtube.com/watch?v=6mi0p-QrsqY
http://www.youtube.com/watch?v=_gIozGwXp8A
http://www.youtube.com/watch?v=i2B93BX2jUo
http://www.youtube.com/watch?v=KC39sKNC9Dk
http://www.youtube.com/watch?v=Ku-s23ZJLiI
Strefa czasowa UTC+02:00
Strona 1 z 1

Technologię dostarcza phpBB® Forum Software © phpBB Limited

Polski pakiet językowy dostarcza phpBB.pl