Hvis man har nogle store txt files lister med mange ord i, hvor der kan forekomme flere ene ord - hvordan vil i så anbefale at fjerne de dobbelte ord, både hurtigt og korrekt ?
Lige nu bruger jeg cat og dulicut i terminalen, men er lidt i tvivl om de nu også gør jobbet ordentligt.

cat input.txt | uniq >> output.txt

./duplicut input.txt -o output.txt

Ikke det hurtigste men bruger normalt noget der minder om
da det kan bruges med wildcards så jeg kan tjekke flere filer samtidig

Det hedder "ens" ikke "enes". Bare lige ... så ved du det. :)

(03-02-2019, 22:16)zacko Skrev: Det hedder "ens" ikke "enes". Bare lige ... så ved du det. :)

Tykke fingre på en lille telefon ;)

---

(03-02-2019, 20:42)Stephano Skrev: Ikke det hurtigste men bruger normalt noget der minder om

Kode:

awk '!seen[$0]++' input.txt > output.txt

da det kan bruges med wildcards så jeg kan tjekke flere filer samtidig

Kode:

awk '!seen[$0]++' *.txt > output.txt

Jeg samler normalt flere filer i een fil, og så kører det på den måde.

Men hvis jeg bruger den mulighed du nævner, sørger den så for at der ikke findes to ens ord gennem flere lister, eller sørger den kun for at der ikke er to ens ord i den samme liste ?