-
Data: 2010-03-13 00:24:50
Temat: Re: wyszukiwarka duplikatów jpg
Od: nb <n...@n...net> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]at Thu 11 of Mar 2010 22:40, Cezary Grądys wrote:
> Kris pisze:
>
>> tylko i wylacznie
>> DoubleKiller
>> szukasz wg wlasnych kryteriow
>> jak i sum crc32
>>
>
> Jak to według sum crc32? Czyli cały plik czytany, żeby stwierdzić
> różnicę, która może na 10 bajcie już jest?
Zawartość plików jest porównywana tylko wtedy, kiedy ich wielkość
jest jednakowa. Wówczas prawdopodobieństwo że ich zawartość jest
identyczna (a więc konieczność porównywania całych plików bajt
po bajcie) radykalnie rośnie. W mojej praktyce 99% czasu
działania fdupes to strata na jednakowych plikach.
I przykład jak to może wyglądać w praktyce:
~ls -l # mamy dwa bardzo duże pliki
-r--r--r-- 1 root wheel 1466035052 13 Mar 00:37 K2.avi
-r--r--r-- 1 root wheel 1466035052 22 Oct 2007 Kolja-DVD.avi
#time crc32 K* # szybkośc obliczenia crc
bb2b61ee K2.avi
bb2b61ee Kolja-DVD.avi
real 0m42.831s
user 0m7.646s
sys 0m7.237s
#time fdupes . # szybkość działania fdupes
./Kolja-DVD.avi
./K2.avi
real 5m33.525s
user 4m36.092s
sys 0m14.206s
Widać, że patent z crc jest około 8 razy szybszy.
Nawet md5 (wykluczający przypadkową zbieżność crc)
będzie pięć razy szybszy.
> Było by to dobre jakby było większość plików jednakowych i chcieli
> byśmy wśród nich jeden inny (lub kilka) znaleźć.
A jakiś przykład podobny do mojego?
--
nb
Następne wpisy z tego wątku
- 13.03.10 03:04 mg
- 13.03.10 14:59 EMPI
- 13.03.10 19:13 Cezary Grądys
- 13.03.10 22:40 lux
- 16.03.10 16:19 Saiko Kila
Najnowsze wątki z tej grupy
- Tadeusz Rolke RIP
- Samsung A12 - po co 4 obiektywy ?
- Trochę NTG - Vegas Pro
- Nikon D5500 i wyzwalanie migawki
- Canon 550D
- EOS 600D i balans bieli w filmach
- EOS 90D i sentymenty
- Skanowanie: Canon MG2550S vs HP OfficeJet 6950
- czas exif a czas modyfikacji pliku
- karta SD po formacie odzyskiwanie zdjęć i filmów
- Chess
- Vitruvian Man - parts 7-11a
- Eltec nie zyje?
- Steve McCurry
- Light - lajkowe klasyki od Chinczykow
Najnowsze wątki
- 2025-08-06 Gdynia => Konsultant wdrożeniowy (systemy controlingowe) <=
- 2025-08-06 Białystok => Inżynier oprogramowania .Net <=
- 2025-08-06 "[...] sejmowe wystąpienie posłanki Klaudii Jachiry, która zakończyła je słowami ,,Sława Ukrainie"."
- 2025-08-05 "Chiny przekraczają w wydobyciu 4 mld ton węgla, Indie i USA ponad 1 mld, a Rosja 500 mln ton [...]"
- 2025-08-05 Panuje się 181 159,42 zł./mies. na posła w 2026r.
- 2025-08-05 "Chiny przekraczają w wydobyciu 4 mld ton węgla, Indie i USA ponad 1 mld, a Rosja 500 mln ton [...]"
- 2025-08-05 Czy cos fi przechodzi przez trafo separujące?
- 2025-08-05 kajaki i promile
- 2025-08-05 Re: Tesla jest bezpieczna, wczoraj spaliła się doszczętnie na Ursynowie i nikomu się nic nie stało
- 2025-08-05 Gdynia => Przedstawiciel handlowy / KAM (branża TSL) <=
- 2025-08-05 Re: Atak na lekarza w Oławie. Policja zatrzymała sprawcę na lotnisku Polska Agencja Prasowa 4 sierpnia 2025, 12:16 FACEBOOK X E-MAIL KOPIUJ LINK W szpitalu w Oławie 37-letni pacjent zaatakował lekarza, po tym, jak ten odmówił mu wypisania długoterminowego
- 2025-08-05 B2B i książka przychodów i rozchodów
- 2025-08-04 Re: Atak na lekarza w Oławie. Policja zatrzymała sprawcę na lotnisku Polska Agencja Prasowa 4 sierpnia 2025, 12:16 FACEBOOK X E-MAIL KOPIUJ LINK W szpitalu w Oławie 37-letni pacjent zaatakował lekarza, po tym, jak ten odmówił mu wypisania długoterminowego
- 2025-08-04 Na grupie comp.os.linux.advocacy CrudeSausage twierdzi, że Micro$lop używa SI do szyfrowania formatu dok. XML
- 2025-08-04 Na grupie comp.os.linux.advocacy CrudeSausage twierdzi, że Micro$lop używa SI do szyfrowania formatu dok. XML