-
Data: 2010-03-13 00:24:50
Temat: Re: wyszukiwarka duplikatów jpg
Od: nb <n...@n...net> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]at Thu 11 of Mar 2010 22:40, Cezary Grądys wrote:
> Kris pisze:
>
>> tylko i wylacznie
>> DoubleKiller
>> szukasz wg wlasnych kryteriow
>> jak i sum crc32
>>
>
> Jak to według sum crc32? Czyli cały plik czytany, żeby stwierdzić
> różnicę, która może na 10 bajcie już jest?
Zawartość plików jest porównywana tylko wtedy, kiedy ich wielkość
jest jednakowa. Wówczas prawdopodobieństwo że ich zawartość jest
identyczna (a więc konieczność porównywania całych plików bajt
po bajcie) radykalnie rośnie. W mojej praktyce 99% czasu
działania fdupes to strata na jednakowych plikach.
I przykład jak to może wyglądać w praktyce:
~ls -l # mamy dwa bardzo duże pliki
-r--r--r-- 1 root wheel 1466035052 13 Mar 00:37 K2.avi
-r--r--r-- 1 root wheel 1466035052 22 Oct 2007 Kolja-DVD.avi
#time crc32 K* # szybkośc obliczenia crc
bb2b61ee K2.avi
bb2b61ee Kolja-DVD.avi
real 0m42.831s
user 0m7.646s
sys 0m7.237s
#time fdupes . # szybkość działania fdupes
./Kolja-DVD.avi
./K2.avi
real 5m33.525s
user 4m36.092s
sys 0m14.206s
Widać, że patent z crc jest około 8 razy szybszy.
Nawet md5 (wykluczający przypadkową zbieżność crc)
będzie pięć razy szybszy.
> Było by to dobre jakby było większość plików jednakowych i chcieli
> byśmy wśród nich jeden inny (lub kilka) znaleźć.
A jakiś przykład podobny do mojego?
--
nb
Następne wpisy z tego wątku
- 13.03.10 03:04 mg
- 13.03.10 14:59 EMPI
- 13.03.10 19:13 Cezary Grądys
- 13.03.10 22:40 lux
- 16.03.10 16:19 Saiko Kila
Najnowsze wątki z tej grupy
- Trochę NTG - Vegas Pro
- Nikon D5500 i wyzwalanie migawki
- Canon 550D
- EOS 600D i balans bieli w filmach
- EOS 90D i sentymenty
- Skanowanie: Canon MG2550S vs HP OfficeJet 6950
- czas exif a czas modyfikacji pliku
- karta SD po formacie odzyskiwanie zdjęć i filmów
- Chess
- Vitruvian Man - parts 7-11a
- Eltec nie zyje?
- Steve McCurry
- Light - lajkowe klasyki od Chinczykow
- Forum o Sony serii A (alfa)?
- obrobka RAW na konputerze
Najnowsze wątki
- 2025-01-15 Warszawa => Developer Microsoft Dynamics 365 Finance & Operations (D36
- 2025-01-15 Warszawa => Account Manager - Usługi rekrutacyjne <=
- 2025-01-15 serce boli
- 2025-01-14 Seicento vs Szydło, comes back :)
- 2025-01-14 CFM (airflow) AMD Wraitha
- 2025-01-14 16. Raport Totaliztyczny: Sprzedawanie zaszyfrowanych filmów na płytach Blu-Ray bez kluczy deszyfrujących
- 2025-01-13 15. Raport Totaliztyczny: Średniowiecze Po,Zniszczeniu AmigaOS i Plan9
- 2025-01-14 Warszawa => Expert Recruiter 360 <=
- 2025-01-14 Warszawa => Starszy Konsultant AWS <=
- 2025-01-14 Warszawa => Specjalista ds. bezpieczeństwa informacji i ciągłości
- 2025-01-14 Katowice => Key Account Manager (ERP) <=
- 2025-01-14 Kraków => Kierownik ds. Kluczowych Klientów (transport morski i lotn
- 2025-01-14 Błonie => IT System Administrator <=
- 2025-01-14 Warszawa => Helpdesk - I linia wsparcia <=
- 2025-01-14 Kraków => Spedytor Międzynarodowy <=