-
Path: news-archive.icm.edu.pl!news.gazeta.pl!newsfeed.pionier.net.pl!news.dialog.net.
pl!not-for-mail
From: nb <n...@n...net>
Newsgroups: pl.rec.foto.cyfrowa
Subject: Re: wyszukiwarka duplikatów jpg
Date: Sat, 13 Mar 2010 01:24:50 +0100
Organization: Dialog Net
Lines: 53
Message-ID: <hnem0h$sud$1@news.dialog.net.pl>
References: <131ddhlxu2to$.1peuy2chhff0d.dlg@40tude.net>
<hnbcpf$bpu$1@mx1.internetia.pl> <hnbon0$gul$1@nemesis.news.neostrada.pl>
Reply-To: n...@n...net
NNTP-Posting-Host: dynamic-62-87-247-180.ssp.dialog.net.pl
Mime-Version: 1.0
Content-Type: text/plain; charset=utf-8
Content-Transfer-Encoding: 8Bit
X-Trace: news.dialog.net.pl 1268439889 29645 62.87.247.180 (13 Mar 2010 00:24:49 GMT)
X-Complaints-To: a...@d...net.pl
NNTP-Posting-Date: Sat, 13 Mar 2010 00:24:49 +0000 (UTC)
Xref: news-archive.icm.edu.pl pl.rec.foto.cyfrowa:851218
[ ukryj nagłówki ]at Thu 11 of Mar 2010 22:40, Cezary Grądys wrote:
> Kris pisze:
>
>> tylko i wylacznie
>> DoubleKiller
>> szukasz wg wlasnych kryteriow
>> jak i sum crc32
>>
>
> Jak to według sum crc32? Czyli cały plik czytany, żeby stwierdzić
> różnicę, która może na 10 bajcie już jest?
Zawartość plików jest porównywana tylko wtedy, kiedy ich wielkość
jest jednakowa. Wówczas prawdopodobieństwo że ich zawartość jest
identyczna (a więc konieczność porównywania całych plików bajt
po bajcie) radykalnie rośnie. W mojej praktyce 99% czasu
działania fdupes to strata na jednakowych plikach.
I przykład jak to może wyglądać w praktyce:
~ls -l # mamy dwa bardzo duże pliki
-r--r--r-- 1 root wheel 1466035052 13 Mar 00:37 K2.avi
-r--r--r-- 1 root wheel 1466035052 22 Oct 2007 Kolja-DVD.avi
#time crc32 K* # szybkośc obliczenia crc
bb2b61ee K2.avi
bb2b61ee Kolja-DVD.avi
real 0m42.831s
user 0m7.646s
sys 0m7.237s
#time fdupes . # szybkość działania fdupes
./Kolja-DVD.avi
./K2.avi
real 5m33.525s
user 4m36.092s
sys 0m14.206s
Widać, że patent z crc jest około 8 razy szybszy.
Nawet md5 (wykluczający przypadkową zbieżność crc)
będzie pięć razy szybszy.
> Było by to dobre jakby było większość plików jednakowych i chcieli
> byśmy wśród nich jeden inny (lub kilka) znaleźć.
A jakiś przykład podobny do mojego?
--
nb
Następne wpisy z tego wątku
- 13.03.10 03:04 mg
- 13.03.10 14:59 EMPI
- 13.03.10 19:13 Cezary Grądys
- 13.03.10 22:40 lux
- 16.03.10 16:19 Saiko Kila
Najnowsze wątki z tej grupy
- Trochę NTG - Vegas Pro
- Nikon D5500 i wyzwalanie migawki
- Canon 550D
- EOS 600D i balans bieli w filmach
- EOS 90D i sentymenty
- Skanowanie: Canon MG2550S vs HP OfficeJet 6950
- czas exif a czas modyfikacji pliku
- karta SD po formacie odzyskiwanie zdjęć i filmów
- Chess
- Vitruvian Man - parts 7-11a
- Eltec nie zyje?
- Steve McCurry
- Light - lajkowe klasyki od Chinczykow
- Forum o Sony serii A (alfa)?
- obrobka RAW na konputerze
Najnowsze wątki
- 2025-01-27 OT musk
- 2025-01-27 Bydgoszcz => Specjalista ds. Sprzedaży (transport drogowy) <=
- 2025-01-27 Warszawa => Java Developer <=
- 2025-01-27 Warszawa => Data Engineer (Tech Lead) <=
- 2025-01-27 Warszawa => Programista Full Stack (.Net Core) <=
- 2025-01-27 Kto ma PRAWNĄ rację? poseł KO mec. R. Giertych v. mec. B. Lewandowski
- 2025-01-27 Gliwice => IT Expert (Network Systems area) <=
- 2025-01-27 Koszyk okrągły, walec 3x AA, na duże paluszki R6
- 2025-01-27 Warszawa => QA Engineer <=
- 2025-01-27 Warszawa => Analityk Biznesowo-Systemowy <=
- 2025-01-27 Mińsk Mazowiecki => Area Sales Manager OZE <=
- 2025-01-27 Bieruń => Team Lead / Tribe Lead FrontEnd <=
- 2025-01-27 Katowice => Regionalny Kierownik Sprzedaży (OZE) <=
- 2025-01-27 Kraków => User Experience Designer <=
- 2025-01-27 Kraków => iOS Developer (Swift experience) <=