<div dir="ltr">I use fdupes for identifying and removing duplicate files. <div><br></div><div><a href="http://code.google.com/p/fdupes/">http://code.google.com/p/fdupes/</a><br></div><div><br></div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Fri, Oct 18, 2013 at 1:24 PM, Derek Atkins <span dir="ltr">&lt;<a href="mailto:derek@ihtfp.com" target="_blank">derek@ihtfp.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Have you tried the &quot;hardlink&quot; utility?   man hardlink<br>
<br>
-derek<br>
<div class="HOEnZb"><div class="h5"><br>
On Fri, October 18, 2013 12:59 pm, JD wrote:<br>
&gt; Slashdot had a question about this 1-2 yrs ago.  Lots of people suggested<br>
&gt; scripting it, others pointed out some C code on sourceforge.<br>
&gt;<br>
&gt; I had a few hrs free that day and wrote some Perl (200+ LOC). Use it all<br>
&gt; the<br>
&gt; time, but I&#39;d probably go with the C tool for any very large datasets.<br>
&gt; Mine<br>
&gt; doesn&#39;t automaticly remove anything and is far from perfect, that is<br>
&gt; certain.<br>
&gt; It is relatively fast on most types of files, however.<br>
&gt;<br>
&gt; On 10/18/2013 12:34 PM, Calvin Harrigan wrote:<br>
&gt;&gt; Good Afternoon,<br>
&gt;&gt;     I&#39;m looking for a little advice/recommendation on file<br>
&gt;&gt; de-duplication<br>
&gt;&gt; software. I&#39;ve have a disk filled with files that most certainly have<br>
&gt;&gt; duplicates.  What&#39;s the best way to get rid of the duplicates.  I&#39;d like<br>
&gt;&gt; to<br>
&gt;&gt; check deeper than just file name/date/size.  If possible I&#39;d like to<br>
&gt;&gt; check<br>
&gt;&gt; content (checksum?).  Are you aware of anything like that?  Linux or<br>
&gt;&gt; windows is<br>
&gt;&gt; fine.  Thanks<br>
&gt;&gt; _______________________________<br>
&gt; _______________________________________________<br>
&gt; Ale mailing list<br>
&gt; <a href="mailto:Ale@ale.org">Ale@ale.org</a><br>
&gt; <a href="http://mail.ale.org/mailman/listinfo/ale" target="_blank">http://mail.ale.org/mailman/listinfo/ale</a><br>
&gt; See JOBS, ANNOUNCE and SCHOOLS lists at<br>
&gt; <a href="http://mail.ale.org/mailman/listinfo" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
&gt;<br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
       Derek Atkins                 <a href="tel:617-623-3745" value="+16176233745">617-623-3745</a><br>
       <a href="mailto:derek@ihtfp.com">derek@ihtfp.com</a>             <a href="http://www.ihtfp.com" target="_blank">www.ihtfp.com</a><br>
       Computer and Internet Security Consultant<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org">Ale@ale.org</a><br>
<a href="http://mail.ale.org/mailman/listinfo/ale" target="_blank">http://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
</div></div></blockquote></div><br></div>