<div dir="ltr">Another nice thing about using rsync is verification via the &quot;-c&quot; option.  With tar you can do that, but you have to do it with a separate command, I think.<div><br></div><div>  <span style="font-size:12.8px">tar zcvf - /datadirectory | openssl sha256</span></div><div>  <span style="font-size:12.8px">tar zcvf - /datadirectory | ssh user@backup.server &quot;cat &gt; backupfile.tgz; openssl sha256 backupfile.tgz&quot;</span></div><div><span style="font-size:12.8px"><br></span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 27, 2015 at 9:46 AM, Jim Kinney <span dir="ltr">&lt;<a href="mailto:jim.kinney@gmail.com" target="_blank">jim.kinney@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><p dir="ltr">Rsync doesn&#39;t require an rsync server. It provides a solid backup. Rsync it back and it&#39;s all golden.</p>
<p dir="ltr">Tarball will need enough space to be built or will need to be built &#39;over the wire&#39; using a tar|&lt;transport method&gt;|tar process. Second optional. </p>
<p dir="ltr">Tar is faster but rsync is easier.</p>
<p dir="ltr">A 4TB external hard drive and sneaker net also works and provides verifiable copies. Rsync to a local drive is fast especially with an external sata port.</p><div class="HOEnZb"><div class="h5">
<div class="gmail_quote">On Oct 27, 2015 9:37 AM, &quot;Todor Fassl&quot; &lt;<a href="mailto:fassl.tod@gmail.com" target="_blank">fassl.tod@gmail.com</a>&gt; wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">One of the researchers I support wants to backup 3T of data to his space on our NAS. The data is on an HPC cluster on another network. It&#39;s not an on-going backup. He just needs to save it to our NAS while the HPC cluster is rebuilt. Then he&#39;ll need to copy it right back.<br>
<br>
There is a very stable 1G connection between the 2 networks. We have plenty of space on our NAS. What is the best way to do the caopy? Ideally, it seems we&#39;d want to have boththe ability to restart the copy if it fails part way through and to end up with a compressed archive like a tarball. Googling around tends to suggest that it&#39;s eitehr rsync or tar. But with rsync, you wouldn&#39;t end up with a tarball. And with tar, you can&#39;t restart it in the middle. Any other ideas?<br>
Since the network connection is very stable, I am thinking of suggesting tar.<br>
<br>
tar zcvf - /datadirectory | ssh user@backup.server &quot;cat &gt; backupfile.tgz&quot;<br>
<br>
If the researcher would prefer his data to be copied to our NAS as regular files, just use rsync with compression. We don&#39;t have an rsync server that is accessible to the outside world. He could use ssh with rsync but I could set up rsync if it would be worthwhile.<br>
<br>
Ideas? Suggestions?<br>
<br>
<br>
<br>
on at the far end.<br>
<br>
He is going to need to copy the data back in a few weeks. It might even be worthwhile to send it via tar without uncompressing/unarchiving it on receiving end.<br>
<br>
<br>
<br>
_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
<a href="http://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
</blockquote></div>
</div></div><br>_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org">Ale@ale.org</a><br>
<a href="http://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">  Ed Cashin &lt;<a href="mailto:ecashin@noserose.net" target="_blank">ecashin@noserose.net</a>&gt;</div></div>
</div>