Robert, if you really meant to spell it the way you did, I apologize and humbly request a link to the project so that I can learn more about it.  Otherwise...<br><br>Not really a nit but just a pointer for folks who want to google for RLH&#39;s nice suggestion: I always mix up the letters in DRBD, but it helps to remember that the last two stand for &quot;block device&quot;.<br>
<br>I think it&#39;s worth mentioning that in addition to distributed filesystems, there have been a lot of new systems that are more like big storage containers, where you look up a value by providing a key.  They came out of the distributed hash table research in the early 2000s, so you can find them by following the DHT links on wikipedia.  If you don&#39;t need full filesystem semantics and you want the number of nodes and locations to grow a lot, they might be interesting.<br>
<br><div class="gmail_quote">On Tue, Jun 26, 2012 at 1:35 PM, Robert L. Harris <span dir="ltr">&lt;<a href="mailto:robert.l.harris@gmail.com" target="_blank">robert.l.harris@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><br></div>Check out DRDB.  I&#39;m using it to sync two 750G filesystems and it works spectacularly.  You should be able to do multiple nodes syncing 1 filesystem and it just generates additional mirrors.<div><br></div>


<div>Robert</div><div><div><div class="h5"><br><br><div class="gmail_quote">On Tue, Jun 26, 2012 at 11:24 AM, John Heim <span dir="ltr">&lt;<a href="mailto:john@johnheim.net" target="_blank">john@johnheim.net</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

From: &quot;Derek Atkins&quot; &lt;<a href="mailto:warlord@MIT.EDU" target="_blank">warlord@MIT.EDU</a>&gt;<br>
To: &quot;Atlanta Linux Enthusiasts&quot; &lt;<a href="mailto:ale@ale.org" target="_blank">ale@ale.org</a>&gt;<br>
Sent: Tuesday, June 26, 2012 8:04 AM<br>
Subject: Re: [ale] distributed network file system<br>
<div><br>
<br>
&gt; Hi,<br>
&gt;<br>
&gt; &quot;John Heim&quot; &lt;<a href="mailto:john@johnheim.net" target="_blank">john@johnheim.net</a>&gt; writes:<br>
&gt;<br>
&gt;&gt; I would like to set up a distributed network file system in my<br>
&gt;&gt; department.<br>
&gt;&gt; There is a dizzying array of possibilities, gfarmfs, ceph, glusterfs,<br>
&gt;&gt; just<br>
&gt;&gt; to name a few.<br>
&gt;&gt;<br>
&gt;&gt; Needs:<br>
&gt;&gt; 1. Should work on a large number of small nodes, 100Gb each.<br>
&gt;&gt; 2. Parallelism &amp; striping.<br>
&gt;&gt; 3. Prefer debian package, GPL.<br>
&gt;&gt; 4. Meta data in mysql would be nice.<br>
&gt;&gt;<br>
&gt;&gt; Any experience and/or recommendations?<br>
&gt;<br>
&gt; What are your requirements for usage of the space?  Are you trying to<br>
&gt; get a distributed SAN array?  Or are you just trying to get a<br>
&gt; distributed file space?<br>
&gt;<br>
&gt; If the latter you might also want to look at OpenAFS.  It is F/OSS,<br>
&gt; although it&#39;s not GPL.  Oh, and the metadata isn&#39;t stored in MySQL.<br>
<br>
</div>We have a 2Tb SAN for users to use for files space. But we have about 300<br>
users so each gets only 6Gb.  That&#39;s just not enough for some users. Mostly,<br>
its enough on a long term basis but sometimes they need to generate 50Gb -<br>
100Gb of data. We have all kinds of disk space on each users workstation but<br>
they can&#39;t get to it. This is deliberate. We don&#39;t want them saving files<br>
where they won&#39;t be backed up.  And we want to be able to re-image a machine<br>
at a moment&#39;s notice w/o having to have the user back up his stuff.<br>
<br>
I got the brilliant idea of using the 100Gb (or so) of free space on each<br>
workstation for a distributed network file system.  So we&#39;d need to be able<br>
to wipe out a node w/o losing anything.  I could make sure we copy the data<br>
off before we re-image a workstation. But an end-user might simply turn<br>
their workstation off. Whatever we use would have to deal with that.<br>
<br>
The mysql thing was just a preference (over postgres). I have nothing<br>
against other DBMSes. Its just that we already have mysql.<br>
<div><div><br>
_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
<a href="http://mail.ale.org/mailman/listinfo/ale" target="_blank">http://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br>:wq!<br>---------------------------------------------------------------------------<br>Robert L. Harris<br>
<br>DISCLAIMER:<br>      These are MY OPINIONS             With Dreams To Be A King,<br>

       ALONE.  I speak for                      First One Should Be A Man<br>       no-one else.                                     - Manowar<br>
</font></span></div>
<br>_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org">Ale@ale.org</a><br>
<a href="http://mail.ale.org/mailman/listinfo/ale" target="_blank">http://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>  Ed Cashin &lt;<a href="mailto:ecashin@noserose.net">ecashin@noserose.net</a>&gt;<br>  <a href="http://noserose.net/e/">http://noserose.net/e/</a><br>  <a href="http://www.coraid.com/">http://www.coraid.com/</a><br>