<p dir="ltr"><br>
On Sep 25, 2015 9:05 AM, &quot;Lightner, Jeff&quot; &lt;<a href="mailto:JLightner@dsservices.com">JLightner@dsservices.com</a>&gt; wrote:<br>
&gt;<br>
&gt; If you install Dell Open Manage it:<br>
&gt;<br>
&gt; a)      Lets you see details of the PERC and the drives via web (on port 1311) <br>
&gt;<br>
&gt; b)      Monitors the status of the PERC and drives and updates /var/log/messages so you could use logwatch to get messages.<br>
&gt;<br>
&gt; c)       Adds snmp capability so you can monitor via snmp using your favorite tool (e.g. Nagios).<br>
&gt;<br>
&gt;  <br>
&gt;<br>
&gt; We use PERC in most of our PowerEdge systems.   The first RAID set we configure if we have enough disks is reserved for OS components and we’ll usually have 2 partitions of that LUN, /dev/sda1 = /boot,  /dev/sda2 = LVM PV for vg00.   We usually will put remaining disks in a secondary RAID so that lun becomes /dev/sdb and we put that in a separate VG without partitioning at all and use that for non-OS components (e.g. third party apps and databases).<br>
&gt;<br>
&gt;  <br>
&gt;<br>
&gt; Note: <br>
&gt;<br>
&gt; PERC cards can fail so you’d want to be sure you have a spare if this system isn’t under support.   The good news is that a replacement PERC can learn your RAID setup from the drives themselves.   Most the PERC (except early PERC 2 and earlier) are OEM from LSI.    I think in 10 years I’ve only seen about 1 PERC failure per year with an average setup of more than 100 servers at any given point.<br></p>
<p dir="ltr">Old perc used to have a mandatory battery exercise feature. It was almost guaranteed the card would hiccup at the point when the battery was fully drained and cause a raid error that required recovery efforts. That was the first sign of imminent card failure.<br>
&gt;<br>
&gt;  <br>
&gt;<br>
&gt;  <br>
&gt;<br>
&gt; From: <a href="mailto:ale-bounces@ale.org">ale-bounces@ale.org</a> [mailto:<a href="mailto:ale-bounces@ale.org">ale-bounces@ale.org</a>] On Behalf Of Jeff Hubbs<br>
&gt; Sent: Thursday, September 24, 2015 11:54 PM<br>
&gt; To: <a href="mailto:ale@ale.org">ale@ale.org</a><br>
&gt; Subject: Re: [ale] Needing to cut up server disk space<br>
&gt;<br>
&gt;  <br>
&gt;<br>
&gt; I appreciate all the responses.<br>
&gt;<br>
&gt; So I guess what I&#39;m hearing is 1) get over my HW RAID hate, RAID5 the lot using the PERC, and slice and dice with LVM or 2) forgo RAID altogether, use the PERC to make some kind of &quot;appended&quot; 2TB volume, and slice and dice with LVM. I&#39;m willing to give up some effective space to not have a dead box if a drive fails; just because it&#39;s a lab machine doesn&#39;t mean people won&#39;t be counting on it. I&#39;m okay with that as long as I have a way to sense a drive failure flagged by the PERC. <br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On 9/24/15 7:27 AM, Solomon Peachy wrote:<br>
&gt;&gt;<br>
&gt;&gt; On Wed, Sep 23, 2015 at 11:42:37PM -0400, Jeff Hubbs wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  * I really dislike hardware RAID cards like Dell PERC. If there has to<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    be one, I would much rather set it to JBOD mode and get my RAIDing<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    done some other way.<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; There&#39;s a big difference between &quot;hardware&quot; RAID (aka fakeRAID) and real <br>
&gt;&gt;<br>
&gt;&gt; hardware RAID boards.  The former are the worst of both worlds, but the <br>
&gt;&gt;<br>
&gt;&gt; latter are the real deal.<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; In particular, the various Dell PERC RAID adapters are excellent, fast, <br>
&gt;&gt;<br>
&gt;&gt; and highly reliable, with full native linux support for managing them.<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; Strictly speaking you&#39;ll end up with more flexibility going the JBOD <br>
&gt;&gt;<br>
&gt;&gt; route, but you&#39;re going to lose both performance and reliability versus <br>
&gt;&gt;<br>
&gt;&gt; the PERC.<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; (for example, what happens if the &quot;boot&quot; drive fails?  Guess what, your <br>
&gt;&gt;<br>
&gt;&gt;  system is no longer bootable with the JBOD, but the PERC will work just <br>
&gt;&gt;<br>
&gt;&gt;  fine)<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  * I foresee I will have gnashing of teeth if I set in stone at install<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    time the sizes of the /var and /home volumes. There&#39;s no telling how<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    much or how little space PostgreSQL might need in the future and you<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    know how GRAs are - give them disk space and they&#39;ll take disk space. :)<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; You&#39;re not talking about much space here; only 5*400 == 2TB of raw <br>
&gt;&gt;<br>
&gt;&gt; space, going down to 1.6TV by the time the RAID5 overhead is factored <br>
&gt;&gt;<br>
&gt;&gt; in.  Just create a single 2TB filesystem and be done with it.<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; FWIW, If you&#39;re after reliability I&#39;d caution against btrfs, and instead <br>
&gt;&gt;<br>
&gt;&gt; recommend XFS -- and make sure the system is plugged into a UPS.  No <br>
&gt;&gt;<br>
&gt;&gt; matter what, be sure to align the partition and filesystem with the <br>
&gt;&gt;<br>
&gt;&gt; block/stripe sizes of the RAID setup.<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt; (The system I&#39;m typing this on has about ~10TB of XFS RAID5 filesystems <br>
&gt;&gt;<br>
&gt;&gt;  hanging off a 3ware 9650 card, plus a 1TB RAID1 for the OS)<br>
&gt;&gt;<br>
&gt;&gt;  <br>
&gt;&gt;<br>
&gt;&gt;  - Solomon<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt;<br>
&gt;&gt; Ale mailing list<br>
&gt;&gt;<br>
&gt;&gt; <a href="mailto:Ale@ale.org">Ale@ale.org</a><br>
&gt;&gt;<br>
&gt;&gt; <a href="http://mail.ale.org/mailman/listinfo/ale">http://mail.ale.org/mailman/listinfo/ale</a><br>
&gt;&gt;<br>
&gt;&gt; See JOBS, ANNOUNCE and SCHOOLS lists at<br>
&gt;&gt;<br>
&gt;&gt; <a href="http://mail.ale.org/mailman/listinfo">http://mail.ale.org/mailman/listinfo</a><br>
&gt;<br>
&gt;  <br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Ale mailing list<br>
&gt; <a href="mailto:Ale@ale.org">Ale@ale.org</a><br>
&gt; <a href="http://mail.ale.org/mailman/listinfo/ale">http://mail.ale.org/mailman/listinfo/ale</a><br>
&gt; See JOBS, ANNOUNCE and SCHOOLS lists at<br>
&gt; <a href="http://mail.ale.org/mailman/listinfo">http://mail.ale.org/mailman/listinfo</a><br>
&gt;<br>
</p>