<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">High Performance Computing has been my predominant specialization area since 1992 and I am currently employed in this field. Like most things in IT, there are various levels of involvement.  The key thing to understand about it is that "high performance" means many things to many folks and also evolves over time. It is the techniques used more than the results. There was a point where High Performance was 4 Pentium Pro CPUs in a double-sized tower case with 64GB of RAm connected by quad-1Gbit NICs (the first Beowulf clusters). Similarly, a single system with 32 CPUs and 256GB of RAM in that area was considered HPC.<br><br>Supercomputing 2024 was held in Atlanta the week of November 18th and the entire field was on display then. </div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">in general, these days, really big HPC resources tend to be clusters of individual servers connected by either high-speed and/or low-latency interconnects. 10Gb ethernet at the low end and up to 100Gb ethernet at the high end with usually multiple connections for either dedicated traffic or just to get redundancy. You also tend to have a lot of Infiniband and more bespoke network protocols for doing low-latency networking so that you can do NUMA memory across servers using some sort of message-passing-style interface (think RPC on steroids).  You may optionally have some sort of dedicated parallel filesystem so that you can get a single namespace across all your servers and hopefully, enough bandwidth support to have all those servers talking to the storage without slowing down very much. Finally, you have some sort of orchestration/scheduling system on top of that so that the users don't have to think too hard about how to get their jobs to run don't hose resources while they contend with everybody else doing the same.<br><br>Adjacent to all that is the software needed to monitor and maintain that lovely HPC mess.  :)<br><br>Folks tend to specialize in a specific area rather than be insane enough to touch all of it. So you get a lot of folks that are storage side experts and can blather on and on about Lustre, ZFS, GFS, GPFS, Cepth, and other stuff.  You also tend to see a lot of folks that specialize in scheduling systems such as Slurm PBS Pro, LSF, and if you are really masochistic, Grid Engine.  There is also a very large area of folks that spend time optimizing applications to run on different architectures such as specific CPUs and GPUs.  And finally, the folks that are observability maniacs that want to monitor and visualize everything about the environment because honestly, you can't identify why you are losing the "P' in "HPC" if you aren't doing that.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">I live and breathe this stuff and there is another of us as well (looks around for the soon-to-be-retired Jim Kinney) as well as the aforementioned Brian M.</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Let me know if you have any questions. </div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">V</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Dec 29, 2024 at 4:28 PM Leam Hall via Ale <<a href="mailto:ale@ale.org" target="_blank">ale@ale.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hey all, I just wanted to follow up on this.<br>
<br>
I just finished Coursera's short class on Introductory HPC. Learned a little Slurm and got to play with it on the course interface. Then, naturally, I found out how to install Slurm locally to play with the commands. Cool...<br>
<br>
Leam<br>
<br>
<br>
On 12/10/24 07:51, Brian MacLeod via Ale wrote:<br>
> It may be economically inefficient, but if it seems like something you<br>
> might like or love to do, then you do inefficient things.  That's at the<br>
> very least what a hobby is, if not a specialization in certain minutiae in<br>
> common areas.<br>
> <br>
> I've found that despite my interest and accessibility in HPC (very<br>
> economically efficient path, I found it wasn't for me in the end.  But the<br>
> experience has definitely informed me for dealing with so many filesystem<br>
> issues that that has become what I am known for.<br>
> <br>
> I know plenty of people who've entered it in less efficient means and don't<br>
> make near as much money as in their studied fields, but they love it and<br>
> feel satisfied helping others use these technologies.<br>
> <br>
> <br>
> bnm<br>
> <br>
> <br>
> <br>
> <br>
> On Mon, Dec 9, 2024 at 9:32 PM Russell L. Carter via Ale <<a href="mailto:ale@ale.org" target="_blank">ale@ale.org</a>><br>
> wrote:<br>
> <br>
>> Greetings!<br>
>><br>
>> I am temporaily, regretably, locate4d in Douglasville<br>
>> GA.  Yet I am wondering about the discussion here about<br>
>> uh, erm, "HPC computing".<br>
>><br>
>> All the comments so far are true; it's a mess, always<br>
>> has been.<br>
>><br>
>> But there is a reason for HPC computing: various algorithms<br>
>> need memory locality to work efficiently.  People here surely<br>
>> know what I mean: your nonlinear PDE solver (a galaxy here)<br>
>> likely needs locally efficient memory accesses to work<br>
>> "well enough" to get your PhD and then a low paid (relatively<br>
>> speaking) job if you get tenure through the publications.<br>
>><br>
>> This all means that unless you are already in the PhD/HPC<br>
>> ecosystem, it's quite economically inefficient to try to<br>
>> be employed there.<br>
>><br>
>> Russell L. Carter<br>
>><br>
>><br>
>> On 12/9/24 8:32 PM, Dev Null via Ale wrote:<br>
>>> Dec 9, 2024 17:40:27 matthew.brown--- via Ale <<a href="mailto:ale@ale.org" target="_blank">ale@ale.org</a>>:<br>
>>><br>
>>>> _______________________________________________<br>
>>>> Ale mailing list<br>
>>>> <a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
>>>> <a href="https://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">https://mail.ale.org/mailman/listinfo/ale</a><br>
>>>> See JOBS, ANNOUNCE and SCHOOLS lists at<br>
>>>> <a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
>>><br>
>>> Well said! I completely agree.<br>
>>><br>
>><br>
>> _______________________________________________<br>
>> Ale mailing list<br>
>> <a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
>> <a href="https://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">https://mail.ale.org/mailman/listinfo/ale</a><br>
>> See JOBS, ANNOUNCE and SCHOOLS lists at<br>
>> <a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
>><br>
> <br>
> <br>
> _______________________________________________<br>
> Ale mailing list<br>
> <a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
> <a href="https://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">https://mail.ale.org/mailman/listinfo/ale</a><br>
> See JOBS, ANNOUNCE and SCHOOLS lists at<br>
> <a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
<br>
-- <br>
Linux Software Engineer   (<a href="http://reuel.net/career" rel="noreferrer" target="_blank">reuel.net/career</a>)<br>
Scribe: The Domici War    (<a href="http://domiciwar.net" rel="noreferrer" target="_blank">domiciwar.net</a>)<br>
Coding Ne'er-do-well      (<a href="http://github.com/LeamHall" rel="noreferrer" target="_blank">github.com/LeamHall</a>)<br>
<br>
Between "can" and "can't" is a gap of "I don't know", a place of discovery. For the passionate, much of "can't" falls into "yet". -- lh<br>
<br>
Practice allows options and foresight. -- lh<br>
_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
<a href="https://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">https://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
</blockquote></div>