<div dir="ltr">Data sets often have more columns than are supported by relational databases like Oracle (1000) or Postgres (1600).  I tried using scidb, which is a database by Mike Stonebraker, the database architecture guru, but it wasn't at all polished, and I probably wouldn't use it again.<div><br></div><div>You can use Python's numpy or something, and let your RAM constrain the size of your data, loading all the data at once from a file.  You can try to use sparse data structures ...</div><div><br></div><div>I don't see a lot of easy answers for persistent-storage-backed arbitrarily shaped tensor data with fast on-demand paging to RAM (that is smarter than the Linux page cache would be).  Usually people use RAM, loading the data into RAM and doing what they want next.  There are some promising developments in Tensorflow, though: <a href="https://www.tensorflow.org/guide/data_performance">https://www.tensorflow.org/guide/data_performance</a></div><div><br></div><div>All that to say that the story reflects the dangers of using a tool beyond its limits, and all tools have limits, including databases.</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 7, 2020 at 2:27 PM Pete Hardie via Ale <<a href="mailto:ale@ale.org">ale@ale.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">Once again, I repeat my frequent assertion that a spreadsheet is not a database, and your admin assistant probably does not have a CS/Programming degree<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 7, 2020 at 2:19 PM Jim Kinney via Ale <<a href="mailto:ale@ale.org" target="_blank">ale@ale.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Excel blew up in the faces of UK healthcare.<br><br><a href="https://www.theregister.com/2020/10/05/excel_england_coronavirus_contact_error/" target="_blank">https://www.theregister.com/2020/10/05/excel_england_coronavirus_contact_error/</a><br>-- <br>Computers amplify human error<br>Super computers are really cool_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
<a href="https://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">https://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr">Pete Hardie<br>--------<br>Better Living Through Bitmaps</div>
_______________________________________________<br>
Ale mailing list<br>
<a href="mailto:Ale@ale.org" target="_blank">Ale@ale.org</a><br>
<a href="https://mail.ale.org/mailman/listinfo/ale" rel="noreferrer" target="_blank">https://mail.ale.org/mailman/listinfo/ale</a><br>
See JOBS, ANNOUNCE and SCHOOLS lists at<br>
<a href="http://mail.ale.org/mailman/listinfo" rel="noreferrer" target="_blank">http://mail.ale.org/mailman/listinfo</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">  Ed Cashin <<a href="mailto:ecashin@noserose.net" target="_blank">ecashin@noserose.net</a>></div></div>