<div dir="ltr">Currently the database is 26GB. I'm going to start purging un-visited reports older than 180 days today. I see some good suggestions in this thread. Khem, would you open an enhancement request describing the counts you are interested in preserving? </div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jul 19, 2018 at 11:08 PM Martin Jansa <<a href="mailto:martin.jansa@gmail.com">martin.jansa@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">OK, so it's only visited links, not linked from ML or wiki or whatever, right?<div><br></div><div>How huge the database is? I've checked our internal instance and on relatively slow VM we have:</div><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">47 472 724 Post_buildstatstask</span><br></div><div>2 715 091 Post_build<br></div><div>559 655 Post_buildfailure<br></div><div><br></div><div>we use postgresql, the db currently has 20GB, which is quite big for VM with 10GB RAM and 12 E5-2699 cores so it's slow as well, but not terribly slow, individual builds or build-failures are really fast, there are some bad queries in django which are terrible, but we're not using those usually.</div><div><br></div><div>Cheers,</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jul 19, 2018 at 9:01 PM Brindle, Amanda R <<a href="mailto:amanda.r.brindle@intel.com" target="_blank">amanda.r.brindle@intel.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div class="m_-2704937825272715670m_-6203912255561019796WordSection1">
<p class="MsoNormal"><a name="m_-2704937825272715670_m_-6203912255561019796__MailEndCompose"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Every time a specific report is visited (with the end of the URL being /Errors/Details/<id>), we are tracking if the referrer is another
 website, the reporting tool itself, or unknown. If the referrer is another website or unknown, then we won’t delete it.
<u></u><u></u></span></a></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">The purge script does not look at links to whole builds, so as it is right now, those would get deleted. If it’s common to link to whole builds, though, I can
 add something to the script to save reports from a visited or linked build. <u></u>
<u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">-Amanda Brindle<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><a name="m_-2704937825272715670_m_-6203912255561019796______replyseparator"></a><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Martin Jansa [mailto:<a href="mailto:martin.jansa@gmail.com" target="_blank">martin.jansa@gmail.com</a>]
<br>
<b>Sent:</b> Thursday, July 19, 2018 11:38 AM<br>
<b>To:</b> Brindle, Amanda R <<a href="mailto:amanda.r.brindle@intel.com" target="_blank">amanda.r.brindle@intel.com</a>><br>
<b>Cc:</b> Yocto Project <<a href="mailto:yocto@yoctoproject.org" target="_blank">yocto@yoctoproject.org</a>><br>
<b>Subject:</b> Re: [yocto] Error Report Tool Purge<u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">I'm just curious, how are you tracking which reports were viewed or linked to (and linked from where)? I often use a link to
<a href="http://errors.yoctoproject.org" target="_blank">http://errors.yoctoproject.org</a> in the mailing list or the recipes/commit message instead of copy pasting whole build error, because it already shortens the build paths and shows useful additional information about
 the error.<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">The links to whole builds on <a href="http://errors.yoctoproject.org" target="_blank">http://errors.yoctoproject.org</a> were also often linked from "bitbake world status" e-mails and wiki like:<u></u><u></u></p>
<div>
<p class="MsoNormal"><a href="https://www.openembedded.org/wiki/Bitbake_World_Status_Rocko" target="_blank">https://www.openembedded.org/wiki/Bitbake_World_Status_Rocko</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">and on many of them nobody clicked yet - should I expect that these will mostly get broken?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Regards<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Thu, Jul 19, 2018 at 8:30 PM Brindle, Amanda R <<a href="mailto:amanda.r.brindle@intel.com" target="_blank">amanda.r.brindle@intel.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Hello,<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">The Error Reporting Tool’s database (<a href="http://errors.yoctoproject.org/Errors/Latest/Autobuilder/" target="_blank">http://errors.yoctoproject.org/Errors/Latest/Autobuilder/</a>)
 Â has grown to a huge size, and this is affecting the performance of the application. We are planning to run a purge to get rid of reports that we don’t need. We will keep reports from the last thirty days, as well as reports that have been viewed or linked
 to. If you have a specific report that you don’t want purged, please let me know by the end of the month.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:14.0pt">Amanda Brindle, Software Engineer</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:14.0pt">503-264-3970
</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:14.0pt"><a href="mailto:amanda.r.brindle@intel.com" target="_blank">amanda.r.brindle@intel.com</a></span><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
<p class="MsoNormal">-- <br>
_______________________________________________<br>
yocto mailing list<br>
<a href="mailto:yocto@yoctoproject.org" target="_blank">yocto@yoctoproject.org</a><br>
<a href="https://lists.yoctoproject.org/listinfo/yocto" target="_blank">https://lists.yoctoproject.org/listinfo/yocto</a><u></u><u></u></p>
</blockquote>
</div>
</div>
</div>

</blockquote></div>
-- <br>
_______________________________________________<br>
yocto mailing list<br>
<a href="mailto:yocto@yoctoproject.org" target="_blank">yocto@yoctoproject.org</a><br>
<a href="https://lists.yoctoproject.org/listinfo/yocto" rel="noreferrer" target="_blank">https://lists.yoctoproject.org/listinfo/yocto</a><br>
</blockquote></div>