+1<br><br><div class="gmail_quote">On 17 September 2012 07:39, Reinier Olislagers <span dir="ltr"><<a href="mailto:reinierolislagers@gmail.com" target="_blank">reinierolislagers@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
MML's post on stable islands has made me think.<br>
<br>
Below some ideas for discussion:<br>
If we want to know whether a certain combination of<br>
OS+FPC+Lazarus+packages is stable, we:<br>
1. should ask the user<br>
2. don't trust him completely though and we should get measurements<br>
<br>
Short-term action<br>
=================<br>
I suggest we can create a Lazarus GUI that<br>
- asks the user how stable he thinks Lazarus is<br>
- collects test measurement data (see below)<br>
The GUI can then display the results, save them for the user's own use<br>
(import in database etc), and upload to a central web page<br>
<br>
The GUI could run these tests:<br>
- compiler test suite. Custom test code; results available as XML, IIRC.<br>
- FPC database tests (e.g. for bufdataset, memds, sdfdataset, perhaps<br>
test Firebird embedded, sqlite, as well as any specified in the user's<br>
database.ini). These are fpcunit tests; can spit out e.g. XML<br>
- any other fpc tests written with fpcunit<br>
- Lazarus non-GUI tests (can't remember what data format these have)<br>
<br>
Medium-term action<br>
==================<br>
- Have FPC report not only version but also SVN revision (much like<br>
lazarus does in help/about) so that data can be used to pinpoint exactly<br>
what version is used if checked out from SVN (e.g. trunk)<br>
- Write small cross platform database application to collect, read in<br>
test results into database; useful for user's own use<br>
- Similar but for a central web site. Web page with results could be<br>
done much like the compiler test suite page<br>
- Extend FPC fpcunit tests for packages (both in coverage and number of<br>
packages tested)<br>
- Extend Lazarus non-GUI tests (e.g. fill stringgrid, save as csv, load<br>
from csv, compare grid contents). Perhaps even a policy/behaviour<br>
change: no new units accepted without relevant tests (of course where<br>
feasible)<br>
- Extend packages so that there is a self-test possibility: the GUI<br>
mentioned above) and/or IDE shoul run unit tests in the packages and get<br>
the resutls. Example: Lazreport creates sample report, outputs to file,<br>
and compares file contents with expected contents<br>
<br>
Extending the test suites etc. would aid in regression testing as long<br>
as attention is paid to the trend in test faults.<br>
<br>
What do you think?<br>
<br>
Thanks,<br>
Reinier<br>
<br>
--<br>
_______________________________________________<br>
Lazarus mailing list<br>
<a href="mailto:Lazarus@lists.lazarus.freepascal.org">Lazarus@lists.lazarus.freepascal.org</a><br>
<a href="http://lists.lazarus.freepascal.org/mailman/listinfo/lazarus" target="_blank">http://lists.lazarus.freepascal.org/mailman/listinfo/lazarus</a><br>
</blockquote></div><br>