Monitoring a měření při ověřování kvality produktu Dušan Vaněk

Proč měřit?  Protože je lepší řídit tok věcí,... ... než aby tok věcí řídil nás.  A řídit něco, co nedokážeme měřit,... ... vyžaduje minimálně velmi dobrou křišťálovou kouli,... ... a být vyznavačem vysoce adrenalinových sportů.

Řídit nepotřebujeme pouze  projekt,...  ale též testování,  i opravy,  a zejména zrání produktu

Co s naměřenými hodnotami?  analyzovat je:  hledat podobnosti  hledat duplikace  hledat odchylky  hledat „skryté informace“ ...  sumarizovat je z různých pohledů  vyhodnocovat je, zda vyhovují  a na tomto základě se rozhodovat,... ...tedy skutečně řídit

Měřit znamená  znát:  ukazatel, který měříme (a jak jej můžeme sledovat či měřit)  metriku, která bude pro měření použita  hodnotu, která je akceptační hladinou,...  ale hlavně musíme znát důvod měření  proto je důležité pochopit, co nám měření může přinést  a jaká rizika nese neměření

Základní sumarizace Defects  sumarizace Defects nad zvolenými atributy:  Defect Status Summary  Defect Priority Summary  Defect Severity Summary  Defect Urgency Summary  Defect Customer Emphasis Summary  Defect Source Summary  Locations/Test Articles/Product Unit (součástí produktu)  Defect Impact on Requirements Summary  Test Targets (Requirements nebo Use Cases)

Rozdíl mezi  Product (System) Severity x Priority

Kontingenční sumarizace Defects  Defect Density Pivot Table, např.:  Status x Priority  Status x Severity  Status x Source (/Test Article/Product Unit)  Status x Impact on Requirements  Status x Test Case

Defect Aging  Defect Aging, např.:  Average Age to first response  Average Age to Resolved

Defect Trend Charts  Defect Trend, např.:  Date x Defect Quantity (nejlépe s vyznačením Total, Solved, Not Solved)  případně DrillDown na Severity či Priority (u Not Soved)  případně DrillDown na Status (u Solved)

Sumarizace pokrytí testy  Coverage Summary  Requirements-based  Test Case Progress  Code-based  Coverage Ratio  Approved Product Success Ratio

Speciální ukazatele úspěšnosti testování  porovnání nalezených Defects a jejich Severity v různých oblastech:  nalezené Defects  Developer Team  Independent Team  Beta Teams  uvnitř zaměřené oblasti testů x v nezaměřené oblasti testů  úplnost odhalení nástražných Defects („falešné diamanty mezi pravými“)

Vyhodnocení splnění Requirements

Závěrečná zpráva vs. „on-line“ info

Řízení reaktivní vs. aktivní

Aktuální stav vs. trendy

Řízení aktivní vs. reaktivní

Čtení skrytých informací z grafů

„Věštění“ z grafu