So können Sie TPI für sich anwenden – Teil 3.2: Den IST-Zustand feststellen

In Teil 1 ging es um ein paar Grundlagen zum Aufbau des Modells und in Teil 2 um die Definition des Soll-Zustandes. Teil 3.1 stellte die verschiedenen Assessment-Typen und die Auswahl der Assessoren sowie den Ablauf der Assessments vor. In diesem Artikel geht es um die detaillierte Analyse des IST-Zustandes, also v.a. um die Phase „Performing“. Dies wird am Beispiel eines TPI Light-Assessments  und eines Self-Assessments dargestellt, wie die Mitarbeiterinnen und Mitarbeiter von Maud Schlich IT-PROJECT-SERVICE sie in der Regel durchführen und coachen (siehe Teil 3.1).

Die Durchführung der Stärken-Schwächen-Analyse

Wie in Teil 3.1 schon beschrieben werden in der Durchführungsphase des Assessments häufig vorab Dokumente geprüft, die Aussagen über die Testprozesse liefern. Dazu zählen

• Prozessbeschreibende Dokumente (Vorgehensmodelle, Verfahrensanweisungen, Arbeitsanweisungen, Richtlinien, Dokumentvorlagen, Anordnungen, …),
• Arbeitsergebnisse der Prozesse (Testpläne, Testfallspezifikationen, …),
• Nachweise über Durchführung der Prozesse (Testberichte, Protokolle, …) und
• Kennzahlen.

Sammeln Sie daher möglichst alles an Dokumenten, die etwas mit dem Testprozess zu tun haben, dazu gehören auch Pläne, Richtlinien, Verfahrensanweisungen, etc. des Projekt- und des Qualitätsmangements, die Aussagen zu den Testabläufen enthalten.

Typischerweise interviewt der Assessor nun mehrere Personen zu den jeweiligen Prozessen. Dabei erfragt er nicht direkt die Kontrollpunkte, sondern lädt die Interviewten ein, von Ihrer Tätigkeit zu erzählen. Die anspruchsvolle Aufgabe des Assessors liegt darin, die einzelnen Informationen den jeweiligen Kernbereichen und Kontrollpunkten zuzuordnen und das Interview so zu steuern, dass die ausgewählten Kernbereichen mit allen Kontrollpunkten der zu assessierenden Stufen vollständig erfragt wurden.

In einem Light Assessment werden öfters auch mehrere Personen gleichzeitig interviewt. Dabei ist es wichtig, dass alle gleichberechtigt sind, also Vorgesetzte nur in Ausnahmefällen zur selben Zeit befragt werden. Solche Ausnahmefälle habe ich z.B. in sehr kleinen Testgruppen gemacht – wenn der Testmanager ein echter „primus interpares“ ist, hat seine Anwesenheit wenig Einfluss auf das Gespräch. Allerdings behalte ich mir von Anfang an vor, Vorgesetzte zu bitten, den Raum zu verlassen. Das passiert natürlich sehr dezent in einer kurzen Pause und ist vorab mit den betroffenen Personen abgeklärt.

Bei der IST-Analyse geht es darum, möglichst genau den Stand der Dinge zu erfahren. Dabei gilt der Grundsatz „Two sources of evidence“ – also zwei unterschiedliche Quellen zu haben, die eine Aussage belegen. Optimalerweise sind das eine Aussage in einem Interview (besser noch zwei sich nicht widersprechende Aussagen von zwei unterschiedlichen Personen) und ein schriftlicher Beleg in einem Dokument.

In einem Light-Assessment wird dieser Grundsatz nicht rigide eingehalten – es ist das Interesse der Assessierten, dass eine möglichst objektive Stärken-Schwächen-Analyse durchgeführt wird und somit wird den jeweiligen Aussagen geglaubt, falls nicht Widersprüche auftreten.

Falls Sie sich selbst assessieren wollen, ist es schwierig zuzuhören, ohne mehr hinein zu interpretieren als tatsächlich gesagt wurde – dies umso mehr je besser Sie den Testprozess kennen oder zu kennen glauben. Daher hilft es hier sich vorab intensiv mit den Kontrollpunkten auseinanderzusetzen.

Bereiten Sie das Assessment vor, indem Sie sich zu jedem Kernbereich mehrere offene Fragen überlegen, deren Antworten die Kontrollpunkte abdecken. Je offener die Fragen sind, desto mehr Kontrollpunkte werden diese gleichzeitig mit abdecken.

Beispiel: Sie wollen den Kernbereich Stakeholder Commitment vorbereiten.

Die Kontrollpunkte für den Controlled Level sind:

1. Der hauptsächliche Stakeholder ist definiert (wenn auch nicht unbedingt dokumentiert) und den Testern bekannt.
2. Das Budget für die Testressourcen ist durch den hauptsächlichen Stakeholder garantiert und kann mit ihm verhandelt werden.
3. Alle Stakeholder sorgen für die Ressourcen zu denen sie sich committet haben.
4. Der hauptsächliche Stakeholder ist für die dokumentierte Produktrisikoanalyse verantwortlich (als Eingangsdokument für die Teststrategie).

Offene Fragen beginnen bekanntlich mit einem Fragewort, bzw. W-Wort und ermöglichen eine Vielzahl von Antworten, währen geschlossene Fragen mit Verben beginnen und meist nur Ja oder Nein oder eine Auswahl unter vorgegebenen Alternativen ermöglichen.

Offene Fragen könnten also lauten:

• Wie heißt der hauptsächliche Stakeholder?
• Wer weiß davon?
• Wie ist das Budget definiert worden?
• Mit wem kann das Budget bei notwendigen Änderungen neu verhandelt werden?
• usw.

Diese Fragen sind zwar offen, zielen aber dennoch sehr eng auf die Kontrollpunkte ab. Eine bessere Fragestellung lautet:

• Wer hat alles ein Interesse an den Testergebnissen?
• Wo wurde das festgelegt?
• Welche Ressourcen benötigen Sie zum Testen?
• Woher erhalten Sie diese?
• Was ist, wenn Sie während des Testens bemerken, dass diese so nicht ausreichend sind?
• usw.

Diese Fragen sind offener als die ersteren – es gibt mehr mögliche Antworten und die Assessierten werden weniger stark auf die erwünschten Antworten hingeleitet.

Die Alternative, die Kontrollpunkte nur als geschlossene Fragen zu stellen, kann ich in keinem Fall empfehlen. Auch dann, wenn Sie ein Self-Assessment nur mit sich selbst durchführen, werden Ihnen Ihre Antworten auf offene Fragen mehr Nutzen bringen, als nur das Abhaken auf Ja und Nein.

In einem Coaching werden diese Fragen gemeinsam vorbereitet und somit eine optimale Durchführung des Interviews ermöglicht. Alternativ ist auch der Besuch unseres Workshops Assessment-Interviews optimal vorbereiten und durchführen möglich. Hier erfahren Sie viele weitere Tipps zur Vorbereitung und vor allem auch für die einzelnen Interviews, was in ausführlichen Rollenspielen trainiert wird.

Der Assessor notiert nun alles, was er hört und liest, soweit möglich schon vorsortiert zu den jeweiligen Kernbereichen und Kontrollpunkten. Damit kann er dann später seine Bewertungen begründen und nötigenfalls bei Lücken noch einmal nachfragen.

In einem TPI NEXT Assessment werden die Antworten direkt oder im Nachgang in die Entwicklungsmatrix eingetragen und anschließend die Auswertungsmöglichkeiten genutzt. Die Entwicklungsmatrix zeigt dabei sehr schön an, wo das definierte Ziel (nicht) erreicht wurde.

Ausblick

Der letzte Teil 4 beschäftigt sich mit der Interpretation der Ergebnisse und der Initiierung von Verbesserungsmaßnahmen und schließt damit diese Reihe von Artikeln.

So können Sie TPI für sich anwenden – Teil 3.1: Den IST-Zustand feststellen

In Teil 1 ging es um ein paar Grundlagen zum Aufbau des Modells und in Teil 2 um die Definition des Soll-Zustandes. In diesem Artikel geht es um die initialen Schritte zur Analyse des derzeitigen Test-Prozesses: Assessment-Typ und Assessoren auswählen sowie den Ablauf eines solchen Assessments.

Den geeigneten TPI-Assessment-Typ auswählen

TPI (bzw. TPI NEXT) Assessments gibt es in vier Varianten. Die nachfolgenden Aufwandsschätzungen beruhen auf eigenen Erfahrungen und enthalten die Vor- und Nachbereitung des Assessments und seine Durchführung, nicht jedoch irgendwelche Arbeiten seitens der Assessierten, um für ein besseres Assessment-Ergebnis zu sorgen (wie das Nachtragen von Inhalten in vorhandener Dokumentation oder das Erstellen fehlender Unterlagen / Vorlagen etc.).

1. Ein vollständiges Asssessment der Testprozesse durch Externe.
   Der typische Aufwand dafür beträgt etwa zehn Personentage für die Assessoren und drei bis vier Personentage für die Assessierten. Das Ergebnis ist ein ausführlicher Bericht, meist mit einer Liste von Verbesserungen. Dieser Bericht enthält optimalerweise auch schon einen ersten Entwurf einer Kosten-Nutzen-Analyse oder diese ist Teil der Abschluss-Präsentation durch das beauftragte Unternehmen.
2. Ein „Light“-Assessment der Testprozesse durch Externe. Der typische Aufwand hierfür liegt bei etwas über einem bis maximal drei Personentagen für die Assessoren und etwas mehr als einem Personentag für die Assessierten.
3. Ein gecoachtes Self-Assessment der Testprozesse. Hierfür ist meist der Aufwand für Assessoren und Assessierte etwa gleich und liegt typischerwweise bei etwa zwei Personentagen.
4. Ein Self-Assessment der Testprozesse nur durch Interne, meist durch eine Person aus dem Qualitätsmanagement durchgeführt. Der Aufwand variiert stark von ein bis drei Personentagen für die (internen) Assessoren und ein bis zwei Personentagen für die Assessierten.

Um zu entscheiden, welche der Varianten die passendeste ist, hier einige Tipps:

• Handelt es sich um ein allererstes Assessment der Prozesse?
  Dann kommen vor allem die Varianten 2 und 3 in Betracht. Das Know-how für Variante 4 ist im Allgemeinen noch nicht im eigenen Haus vorhanden und Variante 1 für eine erste Standortbestimmung vergleichsweise teuer.
• Möchten Sie objektiv erfahren, wie gut sie mit Ihren Testprozessen sind?
  Dann kommen am ehesten Varianten 1 und 2 in Betracht. 4 bietet eventuell keine ausreichende Objektivität, Variante 3 ist diesbezüglich besonders abhängig von dem Willen der Assessierten die Prozesse offen und mit Schwächen darzustellen.
• Möchten Sie zusätzlich zur Standortbestimmung auch lernen, wie Sie zukünftig Self-Assessments durchführen können?
  Dann ist vermutlich Variante 3 besonders interessant. Achten Sie bei dem Assessor darauf, dass er auch auf der Meta-Ebene kommuniziert. Dies bedeutet, dass er Ihnen erklärt, wie er vorgeht (bzw. wie Sie bei einer Wiederholung vorgehen sollten) und warum er wie bewertet. Diese Form ist besonders wirksam, wenn Sie für eine Vor- und Nachbesprechung als reines Coaching entsprechende Aufwände reservieren.
• Benötigen Sie einen Nachweis der Ergebnisse für Ihre internen oder externen Kunden?
  Dann ist die Auswahl der Assessment-Variante abhängig von der notwendigen Formalität des Nachweises, Variante 1 also meist die Passendste.
• Benötigen Sie eine ausführliche schriftliche Dokumentation mit der Sie gut weiterarbeiten können?
  Dann sollten Sie für alle Varianten entsprechenden Mehraufwand einplanen, wobei dies für Variante 4 am unüblichsten ist und bei Variante 3 möglichst vorab geklärt wird, wer Autor des Berichtes sein soll und wer Co-Auditor bzw. Reviewer.
  Eine gute Dokumentation kostet wesentlich mehr Zeit, als es sich die meisten Kunden vorstellen. Typische Assessmentberichte benötigen meist mehrere Tage bis sie vollständig erstellt wurden, dann dürfen Sie aber auch eine gute Qualität erwarten. Darunter verstehe ich eine detaillierte Auflistung der Stärken, Schwächen und Empfehlungen, die so konkret sind, dass Sie darauf aufbauend unmittelbare Aktionen einleiten können. Klären Sie die von Ihnen geforderte Qualität unbedingt schon bei der Beauftragung – hier machen sich die Preisunterschiede der einzelnen Assessment-Anbieter besonders bezahlt. Was in einem Assessment-Bericht mindestens erhalten sein sollte, wird übrigens auch sehr schön von der ISO/IEC 15504 beschrieben und gilt genauso für TPI-Assessments.
• Möchten Sie vor allem wissen, wo Sie mit den ersten Verbesserungen im Testprozess beginnen sollen und haben vielleicht auch schon ein paar Schwerpunkte erkannt?
  Dann bietet sich vor allem Variante 3, aber auch die Variante 2 an. Mit Hilfe des Coachings erhalten Sie einen Sparringspartner, der Ihnen hilft, Ihre Ideen und Vorschläge zu hinterfragen und auch Vergleichsmöglichkeiten zu anderen Unternehmen bieten kann.

Auswahl der Assessoren

Selbstverständlich gibt es von den „Erfindern“ von TPI bzw. TPI NEXT – der Firma Sogeti – auch entsprechende Assessments. Diese sind aus meiner Sicht vor allem dann sinnvoll, wenn die Testprozesse

• einen recht guten Reifegrad haben und/oder
• im Anschluss ausführliche Beratung (in der Regel mit „operativem Doing“) seitens der Assessoren oder deren Kollegen gewünscht wird und/oder
• ein „Zertifikat“ durch den Original-Herausgeber des Modells für interne Kunden (z.B. Vorstände) oder externe Kunden (die dieses fordern) ein Muss ist.

Es gibt auch einige Personen, die entsprechende Nachweise vorlegen können, dass sie solche Assessments durchführen können und auch einige, die dies ohne offizielle Zertifikate tun. Bei letzteren muss die Qualität und das Wissen über die Modelle und Verbesserungspotentiale keinesfalls schlechter sein – Sie sollten bei der Auswahl der Assessoren lediglich darauf achten, welche prinzipiellen Erfahrungen diese bzgl. Assessments und bzgl. Testen nachweisen können. Handelt es sich zum Beispiel um CMMI-(Lead-)Appraiser oder SPICE Assessoren, die einen (weiteren) Schwerpunkt auf das Thema Testprozessverbesserung gelegt haben? Dann sind diese sicher keine schlechtere Wahl.

Das ISTQB hat bereits seit Anfang des Jahres den Lehrplan zum Certified Tester Expert Level „Improving the Test Process“ herausgegeben. Eine Prüfung ist noch nicht möglich, wird aber voraussichtlich 2011 angeboten. Damit ist dann sicher auch eine weitere Alternative (unabhängig von dem Herausgeber des Modells) zum Nachweis entsprechender Qualifikationen vorhanden.

Der Ablauf des Assessments

TPI Assessments haben prinzipiell den gleichen Ablauf wie alle Assessments, wobei natürlich die Ausführlichkeit der Phasen von den oben dargestellten Assessment-Varianten abhängt.

Fünf P-Phasen im Ablauf eines Assessments

Die Planungsphase enthält auch die Aktivitäten wie sie im Teil I – Ziele definieren vorgestellt wurden.

Die Durchführungsphase kann in mehrere Stufen gegliedert sein. Bei der Assessment-Variante 1 und 4 werden häufig vorab Dokumente geprüft, die Aussagen über die Testprozesse liefern. Dazu zählen

• Prozessbeschreibende Dokumente (Vorgehensmodelle, Verfahrensanweisungen, Arbeitsanweisungen, Richtlinien, Dokumentvorlagen, Anordnungen, …),
• Arbeitsergebnisse der Prozesse (Testpläne, Testfallspezifikationen, …),
• Nachweise über Durchführung der Prozesse (Testberichte, Protokolle, …) und
• Kennzahlen.

Die Erstellung des Assessmentberichtes kann bei Variante 2 und 3 lediglich aus den Notizen bestehen, die während des Assessments meist direkt in der TPI-Matrix erstellt wurden.  Aber immer da, wo weitere Personen (besonders Vorgesetzte oder Kunden) das Ergebnis erfahren möchten oder müssen, ist die Erstellung einer Präsentation und möglicherweise auch eines ausführlichen schriftlichen Berichtes wichtig.

Auch die Präsentation wird häufig zweimal durchgeführt: einmal direkt im Anschluss an die Durchführung aller Interviews in sogenannten Feedback-Sitzungen. Dies dient vor allem dazu, dass der Assessor nochmals prüfen kann, ob er alles richtig verstanden hat und gleichzeitig erfahren die Assessierten die ersten Ergebnisse. Im Gegensatzu zu CMMI oder SPICE-Assessments ist es bei TPI vor allem in den Varianten 3 und 4 eher üblich bereits Aussagen über erreichte Level zu machen.
Danach erfolgt meist eine Überarbeitung des Berichtes und dann eine Präsentation vor den Auftraggebern des Assessments (dem oberen Management und oder internen/externen Kunden).

Aktionen zu planen ist die wichtigste Phase, die leider immer mal wieder unter den Tisch fällt. Ich habe leider schon mehr als ein Unternehmen erlebt, in dem der Assessmentbericht verstaubte oder nach einem Jahr wieder hervorgezogen wurde, wobei sich dann das oberste Management wunderte, dass nichts passierte oder dass ein Wiederholungsassessment keine (wesentlich) besseren Ergebnisse aufzeigte.
Das hier von mir eine Figur dargestellt wurde, die das Geld in Händen hält, ist kein Zufall: ohne Investitionen in die Verbesserungsmaßnahmen ist keine nachhaltige Optimierung zu erreichen. Nutzen Sie daher den Schwung aus, den Assessments mit sich bringen. Der Enthusiasmus, Dinge zu ändern, ist selten größer, als direkt nach der Bekanntgabe der Ergebnisse. Führen Sie einen Verbesserungsworkshop durch und sorgen Sie dafür, dass die Auftraggeber regelmäßig einbezogen werden. Die Berechnung von ROIs ist wichtig und hilft dabei, dass dies keine traurige Einmalaktion bleibt, sondern dass weitere zukünftige Verbesserungen gerechtfertigt werden können.

Ausblick

Im nächsten Teil 3.2 erfahren Sie, wie der eigentliche Ablauf von TPI Assessments am Beispiele eines TPI-Light-Assessments aussieht und wie Sie mit Hilfe des Buches selbst eine Analyse durchführen können.
Der letzte Teil 4 beschäftigt sich dann mit Initiierung von Verbesserungsmaßnahmen.