Audyt procesów QA: zakres, przebieg, ile to kosztuje

Rozmowa o audycie procesów QA zwykle zaczyna się od dobrego pytania i kończy na telefonie do handlowca, zanim ktokolwiek zdąży wyjaśnić, co właściwie się kupuje. Audyty testerskie są dziś jedną z najczęściej szukanych fraz w naszej branży, a mimo to trudno znaleźć w sieci rzetelny opis, co konkretnie wchodzi w zakres, jak wygląda taki audyt krok po kroku i co realnie trafia do raportu. Ten artykuł wypełnia tę lukę, zanim zapytacie o ofertę.

Piszemy go z perspektywy firmy, która audyty procesów QA prowadzi, nie tylko o nich czyta, więc opieramy się na tym, co faktycznie trafia do raportu, nie na ogólnikach o „ocenie jakości”. Jeśli szukacie odpowiedzi na pytanie, czy Wasza firma w ogóle takiego audytu potrzebuje, sekcja o sygnałach ostrzegawczych niżej da Wam odpowiedź szybciej niż rozmowa handlowa.

Czym różni się audyt procesów QA od zwykłego przeglądu testów

Przegląd testów sprawdza, czy konkretne przypadki testowe są napisane poprawnie i czy pokrywają wymagania. Audyt procesów QA pyta o coś szerszego: czy jakość jest realnym elementem zarządzania produktem, czy tylko formalnym etapem przed wdrożeniem. Nie ogranicza się do testów manualnych czy automatycznych, tylko obejmuje cały system: procesy, podział odpowiedzialności, komunikację między zespołami, kryteria dopuszczenia do wydania i mechanizmy kontroli ryzyka.

W ocenie jakości oprogramowania warto odwołać się do uznanego modelu, na przykład ISO/IEC 25010, który definiuje charakterystyki jakości produktu programistycznego: funkcjonalność, wydajność, kompatybilność, użyteczność, niezawodność, bezpieczeństwo, utrzymywalność i przenośność. Audytor nie ocenia pojedynczych osób ani nie kontroluje zespołu QA. Stawia diagnozę systemową: pokazuje, gdzie organizacja ma realną kontrolę nad jakością, a gdzie opiera się na założeniach, intuicji albo niepełnych danych. To rozróżnienie ma znaczenie praktyczne, bo od niego zależy, kto w organizacji powinien się audytu bać, a kto powinien go chcieć.

Co dokładnie wchodzi w zakres audytu

Zakres różni się między firmami, ale sześć obszarów wraca w niemal każdym audycie procesów QA, niezależnie od wielkości organizacji.

Zakres audytu prawie zawsze zawęża się na starcie, nie na końcu. Firma z jednym produktem i jednym zespołem może objąć audytem całość w dwa do trzech tygodni. Organizacja z kilkoma produktami i rozproszonymi zespołami zwykle zaczyna od jednego, najbardziej krytycznego biznesowo obszaru, a resztę obejmuje kolejną falą, gdy pierwsze rekomendacje są już wdrażane.

To zawężenie nie jest kompromisem jakości audytu, tylko świadomym wyborem kolejności. Obszar, który generuje najwięcej incydentów albo najbardziej boli biznes, daje najszybszy zwrot z pierwszej rekomendacji, więc zawężenie zakresu na start często przyspiesza, a nie opóźnia, moment, w którym firma widzi realną poprawę.

Jak wygląda audyt krok po kroku

Źródło: metodyka własna Quality Island, stosowana w audytach procesów QA.

Krok czwarty jest tym, który najczęściej się pomija w tańszych wariantach audytu, a to on decyduje o trafności wniosków. Same wywiady i dane pokazują, co ludzie mówią i co pokazują liczby. Warsztat weryfikacyjny pokazuje, czy to, co ludzie mówią, zgadza się z tym, co robią, kiedy nikt nie patrzy. Zespół, który deklaruje code review przy każdym pull requeście, ale w praktyce robi je tylko przy większych zmianach, ujawnia tę różnicę właśnie na tym etapie, nie w ankiecie.

Trzy sygnały, że proces potrzebuje audytu, zanim ktokolwiek o niego poprosi

Nie trzeba czekać na poważny incydent, żeby rozpoznać, że proces wymaga zewnętrznego spojrzenia. Trzy wzorce wracają najczęściej w rozmowach, które ostatecznie kończą się zamówieniem audytu, i żaden z nich sam w sobie nie brzmi dramatycznie.

Sygnał pierwszy, regresja rośnie mimo rosnącego zespołu. Firma zatrudnia kolejnych testerów, a czas regresji przed wydaniem i tak się wydłuża. To zwykle nie jest problem liczby rąk do pracy, tylko procesu: nowi ludzie dokładają testy do istniejącego chaosu, zamiast go porządkować, bo nikt formalnie nie odpowiada za architekturę samych testów, tylko za ich wykonanie.

Sygnał drugi, każdy release ma innego bohatera. Wydanie przechodzi gładko, kiedy akurat jest obecna konkretna osoba, która pamięta, na co uważać, i staje się chaotyczne, kiedy ta osoba jest na urlopie. To najczystszy objaw procesu na poziomie ad hoc: wiedza siedzi w głowach, nie w systemie, więc firma jest zakładnikiem dostępności konkretnych ludzi.

Sygnał trzeci, dane o jakości nie zgadzają się z odczuciem biznesu. Dashboard pokazuje wysokie pokrycie testami i niską liczbę otwartych defektów, a jednocześnie dział sprzedaży dostaje reklamacje, a support tonie w zgłoszeniach. Rozjazd między metrykami QA a rzeczywistym doświadczeniem klienta niemal zawsze oznacza, że mierzymy nie to, co naprawdę chroni biznes, tylko to, co łatwo policzyć.

Co zawiera przykładowy raport z audytu

Dobry raport z audytu procesów QA ma cztery elementy, i żaden z nich osobno nie wystarcza. Streszczenie dla zarządu w języku ryzyka i kosztu, nie procentów pokrycia testami, mapę dojrzałości procesów pokazującą, gdzie organizacja stoi dziś, listę rekomendacji z priorytetami, i konkretny plan wdrożenia z osobami odpowiedzialnymi. Raport bez planu wdrożenia jest diagnozą bez recepty: mówi, co boli, ale nie mówi, co z tym zrobić w poniedziałek.

Większość organizacji, z którymi pracujemy, ląduje między poziomem 2 a 3: proces istnieje, ale zależy od pamięci i dobrej woli konkretnych osób, nie od systemu, który przetrwa ich odejście. To dobra wiadomość dla firm bojących się audytu: rzadko chodzi o katastrofę, częściej o uporządkowanie czegoś, co już częściowo działa.

Kto w organizacji powinien zamówić audyt jako pierwszy

Inicjatywa najczęściej wychodzi od CTO albo Head of QA, ale trigger bywa różny. Cztery sytuacje wracają najczęściej: firma szykuje się do skalowania zespołu albo liczby produktów i chce mieć proces gotowy na wzrost, seria incydentów produkcyjnych podważyła zaufanie do obecnego testowania, organizacja przygotowuje się do przetargu albo rozmowy z inwestorem, gdzie dojrzałość procesów jakości jest częścią oceny, albo dwa zespoły QA po fuzji albo przejęciu pracują różnymi metodami i trzeba je ujednolicić. W każdym z tych scenariuszy pytanie brzmi nie „czy mamy problem”, tylko „gdzie dokładnie on jest i ile kosztuje jego nierozwiązanie”.

Powód zamówienia różni się też między typami organizacji. Software house i agencja interaktywna, pracujące dla wielu klientów naraz, audytują proces, żeby ustandaryzować jakość między projektami, bo dziś każdy zespół projektowy robi to po swojemu. Duża korporacja z licznym zespołem testerów szuka odpowiedzi, dlaczego przy tak dużych zasobach jakość i tak bywa nierówna między produktami. Firma z sektora regulowanego, na przykład bankowość albo medycyna, potrzebuje audytu, który jednocześnie pokazuje stan procesów i staje się dokumentem na wypadek kontroli zewnętrznej. Trzy różne punkty wyjścia, ten sam mechanizm diagnozy.

Audyt wewnętrzny czy zewnętrzny: kiedy wystarczy samoocena

Nie każda firma potrzebuje na start audytora z zewnątrz. Jeśli zespół QA ma kompetencje, żeby spojrzeć na własny proces krytycznie, samoocena przy użyciu tej samej metodyki, którą stosuje audytor zewnętrzny, potrafi wychwycić większość oczywistych luk zanim ktokolwiek zapłaci za pełny audyt. Różnica między tymi dwoma ścieżkami leży w tym, czego samoocena strukturalnie nie może dać.

W praktyce te dwie ścieżki dobrze się uzupełniają, zamiast się wykluczać. Zespół, który najpierw przechodzi przez samoocenę, przychodzi na audyt zewnętrzny lepiej przygotowany: wie, gdzie prawdopodobnie leży problem, więc audytor może szybciej przejść do weryfikacji i głębszej analizy, zamiast zaczynać od zera. To skraca czas audytu i, pośrednio, jego koszt.

Ile kosztuje audyt procesów QA: co realnie podnosi i obniża cenę

Audyt procesów QA wyceniamy indywidualnie, bo w przeciwieństwie do audytu dostępności, który sprawdza się względem jednego standardu, tu skala i głębokość analizy różnią się między firmami o rząd wielkości. Cztery czynniki realnie kształtują cenę: liczba produktów i zespołów objętych audytem, głębokość analizy (przegląd dokumentacji i danych kontra pełne wywiady i warsztat weryfikacyjny), liczba lokalizacji i stref czasowych, jeśli zespół jest rozproszony, oraz to, czy audyt jest jednorazowy, czy zakłada punkt odniesienia do przyszłego retestu. Firma z jednym produktem, jednym zespołem w jednej lokalizacji i zawężonym zakresem zapłaci wyraźnie mniej niż organizacja z kilkoma produktami rozsianymi po trzech krajach.

Praktyczna wskazówka, zanim zapytacie o wycenę: im dokładniej potraficie opisać, co chcecie objąć audytem, czy to jeden krytyczny produkt, czy cała organizacja, tym szybciej i trafniej dostaniecie ofertę. Wycena „na oko” bez tego opisu prawie zawsze wychodzi zawyżona, bo audytor zakłada najgorszy scenariusz zakresu.

Model rozliczenia też różni się między firmami. Część klientów zamawia audyt jako jednorazowy projekt zakończony raportem, inni od razu ustalają go jako pierwszy etap dłuższej współpracy, gdzie audytor towarzyszy wdrożeniu rekomendacji i wraca na krótki retest po kilku miesiącach. Drugi model wychodzi drożej na starcie, ale rzadziej kończy się raportem, który ląduje w szufladzie, bo rozliczenie jest powiązane z realnym postępem wdrożenia, nie tylko z dostarczeniem dokumentu.

Nasza perspektywa: dlaczego audyt bez planu wdrożenia to strata pieniędzy

Co to oznacza praktycznie dla waszej firmy

Zanim zamówicie audyt, warto odpowiedzieć sobie na trzy pytania. Pierwsze: co konkretnie chcecie objąć audytem, jeden produkt czy całą organizację, bo to najbardziej wpływa na czas i koszt. Drugie: czy macie realny budżet i mandat na wdrożenie rekomendacji, czy audyt skończy się na czytaniu raportu. Trzecie: czy potrzebujecie punktu odniesienia do przyszłego porównania, czy to jednorazowa diagnoza przed konkretną decyzją, na przykład przetargiem albo rozmową z inwestorem.

Jeśli wolicie najpierw nauczyć się samodzielnie oceniać procesy QA, zanim zdecydujecie się na audyt zewnętrzny, szkolenie Audyt procesów QA, jak ocenić i poprawić jakość w zespole pokazuje tę samą metodykę od strony praktycznej, z zadaniami i wsparciem szkoleniowca.

Najczęściej zadawane pytania o audyt procesów QA

Czym różni się audyt procesów QA od audytu bezpieczeństwa albo audytu kodu?

Audyt bezpieczeństwa szuka podatności w aplikacji, a audyt kodu ocenia jakość samego kodu źródłowego. Audyt procesów QA patrzy szerzej: na to, jak organizacja zarządza jakością jako całością, czyli na procesy, odpowiedzialności, komunikację i kryteria decyzyjne, nie na pojedynczy artefakt techniczny.

Ile trwa audyt procesów QA?

Zależy od zakresu, nie od wielkości firmy. Audyt jednego produktu i jednego zespołu trwa zwykle dwa do trzech tygodni. Audyt całej organizacji z kilkoma produktami i rozproszonymi zespołami wymaga więcej czasu albo podziału na etapy.

Co dostajemy w raporcie z audytu?

Streszczenie dla zarządu w języku ryzyka i kosztu, mapę dojrzałości procesów, priorytetyzowaną listę rekomendacji oraz plan wdrożenia z osobami odpowiedzialnymi. Raport bez planu wdrożenia jest diagnozą bez recepty.

Czy audyt ocenia konkretnych pracowników zespołu QA?

Nie. Audyt jest diagnozą systemową, nie oceną pojedynczych osób. Pokazuje, gdzie organizacja ma realną kontrolę nad jakością, a gdzie opiera się na założeniach albo intuicji, niezależnie od tego, kto akurat pełni daną rolę.

Ile kosztuje audyt procesów QA?

Wyceniamy go indywidualnie, bo cena zależy od liczby produktów i zespołów objętych audytem, głębokości analizy, liczby lokalizacji oraz tego, czy audyt zakłada punkt odniesienia do przyszłego retestu. Im dokładniej opiszecie zakres przed zapytaniem o ofertę, tym trafniejsza będzie wycena.

Czy małe firmy też potrzebują audytu procesów QA?

Tak, choć rzadziej to inicjują. Małe zespoły często działają na poziomie dojrzałości ad hoc, bo proces mieści się w głowie jednej osoby. To działa, dopóki ta osoba nie odejdzie albo zespół nie urośnie. Audyt w małej firmie zwykle jest krótszy i tańszy, ale równie wartościowy jako punkt startowy do uporządkowania.

Jak wybrać dostawcę audytu procesów QA?

Trzy rzeczy warto sprawdzić przed wyborem: czy audytor rzeczywiście działa niezależnie od firmy, której proces bada, czy metodyka opiera się na uznanym modelu jakości, a nie na autorskiej ankiecie bez punktu odniesienia, oraz czy oferta wprost mówi o planie wdrożenia rekomendacji, a nie kończy się na dostarczeniu dokumentu. Referencje z podobnego sektora, na przykład regulowanego albo z dużym zespołem testerów, też mają znaczenie, bo pokazują, że audytor rozumie kontekst, w którym pracujecie.

Powiązane na blogu Quality Island

• KPI dla zarządu: jak przełożyć wyniki QA na język, który rozumie CFO
• Dług technologiczny pożera nawet 40% budżetu IT: gdzie w tym jest testowanie
• „Wasze oprogramowanie jest zbyt specyficzne”: dlaczego to obiekcja, nie fakt

Pełna lista źródeł

• ISO, ISO/IEC 25010:2011, Systems and software engineering, SQuaRE
• Metodyka własna i doświadczenie Quality Island z audytów procesów QA