Teszt terv

Csoport neve: TheBoyz

Feladat sorszáma: H5

Feladat címe: Tesztelési terv

Tesztelési terv

Gyakorlatvezető::

Mileff Péter

Csoport tagok:

Longaver Szabolcs	ECY3RI	jobbranyitbaltazar@gmai.com
Zagyva Zsombor Gábor	FXVAUU	zsombor.zagyva@gmail.com
Laczik Péter	VG5EHA	peterlaczik04@gmail.com
Valkó Attila László	U7W4RZ	valkoatti@hotmail.com
Szekeres Bendegúz	Z3VP2R	imp.bende@gmail.com

2024. 12. 04.

Dátum	Verzió	Leírás	Szerző
2024-11-30	1.0	Tesztelési terv első verziója	Longaver Szabolcs
2024-12-01	1.1	Tesztelési terv bővítése	Longaver Szabolcs
2024-12-02	1.2	2 befejezése, 4 és 5 első draft	Longaver Szabolcs
2024-12-03	1.3	4,5 módosítás	Zagyva Zsombor Gábor
2024-12-04	1.4	Kiegészítés a 4-es és az 5-ös ponthoz	Longaver Szabolcs

Tesztelési terv

A The Tempest Throne tesztelése egy sokoldalú probléma. A termék videojáték mivoltából adódóan nem elégséges, ha csak a technikai aspektusait teszteljük: a játéknak szórakoztatónak is kell lennie. Ezáltal a tesztelés folyamatát két részre bontjuk: technikai tesztelésre és élménytesztelésre. A technikai tesztelés a fejlesztés teljes terjedelme alatt aktív folyamat, míg az élménytesztelés elkezdésére az első alfa verzió létrejötte után kerül sor.

1. Teszttípusok

1.2. Technikai tesztelés

A technikai tesztelés során a játékhoz adott új funkciók működését, tartalmak (modellek, hangok stb.) helyes megjelenését és a rendszer stabilitását teszteljük. Itt arra vagyunk kíváncsiak, hogy az előre megtervezett rendszerek úgy működnek a gyakorlatban, ahogyan azoknak kell. A tesztek során a felmerülő hibák és azok reprodukálási módjai felkerülnek egy listára, melyeket a következő verzióra a fejlesztők javítanak. Ezeket az eseteket továbbra is teszteljük, ezáltal elkerülve azt, hogy egy későbbi változtatás vagy addíció egy, már késznek tekintett rendszerben újabb hibákat okozzon. Ebből következik az is, hogy minden teszt során végig próbáljuk az alapvető és kulcsfontosságú funkciókat. A technikai fejlesztés módszerei a fejlesztés jelenlegi fázisától függenek. A technikai tesztelés fő módjai:

Szkriptelt tesztelés: A tesztfolyamat egy előre meghatározott cselekvéssorozat (például billentyűleütések egy bizonyos kombinációja). Szkriptelt teszteléssel könnyen tesztelhetjük az alapvető funkciókat, mint például a csatlakoztatott perifériák működését játékon belül. Ez a módszer automatizálható.
Felfedező (exploratory) tesztelés: A rendszer rendeltetésszerű használata. Mivel a fejlesztők tudják hogyan „kell” az egyes funkciókat használni, ezért itt ildomos külső tesztelőket alkalmazni.
Destruktív tesztelés: A rendszer szándékos tönkretétele, a határok feszegetése. A destruktív tesztelés során különleges esetek segítségével teszteljük a rendszerek működését: számítógép kikapcsolása működés/mentés közben, perifériák lecsatlakoztatása, a játéktér határain kívül jutás stb. Habár a destruktív teszteléshez nem imperatív, hogy külső tesztelőket alkalmazzunk, segítségükkel itt is olyan hibákat lelhetünk fel, melyeket nem tudnánk fellelni a rendszer felépítésének ismerete miatt.

Majomtesztelés: Véletlenszerű gombnyomások és helyzetek automatizált procedúrája. A teszt eredményeinek kiértékelésén túl nem igényel személyzetet.

Stressztesztelés: A rendszer teljesítményének tesztelése. Ilyenkor a legerőforrásigényesebb helyzetet próbáljuk elérni grafikai beállítások módosításával a legösszetettebb jelenetekben és helyzetekben.

1.3. Élménytesztelés

Az élménytesztelés fő célja a játékban szereplő tartalmak tökélyre csiszolása és a köztük lévő összhang megteremtése. Élménytesztelés során nem egzakt vagy könnyen meghatározható követelményeknek próbálunk megfelelni. Ezen tesztek során főként külső tesztelőket alkalmazunk: kulcsfontosságú a külső szemlélők által biztosított visszajelzés. A fejlesztés alatt egyre nagyobb és nagyobb körből vonunk be tesztalanyokat. Élménytesztelés alatt a játék Az élménytesztelés fő módjai:

Véleményteszt: A teszt során általában játék egy alrendszerét vizsgáljuk. A tesztalany feladatát a tesztelő határozza meg. Ezek a tesztek bizonyos elemek minőségét vizsgálják. Például: megfelelőek-e a hang- és vizuális effektek ebben a menüben?
Irányított teszt: A teszt során a játék egy apró részletét vizsgáljuk. A tesztalany feladatát a tesztelő határozza meg, mely általában egy rendkívül rövid szakasz teljesítésében vagy egy probléma megoldásában merül ki.
Szakaszteszt: A teszt során a játék egy korlátozott szakaszát vizsgáljuk. Ez a tesztelési forma általában kötetlen: a játékostól nem kérjük, hogy egy bizonyos módon oldjon meg egy feladatot.
Játékteszt: A teszt során a játék egy hosszabb szakaszát, vagy a teljes játékot vizsgáljuk. A tesztalany véleményét a teszt teljes időtartama alatt, valamint a teszt végén is lejegyezzük és visszacsatolásként továbbítjuk a fejlesztők felé. Ez a tesztelési forma kötetlen.

2. Tesztelés folyamata a gyakorlatban/Tesztesetek

A tesztelés folyamata a teszt típusától, módszereitől és résztvevőitől függően változik.

2.1. Automatizált teszt

Résztvevő személyzet: Telepítésért felelős mérnök, tesztállomás telepítése után egy teszter.
Folyamat hossza: Tetszőleges (fél órától akár egy napig)
Alkalmazott módszerek: Szkriptelt tesztelés, Stressztesztelés, Majomtesztelés
Fázis: Mind
Leírás: Egy tesztállomás felállítása, ahol a tesztek automatikusan lefutnak. Szkriptelt tesztelés esetén rövid, stressz- és majomtesztelés esetén hosszú ideig hagyjuk a rendszert futni. A folyamatot egy teszter figyeli, aki az észrevételeit lejegyzi. A folyamatot a szükséges időintervallum hosszától függően periodikusan is ellenőrizhetjük: közepesen hosszú (>60 perc) tesztek esetén 10 percenként, hosszabb (>120 perc) teszteknél 20 percenként. Ellenőrzések során a tesztadatokat lejegyezzük, a teszt végén pedig kielemezzük. A felmerülő technikai problémákat továbbítjuk a fejlesztőknek.

2.1.1. Füstteszt (Smoke test)

Résztvevő személyzet: Telepítésért felelős mérnök.
Folyamat hossza: Rövid
Alkalmazott módszerek: Szkriptelt tesztelés
Fázis: Mind
Leírás: Az alapvető funkciók automatizált tesztelése. Erre azért van szükség, mert minden változtatásnál vagy új tartalom hozzáadásánál fennáll a veszélye annak, hogy egy már késznek tekintett rendszerben hibák bukkannak fel. Ez a teszt a fejlesztés során egyre hosszabb időt vesz igénybe.

2.2. Patch teszt

Résztvevő szemé

(Post-release)

lyzet: Belső teszter vagy fejlesztő
Folyamat hossza: Hibától függ. Általában rövid
Alkalmazott módszerek: Szkriptelt, felfedező
Fázis: Mind
Leírás:Egy már korábban javított hiba manuális tesztelése. A teszt során a teszter megkísérli a már javított hiba reprodukálását, amennyiben erre képtelen a teszt sikeresnek, a hiba pedig javítottnak tekinthető.

2.3. Általános hibakereső teszt

Résztvevő személyzet: Belső teszter
Folyamat hossza: Rövid (~30 perc)
Alkalmazott módszerek: Felfedező, destruktív
Fázis: Mind
Leírás:Hibák keresése a rendszer határainak feszegetésével. Ezen teszt során a teszter unortodox és nem várt helyzeteket teremt a játékon belül található opciók segítségével. Ezen teszt gyakorlati megvalósítása sokféle lehet, erre néhány példa:

Tárgyak felhalmozása egy helyen a játéktérben
Perifériák csatlakoztatása/eltávolítása futási időben
Folyamat megszakítása betöltés/mentés alatt
Karaktermozgatási kézségek alkalmazása a játéktér szélén a játékteren kívülre jutás céljából
Beállítások módosítása és menügombok véletlenszerű, gyors megnyomása
Billentyűzet püfölése

stb.

2.4. Új tartalom teszt

Résztvevő személyzet: Belső teszter
Folyamat hossza: Rövid
Alkalmazott módszerek: Felfedező, irányított, szkriptelt
Fázis: Mind
Leírás: Új tartalmak és funkciók tesztelése. A teszt az új tartalom típusától függően változó lehet:

Hang- és vizuális effekteknél elegendő az effekt előidézése és megvizsgálása minden opció mellett.

Hanghatásoknál több hangerőn ill. hangeszközön.
Vizuális effekteknél minden releváns grafikai beállítás mellett, minden szögből megtekintve.

Menüelemeknél, UI elemeknél és új dialógusoknál minden opciót meg kell vizsgálni.
Átvezetőknél kifejezetten fontos, hogy minden hangeffekt, animáció és vágás az előre meghatározott időpontban történjen.
Játéktartalmaknál (pályarészek, szörnyek, tárgyak stb.) a helyesen megjelenő objektumokat és a helyes funkciókat vizsgáljuk.

NPC-k: Megfelelő készségeket képes az NPC használni? Megfelelőek az értékei? Elvárt módon működik a mesterséges intelligenciája? Megjelenik a kívánt helyeken az NPC?
Tárgyak: Megfelelőek az értékei? Minden speciális funkciója működik?
Készségek: Megfelelőek az értékek? Megjelennek a szükséges effektek?
Kasztok, fajok: Megfelelőek az értékek? Az előre meghatározott tulajdonságokkal rendelkeznek?

2.5. Kontent teszt

Résztvevő személyzet: Külső teszterek, egy belső teszter és a kreatív személyzet (játékdizájner, írók, rendező stb.) legalább egy, a tartalomért felelős tagja
Folyamat hossza: Közepesen hosszú (30 perctől 2-3 óráig, egy alkalom per teszt)
Alkalmazott módszerek: Felfedező, vélemény, irányított
Fázis: Alfa verzió létrejöttétől kezdődően
Leírás: A játék tartalmának tesztelése külső teszterekkel. A teszt során a teszter a játék egy apró szakaszát játsza végig. A teszt során szükség szerint a játékdizájner, írók, rendező stb. figyelemmel kísérheti a tesztet valós időben. A teszt során a teszter egy előre megadott kritérium vagy feladat szerint teszteli a játék egy lekorlátozott részét és/vagy aspektusát (harc, menük stb). A teszt során a teszter reakcióit és véleményét valós időben figyeljük és feljegyezzük. A teszt végesztével egy egytől tízig terjedő skálán (ahol a tíz jelenti a maximálisan pozitív választ) megkérdezzük tőle, mennyire tetszett neki a tartalom, amit fogyasztott.

2.5.1. Balanszteszt

Résztvevő személyzet: Belső és külső teszterek.
Folyamat hossza: Játék jelenlegi állapotától függően változó, általában rövid
Alkalmazott módszerek: Irányított, szakasz
Fázis: Alfa verzió létrejöttétől kezdődően
Leírás: A játék jelenlegi balanszának, egyensúlyának (fair-ségének) tesztelése. Főként előre meghatározott játékszakaszok és harcok sorozatának teljesítését fedi le. Célja a játék igazságosságának biztosítása.

2.6. Rövid játékteszt

Résztvevő személyzet: Külső teszterek, opcionálisan kreatív személyzet (játékdizájner, írók, rendező stb.)
Folyamat hossza: Közepesen hosszú (30 perctől 2-3 óra alkalmanként, akár több alkalommal), több napon át
Alkalmazott módszerek: Felfedező, vélemény, szakasz
Fázis: Alfa verzió létrejöttétől kezdődően
Leírás: A játék tartalmának tesztelése külső teszterekkel. A teszt során a teszter a játék egy nagyobb szakaszát játsza végig. A teszt során szükség szerint a játékdizájner, írók, rendező stb. figyelemmel kísérheti a tesztet valós időben. A teszt folyamatába nem avatkozunk bele (hacsak ezt egy játékhiba nem indokolja). A teszt végesztével egy kérdőív segítségével felmérjük a teszter véleményét a tartalomról, amit fogyasztott: egy egytől tízig terjedő skálán (ahol a tíz jelenti a maximálisan pozitív választ) megkérdezzük tőle, mennyire tetszett neki a tartalom, valamit egy összefoglalót is kérünk tőle az élményeiről. Így egy koherens képünk lesz arról, hogy a tartalom mely aspektusait szükséges átgondolni és megváltoztatni.

2.7. Hosszú játékteszt

Résztvevő személyzet: Belső és külső teszterek. A fejlesztőcsapatból bárki, aki becsatlakozik.
Folyamat hossza: Játék jelenlegi állapotától függően változó
Alkalmazott módszerek: Felfedező, szakasz, játék, vélemény, destruktív
Fázis: Béta verzió létrejöttétől kezdődően
Leírás: A játék tesztelése teljes kohezív egészként. A játék nagy részének vagy teljes egészének tesztelése. Ez a folyamat a fejlesztéssel folyamatosan párhuzamosan történik.

3. Hibák hierarchiája

Hiba súlyossága	Eszkaláció módja	Hibajavítások ideje	Patch-ek release utáni megjelenésének ideje	Példa
Kritikus	Fejlesztőcsapat azonnali értesítése	Azonnali hibajavítás	Amint kész a hibajavíás azonnal	A szoftver azonnal vagy rendszeresen összeomlik, ill. kárt tesz a tesztrendszerben (például rendszerfájlt módosít) vagy önmagában.
Nagyon súlyos	Fejlesztőcsapat értesítése a teszt végeztével	Azonnali hibajavítás	Amint kész a hibajavíás azonnal	A szoftver gyakran összeomlik, játszhatatlanul fut, ill. nem ismeri fel a csatlakoztatott perifériákat.
Közepesen súlyos	Fejlesztőcsapat értesítése a teszt végeztével	Hibajavítás, ha nem áll fenn fontosabb hiba.	Napi egy hotfixben, mely több javítást tartalmaz	A szoftver néhány esetben összeomlik, vagy a játékélményt nagyban károsító tényező áll fenn.
Kevésbé súlyos	Fejlesztőcsapat értesítése a teszt végeztével	Hibajavítás, ha nem áll fenn fontosabb hiba	Heti egy patchben, mely több javítást tartalmaz	A szoftver specifikus esetekben összeomlik, kisebb balanszproblémák.
Kisebb hiba	Fejlesztőcsapat értesítése a teszt végeztével	Hibajavítás mellőzése fontosabb fejlesztési feladat vagy probléma esetén	Heti egy patchben, mely több javítást tartalmaz	Elírások, apró vizuális hibák, rendkívülien specifikus körülmények között reprodukálható hibák.

4. Tesztfázisok és külső teszterek köre

A külső (fejlesztőstábon kívüli) teszterek köre és a tesztelés módja a fejlesztés jelenlegi fázisától függően változó. A külső fejlesztők köre minden elért nagyobb mérföldkőnél változik, ennek részletei a következő pontban olvashatóak a fejlesztés szakaszaira tagolva. A fejlesztés szakaszainak részletei a projekt terv dokumentumban kerültek részletezésre.

4.1. Első szakasz: Alap játékmechanikák fejlesztése

A fejlesztés első szakaszában nincs szükség külső tesztelőkre. Ezen a ponton még túlságosan kezdetleges a termék ahhoz, hogy a fejlesztőcsapaton kívül álló személyek lássák. A rossz PR és az esetleges szivárgások elkerülése érdekében ezért ekkor csakis kizárólag belső tesztszemélyzetet alkalmazunk. Az első szakaszban a célunk az alapozás, azaz egy működő prototípus létrehozása.

Tesztelési módszerek:

Automatizált tesztelés:
- Példa: Tesztelni, hogy a játékos mozgása zökkenőmentesen működik (pl. az egérkattintás helyesen mozgatja a karaktert).
- Cél: Biztosítani, hogy a mozgásvezérlés pontos és hibamentes legyen.
Szkriptelt tesztelés:
- Példa: Egy előre meghatározott akciósorozat tesztelése, például egy NPC-vel való interakció, tárgy felvétele, és az inventory megnyitása.
- Cél: Ellenőrizni, hogy az alapvető funkciók (interakciók, UI) egyenként működnek.
Exploratív tesztelés:
- Példa: A fejlesztők manuálisan próbálják ki az alapmechanikákat, például a harcot egy egyszerű támadási akcióval.
- Cél: Felderíteni, hogy van-e bármilyen anomália az interakciók között.

Cél: Stabil prototípus létrehozása, amely működő alapmechanikákkal rendelkezik.

4.2. Második szakasz: Grafikai elemek és UI integráció

Külső teszterek: Egy szűk körű külső tesztelőcsoport (pl. szoros ismerősök).

Tesztelési módszerek:

Vizualizációs tesztek:
- Példa: Ellenőrizni, hogy az inventory UI helyesen megjelenik minden felbontásban (pl. 1920x1080, 2560x1440 stb).
- Cél: Biztosítani, hogy a felhasználói felület minden grafikai beállítással helyesen működik.
Stressztesztelés:
- Példa: 50 NPC és 100 környezeti objektum renderelése egyetlen jelenetben, miközben a grafikai beállításokat a legmagasabb szintre állítjuk.
- Cél: Felmérni a rendszer teljesítményét nagy erőforrás-igényű helyzetekben.
Szkriptelt tesztelés:
- Példa: Tesztelni, hogy az összes menü gombja működik (pl. "New Game", "Load Game", "Exit").
- Cél: Az UI funkcionalitásának és stabilitásának biztosítása.

Cél: Az UI és a grafikai elemek megfelelő integrációjának biztosítása.

4.3. Harmadik szakasz: Tesztelés és optimalizálás

sokkal több fejlesztő, sokkal több feladat -> kellenek a fejlesztők.

4.3.1. Alfa verzió

Külső teszterek: Szűk körű, meghívásos tesztelők (pl. korai támogatók).

Tesztelési módszerek:

Exploratív tesztelés:
- Példa: A tesztelők megpróbálják befejezni az első küldetést, például tárgyakat gyűjtenek, és visszaviszik azokat az NPC-hez.
- Cél: Ellenőrizni, hogy a küldetéslogika hibátlanul működik.
Destruktív tesztelés:
- Példa: Megpróbálják a karaktert a játéktér határain kívülre mozgatni, vagy perifériákat csatlakoztatnak/leválasztanak mentés közben.
- Cél: Felderíteni, hogy a rendszer hogyan kezeli a szélsőséges helyzeteket.
Majomtesztelés:
- Példa: Véletlenszerű gombnyomások az inventory rendszerben.
- Cél: Biztosítani, hogy a UI stabil marad véletlenszerű input esetén is.

Cél: Az alapvető funkciók és rendszerek stabilitásának biztosítása.

4.3.2. Béta verzió

Külső teszterek: Nagyobb közönség (pl. influencerek, közösségi tagok).

Tesztelési módszerek:

Szakasztesztek:
- Példa: Egy meghatározott harci szakasz, például egy boss elleni küzdelem, ahol minden képességet ki kell próbálni.
- Cél: Ellenőrizni a harcrendszer egyensúlyát és mechanikai működését.
Élménytesztelés:
- Példa: Tesztelők visszajelzést adnak a harcról, dialógusokról és küldetésekről (pl. "Mennyire volt szórakoztató a bossfight?").
- Cél: Felmérni a játékélmény minőségét és egyensúlyát.
Teljesítmény-tesztelés:
- Példa: A játék FPS-teljesítményének mérése különböző grafikai beállításokkal (alacsony, közepes, magas, ultra).
- Cél: Optimalizálni a játék teljesítményét különböző hardverkonfigurációkon.

4.4. Negyedik szakasz: Tartalom véglegesítése és kiadásra való felkészülés

Külső teszterek: Ugyanaz, mint a béta verzióban, de szélesebb körben (teljes játékosbázis visszajelzései).
Tesztelési módszerek:
- Hosszú játékteszt:
  - Példa: A tesztelők végigjátszák a játék teljes történetét, beleértve az opcionális küldetéseket is.
  - Cél: Ellenőrizni a játék folytonosságát
- Destruktív tesztelés:
  - Példa: Megpróbálnak rengetek tárgyat egyszerre összegyűjteni az inventory-ban, hogy túlterheljék a rendszert.
  - Cél: Felmérni, hogyan reagál a rendszer rendkívüli helyzetekre.
- Következetességi tesztek:
  - Példa: Ellenőrizni, hogy a dialógusok és küldetések logikusan követik egymást.
  - Cél: Biztosítani a narratíva és a játékmenet folytonosságát.

4.5. Megjelenés utáni (post-release) hibatesztelés

Külső teszterek: Nincsenek. Megjelenésig majdnem minden hibát javítunk, megjelenés után pedig elegendő mennyiségű visszajelzést kapunk a belső tesztereinktől és a játékosoktól a csekély mennyiségű megmaradt hiba javításához.
Tesztelési módszerek:
- Destruktív tesztelés:
  - Példa: Megpróbálnak rengetek tárgyat egyszerre összegyűjteni az inventory-ban, hogy túlterheljék a rendszert.
  - Cél: Felmérni, hogyan reagál a rendszer rendkívüli helyzetekre.
- Automatizált és irányított tesztelés:

5. Belső tesztelésen túlnyúló véleményezés

A The Tempest Throne technikai és játékmenethez kapcsolódó aspektusain túl a játék kevésébé egzakt tényezőit is meg kell vizsgálnunk. Habár ez nem konvencionális tesztelést igényel a véleményezés részben a tesztelés témaköréhez tartozik, így összegyűjtöttük itt az ehhez kapcsolódó terveinket.

5.1.Cselekmény és karakterek véleményezése

Példa: SurveyMonkey kérdőívek, amelyek a karakterek szerethetőségére, motivációira és a történet érthetőségére kérdeznek rá.
Cél: Megérteni, hogy a játékosok hogyan viszonyulnak a történethez és a karakterekhez.

5.2. Játékmenet, játék

Példa: A játékosok statisztikáinak (pl. halálozási helyek, leggyakrabban használt képességek) elemzése, hogy megértsük, mely területeken lehet fejleszteni a játékélményt.
Cél: Javítani a játékmenet élvezhetőségét és egyensúlyát.

5.3 Kulturális véleményezés

Példa: A játék világának részleteinek és felépítésének véleményezése kérdőíveken keresztül.
Cél: Olcsó sztereotípiák, elcsépelt klisék, immerzióból kiragadó részletek és plágiumgyanú elkerülése. Az alapműhöz (Dungeons & Dragons) való hűség megőrzése.