Repository navigation
test: skrypt mutacji Pest Mutate z kontrolą zerową, manifestem i werdyktem biegu - #74
Conversation
…yktem biegu composer mutate (scripts/mutation/) składa polecenie Pesta, uruchamia kontrolę zerową, dodatnią i tożsamościową, porównuje surowy log z dziennikiem JSONL i zapisuje manifest biegu. Kod 0 tylko dla biegu kompletnego bez żywych mutantów poza rejestrem; timeout, pending i niezgodność log/dziennik odrzucają bieg. Lokalna kopia klasy Pest\Mutate\MutationTest (MIT, strażnik dryfu) usuwa fałszywe zabicia na Windows: start procesu mutanta przez PHP_BINARY zamiast cmd.exe i pest.bat (filtr z "|" i limit 8191 znaków), usunięcie --processes z polecenia dziecka, zwinięcie za długiego filtra do klas testów. Refs: #60 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
dirname() na Linuksie nie rozpoznaje "\" i dla ścieżki z Windows zwraca ".", przez co Redactor zamieniał każdą kropkę w tekście na "<php>". Katalog interpretera liczony teraz po obu separatorach, a ścieżki bez separatora (np. "php" z PATH, ".") są pomijane. Testy dla ścieżek z Linuksa i kontrola ujemna dla ścieżek bez separatora. Refs: #60 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
/audit-changes Audyt pierwszej rewizji Draft PR #74 (część #60, Pest Mutate), HEAD [P1 — kontrola tożsamościowa dopuszcza sukces bez wykonanych testów]. [P1 — pojedyncze niezweryfikowane „zabicia” mogą przejść jako zielone]. [P2 — manifest omija deklarowaną redakcję danych]. Decyzja właściciela: opis sam oznacza lokalny fork klasy Po poprawkach i udokumentowaniu decyzji proszę o nowy audyt nowego HEAD. Nie zmieniałem kodu, gałęzi, etykiet ani statusu Draft. — ChatGPT |
…cia i redakcja manifestu Poprawki z audytu PR #74: - kontrola tożsamościowa biegnie po biegu mutacji i przyjmuje wyłącznie kod 0 z podsumowaniem "N passed (M assertions)", N > 0, bez innych kategorii, z N równym liczbie testów zestawu początkowego biegu; brak, ucięcie, zero testów, inna liczba albo nieznany kod odrzucają bieg; - każde zabicie bez nieudanego testu odrzuca bieg (także jedno obok prawdziwych), chyba że ma sklasyfikowaną przyczynę; źródłem klasyfikacji będzie rejestr z kolejnych części #60, dziś pusty; - cały manifest.json (z sekcją srodowisko) jest redagowany po zapisie, a stan drzewa to tylko liczba zmienionych plików, bez nazw; test wycieku na syntetycznym brudnym drzewie. Kontrola zerowa wszystkich 16 plików scripts/mutation/src przed zmianami: testy zabijające ocalałe mutanty, protokół strumieni pcspy:// w testach (błędy odczytu i zapisu), ocalałe tylko jako równoważne według niezależnych audytów albo ograniczenie środowiska. Błędy znalezione przy kontroli: PHP_ZTS jako bool (manifest zawsze "NTS"), błąd krytyczny bez aktywnej łatki, ksort porównujący identyfikatory liczbowo, skrót nieczytelnej konfiguracji, redactFile nadpisujący nieczytelny plik, passed() zwracające 0 dla liczby spoza zakresu int. Ścieżki zapisu interpolowane zamiast sklejanych (#80). Refs: #60 Refs: #80 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Polecenie przekazane jako tablica PHP uruchamia na Linuksie przez posix_spawn, który zgłasza brak programu już w proc_open (jak CreateProcess na Windows), a nie kodem wyjścia procesu potomnego. Test oczekuje teraz wyjątku z całym poleceniem na każdym systemie. Refs: #60 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
/audit-ok Reaudyt Draft PR #74 (pc#60, infrastruktura wiarygodnego Pest Mutate), HEAD Poprzednie P1/P2 rozliczone w kodzie i testach. Granica akceptacji - komponent narzędzia, NIE udany pełny pomiar mutacyjny. Bieżący rzeczywisty bieg na Windows z kodem źródłowym nadal jest odrzucany prawidłowo przez kontrolę tożsamościową (48 ostrzeżeń wrappera Werdykt: przyjmuję obecny PR jako etap budowy skryptu kontrolnego na tym HEAD, bez twierdzenia, że mutacje produkcyjnego — ChatGPT |
Codex Review Summary: ✅ CompletedThis comment shows the latest Codex review activity on this pull request.
ℹ️ About Codex in GitHubYour team has set up Codex to review pull requests in this repo. Reviews are triggered when you
Codex reacts with 👀 while any review is running, comments if it has suggestions, and reacts with 👍 once all reviews finish with no findings. |
There was a problem hiding this comment.
💡 Codex Review
Here are some automated review suggestions for this pull request.
Reviewed commit: c93f7da451
ℹ️ About Codex in GitHub
Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you
- Open a pull request for review
- Mark a draft as ready
- Comment "@codex review".
If Codex has suggestions, it will comment; otherwise it will react with 👍.
Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".
| $normalized = trim(str_replace('\\', '/', $path), '/'); | ||
| $segments = explode('/', $normalized); |
There was a problem hiding this comment.
Normalize dot segments before using paths as target identifiers
When invoked with a valid relative path such as --path=./src, the parser preserves the ./ prefix, so Inventory::scan() records targets as ./src/Application.php, while the mutation journal records src/Application.php because the patch uses getRealPath(). Acceptance::targets() consequently rejects generated mutants as outside the manifest and reports the corresponding targets as having no mutants, even if the run otherwise succeeds. Normalize dot segments and redundant separators consistently before constructing target identifiers.
Useful? React with 👍 / 👎.
Kontekst
composer mutate(scripts/mutation/): skrypt sam składa polecenie Pesta, przed biegiem uruchamia kontrolę zerową i dodatnią, po biegu kontrolę tożsamościową, porównuje dwa niezależne źródła (surowy log i dziennik JSONL z lokalnej kopii klasy wtyczki) i zapisuje manifestbuild/mutation/manifest.json. Kod 0 tylko dla biegu kompletnego bez żywych mutantów poza rejestrem i bez niezweryfikowanych zabić; każdy inny wynik to kod 1 z listą powodów.Pest\Mutate\MutationTest(scripts/mutation/patch/, MIT, plik licencji). Skrypt sam nie usunie mechanizmów 3 i 4, bo powstają wewnątrz tej klasy przy budowie polecenia procesu mutanta. Wariant „pomiar tylko na Linuksie” odrzucony.PHP_BINARYi ścieżkę skryptu Pesta (bezcmd.exeipest.bat);--parallel/--processesz polecenia dziecka;generatediresultz kodem wyjścia, liczbą wzorców, trybem filtra, czasem i linią podsumowania testów).pestphp/pest-plugin-mutatewymaga przeniesienia zmian. Strażnik dryfu pilnuje, żeby nie przeszło to po cichu: łatka zapisuje SHA-256 oryginału (UPSTREAM_SHA256), a skrypt odrzuca bieg, gdy oryginał wvendor/ma inny skrót albo klasa ładuje się spoza łatki.PHP_BINARY, usuwanie opcji ParaTest tylko z polecenia mutanta) jest w otwartym fix: stop counting a mutant whose subprocess never ran a test as killed pestphp/pest-plugin-mutate#45, ograniczenie długości filtra w fix: keep the mutant --filter under the kernel's per-argument limit pestphp/pest-plugin-mutate#43 (pod limit Linuksa, nie 8191 znaków Windows). Gdy poprawka wyjdzie w wydaniu upstream albo w forku właściciela, łatka kurczy się do dziennika JSONL albo znika. Ten PR nie rozbudowuje łatki.argv[0]rodzica przezcmd.exe; zapisvendor/bin/pest(z ukośnikami, takżephp vendor/bin/pest) nie uruchamia procesu, kod 1 = „zabity”. Usunięte łatką.filewtyczki psuje stdin procesów potomnych w 48 testach (ostrzeżenia bez mutacji). Zgłoszenie bug: stdin i stderr procesów potomnych przez protokół file psują testy pod wrapperem Pest Mutate (fałszywe zabicia mutantów) #73, nie naprawiane tutaj; kontrola tożsamościowa wykrywa to i odrzuca każdy bieg, dopóki bug: stdin i stderr procesów potomnych przez protokół file psują testy pod wrapperem Pest Mutate (fałszywe zabicia mutantów) #73 nie zostanie naprawione.--filter="A|B"przechodzi przez ponowne parsowanie%*wvendor\bin\pest.bat:|staje się potokiem, kod 255, 0 testów, „zabity”. Dotyczyło każdego mutanta z co najmniej dwoma wzorcami testów (1580 z 1676 pokrytych). Filtr dłuższy niż limit wierszacmd.exe(8191 znaków) przepadał i biegł cały zestaw, co dawało timeouty. Usunięte łatką.--parallel --processes=N: wtyczka usuwa--parallel, ale zostawia--processes=Nw poleceniu dziecka; pojedynczy Pest kończy się kodem 2 („Unknown option”), więc wszystkie pokryte mutanty były „zabite”. Usunięte łatką; dodatkowo kontrola zerowa biegnie z tymi samymi opcjami co bieg właściwy, a każde zabicie bez nieudanego testu odrzuca bieg.scripts/mutation/control/(osobnyphpunit.xml): klasaPrzezyciepokryta dwoma testami bez asercji wartości (mutanty muszą przeżyć), klasaZabiciez asercją (mutanty muszą zginąć z „failed” w podsumowaniu). Oba cele mają co najmniej dwa wzorce filtra, więc kontrola obejmuje mechanizm 3. Gdy kontrola nie przejdzie, bieg właściwy jest pomijany.N passed (M assertions), gdzie N > 0, bez żadnej innej kategorii (warnings, skipped, risky, incomplete, failed), i N równe liczbie testów zestawu początkowego biegu mutacji (pierwsza liniaTests:w jego logu). Brak lub ucięcie podsumowania, zero testów, inna liczba testów albo nieznany kod odrzucają bieg.Acceptance):bez-mutantow.json(14 wpisów z powodem: puste klasy wyjątków i enumy bez kodu);Acceptance::evaluate()przyjmuje mapę sklasyfikowanych zabić (identyfikator → przyczyna; trafia do uwag manifestu). Źródłem ma być rejestr z kolejnych części bramka-repo: mutacje Pest Mutate na całym kodzie, zero żywych mutantów poza równoważnymi (rejestr, komentarz, niezależny audyt) #60; dziś mapa jest pusta, więc każde takie zabicie odrzuca bieg.manifest.json(razem zsrodowiskoi poleceniem), log, dziennik i logi kontroli przechodzą po zapisie przezRedactor(katalog repo →., katalog PHP →<php>, katalog domowy →~). Stan drzewa to tylko liczba (zmiany_w_drzewie: liczba liniigit status --porcelain), bez nazw plików. Test wycieku: brudne drzewo z syntetyczną nazwą pliku i klasa wtyczki załadowana z katalogu domowego; w manifeście nie ma ani nazwy pliku, ani ścieżki repo czy katalogu domowego w żadnym zapisie (\,/,\\w JSON).mutation-toolwscripts/quality/scope-rules.json(scripts/mutation/→ privacy, lint, stan, test), wiersze wClassifierTest;ChildProcessPolicyTestskanuje teżscripts/mutation; PHPStan obejmujescripts/mutation.Kontrola zerowa skryptu (pomiar mutacyjny
scripts/mutation/src, 16 plików)Pomiar na kopii poza drzewem roboczym (Pest Mutate, PHP 8.4 ZTS, Windows), przed każdym pomiarem kontrola tożsamościowa dla każdego celu (testy
tests/Unit/Mutationpod wrapperem plików wtyczki bez mutacji, w całości zielone).Pomiar pełny 16 plików: 1297 mutantów, 1173 tested, 91 untested, 33 uncovered. Ocalałe:
Generated::$mutator, który stał się prywatny.Ograniczenie środowiska (3 mutanty, nie do zabicia na PHP 8.4 / Windows, potwierdzone audytem 2):
RedactorL21&&→||: różnica dopiero na PHP 8.5 (E_DEPRECATED za klucz tablicynull);PestRunL60=== true:tempnamnie zawodzi bezopen_basedir;PestRunL80:freadzwracafalsetylko przy sygnałach na Linuksie.Mutant
PestRunL38 (bezfclose(stdin)) jest wykrywany jako TIMEOUT (test z procesem czytającym stdin).Błędy znalezione przez kontrolę i poprawione:
PHP_ZTS === 1: od PHP 8.4PHP_ZTSto bool, więc manifest zawsze podawał „NTS”;MutationTest::UPSTREAM_SHA256); terazReflectionClass::getConstant()i dryf jako powód odrzucenia;ksortporównywał identyfikatory mutantów „1e2” i „01e2” liczbowo, co dawało fałszywe odrzucenie (niezgodna lista żywych); poprawkaSORT_STRING;nulljak brak pliku;Redactor::redactFile()nadpisywał pustą treścią plik, którego nie dało się odczytać; teraz plik zostaje bez zmian;RunLog::passed()zwracało 0 dla liczby testów spoza zakresu int ((int)z INF), wbrew kontraktowi N > 0; terazfilter_var(..., FILTER_VALIDATE_INT)i wtedynull.test: skrypt mutacji pisze wyniki testów w korzeniu dysku zamiast w katalogu tymczasowym #80 (mutanty zapisujące do korzenia dysku): ścieżki zapisu w
MutateiPestRunsą interpolowane ("{$out}/manifest.json") zamiast sklejane operatorem.. To nie jest zabicie mutantów: interpolacja po prostu nie daje Pest Mutate miejsca na mutanty konkatenacji, które przed zabiciem pisały do korzenia dysku. Zachowanie („wynik zapisany pod katalogiem wyjścia”) nadal sprawdza test.Szwy testowe (najprostsze):
Environment::collect/coverageIni(..., ?Closure $version),problems(..., ?array $patch),Mutate::__construct(..., ?Closure $version, ?array $patch); w testach protokół strumienipcspy://(tests/Support/SpyStream.php; wrapper wtyczki podmienia tylkofile) do błędów odczytu i zapisu.Pomiar plików zmienionych poprawkami P1-a, P1-b, P2 (
Acceptance,Controls,RunLog,Mutate,Environment,Redactor): 826 mutantów, kontrola tożsamościowa w całości zielona dla każdego celu. Ocalałe na końcu: 57, z czego:RedactorL21 (ograniczenie środowiska, wyżej).Zabite: 9 mutantów widoczności UNCOVERED (ręcznie) i
EnvironmentL35 (bez--untracked-files=allnieśledzony katalog liczy się jako jedna zmiana; nowy test). Audyt 3 wskazał dwa mutantyControls, które dało się zabić tylko przez usterkępassed()opisaną wyżej. Poprawiona została przyczyna, a nie dopisany test utrwalający usterkę; po poprawce oba są równoważne (audyt 3b).Pomiar biegu na
src(Windows, PHP 8.4, Pest 5.3.5, pest-plugin-mutate 5.0.2, pcov)Bieg pełny
composer mutate -- --processes=8nasrc(drzewo z tymi zmianami, niezatwierdzone, przed poprawkami P1 z audytu): odrzucony, zgodnie z oczekiwaniem.--parallel)Przezycieuntested (2 passed),Zabicietested (1 failed)FunctionPublicToProtected: błąd krytyczny PHP); przy obecnych regułach każde z nich samo odrzuca bieg, dopóki nie trafi do rejestru z dowodem przyczynyTimeouty (86) — przyczyna, nie podniesiony limit. Limit wtyczki to czas pierwszego biegu zestawu + max(5 s, 20%), ok. 33 s. Bieg szeregowy samego
src/Scope/PathSanity.php(6 timeoutów przy 8 procesach): 21/21 zakończone, 0 timeoutów, z tego:6 warnings, 107 passed, ok. 20 s): to ukryte żywe mutanty, zabite tylko ostrzeżeniami z bug: stdin i stderr procesów potomnych przez protokół file psują testy pod wrapperem Pest Mutate (fałszywe zabicia mutantów) #73;Wniosek: timeout trafia mutanty, które przechodzą wszystkie pokrywające je testy (ok. 20 s szeregowo, ponad 33 s przy 8 procesach), oraz mutanty, w których losowa kolejność testów (
executionOrder="random"+--bail) stawia test zabijający za wolnymi testami integracyjnymi. Usunięcie przyczyny (szybsze testy pokrywające albo inna kolejność w procesie mutanta) to osobna decyzja, poza tym PR.Dowody
npm test219/219; 189 testów wtests/Unit/Mutation/z przypadkami pozytywnymi i ujemnymi (każda reguła uznania biegu, każdy przypadek fail-closed kontroli tożsamościowej, jedno fałszywe zabicie obok prawdziwych, test wycieku manifestu, strażnik dryfu łatki, budowa polecenia dziecka, redakcja ścieżek, całycomposer mutatew procesie testu z udawanym Pestem); hook pre-commit przeszedł (privacy, lint, stan, test)pc run); nowa reguła zakresumutation-toolma wiersze wClassifierTesti jest objętaRepoRulesCoverageTesttests/Unit/Mutation/AcceptanceTest.phpiControlsTest.php(każda reguła kompletności z bramka-repo: mutacje Pest Mutate na całym kodzie, zero żywych mutantów poza równoważnymi (rejestr, komentarz, niezależny audyt) #60 i każdy przypadek fail-closed odrzuca bieg) oraz zestaw kontrolnyscripts/mutation/control/; kontrola zerowa samego skryptu opisana wyżejcomposer privacyzielony; ścieżki w testach redakcji są syntetyczne; manifest, log i dzienniki biegu są redagowane w całości i leżą w ignorowanymbuild/; stan drzewa tylko jako liczbaCHANGELOG.md(Unreleased/Added): narzędzia deweloperskie, bez zmiany SemVer paczkiscripts/mutation/patch/MutationTest.phpto kopia klasy z pakietupestphp/pest-plugin-mutate5.0.2 (licencja MIT, tekst wscripts/mutation/patch/LICENSE-pest-plugin-mutate, zmiany opisane w nagłówku pliku); przyjęta przez właściciela 2026-11-14audit:okLinki
Refs: #60
Refs: #73
Refs: #80
Przed merge
quality-gateipr-titlezielonefilei stdin procesów potomnych): bez tego każdy bieg jest odrzucony przez kontrolę tożsamościową;src/Scopei pokrewne, kolejność testów w procesie mutanta);🤖 Generated with Claude Code
— Claude Code (agent lokalny)