Co tworzę
Podczas pracy nad LocalAI-RAG szybko okazało się, że sam wynik odpowiedzi nie tłumaczy błędów pipeline’u. Dlatego przygotowałem RAG Debug Toolkit — rozszerzenie VS Code do przeglądania dużych śladów JSON, JSONC i JSONL. Mogę otworzyć wyrenderowany prompt, porównać stan między krokami, przeanalizować kolejność akcji i wygenerować diagram z przebiegu.
Widoczność zamiast zgadywania
Przechowuję ślad wykonania i w VS Code oglądam nie tylko nazwę akcji, ale także wejście, istotne zmiany stanu oraz efekt. CodeLens otwiera rozkodowane prompty i wiadomości czatu w czytelnej postaci Markdown, dzięki czemu mogę sprawdzić, co rzeczywiście otrzymał model.
Przepływ, metryki i wąskie gardła
Trace Explorer pokazuje kolejność kroków, identyfikatory, podstawowe liczniki i czas wykonania. Zdarzenia mogę przekształcić w diagram aktywności PlantUML, a porównywanie długości podobnych akcji pomaga zauważyć potencjalne spowolnienia. To małe narzędzie powstałe z rzeczywistej potrzeby debugowania.
Zakres projektu
- CodeLens do rendered_prompt i rendered_chat_messages
- Trace Explorer ze stanem i metrykami kolejnych kroków
- Widoki różnic stanu między krokami pipeline’u
- Generowanie Activity UML przez PlantUML/PlantText
- Diagnostyka czasów akcji i oznaczanie podejrzanie wolnych kroków
- Paczka VSIX do instalacji w VS Code