Asystent AI na 19 watach

Po co komu asystent na stronie o objawieniach

Portal gietrzwald.com opisuje objawienia maryjne z 1877 roku — jedyne w Polsce uznane przez Kościół. Odwiedzają go dwie grupy: osoby szukające historii i pielgrzymi planujący przyjazd. Ta druga grupa pyta o godziny mszy, noclegi, dojazd i parking — informacje rozsiane po całej stronie.

Asystent skraca tę drogę: pytanie zwykłym językiem, odpowiedź ze wskazaniem źródła. Dla nas było to jednocześnie wdrożenie pokazowe — działający przykład tego, co budujemy klientom.

Dlaczego lokalnie, a nie w chmurze

Przy portalu o objawieniach nie ma tajemnicy handlowej do ochrony. Ale architektura jest ta sama, którą stosujemy przy dokumentach firmowych — i właśnie o to chodziło: pokazać rozwiązanie, które przenosi się jeden do jednego na umowy, dokumentację techniczną czy akta kadrowe.

Model uruchomiony lokalnie oznacza trzy rzeczy naraz. Dane nie wychodzą, bo nie mają dokąd. Nie ma opłaty za zapytanie — im więcej pytań, tym taniej w przeliczeniu. Nie ma zależności od dostawcy: zmiana cennika czy regulaminu w chmurze nie dotyczy systemu, który stoi u Ciebie.

Polski model, nie tłumaczony

Wybraliśmy Bielik-4.5B-v3.0-Instruct — otwarty model fundacji SpeakLeash i ACK Cyfronet AGH, na licencji Apache 2.0. Powód jest praktyczny: trenowany na polskim korpusie, więc odmienia wyrazy poprawnie i pisze naturalnie.

Wcześniej testowaliśmy model chiński. Radził sobie dobrze, ale sporadycznie wstawiał znaki chińskie w środek polskiego zdania — zjawisko znane przy modelach trenowanych głównie na innym języku. Na stronie o treści religijnej to niedopuszczalne. Bielik problemu nie ma.

Kwantyzacja, czyli jak zmieścić model w 8 GB

Tu zaczyna się część, która zdecydowała o powodzeniu wdrożenia.

Jetson Orin Nano ma 8 GB pamięci współdzielonej między procesorem a układem graficznym — inaczej niż karta RTX, gdzie GPU ma własną. Oficjalna wersja Bielika w kwantyzacji Q8 zajmuje 5,3 GB. Po odliczeniu systemu i pozostałych procesów zabrakło około 900 MB.

Efekt: na GPU zmieściło się 41 z 61 warstw modelu, a pozostałe 20 liczył procesor ARM. Ponieważ każdy token musi przejść przez wszystkie warstwy po kolei, te dwadzieścia stało się wąskim gardłem całości. Prędkość spadła do 4,9 tokena na sekundę — odpowiedź po kilkunastu sekundach.

Kwantyzacja to kompresja wag modelu. Q8 zapisuje każdą wagę na ośmiu bitach, Q4 na czterech — plik kurczy się o połowę. Metoda K_M różnicuje precyzję między warstwami: ważniejsze zachowują więcej bitów. Dlatego strata jakości jest mniejsza, niż sugerowałaby sama redukcja rozmiaru.

Po przejściu na Q4_K_M model zajmuje 3,06 GB i mieści się w całości na GPU — wszystkie 61 warstw. Prędkość wzrosła do około 15 tokenów na sekundę, czyli ponad trzykrotnie.

Jedna pułapka warta odnotowania: kwantyzacji nie da się pogłębić. Próba przekonwertowania gotowego pliku Q8 na Q4 kończy się błędem, bo operacja wymaga źródła w pełnej precyzji. Informacja raz utracona nie wraca.

Pobór mocy: zmierzony, nie katalogowy

Producent podaje dla tego urządzenia limit 25 watów w trybie maksymalnej wydajności. Zmierzyliśmy, ile pobiera naprawdę:

Przy pracy ciągłej daje to rząd kilkudziesięciu złotych rocznie za prąd. Dla porównania: abonament za API modelu chmurowego przy intensywnym użyciu potrafi kosztować tyle miesięcznie.

RAG, czyli dlaczego model nie zmyśla

Sam model językowy nie wie nic o Gietrzwałdzie. Sprawdziliśmy to wprost — zapytany bez dodatkowego kontekstu, jeden z testowanych modeli odpowiedział, że Gietrzwałd to wiersz francuskiego poety Alphonse'a de Lamartine. Czysta konfabulacja.

Dlatego system działa w architekturze RAG: wyszukiwarka najpierw znajduje pasujące fragmenty w bazie wiedzy, a model formułuje odpowiedź wyłącznie na ich podstawie i podaje źródła. Gdy informacji brakuje, mówi o tym wprost zamiast zgadywać.

Baza liczy 82 dokumenty: kalendarium objawień dzień po dniu, rozdziały historyczne, informacje praktyczne. Powstała z treści serwisu, po weryfikacji faktów w co najmniej dwóch niezależnych źródłach.

Testy: 449 pytań, nie wrażenie

RAG bez testów wygląda, że działa — dopóki ktoś nie zada pytania w innej formie fleksyjnej. Zbudowaliśmy zbiór 449 pytań kontrolnych w wariantach, jakimi ludzie faktycznie piszą: bez polskich znaków, małymi literami, bez znaku zapytania.

To nie jest sztuczne mnożenie. Zmierzyliśmy, że pytanie „ile było objawień?" trafiało poprawnie, a „Ile bylo objawien" już nie — bo mechanizm skracania końcówek inaczej potraktował formę bez ogonków. Polska fleksja jest tu trudniejsza niż angielska.

Testy wykryły też błędy, których nie sposób przewidzieć przy biurku. Model przypisał adres muzeum Domowi Pielgrzyma, bo oba dokumenty trafiły do jednego kontekstu. Dodanie reguły „nie łącz danych z różnych dokumentów" nie pomogło — dopiero odfiltrowanie dokumentów adresowych z wyszukiwania rozwiązało problem. Gdy model uparcie robi coś złego mimo instrukcji, skuteczniej jest odebrać mu okazję niż powtarzać zakaz.

Zgodność z AI Act — od początku, nie po fakcie

Obowiązki informacyjne z artykułu 50 rozporządzenia 2024/1689 weszły w życie 2 sierpnia 2026 i dotyczą każdej firmy używającej chatbota, bez progu wielkości.

System spełnia je w praktyce: jest wyraźnie oznaczony jako AI, podaje model i sprzęt, cytuje źródła każdej odpowiedzi i informuje o granicach swojej wiedzy. Komunikat widnieje bezpośrednio przy czacie, a nie ukryty w regulaminie — przepis wymaga, by użytkownik wiedział od początku rozmowy.

Do tego dokumentacja zgodna z logiką norm ISO/IEC 42001 i 23894: opis pochodzenia danych, rejestr ryzyk wraz z zastosowanymi środkami, wyniki testów i plan utrzymania.

Co z tego wynika dla firm

Ten sam schemat przenosi się na dokumenty firmowe — podmienia się bazę wiedzy, reszta działa tak samo. Jeśli asystent radzi sobie z kalendarium sprzed 150 lat i rozróżnia adres muzeum od adresu noclegu, poradzi sobie z procedurą wewnętrzną i bazą zgłoszeń.

Kluczowa różnica wobec rozwiązań chmurowych: dokumenty zostają w organizacji. Przy umowach, danych osobowych i dokumentacji technicznej to nie jest szczegół, tylko warunek wdrożenia.