Lokalny chatbot AI na Ubuntu – ktoś używa na co dzień?

[MateuszJ82]

Cześć,

jestem tu nowy, choć czytam forum od lat. Ubuntu używam od wersji 10.04, teraz 24.04 na laptopie i na starym stacjonarnym.

Ostatnio z ciekawości postawiłem sobie lokalny model językowy przez Ollamę. Na laptopie z 16 GB RAM mniejsze modele chodzą znośnie, większe już mielą dysk. Do prostych rzeczy, jak podsumowanie maila czy skrypt w bashu, całkiem ok. Gorzej z faktami: zapytałem o historię wydań Ubuntu i model z pełnym przekonaniem wymyślił nazwę kodową, której nigdy nie było.

Druga rzecz, która mnie zaskoczyła: znajomy używa podobnych aplikacji w telefonie nie do pracy, tylko do zwykłej rozmowy wieczorem. Mówi, że to jak pogadać z kimś, kto zawsze ma czas. Dla mnie trochę dziwne, ale może się po prostu starzeję.

Znajomy podesłał mi potem tekst o tym, jaka jest najlepsza AI dziewczyna w 2026 roku, i nawet tam autor uczciwie przyznaje, że takie boty potrafią zmyślać fakty.

Macie doświadczenia z lokalnymi modelami na Ubuntu? Który model polecacie do języka polskiego, żeby nie trzeba było wszystkiego sprawdzać dwa razy?

[prymula]

Do języka polskiego spróbuj naszego rodzimego bielika. Do modeli ai trzeba mieć raczej nowoczesny sprzęt. 8gb vram to raczej minimum. Choć słyszałem o modelach uruchamianych na Integrze.

[mario_7]

Dzięki LM Studio jest to dosyć proste - można z łatwością przetestować różne modele i może któryś się nada do własnych potrzeb.

To prawda, że duże modele, które mogą więcej i lepiej, potrzebują bardzo mocnych maszyn do pracy, ale do prostych zadań te mniejsze też się nadadzą. Należy jednak wziąć pod uwagę, że na słabszym sprzęcie nawet małe modele będą długo "myślały" nad odpowiedzią
Zdecydowanie warto wybierać takie modele, które w całości mieszczą się w RAM karty graficznej. Mając 2 karty - zintegrowaną i dedykowaną - można używać tej dedykowanej w całości do AI.

Jeśli lokalny model jest zbyt wolny, albo za słaby, to zawsze zostaje https://duck.ai

[krzysiek_lbn77]

Zdecydowanie warto wybierać takie modele, które w całości mieszczą się w RAM karty graficznej.

mario_7 tu nie byłbym taki pewien z tą kartą graficzną. Na laptopie z 16 GB RAM i bez mocnego GPU małe modele na samym procku chodzą u mnie całkiem znośnie, więc szczerze mówiąc nie trzeba od razu kombinować z vramem do prostych rzeczy. Z mojego doświadczenia to wolne jest głównie przy większych modelach, a duck.ai spoko jako zapas, tylko wtedy to już nie lokalnie