TurboLLM: Offline AI Chat

TurboLLM executa models de llenguatge grans i reals directament a la CPU del teu telèfon Android: sense núvol, sense compte, sense subscripció i sense connexió a Internet un cop descarregat un model.

PER QUÈ IA LOCAL

La majoria d'aplicacions de "xat amb IA" són un embolcall prim al voltant de l'API al núvol d'una altra persona: les teves indicacions surten del teu telèfon, les teves converses es queden en un servidor que no controles i l'aplicació deixa de funcionar en el moment que perds el senyal. TurboLLM és diferent. El model s'executa en un motor d'inferència real al dispositiu (llama.cpp, compilat per a Android) i la teva conversa no ha de sortir mai del teu telèfon.

QUÈ POTS FER

- Xateja amb LLM locals de pes obert (Llama, Qwen, Gemma i qualsevol altre model GGUF) completament fora de línia, fins i tot en mode avió.

- Descobreix i descarrega models directament des de Hugging Face, dins de l'aplicació, amb un sol toc.

- El motor d'inferència s'instal·la automàticament la primera vegada que el necessites: sense configuració manual, sense compilació, sense terminal. - Crea agents d'IA personalitzats amb el seu propi sistema de missatges i accés a habilitats/eines, per a diferents tasques: ajuda amb la codificació, escriptura, recerca o una pissarra completament en blanc sense instruccions injectades.
- Fes un seguiment del teu propi ús al llarg del temps: sessions, missatges, total de tokens generats, ratxes i el model més utilitzat, tot calculat localment a partir del teu propi historial.
- Ajusta la generació amb controls per xat: pressupost de pensament, mostreig i esforç de raonament, per a models que els admeten.
- La mateixa interfície que l'aplicació d'escriptori de TurboLLM (Windows, Mac, Linux): si has utilitzat TurboLLM en un ordinador, el teu telèfon funciona exactament de la mateixa manera.

PRIVACITAT PER DISSENY

- Sense compte, sense inici de sessió, sense backend al núvol per a les teves converses.
- Sense telemetria, sense anàlisis, sense SDK d'informes d'errors que truquin a casa en aquesta compilació.
- Els xats i els models descarregats només es troben a l'emmagatzematge privat d'aquesta aplicació al teu dispositiu.
- Els teus missatges, fitxers i pesos de models no s'envien mai a nosaltres ni a ningú més. Les úniques sol·licituds de xarxa que fa aquesta aplicació són les que has activat tu mateix: descarregar un model que has triat, obtenir el binari del motor d'inferència la primera vegada que es necessita o una trucada d'eina que has aprovat explícitament.

INFORMACIÓ QUE VAL LA PENA SABER

La inferència s'executa a la CPU del telèfon, de manera que la velocitat depèn del xipset i de la mida del model que triïs: els models més petits (paràmetres d'1 a 4 milions de dòlars) són els que responen millor a la majoria de telèfons, i els més grans hi són si el maquinari els pot suportar. La generació activa és un treball de càlcul real, així que espera una càrrega tèrmica i de bateria normal, igual que qualsevol tasca d'IA al dispositiu.

A QUI VA DIRIGIT

Usuaris preocupats per la privadesa, entusiastes de la IA local, desenvolupadors que ja executen TurboLLM o llama.cpp en un ordinador i qualsevol persona que tingui curiositat per saber com és un xat LLM realment fora de línia en un telèfon, sota el teu control, al teu maquinari, sense que res surti del dispositiu.