TurboLLM: Offline AI Chat

TurboLLM spouští skutečné rozsáhlé jazykové modely přímo na procesoru vašeho telefonu Android – po stažení modelu není vyžadován žádný cloud, žádný účet, žádné předplatné ani připojení k internetu.

PROČ LOKÁLNÍ AI

Většina aplikací pro „chat s AI“ je tenkým obalem kolem cloudového API někoho jiného: vaše výzvy opouštějí váš telefon, vaše konverzace se nacházejí na serveru, který neovládáte, a aplikace přestane fungovat v okamžiku, kdy ztratíte signál. TurboLLM je jiný. Model běží ve skutečném inferenčním enginu na zařízení (llama.cpp, kompilovaný pro Android) a vaše konverzace nikdy nemusí opustit váš telefon.

CO MŮŽETE DĚLAT

- Chatujte s lokálními LLM s otevřenou váhou – Llama, Qwen, Gemma a jakýmkoli jiným modelem GGUF – plně offline, dokonce i v režimu letadlo.
- Objevujte a stahujte modely přímo z Hugging Face, přímo v aplikaci, jedním klepnutím.
- Inferenční engine se automaticky nainstaluje, když ho poprvé potřebujete – žádné ruční nastavení, žádná kompilace, žádný terminál.
- Vytvořte si vlastní AI agenty s vlastními systémovými výzvami a přístupem k dovednostem/nástrojům pro různé úkoly – pomoc s kódováním, psaní, výzkum nebo zcela prázdný stůl bez vložených instrukcí.
- Sledujte své vlastní využití v čase: relace, zprávy, celkový počet generovaných tokenů, série a váš nejpoužívanější model – vše vypočítáno lokálně z vaší vlastní historie.
- Dolaďte generování pomocí ovládacích prvků pro jednotlivé chaty: rozpočet na přemýšlení, vzorkování a úsilí o uvažování pro modely, které je podporují.
- Stejné rozhraní jako desktopová aplikace TurboLLM (Windows, Mac, Linux) – pokud jste TurboLLM používali na počítači, váš telefon funguje přesně stejně.

SOUKROMÍ UŽ VYTVOŘENO

- Žádný účet, žádné přihlášení, žádný cloudový backend pro vaše konverzace.
- Žádná telemetrie, žádná analytika, žádné SDK pro hlášení o selhání, které by se v této verzi hlásilo.
- Chaty a stažené modely jsou k dispozici pouze v soukromém úložišti této aplikace na vašem zařízení.
- Vaše výzvy, soubory a váhy modelů se nikdy neodesílají nám ani nikomu jinému. Jediné síťové požadavky, které tato aplikace provádí, jsou ty, které jste sami spustili: stahování modelu, který jste si vybrali, načtení binárního souboru inferenčního enginu při první potřebě nebo volání nástroje, které jste explicitně schválili.

CO JE ZNAMENÍ

Inference běží na procesoru vašeho telefonu, takže rychlost závisí na vaší čipové sadě a velikosti modelu, který si vyberete – menší modely (s parametry 1–4 MB) se na většině telefonů jeví jako nejrychlejší a větší jsou k dispozici, pokud je váš hardware zvládne. Aktivní generování je skutečná výpočetní práce, takže počítejte s normálním zatížením baterie a teplem, stejně jako u jakékoli úlohy umělé inteligence na zařízení.

PRO KOHO JE URČENO

Uživatelé, kteří si uvědomují soukromí, nadšenci do lokální umělé inteligence, vývojáři, kteří již na počítači používají TurboLLM nebo llama.cpp, a všichni, kteří se zajímají o to, jaký je skutečně offline chat LLM na telefonu – pod vaší kontrolou, na vašem hardwaru, bez toho, aby cokoli opouštělo zařízení.