TurboLLM: Offline AI Chat

TurboLLM запускае рэальныя вялікія моўныя мадэлі непасрэдна на працэсары вашага тэлефона Android — без воблака, без уліковага запісу, без падпіскі і без падключэння да Інтэрнэту пасля загрузкі мадэлі.

ЧАМУ ЛАКАЛЬНЫ ШІ

Большасць праграм для "штучнага чата" — гэта тонкая абалонка вакол чужога воблачнага API: вашы падказкі пакідаюць ваш тэлефон, вашы размовы знаходзяцца на серверы, якім вы не кіруеце, і праграма перастае працаваць у момант страты сігналу. TurboLLM адрозніваецца. Мадэль працуе ў рэальным механізме вываду на прыладзе (llama.cpp, скампіляваны для Android), і ваша размова ніколі не павінна пакідаць ваш тэлефон.

ШТО ВЫ МОЖАЦЕ ЗРАБІЦЬ

- Чат з адкрытымі лакальнымі LLM — Llama, Qwen, Gemma і любой іншай мадэллю GGUF — цалкам афлайн, нават у рэжыме палёту.

- Знаходзьце і спампоўвайце мадэлі непасрэдна з Hugging Face, прама ў праграме, адным дотыкам.
- Механізм вываду ўсталёўваецца аўтаматычна пры першай неабходнасці — без ручной налады, без кампіляцыі, без тэрмінала.
- Стварайце ўласныя агенты штучнага інтэлекту з уласнымі сістэмнымі падказкамі і доступам да навыкаў/інструментаў для розных задач — дапамогі ў кадаванні, напісання тэкстаў, даследаванняў або цалкам чыстага ліста без уведзеных інструкцый.
- Адсочвайце ўласнае выкарыстанне з цягам часу: сесіі, паведамленні, агульная колькасць згенераваных токенаў, паласы і найбольш часта выкарыстоўваная мадэль — усё вылічваецца лакальна з вашай уласнай гісторыі.
- Дакладная налада генерацыі з дапамогай элементаў кіравання для кожнага чата: бюджэт абдумвання, выбарка і намаганні па разважанні для мадэляў, якія іх падтрымліваюць.
- Той жа інтэрфейс, што і ў настольнай праграмы TurboLLM (Windows, Mac, Linux) — калі вы выкарыстоўвалі TurboLLM на кампутары, ваш тэлефон працуе дакладна гэтак жа.

ПРЫВАТНАСЦЬ ПА ДЫЗАЙНЕ

- Няма ўліковага запісу, няма ўваходу ў сістэму, няма воблачнага бэкенда для вашых размоў.
- Няма тэлеметрыі, няма аналітыкі, няма SDK для справаздач аб збоях, які тэлефануе дадому ў гэтай зборцы.
- Чаты і загружаныя мадэлі захоўваюцца толькі ў прыватным сховішчы гэтай праграмы на вашай прыладзе.
- Вашы падказкі, файлы і вагі мадэляў ніколі не адпраўляюцца нам ці каму-небудзь яшчэ. Адзіныя сеткавыя запыты, якія робіць гэта дадатак, — гэта тыя, якія вы самі ініцыявалі: загрузка абранай мадэлі, атрыманне двайковага файла механізму вываду пры першай неабходнасці або выклік інструмента, які вы відавочна ўхвалілі.

КАРЫСНА ВЕДАЦЬ

Вывад працуе на працэсары вашага тэлефона, таму хуткасць залежыць ад вашага чыпсэта і памеру абранай вамі мадэлі — меншыя мадэлі (з параметрамі 1-4B) адчуваюцца найбольш рэагуючымі на большасці тэлефонаў, а большыя даступныя, калі ваша абсталяванне можа іх вытрымаць. Актыўная генерацыя — гэта рэальная вылічальная праца, таму чакайце нармальнай нагрузкі на батарэю і цеплавой нагрузкі, як і любая задача штучнага інтэлекту на прыладзе.

ДЛЯ КАГО

Карыстальнікі, якія клапоцяцца пра прыватнасць, энтузіясты лакальнага штучнага інтэлекту, распрацоўшчыкі, якія ўжо запускаюць TurboLLM або llama.cpp на кампутары, і ўсе, хто цікавіцца, як адчуваецца сапраўдны афлайн-чат LLM на тэлефоне — пад вашым кантролем, на вашым абсталяванні, калі нічога не пакідае прыладу.