TurboLLM: Offline AI Chat

TurboLLM menjalankan model bahasa yang sangat besar terus pada CPU telefon Android anda — tiada awan, tiada akaun, tiada langganan dan tiada sambungan internet diperlukan sebaik sahaja model dimuat turun.

KENAPA AI TEMPATAN

Kebanyakan aplikasi "sembang AI" adalah pembungkus nipis di sekitar API awan orang lain: gesaan anda meninggalkan telefon anda, perbualan anda berada di pelayan yang tidak anda kawal dan aplikasi berhenti berfungsi sebaik sahaja anda kehilangan isyarat. TurboLLM adalah berbeza. Model ini berjalan dalam enjin inferens pada peranti sebenar (llama.cpp, dikompilasi untuk Android), dan perbualan anda tidak perlu meninggalkan telefon anda.

APA YANG ANDA BOLEH LAKUKAN

- Bersembang dengan LLM tempatan berat terbuka — Llama, Qwen, Gemma dan mana-mana model GGUF lain — sepenuhnya di luar talian, walaupun dalam mod pesawat.
- Temui dan muat turun model terus dari Hugging Face, betul-betul di dalam aplikasi, dengan satu ketikan.
- Enjin inferens memasang dirinya sendiri secara automatik pada kali pertama anda memerlukannya — tiada persediaan manual, tiada penyusunan, tiada terminal.
- Cipta ejen AI tersuai dengan gesaan sistem dan akses kemahiran/alat mereka sendiri, untuk tugas yang berbeza — bantuan pengekodan, penulisan, penyelidikan atau papan tulis kosong sepenuhnya tanpa arahan yang disuntik.
- Jejaki penggunaan anda sendiri dari semasa ke semasa: sesi, mesej, jumlah token yang dijana, coretan dan model yang paling kerap digunakan — semuanya dikira secara setempat daripada sejarah anda sendiri.
- Penalaan penjanaan dengan kawalan setiap sembang: bajet pemikiran, persampelan dan usaha penaakulan, untuk model yang menyokongnya.
- Antara muka yang sama seperti aplikasi desktop TurboLLM (Windows, Mac, Linux) — jika anda telah menggunakan TurboLLM pada komputer, telefon anda berfungsi dengan cara yang sama.

PRIVASI MENGIKUT REKA BENTUK

- Tiada akaun, tiada log masuk, tiada hujung belakang awan untuk perbualan anda.
- Tiada telemetri, tiada analitik, tiada SDK pelaporan ranap yang menelefon rumah dalam binaan ini.
- Sembang dan model yang dimuat turun hanya terdapat dalam storan peribadi aplikasi ini pada peranti anda.
- Gesaan, fail dan pemberat model anda tidak pernah dihantar kepada kami atau sesiapa pun. Satu-satunya permintaan rangkaian yang dibuat oleh aplikasi ini adalah permintaan yang anda cetuskan sendiri: memuat turun model yang anda pilih, mengambil binari enjin inferens pada kali pertama ia diperlukan, atau panggilan alat yang anda luluskan secara eksplisit.

PERLU DIKETAHUI

Inferens berjalan pada CPU telefon anda, jadi kelajuan bergantung pada cipset anda dan saiz model yang anda pilih — model yang lebih kecil (parameter 1-4B) terasa paling responsif pada kebanyakan telefon, dan yang lebih besar ada jika perkakasan anda boleh membawanya. Penjanaan aktif adalah kerja pengiraan sebenar, jadi jangkakan bateri dan beban haba biasa, sama seperti mana-mana tugas AI pada peranti.

UNTUK SIAPA IA

Pengguna yang mementingkan privasi, peminat AI tempatan, pembangun yang sudah menjalankan TurboLLM atau llama.cpp pada komputer, dan sesiapa sahaja yang ingin tahu bagaimana rasanya sembang LLM luar talian yang sebenar pada telefon — di bawah kawalan anda, pada perkakasan anda, tanpa apa-apa yang meninggalkan peranti.