TurboLLM: Offline AI Chat

TurboLLM നിങ്ങളുടെ Android ഫോണിന്റെ CPU-യിൽ നേരിട്ട് വലിയ ഭാഷാ മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നു — ക്ലൗഡ് ഇല്ല, അക്കൗണ്ടില്ല, സബ്‌സ്‌ക്രിപ്‌ഷനില്ല, ഒരു മോഡൽ ഡൗൺലോഡ് ചെയ്‌തുകഴിഞ്ഞാൽ ഇന്റർനെറ്റ് കണക്ഷൻ ആവശ്യമില്ല.

എന്തുകൊണ്ട് LOCAL AI ഇല്ല

മിക്ക "AI ചാറ്റ്" ആപ്പുകളും മറ്റൊരാളുടെ ക്ലൗഡ് API-യെ ചുറ്റിപ്പറ്റിയുള്ള നേർത്ത ഒരു റാപ്പറാണ്: നിങ്ങളുടെ പ്രോംപ്റ്റുകൾ നിങ്ങളുടെ ഫോണിൽ നിന്ന് പുറത്തുപോകുന്നു, നിങ്ങളുടെ സംഭാഷണങ്ങൾ നിങ്ങൾ നിയന്ത്രിക്കാത്ത ഒരു സെർവറിൽ ഇരിക്കുന്നു, കൂടാതെ നിങ്ങൾ സിഗ്നൽ നഷ്ടപ്പെടുന്ന നിമിഷം ആപ്പ് പ്രവർത്തിക്കുന്നത് നിർത്തുന്നു. TurboLLM വ്യത്യസ്തമാണ്. മോഡൽ ഒരു യഥാർത്ഥ ഉപകരണത്തിലെ അനുമാന എഞ്ചിനിലാണ് (llama.cpp, Android-നായി സമാഹരിച്ചത്) പ്രവർത്തിക്കുന്നത്, നിങ്ങളുടെ സംഭാഷണം ഒരിക്കലും നിങ്ങളുടെ ഫോൺ വിട്ടുപോകേണ്ടതില്ല.

നിങ്ങൾക്ക് എന്തുചെയ്യാൻ കഴിയും

- ഓപ്പൺ-വെയ്റ്റ് ലോക്കൽ LLM-കളുമായി ചാറ്റ് ചെയ്യുക — Llama, Qwen, Gemma, മറ്റേതെങ്കിലും GGUF മോഡൽ — പൂർണ്ണമായും ഓഫ്‌ലൈനിൽ, വിമാന മോഡിൽ പോലും.
- ഹഗ്ഗിംഗ് ഫേസിൽ നിന്ന് നേരിട്ട്, ആപ്പിനുള്ളിൽ, ഒറ്റ ടാപ്പിലൂടെ മോഡലുകൾ കണ്ടെത്തി ഡൗൺലോഡ് ചെയ്യുക.
- നിങ്ങൾക്ക് ആദ്യമായി ആവശ്യമുള്ളപ്പോൾ അനുമാന എഞ്ചിൻ സ്വയം യാന്ത്രികമായി ഇൻസ്റ്റാൾ ചെയ്യുന്നു — മാനുവൽ സജ്ജീകരണമില്ല, കംപൈലിംഗ് ഇല്ല, ടെർമിനൽ ഇല്ല.
- വ്യത്യസ്ത ജോലികൾക്കായി - കോഡിംഗ് സഹായം, എഴുത്ത്, ഗവേഷണം, അല്ലെങ്കിൽ സീറോ ഇൻജെക്റ്റഡ് നിർദ്ദേശങ്ങളോടെ പൂർണ്ണമായും ശൂന്യമായ സ്ലേറ്റ് - സ്വന്തം സിസ്റ്റം പ്രോംപ്റ്റും സ്കിൽ/ടൂൾ ആക്‌സസും ഉപയോഗിച്ച് ഇഷ്ടാനുസൃത AI ഏജന്റുമാരെ സൃഷ്ടിക്കുക.
- കാലക്രമേണ നിങ്ങളുടെ സ്വന്തം ഉപയോഗം ട്രാക്ക് ചെയ്യുക: സെഷനുകൾ, സന്ദേശങ്ങൾ, ആകെ സൃഷ്ടിച്ച ടോക്കണുകൾ, സ്ട്രീക്കുകൾ, നിങ്ങൾ ഏറ്റവും കൂടുതൽ ഉപയോഗിക്കുന്ന മോഡൽ - എല്ലാം നിങ്ങളുടെ സ്വന്തം ചരിത്രത്തിൽ നിന്ന് പ്രാദേശികമായി കണക്കാക്കുന്നു.
- ഓരോ ചാറ്റ് നിയന്ത്രണങ്ങളോടും കൂടി ജനറേഷൻ ഫൈൻ-ട്യൂൺ ചെയ്യുക: അവയെ പിന്തുണയ്ക്കുന്ന മോഡലുകൾക്കായി ചിന്താ ബജറ്റ്, സാമ്പിൾ, യുക്തിസഹമായ ശ്രമം.
- TurboLLM-ന്റെ ഡെസ്‌ക്‌ടോപ്പ് ആപ്പിന്റെ (Windows, Mac, Linux) അതേ ഇന്റർഫേസ് - നിങ്ങൾ ഒരു കമ്പ്യൂട്ടറിൽ TurboLLM ഉപയോഗിച്ചിട്ടുണ്ടെങ്കിൽ, നിങ്ങളുടെ ഫോൺ കൃത്യമായി അതേ രീതിയിൽ പ്രവർത്തിക്കുന്നു.

ഡിസൈൻ പ്രകാരം സ്വകാര്യത

- അക്കൗണ്ടില്ല, ലോഗിൻ ഇല്ല, നിങ്ങളുടെ സംഭാഷണങ്ങൾക്ക് ക്ലൗഡ് ബാക്കെൻഡ് ഇല്ല.
- ടെലിമെട്രി ഇല്ല, അനലിറ്റിക്‌സ് ഇല്ല, ക്രാഷ്-റിപ്പോർട്ടിംഗ് SDK ഈ ബിൽഡിൽ വീട്ടിലേക്ക് ഫോൺ ചെയ്യുന്നില്ല.
- ചാറ്റുകളും ഡൗൺലോഡ് ചെയ്‌ത മോഡലുകളും നിങ്ങളുടെ ഉപകരണത്തിലെ ഈ ആപ്പിന്റെ സ്വകാര്യ സംഭരണത്തിൽ മാത്രമേ നിലനിൽക്കൂ.
- നിങ്ങളുടെ പ്രോംപ്റ്റുകൾ, ഫയലുകൾ, മോഡൽ വെയ്‌റ്റുകൾ എന്നിവ ഒരിക്കലും ഞങ്ങൾക്കോ ​​മറ്റാർക്കോ അയയ്ക്കില്ല. ഈ ആപ്പ് നടത്തുന്ന നെറ്റ്‌വർക്ക് അഭ്യർത്ഥനകൾ നിങ്ങൾ സ്വയം ട്രിഗർ ചെയ്യുന്നവയാണ്: നിങ്ങൾ തിരഞ്ഞെടുത്ത ഒരു മോഡൽ ഡൗൺലോഡ് ചെയ്യുക, ആവശ്യമുള്ളപ്പോൾ ആദ്യമായി ഇൻഫെറൻസ് എഞ്ചിൻ ബൈനറി എടുക്കുക, അല്ലെങ്കിൽ നിങ്ങൾ വ്യക്തമായി അംഗീകരിച്ച ഒരു ടൂൾ കോൾ ചെയ്യുക.

അറിയേണ്ടത്

നിങ്ങളുടെ ഫോണിന്റെ സിപിയുവിൽ അനുമാനം പ്രവർത്തിക്കുന്നു, അതിനാൽ വേഗത നിങ്ങളുടെ ചിപ്‌സെറ്റിനെയും നിങ്ങൾ തിരഞ്ഞെടുക്കുന്ന മോഡൽ വലുപ്പത്തെയും ആശ്രയിച്ചിരിക്കുന്നു - മിക്ക ഫോണുകളിലും ചെറിയ മോഡലുകൾ (1-4B പാരാമീറ്ററുകൾ) ഏറ്റവും പ്രതികരിക്കുന്നതായി അനുഭവപ്പെടുന്നു, നിങ്ങളുടെ ഹാർഡ്‌വെയറിന് അവ വഹിക്കാൻ കഴിയുമെങ്കിൽ വലിയ മോഡലുകൾ ഉണ്ട്. സജീവമായ ജനറേഷൻ യഥാർത്ഥ കമ്പ്യൂട്ട് വർക്കാണ്, അതിനാൽ സാധാരണ ബാറ്ററിയും തെർമൽ ലോഡും പ്രതീക്ഷിക്കുക, ഏതൊരു ഉപകരണത്തിലെയും AI ടാസ്‌ക്കിനും സമാനമാണ്.

ഇത് ആർക്കുവേണ്ടിയാണ്

സ്വകാര്യതയെക്കുറിച്ചുള്ള അവബോധമുള്ള ഉപയോക്താക്കൾ, ലോക്കൽ-AI പ്രേമികൾ, ഒരു കമ്പ്യൂട്ടറിൽ ഇതിനകം TurboLLM അല്ലെങ്കിൽ llama.cpp പ്രവർത്തിപ്പിക്കുന്ന ഡെവലപ്പർമാർ, ഒരു ഫോണിൽ ഒരു യഥാർത്ഥ ഓഫ്‌ലൈൻ LLM ചാറ്റ് എങ്ങനെയായിരിക്കുമെന്ന് ജിജ്ഞാസയുള്ള ആർക്കും - നിങ്ങളുടെ നിയന്ത്രണത്തിൽ, നിങ്ങളുടെ ഹാർഡ്‌വെയറിൽ, ഉപകരണത്തിൽ നിന്ന് ഒന്നും പുറത്തുപോകാതെ.