TurboLLM: Offline AI Chat
ప్రతి ఒక్కరు
info
100+
డౌన్‌లోడ్‌లు
ప్రతి ఒక్కరు
మరింత తెలుసుకోండి
ఈ యాప్ గురించి పరిచయం
TurboLLM నిజమైన పెద్ద భాషా నమూనాలను (language models) నేరుగా మీ ఆండ్రాయిడ్ ఫోన్ CPU పైనే నడుపుతుంది — ఒకసారి మోడల్ డౌన్‌లోడ్ అయ్యాక, దీనికి క్లౌడ్, ఖాతా, సబ్‌స్క్రిప్షన్ మరియు ఇంటర్నెట్ కనెక్షన్ అవసరం లేదు.
స్థానిక AI ఎందుకు
చాలా "AI చాట్" యాప్‌లు ఇతరుల క్లౌడ్ API చుట్టూ ఉండే ఒక సన్నని పొరలా ఉంటాయి: మీ ప్రాంప్ట్‌లు మీ ఫోన్ నుండి బయటకు వెళ్తాయి, మీ సంభాషణలు మీరు నియంత్రించలేని సర్వర్‌లో ఉంటాయి, మరియు మీకు సిగ్నల్ పోయిన క్షణంలో యాప్ పనిచేయడం ఆగిపోతుంది. TurboLLM భిన్నమైనది. ఈ మోడల్ ఒక నిజమైన ఆన్-డివైస్ ఇన్ఫరెన్స్ ఇంజిన్‌లో (llama.cpp, ఆండ్రాయిడ్ కోసం కంపైల్ చేయబడింది) నడుస్తుంది, మరియు మీ సంభాషణ ఎప్పటికీ మీ ఫోన్ నుండి బయటకు వెళ్లాల్సిన అవసరం లేదు.
మీరు ఏమి చేయగలరు
- ఓపెన్-వెయిట్ స్థానిక LLM లతో — లామా, క్వెన్, జెమ్మా, మరియు ఏదైనా ఇతర GGUF మోడల్‌తో — పూర్తిగా ఆఫ్‌లైన్‌లో, ఎయిర్‌ప్లేన్ మోడ్‌లో కూడా చాట్ చేయండి.
- యాప్‌లోనే, ఒక్క ట్యాప్‌తో హగ్గింగ్ ఫేస్ నుండి నేరుగా మోడల్‌లను కనుగొని డౌన్‌లోడ్ చేసుకోండి.
- మీకు మొదటిసారి అవసరమైనప్పుడు ఇన్ఫరెన్స్ ఇంజిన్ దానంతట అదే ఇన్‌స్టాల్ అవుతుంది — మాన్యువల్ సెటప్, కంపైలింగ్, టెర్మినల్ ఏమీ అవసరం లేదు.
- వివిధ పనుల కోసం — కోడింగ్ సహాయం, రచన, పరిశోధన, లేదా ఎటువంటి సూచనలు లేకుండా పూర్తిగా కొత్తగా — వాటి స్వంత సిస్టమ్ ప్రాంప్ట్ మరియు నైపుణ్యం/సాధనం యాక్సెస్‌తో కస్టమ్ AI ఏజెంట్‌లను సృష్టించండి.
- కాలక్రమేణా మీ స్వంత వినియోగాన్ని ట్రాక్ చేయండి: సెషన్‌లు, సందేశాలు, సృష్టించబడిన మొత్తం టోకెన్‌లు, స్ట్రీక్‌లు మరియు మీరు ఎక్కువగా ఉపయోగించిన మోడల్ — ఇవన్నీ మీ స్వంత హిస్టరీ నుండి స్థానికంగా లెక్కించబడతాయి.
- ప్రతి చాట్‌కు నియంత్రణలతో జనరేషన్‌ను మెరుగుపరచండి: థింకింగ్ బడ్జెట్, శాంప్లింగ్ మరియు రీజనింగ్ ఎఫర్ట్, వీటికి మద్దతు ఇచ్చే మోడల్‌ల కోసం.
- TurboLLM డెస్క్‌టాప్ యాప్ (Windows, Mac, Linux) వలె అదే ఇంటర్‌ఫేస్ — మీరు కంప్యూటర్‌లో TurboLLMని ఉపయోగించినట్లయితే, మీ ఫోన్ కూడా సరిగ్గా అదే విధంగా పనిచేస్తుంది.
డిజైన్ ద్వారానే గోప్యత
- మీ సంభాషణల కోసం ఖాతా లేదు, లాగిన్ లేదు, క్లౌడ్ బ్యాకెండ్ లేదు.
- ఈ బిల్డ్‌లో టెలిమెట్రీ లేదు, అనలిటిక్స్ లేదు, క్రాష్-రిపోర్టింగ్ SDK ఫోనింగ్ హోమ్ లేదు.
- చాట్‌లు మరియు డౌన్‌లోడ్ చేసిన మోడల్‌లు మీ పరికరంలోని ఈ యాప్ యొక్క ప్రైవేట్ స్టోరేజ్‌లో మాత్రమే ఉంటాయి.
- మీ ప్రాంప్ట్‌లు, ఫైల్‌లు మరియు మోడల్ వెయిట్‌లు మాకు గానీ లేదా మరెవరికీ గానీ ఎప్పటికీ పంపబడవు. ఈ యాప్ చేసే ఏకైక నెట్‌వర్క్ అభ్యర్థనలు మీరు స్వయంగా ప్రారంభించినవి మాత్రమే: మీరు ఎంచుకున్న మోడల్‌ను డౌన్‌లోడ్ చేయడం, మొదటిసారి అవసరమైనప్పుడు ఇన్ఫరెన్స్ ఇంజిన్ బైనరీని పొందడం, లేదా మీరు స్పష్టంగా ఆమోదించిన టూల్ కాల్ వంటివి.
తెలుసుకోవలసిన విషయాలు
ఇన్ఫరెన్స్ మీ ఫోన్ యొక్క CPU పై నడుస్తుంది, కాబట్టి వేగం మీ చిప్‌సెట్ మరియు మీరు ఎంచుకున్న మోడల్ పరిమాణంపై ఆధారపడి ఉంటుంది — చిన్న మోడల్‌లు (1-4 బిలియన్ పారామీటర్లు) చాలా ఫోన్‌లలో అత్యంత వేగంగా స్పందిస్తాయి, మరియు మీ హార్డ్‌వేర్ సామర్థ్యం ఉంటే పెద్దవి కూడా అందుబాటులో ఉంటాయి. యాక్టివ్ జనరేషన్ అనేది నిజమైన కంప్యూట్ పని, కాబట్టి పరికరంలోని ఏ ఇతర AI టాస్క్ లాగానే సాధారణ బ్యాటరీ మరియు థర్మల్ లోడ్‌ను ఆశించవచ్చు.
ఎవరి కోసం
గోప్యత పట్ల శ్రద్ధ వహించే వినియోగదారులు, లోకల్-AI ఔత్సాహికులు, ఇప్పటికే కంప్యూటర్‌లో TurboLLM లేదా llama.cpp ను నడుపుతున్న డెవలపర్లు, మరియు మీ నియంత్రణలో, మీ హార్డ్‌వేర్‌పై, పరికరం నుండి ఏదీ బయటకు వెళ్లకుండా, ఫోన్‌లో నిజమైన ఆఫ్‌లైన్ LLM చాట్ ఎలా ఉంటుందో తెలుసుకోవాలనే ఆసక్తి ఉన్న ఎవరికైనా ఇది అనువైనది.
స్థానిక AI ఎందుకు
చాలా "AI చాట్" యాప్‌లు ఇతరుల క్లౌడ్ API చుట్టూ ఉండే ఒక సన్నని పొరలా ఉంటాయి: మీ ప్రాంప్ట్‌లు మీ ఫోన్ నుండి బయటకు వెళ్తాయి, మీ సంభాషణలు మీరు నియంత్రించలేని సర్వర్‌లో ఉంటాయి, మరియు మీకు సిగ్నల్ పోయిన క్షణంలో యాప్ పనిచేయడం ఆగిపోతుంది. TurboLLM భిన్నమైనది. ఈ మోడల్ ఒక నిజమైన ఆన్-డివైస్ ఇన్ఫరెన్స్ ఇంజిన్‌లో (llama.cpp, ఆండ్రాయిడ్ కోసం కంపైల్ చేయబడింది) నడుస్తుంది, మరియు మీ సంభాషణ ఎప్పటికీ మీ ఫోన్ నుండి బయటకు వెళ్లాల్సిన అవసరం లేదు.
మీరు ఏమి చేయగలరు
- ఓపెన్-వెయిట్ స్థానిక LLM లతో — లామా, క్వెన్, జెమ్మా, మరియు ఏదైనా ఇతర GGUF మోడల్‌తో — పూర్తిగా ఆఫ్‌లైన్‌లో, ఎయిర్‌ప్లేన్ మోడ్‌లో కూడా చాట్ చేయండి.
- యాప్‌లోనే, ఒక్క ట్యాప్‌తో హగ్గింగ్ ఫేస్ నుండి నేరుగా మోడల్‌లను కనుగొని డౌన్‌లోడ్ చేసుకోండి.
- మీకు మొదటిసారి అవసరమైనప్పుడు ఇన్ఫరెన్స్ ఇంజిన్ దానంతట అదే ఇన్‌స్టాల్ అవుతుంది — మాన్యువల్ సెటప్, కంపైలింగ్, టెర్మినల్ ఏమీ అవసరం లేదు.
- వివిధ పనుల కోసం — కోడింగ్ సహాయం, రచన, పరిశోధన, లేదా ఎటువంటి సూచనలు లేకుండా పూర్తిగా కొత్తగా — వాటి స్వంత సిస్టమ్ ప్రాంప్ట్ మరియు నైపుణ్యం/సాధనం యాక్సెస్‌తో కస్టమ్ AI ఏజెంట్‌లను సృష్టించండి.
- కాలక్రమేణా మీ స్వంత వినియోగాన్ని ట్రాక్ చేయండి: సెషన్‌లు, సందేశాలు, సృష్టించబడిన మొత్తం టోకెన్‌లు, స్ట్రీక్‌లు మరియు మీరు ఎక్కువగా ఉపయోగించిన మోడల్ — ఇవన్నీ మీ స్వంత హిస్టరీ నుండి స్థానికంగా లెక్కించబడతాయి.
- ప్రతి చాట్‌కు నియంత్రణలతో జనరేషన్‌ను మెరుగుపరచండి: థింకింగ్ బడ్జెట్, శాంప్లింగ్ మరియు రీజనింగ్ ఎఫర్ట్, వీటికి మద్దతు ఇచ్చే మోడల్‌ల కోసం.
- TurboLLM డెస్క్‌టాప్ యాప్ (Windows, Mac, Linux) వలె అదే ఇంటర్‌ఫేస్ — మీరు కంప్యూటర్‌లో TurboLLMని ఉపయోగించినట్లయితే, మీ ఫోన్ కూడా సరిగ్గా అదే విధంగా పనిచేస్తుంది.
డిజైన్ ద్వారానే గోప్యత
- మీ సంభాషణల కోసం ఖాతా లేదు, లాగిన్ లేదు, క్లౌడ్ బ్యాకెండ్ లేదు.
- ఈ బిల్డ్‌లో టెలిమెట్రీ లేదు, అనలిటిక్స్ లేదు, క్రాష్-రిపోర్టింగ్ SDK ఫోనింగ్ హోమ్ లేదు.
- చాట్‌లు మరియు డౌన్‌లోడ్ చేసిన మోడల్‌లు మీ పరికరంలోని ఈ యాప్ యొక్క ప్రైవేట్ స్టోరేజ్‌లో మాత్రమే ఉంటాయి.
- మీ ప్రాంప్ట్‌లు, ఫైల్‌లు మరియు మోడల్ వెయిట్‌లు మాకు గానీ లేదా మరెవరికీ గానీ ఎప్పటికీ పంపబడవు. ఈ యాప్ చేసే ఏకైక నెట్‌వర్క్ అభ్యర్థనలు మీరు స్వయంగా ప్రారంభించినవి మాత్రమే: మీరు ఎంచుకున్న మోడల్‌ను డౌన్‌లోడ్ చేయడం, మొదటిసారి అవసరమైనప్పుడు ఇన్ఫరెన్స్ ఇంజిన్ బైనరీని పొందడం, లేదా మీరు స్పష్టంగా ఆమోదించిన టూల్ కాల్ వంటివి.
తెలుసుకోవలసిన విషయాలు
ఇన్ఫరెన్స్ మీ ఫోన్ యొక్క CPU పై నడుస్తుంది, కాబట్టి వేగం మీ చిప్‌సెట్ మరియు మీరు ఎంచుకున్న మోడల్ పరిమాణంపై ఆధారపడి ఉంటుంది — చిన్న మోడల్‌లు (1-4 బిలియన్ పారామీటర్లు) చాలా ఫోన్‌లలో అత్యంత వేగంగా స్పందిస్తాయి, మరియు మీ హార్డ్‌వేర్ సామర్థ్యం ఉంటే పెద్దవి కూడా అందుబాటులో ఉంటాయి. యాక్టివ్ జనరేషన్ అనేది నిజమైన కంప్యూట్ పని, కాబట్టి పరికరంలోని ఏ ఇతర AI టాస్క్ లాగానే సాధారణ బ్యాటరీ మరియు థర్మల్ లోడ్‌ను ఆశించవచ్చు.
ఎవరి కోసం
గోప్యత పట్ల శ్రద్ధ వహించే వినియోగదారులు, లోకల్-AI ఔత్సాహికులు, ఇప్పటికే కంప్యూటర్‌లో TurboLLM లేదా llama.cpp ను నడుపుతున్న డెవలపర్లు, మరియు మీ నియంత్రణలో, మీ హార్డ్‌వేర్‌పై, పరికరం నుండి ఏదీ బయటకు వెళ్లకుండా, ఫోన్‌లో నిజమైన ఆఫ్‌లైన్ LLM చాట్ ఎలా ఉంటుందో తెలుసుకోవాలనే ఆసక్తి ఉన్న ఎవరికైనా ఇది అనువైనది.
మీ ఫోన్‌లో స్థానిక LLMలను ఆఫ్‌లైన్‌లో నిర్వహించండి — ప్రైవేట్ AI చాట్, క్లౌడ్ లేదు, ఖాతా లేదు.
అప్‌డేట్ అయినది
భద్రత అన్నది, డెవలపర్లు మీ డేటాను ఎలా కలెక్ట్ చేస్తారు, ఎలా షేర్ చేస్తారు అన్న అంశాలను అర్థం చేసుకోవడంతో ప్రారంభమవుతుంది. డేటా గోప్యత, సెక్యూరిటీ ప్రాక్టీసులు, మీ వినియోగాన్ని, ప్రాంతాన్ని, వయస్సును బట్టి మారే అవకాశం ఉంది. డెవలపర్ ఈ సమాచారాన్ని ప్రొవైడ్ చేశారు. కాలక్రమేణా ఇది అప్‌డేట్ అయ్యే అవకాశం ఉంది.
కొత్తగా ఏమి ఉన్నాయి
First release. Chat with open-source AI models that run right on your phone's CPU — once a model's downloaded, no internet needed to use it. Browse and download models straight from Hugging Face, with picks sized to fit your device. More engines and features on the way.
ప్రతి ఒక్కరు
మరింత తెలుసుకోండియాప్ సపోర్ట్
డెవలపర్ గురించిన సమాచారం
Mohit Soni
mohitsoni48@gmail.com
402 LOTUS
RÉSIDENCY OPP LOCO SHED RATANADA
JODHPUR, Rajasthan 342001
India
