TurboLLM: Offline AI Chat

TurboLLM مدل‌های زبانی بزرگ واقعی را مستقیماً روی CPU گوشی اندروید شما اجرا می‌کند - بدون فضای ابری، بدون حساب کاربری، بدون اشتراک و بدون نیاز به اتصال به اینترنت پس از دانلود مدل.

چرا هوش مصنوعی محلی

اکثر برنامه‌های "چت هوش مصنوعی" یک پوشش نازک در اطراف API ابری شخص دیگری هستند: پیام‌های شما از گوشی شما خارج می‌شوند، مکالمات شما روی سروری که شما کنترلی روی آن ندارید قرار می‌گیرند و برنامه به محض قطع شدن سیگنال متوقف می‌شود. TurboLLM متفاوت است. این مدل در یک موتور استنتاج واقعی روی دستگاه (llama.cpp، کامپایل شده برای اندروید) اجرا می‌شود و مکالمه شما هرگز نباید از گوشی شما خارج شود.

آنچه می‌توانید انجام دهید

- با LLM های محلی با وزن آزاد - Llama، Qwen، Gemma و هر مدل GGUF دیگر - کاملاً آفلاین، حتی در حالت هواپیما، چت کنید.

- مدل‌ها را مستقیماً از Hugging Face، درست در داخل برنامه، با یک ضربه، کشف و دانلود کنید.

- موتور استنتاج در اولین باری که به آن نیاز دارید، به طور خودکار نصب می‌شود - بدون تنظیم دستی، بدون کامپایل، بدون ترمینال. - ایجاد عامل‌های هوش مصنوعی سفارشی با اعلان سیستم و دسترسی به مهارت/ابزار مخصوص به خودشان، برای وظایف مختلف - کمک در کدنویسی، نوشتن، تحقیق، یا یک صفحه کاملاً خالی بدون دستورالعمل‌های تزریقی.

- پیگیری میزان استفاده خود در طول زمان: جلسات، پیام‌ها، کل توکن‌های تولید شده، رگه‌ها و مدل پرکاربرد شما - همه به صورت محلی از تاریخچه خودتان محاسبه می‌شوند.

- تنظیم دقیق تولید با کنترل‌های هر چت: بودجه تفکر، نمونه‌برداری و تلاش استدلال، برای مدل‌هایی که از آنها پشتیبانی می‌کنند.

- رابط کاربری مشابه برنامه دسکتاپ TurboLLM (ویندوز، مک، لینوکس) - اگر از TurboLLM در رایانه استفاده کرده‌اید، تلفن شما دقیقاً به همان روش کار می‌کند.

حریم خصوصی بر اساس طراحی

- بدون حساب کاربری، بدون ورود به سیستم، بدون پشتیبان ابری برای مکالمات شما.

- بدون تله‌متری، بدون تجزیه و تحلیل، بدون گزارش خرابی SDK در این نسخه.

- چت‌ها و مدل‌های دانلود شده فقط در فضای ذخیره‌سازی خصوصی این برنامه در دستگاه شما قرار دارند. - درخواست‌ها، فایل‌ها و وزن‌های مدل شما هرگز برای ما یا هیچ کس دیگری ارسال نمی‌شوند. تنها درخواست‌های شبکه‌ای که این برنامه انجام می‌دهد، درخواست‌هایی هستند که خودتان آنها را فعال کرده‌اید: دانلود مدلی که انتخاب کرده‌اید، دریافت فایل باینری موتور استنتاج در اولین باری که مورد نیاز است، یا فراخوانی ابزاری که صریحاً تأیید کرده‌اید.

نکات قابل توجه

استنتاج روی پردازنده گوشی شما اجرا می‌شود، بنابراین سرعت به چیپست و اندازه مدلی که انتخاب می‌کنید بستگی دارد - مدل‌های کوچکتر (پارامترهای ۱-۴B) در اکثر گوشی‌ها بیشترین پاسخگویی را دارند و مدل‌های بزرگتر در صورتی که سخت‌افزار شما بتواند آنها را پشتیبانی کند، وجود دارند. تولید فعال، کار محاسباتی واقعی است، بنابراین انتظار بار باتری و حرارتی معمولی را داشته باشید، مانند هر کار هوش مصنوعی روی دستگاه.

برای چه کسانی است؟

کاربرانی که به حریم خصوصی اهمیت می‌دهند، علاقه‌مندان به هوش مصنوعی محلی، توسعه‌دهندگانی که از قبل TurboLLM یا llama.cpp را روی رایانه اجرا می‌کنند، و هر کسی که کنجکاو است بداند یک چت LLM واقعاً آفلاین روی گوشی - تحت کنترل شما، روی سخت‌افزار شما، بدون اینکه چیزی از دستگاه خارج شود - چگونه است.