TurboLLM: Offline AI Chat

TurboLLM รันโมเดลภาษาขนาดใหญ่บน CPU ของโทรศัพท์ Android ของคุณโดยตรง — ไม่ต้องใช้คลาวด์ ไม่ต้องมีบัญชี ไม่ต้องสมัครสมาชิก และไม่ต้องเชื่อมต่ออินเทอร์เน็ตหลังจากดาวน์โหลดโมเดลแล้ว

ทำไมต้องใช้ AI ในเครื่อง

แอป "แชท AI" ส่วนใหญ่เป็นเพียงโปรแกรมห่อหุ้ม API บนคลาวด์ของคนอื่น: ข้อความของคุณออกจากโทรศัพท์ของคุณ บทสนทนาของคุณอยู่บนเซิร์ฟเวอร์ที่คุณควบคุมไม่ได้ และแอปจะหยุดทำงานทันทีที่คุณสูญเสียสัญญาณ TurboLLM แตกต่างออกไป โมเดลทำงานในเอนจินการอนุมานบนอุปกรณ์จริง (llama.cpp คอมไพล์สำหรับ Android) และบทสนทนาของคุณไม่จำเป็นต้องออกจากโทรศัพท์ของคุณเลย

สิ่งที่คุณทำได้

- แชทกับ LLM ในเครื่องที่มีน้ำหนักเปิด — Llama, Qwen, Gemma และโมเดล GGUF อื่นๆ — แบบออฟไลน์โดยสมบูรณ์ แม้ในโหมดเครื่องบิน

- ค้นหาและดาวน์โหลดโมเดลได้โดยตรงจาก Hugging Face ภายในแอป ด้วยการแตะเพียงครั้งเดียว

- เอนจินการอนุมานจะติดตั้งตัวเองโดยอัตโนมัติในครั้งแรกที่คุณต้องการใช้งาน — ไม่ต้องตั้งค่าด้วยตนเอง ไม่ต้องคอมไพล์ ไม่ต้องใช้เทอร์มินัล

- สร้างเอเจนต์ AI แบบกำหนดเองพร้อมข้อความแจ้งเตือนระบบและสิทธิ์การเข้าถึงทักษะ/เครื่องมือเฉพาะตัว สำหรับงานต่างๆ เช่น การช่วยเหลือด้านการเขียนโค้ด การเขียน การวิจัย หรือแบบว่างเปล่าโดยไม่มีคำสั่งใดๆ

- ติดตามการใช้งานของคุณเองตลอดเวลา: เซสชัน ข้อความ จำนวนโทเค็นทั้งหมดที่สร้างขึ้น สตรีค และโมเดลที่คุณใช้บ่อยที่สุด — ทั้งหมดนี้คำนวณจากประวัติการใช้งานของคุณเอง

- ปรับแต่งการสร้างด้วยการควบคุมต่อการแชท: งบประมาณการคิด การสุ่มตัวอย่าง และความพยายามในการให้เหตุผล สำหรับโมเดลที่รองรับ

- อินเทอร์เฟซเหมือนกับแอปเดสก์ท็อปของ TurboLLM (Windows, Mac, Linux) — หากคุณเคยใช้ TurboLLM บนคอมพิวเตอร์ โทรศัพท์ของคุณจะทำงานในลักษณะเดียวกันทุกประการ

ความเป็นส่วนตัวโดยการออกแบบ

- ไม่มีบัญชี ไม่ต้องเข้าสู่ระบบ ไม่มีแบ็กเอนด์บนคลาวด์สำหรับการสนทนาของคุณ

- ไม่มีข้อมูลการใช้งาน ไม่มีข้อมูลวิเคราะห์ ไม่มี SDK รายงานข้อผิดพลาดที่ส่งข้อมูลกลับไปยังเซิร์ฟเวอร์ในเวอร์ชันนี้

- การแชทและโมเดลที่ดาวน์โหลดจะถูกจัดเก็บไว้ในพื้นที่จัดเก็บส่วนตัวของแอปนี้บนอุปกรณ์ของคุณเท่านั้น

- ข้อความแจ้งเตือน ไฟล์ และน้ำหนักโมเดลของคุณจะไม่ถูกส่งมาให้เราหรือบุคคลอื่นใด การร้องขอเครือข่ายเพียงอย่างเดียวที่แอปนี้ทำคือการร้องขอที่คุณเรียกใช้เอง เช่น การดาวน์โหลดโมเดลที่คุณเลือก การดึงไบนารีของเอนจินการอนุมานในครั้งแรกที่จำเป็น หรือการเรียกใช้เครื่องมือที่คุณอนุมัติอย่างชัดเจน

สิ่งที่ควรรู้

การอนุมานทำงานบน CPU ของโทรศัพท์ของคุณ ดังนั้นความเร็วขึ้นอยู่กับชิปเซ็ตและขนาดของโมเดลที่คุณเลือก โมเดลขนาดเล็ก (พารามิเตอร์ 1-4 พันล้านตัว) จะตอบสนองได้ดีที่สุดบนโทรศัพท์ส่วนใหญ่ และโมเดลขนาดใหญ่จะมีให้ใช้งานหากฮาร์ดแวร์ของคุณรองรับได้ การสร้างแบบแอคทีฟเป็นงานประมวลผลจริง ดังนั้นจึงคาดหวังได้ว่าแบตเตอรี่และอุณหภูมิจะหมดเร็วตามปกติ เช่นเดียวกับงาน AI บนอุปกรณ์อื่นๆ

เหมาะสำหรับใคร

ผู้ใช้ที่คำนึงถึงความเป็นส่วนตัว ผู้ที่ชื่นชอบ AI ในเครื่อง นักพัฒนาที่ใช้งาน TurboLLM หรือ llama.cpp บนคอมพิวเตอร์อยู่แล้ว และทุกคนที่อยากรู้ว่าการแชท LLM แบบออฟไลน์บนโทรศัพท์เป็นอย่างไร — ภายใต้การควบคุมของคุณ บนฮาร์ดแวร์ของคุณ โดยไม่มีอะไรออกจากอุปกรณ์