Ollama

Ollama telah merevolusikan akses kepada model bahasa setempat dengan menjadikannya semudah arahan terminal. Dicipta pada 2023, alat sumber terbuka ini membolehkan anda memuat turun, menjalankan dan mengurus LLM terus pada perkakasan anda — sama ada Mac dengan Apple Silicon, PC dengan GPU NVIDIA, atau pelayan Linux.

Pendekatan Ollama adalah mudah secara radikal: taip ollama run llama3.3 dan model memuat turun, mengkonfigurasi sendiri dan bermula secara automatik. Lebih 40,000 integrasi komuniti menyambung kepada Ollama, daripada antara muka web seperti Open WebUI hingga IDE pembangunan.

Pada 2025, Ollama melancarkan pelan awan (Pro pada $20/bulan, Max pada $100/bulan) menawarkan akses kepada model lebih berkuasa yang dihoskan pada pelayan khusus, sambil mengekalkan pelaksanaan setempat percuma dan tanpa had. Data anda sentiasa kekal peribadi: tiada prompt atau respons yang dilog atau digunakan untuk latihan.

Alat ini menyokong kuantisasi GGUF, pecutan GPU (CUDA, ROCm, Metal), menjalankan pelbagai model serentak, dan mendedahkan API REST setempat yang serasi dengan OpenAI. Ia merupakan pilihan utama untuk pembangun yang ingin mengintegrasikan AI setempat ke dalam projek, saluran paip automasi, atau aliran kerja RAG mereka.