Android Termux & Edge AI

Run Local LLMs on Android: Complete Ollama Setup Guide in Termux

স্মার্টফোনের প্রসেসিং পাওয়ার এখন এতটাই শক্তিশালী যে আমরা যেকোনো ক্লাউড সার্ভার বা ইন্টারনেট কানেকশন ছাড়াই সরাসরি মোবাইলে লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) রান করতে পারি। অ্যান্ড্রয়েডে এই অ্যাডভান্সড এনভায়রনমেন্ট তৈরি করার সবচেয়ে চমৎকার টুল হলো **Termux** এবং এআই মডেল রান করার জন্য ওয়ান-ক্লিক ইঞ্জিন **Ollama**।

টার্মাক্সে প্রো-রুট ডিস্ট্রো (PRoot Linux Distro) ব্যবহার করে লিনাক্স আর্কিটেকচার তৈরি করার মাধ্যমে কাস্টম এআই ব্যাকএন্ড সার্ভার গড়ে তোলার প্রতিটি কমান্ড নিচে বিশদভাবে দেওয়া হলো।

১. লিনাক্স কন্টেইনার এবং এনভায়রনমেন্ট সেটআপ

প্রথমে গুগল প্লে স্টোরের পুরাতন টার্মাক্স বাদ দিয়ে এফ-ড্রয়েড (F-Droid) থেকে টার্মাক্স ইনস্টল করে নিন। তারপর টার্মিনাল ওপেন করে নিচের লিনাক্স পাইপলাইন কমান্ডগুলো পর্যায়ক্রমে রান করুন:

# টার্মাক্স রিপোজিটরি আপডেট করা
pkg update && pkg upgrade -y

# প্রো-রুট এবং কার্ল মডিউল ইনস্টল করা
pkg install proot-distro curl -y

# উবুন্টু লিনাক্স কন্টেইনার ইনস্টল করা
proot-distro install ubuntu

# উবুন্টু কন্টেইনারের ভেতর প্রবেশ করা
proot-distro login ubuntu

ধাপ ২: উবুন্টু কন্টেইনারে Ollama ইনস্টলেশন এবং মডেল ফায়ারিং

এখন আপনি উবুন্টু আর্কিটেকচারের ভেতর আছেন। অফিসিয়াল Ollama স্ক্রিপ্ট দিয়ে ইঞ্জিন সেটআপ করার জন্য রান করুন:

# কন্টেইনারের অভ্যন্তরীণ প্যাকেজ লিস্ট রিলোড করা
apt update && apt upgrade -y

# অফিসিয়াল ওল্লামা ইনস্টলেশন স্ক্রিপ্ট রান করা
curl -fsSL https://ollama.com/install.sh | sh

# ব্যাকগ্রাউন্ডে ওল্লামা ইঞ্জিন স্টার্ট করা
ollama serve &

# হাই-পারফরম্যান্স মোবাইল অপ্টিমাইজড Qwen ২.৫ (০.৫ বিলিয়ন) বা Llama৩ মডেল রান করা
ollama run qwen2.5:0.5b

মোবাইল অপ্টিমাইজেশন টিপস: আপনার ডিভাইসের র‍্যাম যদি ৬ জিবি বা ৮ জিবি হয়, তবে কোয়ান্টাইজড `qwen2.5:0.5b` বা `gemma2:2b` মডেলগুলো চমৎকার টোকেন স্পিড (Token generation rate) দেয়। এর মাধ্যমে লোকালহোস্ট পোর্টে `127.0.0.1:11434` এন্ডপয়েন্ট তৈরি হয়, যা দিয়ে আপনার মোবাইলের অন্যান্য কোডিং অ্যাপে চ্যাট জিপিটির মতো লোকাল এপিআই ইন্টিগ্রেট করতে পারবেন।