அறிமுகம்: என் மடிக்கணினிக்கு சிந்திக்கக் கற்றுக்கொடுக்க நான் முயற்சி செய்த வார இறுதி
உண்மையைச் சொல்லும் நேரம்: ஒரு பெரிய மொழி மாதிரியை எனது மடிக்கணினியில் இயக்க முயற்சி செய்து ஒரு சனிக்கிழமையைக் கழித்தேன். கையில் காபியுடன், ஒரு புளித்த மாவைப் போலவே டெர்மினல் சாளரத்திற்கு ஊக்கமளிக்கும் விஷயங்களை நான் கிசுகிசுப்பதை கற்பனை செய்து பாருங்கள்: “வாங்க, உங்களால் முடியும்.” உங்கள் சொந்த கணினியில் AI மாதிரிகளை இயக்குவதற்கான நட்பு, ஆல் இன் ஒன் வழியான Ollama உடன் நீங்கள் விளையாடியிருந்தால், நீங்கள் வீட்டிற்கு தொலைபேசி அழைக்காத உள்ளூர் AI இன் சிலிர்ப்பை உணர்ந்திருப்பீர்கள். ஆனால் நீங்கள் வேறு சுவையை விரும்பினால் என்ன செய்வது: ஒரு சிறந்த இடைமுகம், வேக ஊக்கங்கள், சிறந்த GPU ஆதரவு அல்லது நன்றாகச் சரிசெய்யப்பட்ட கட்டுப்பாடு?
நல்ல செய்தி: Ollama மட்டுமே இங்கு இல்லை. 2025 இல், உங்கள் கணினியை கால பயணம் செய்யும் தட்டச்சுப்பொறியாக மாற்றக்கூடிய உள்ளூர் LLM ரன்னர்கள், GUI-கள் மற்றும் மாதிரி சேவையகங்களின் பரபரப்பான பஜார் உள்ளது. இன்று, சிறந்த Ollama மாற்றுகளைப் பார்ப்போம் - அவை எதில் சிறந்தவை, எங்கு தடுமாறுகின்றன, மேலும் ஒரு ஆர்வமுள்ள ஆர்வலரா அல்லது உங்கள் குடும்பத்தின் CTO-வா என்பதைப் பொருட்படுத்தாமல், எது உங்கள் அமைப்புக்கு ஏற்றது.
சந்தேகமில்லாமல், உள்ளூர் AI காட்சியில் எது சூடாகவும், எது விளம்பரமாக உள்ளது என்பதையும் நான் சரிபார்த்தேன், உள்ளூர் LLM கருவிகள் மற்றும் ஒப்பீடுகளின் தொகுப்புகளையும் உள்ளடக்கியது. நாம் செல்லும்போது மேற்கோள்கள் தெளிக்கப்படுவதை நீங்கள் காண்பீர்கள். மேலும், Sider.AI இன் வலைப்பதிவு உலகில், ஒவ்வொரு நாளும் AI உடன் ஆராய்ச்சி செய்து எழுதும் நபர்களுக்கு இது எங்கு பொருந்தும் என்பதைப் பார்க்க நான் ஆராய்ந்தேன். இது யாருக்கானது (மேலும் யார் பாதுகாப்பாக ஸ்க்ரோல் செய்து செல்லலாம்)
- தனியுரிமை, வேகம் அல்லது உங்கள் Wi-Fi அவ்வப்போது குப்பையை கிளறும் ஒரு ராக்கூனைப் போல நடந்துகொள்வதால், நீங்கள் AI மாதிரிகளை உள்நாட்டில் இயக்க விரும்புகிறீர்கள்.
- நீங்கள் Ollama ஐ முயற்சித்தீர்கள், அல்லது அதைப் பற்றி கேள்விப்பட்டிருக்கிறீர்கள், மேலும் நீங்கள் யோசிக்கிறீர்கள்: எனது GPU க்கு சிறந்த கருவி இருக்கிறதா? எனது பணிப்பாய்வுகளுக்கு? எனது மன அமைதிக்கு?
- கட்டளை வரிகளை விட நட்பு பொத்தான்களை நீங்கள் விரும்புகிறீர்கள் - அல்லது வேறு வழி. இரண்டையும் நாங்கள் பெற்றுள்ளோம்.
நீங்கள் உலாவியில் AI உடன் அரட்டை அடிக்க விரும்பினால், அமைப்புகளைத் தொடாமல் இருந்தால், இது மிகையாக இருக்கலாம். மற்ற அனைவருக்கும்: மேலே செல்லுங்கள்.
குறுகிய பட்டியல்: ஆளுமைப்படி சிறந்த Ollama மாற்றுகள்
- LM Studio: உள்ளூர் மாதிரிகளுக்கான “App Store” அதிர்வு, மெருகூட்டப்பட்ட GUI மற்றும் எளிதான பதிவிறக்கங்களுடன். அணுகுவதற்கு மிகவும் எளிதானது. மாதிரிகளை உலாவவும் தொடங்கவும் சிறந்தது.
- Text Generation WebUI (oobabooga): சுவிஸ் இராணுவ வலை பயன்பாடு - டன் கணக்கான சுவிட்சுகள், நீட்டிப்புகள், எழுத்து முன்னமைவுகள். சக்தி-பயனர் சொர்க்கம்.
- OpenWebUI: உள்ளூர் பின்தளங்களின் மேல் அமரக்கூடிய ஒரு சுத்தமான, நவீன அரட்டை இடைமுகம். TGWUI ஐ விட குறைவான சிக்கலானது, ஆனால் இன்னும் நெகிழ்வானது.
- llama.cpp (மற்றும் நண்பர்கள்): பல கருவிகளுக்குப் பின்னால் உள்ள குறைந்த-நிலை இயந்திரம். இலகுரக, CPU/GPU-நட்பு, உட்பொதிக்கப்பட்ட அல்லது குறைந்தபட்ச அமைப்புகளுக்கு சிறந்தது.
- vLLM: நீங்கள் செயல்திறன் மற்றும் பல பயனர்களுக்கு சேவை செய்வதைப் பற்றி அக்கறை கொண்டிருந்தால் - ஆய்வகங்கள், குழுக்கள் அல்லது தீவிரமான பயன்பாடுகள் பற்றி சிந்தியுங்கள் - vLLM உங்கள் வேகமான பாதையாக இருக்கும்.
- KoboldCpp / KoboldAI: கதை எழுதும் பணிப்பாய்வுகள், ரோல்பிளே மற்றும் நீண்ட கால ஆக்கபூர்வமான அமர்வுகளுக்கு சிறந்தது; வலுவான நினைவகம் மற்றும் எழுத்து கருவிகள்.
- LMDeploy மற்றும் பிற அனுமானம்/சேவை அடுக்குகள்: “எனது GPU இல் அதிகபட்ச செயல்திறனை நான் விரும்புகிறேன்” என்று நினைப்பவர்களுக்கானது; அதிக கட்டமைப்பு, அதிக வேகம்.
தேர்வு வரைபடம்: உங்களுக்கு உண்மையில் என்ன தேவை?
- “நான் புதிதாக இருக்கிறேன். தயவுசெய்து என்னை கொடிகளை மனப்பாடம் செய்ய வைக்காதீர்கள்.” LM Studio அல்லது OpenWebUI. நட்பு இடைமுகம் மற்றும் குறைந்தபட்ச அமைப்பை நீங்கள் விரும்பினால் இங்கிருந்து தொடங்கவும்.
- “எனக்கு ஒவ்வொரு குமிழ் மற்றும் நெம்புகோலையும் கொடுங்கள்.” Text Generation WebUI. உங்களுக்கு திட்டமிடல் கட்டுப்பாடுகள், உடனடி டெம்ப்ளேட்டுகள், செருகுநிரல்கள் மற்றும் பல கிடைக்கும்.
- “எனது மடிக்கணினி நடுத்தரமானது, ஆனால் நான் பிடிவாதமாக இருக்கிறேன்.” llama.cpp. இலகுரக, திறமையான, அடக்கமான வன்பொருளில் ஆச்சரியப்படும் வகையில் திறமையானது.
- “நான் எனது குழுவுக்கு மாதிரிகளை வழங்க விரும்புகிறேன்.” vLLM அல்லது ஒப்பிடக்கூடிய சேவையக அடுக்கு. இங்கு செயல்திறன் மற்றும் ஏககாலம் முக்கியம்.
- “நான் புனைகதை எழுதுகிறேன், நீண்ட கால நினைவகத்தைப் பற்றி கவலைப்படுகிறேன்.” நீடித்த நினைவகத்துடன் கூடிய கதை AI க்கு Kobold-சுவையுள்ள கருவிகள் சிறப்பாகச் செயல்படும்.
Ollamaவுடன் ஏன் ஒட்டிக்கொள்ளக்கூடாது?
Ollama சிறந்தது, குறிப்பாக நீங்கள் ஒரே வரியில் நிறுவல் மற்றும் எளிய மாதிரி இழுப்புகளை விரும்பினால். ஆனால் இது Ollama வழியில் விஷயங்களைச் செய்கிறது - அதன் மாதிரி வடிவங்கள், அதன் பதிவேடு, அதன் இயக்கநேரம். நீங்கள் பளபளப்பான GUI, சிக்கலான பல பயனர் சேவை அல்லது அல்ட்ரா-ட்யூன் செய்யப்பட்ட GPU மேம்படுத்தலை விரும்பினால், நீங்கள் வேறு இடத்தில் மகிழ்ச்சியாக இருக்கலாம். மேலும் உங்களுக்கு பிடித்த மாதிரி முன்புறம் (OpenWebUI, உதாரணமாக) ஏற்கனவே இருந்தால், அதனுடன் நன்றாக விளையாடும் பின்தளத்தை நீங்கள் விரும்பலாம்.
மாற்றுகளைச் சுற்றிப் பார்ப்போம், Pogue-ஸ்டைலில்
LM Studio: உள்ளூர் மாதிரிகளுக்கான வசதியான காபி கடை
Ollama ஒரு டிரைவ்-த்ரூ என்றால், LM Studio சோஃபாக்கள் கொண்ட கஃபே ஆகும். நீங்கள் பயன்பாட்டைப் பதிவிறக்குகிறீர்கள், மாதிரிகளின் பட்டியலை உலாவுகிறீர்கள், மேலும் நிறுவ கிளிக் செய்கிறீர்கள். கட்டளை-வரி தொடரியலுடன் பேச்சுவார்த்தை நடத்தாமல், அரட்டை, பரிசோதனை, மாதிரி பரிமாற்றம் செய்யலாம். உங்களுக்குத் தேவைப்பட்டால் இது ஒரு API ஐ வெளிப்படுத்துகிறது, ஆனால் புத்திசாலித்தனமாக உணர YAML ஐக் கற்றுக்கொள்ள இது உங்களை கட்டாயப்படுத்தாது. பலருக்கு, இது “சாதாரண பயன்பாடு போன்ற உள்ளூர் AI”, அதனால்தான் இது சிறந்த பட்டியல்களில் தொடர்ந்து தோன்றுகிறது.
நன்மைகள்
- சிறந்த GUI மற்றும் மாதிரி கண்டுபிடிப்பு
- ஆரம்பநிலையாளர்களுக்கான விரைவான ஆரம்பம்
- வீட்டுப்பாடம் இல்லாமல் உள்ளூர்-முதல் தனியுரிமை
தீமைகள்
- கடுமையான ட்யூனிங்கிற்கான மிகவும் ட்வீக் செய்யக்கூடிய அமைப்பு அல்ல
- செயல்திறன் உங்கள் வன்பொருள் மற்றும் தேர்ந்தெடுக்கப்பட்ட மாதிரியைப் பொறுத்தது
இதற்கு ஏற்றது: உள்ளமைவு கோப்புகளில் ஊறாமல் உள்ளூர் AI ஐ விரும்பும் ஆர்வமுள்ளவர்கள்.
Text Generation WebUI (oobabooga): உங்கள் AI விண்கலத்தின் கட்டுப்பாட்டு அறை
இது நீங்கள் உள்நாட்டில் இயக்கும் வலை பயன்பாடு. இது ஒரு காக்பிட்டில் நடப்பது போன்றது: பொத்தான்கள், ஸ்லைடர்கள், எழுத்து முன்னமைவுகள், நினைவக அமைப்புகள், பார்வை, TTS மற்றும் பலவற்றுக்கான செருகுநிரல் பேனல்கள். நீங்கள் எழுதினால், உடனடி-பொறியாளராக இருந்தால் அல்லது ரோல்பிளே செய்தால், TGWUI ஒரு மிட்டாய் கடை. உங்கள் GPU மற்றும் மாதிரி விருப்பத்தைப் பொறுத்து - llama.cpp, exllama, CUDA - நீங்கள் வெவ்வேறு பின்தளங்களில் திருகலாம். இது ஒரு ஆர்வலர் கருவி, ஆனால் நீங்கள் சுற்றி வரும் வழியைக் கற்றுக் கொண்டால் ஒரு நட்பு கருவி.
நன்மைகள்
- பாரிய தனிப்பயனாக்கம் மற்றும் செருகுநிரல் சுற்றுச்சூழல் அமைப்பு
- நீண்ட கால எழுத்து மற்றும் சூழ்நிலை சோதனைக்கு நல்லது
- பல பின்தளங்கள் மற்றும் வடிவங்களுடன் வேலை செய்கிறது
தீமைகள்
- நிறுவல் மற்றும் பயன்பாட்டை விட அமைப்பு அதிக ஈடுபாடு கொண்டதாக இருக்கலாம்
- அதிகப்படியான விருப்பங்கள் புதிய பயனர்களை மூழ்கடிக்கக்கூடும்
இதற்கு ஏற்றது: விளையாட்டு மைதானத்தை விரும்பும் சக்தி பயனர்கள், எழுத்தாளர்கள் மற்றும் பொழுதுபோக்கு ஆர்வலர்கள் - மற்றும் காட்டுமிராண்டித்தனத்தை மனதில் கொள்ளாதீர்கள்.
OpenWebUI: உங்கள் மாதிரிகளுடன் சுத்தமான, நவீன அரட்டை
ஒரு நேர்த்தியான அரட்டை பயன்பாட்டை கற்பனை செய்து பாருங்கள், ஆனால் அது உங்கள் உள்ளூர் AI உடன் பேசுகிறது. அது OpenWebUI. இது TGWUI ஐ விட அமைப்புகளில் இலகுவானது, ஆனால் இது பொதுவான பின்தளங்களுடன் நன்றாக ஒருங்கிணைக்கிறது. இதை “குறைவான சிக்கலான, அதிக நட்பு” என்று நினைத்துப் பாருங்கள், இது உள்ளூர் இயக்க நேரங்களின் மேல் ஒரு நிலையான இடைமுகத்தை விரும்பும் குழுக்களுக்கு ஒரு கூட்டத்தை மகிழ்விப்பதாக ஆக்குகிறது.
நன்மைகள்
- நவீன, மெருகூட்டப்பட்ட அரட்டை UX
- பல பின்தளங்களுடன் வேலை செய்கிறது
- வீட்டு நெட்வொர்க் அல்லது சிறிய குழுவில் பகிர எளிதானது
தீமைகள்
- TGWUI ஐ விட குறைவான ஆழமான குமிழ்கள்
- பின்தள பொருந்தக்கூடிய தன்மை உங்கள் அம்சங்களை தீர்மானிக்கிறது
இதற்கு ஏற்றது: தெளிவு மற்றும் எளிமையை மதிக்கும் நபர்கள், ஆனால் உள்ளூர் கட்டுப்பாட்டை இன்னும் விரும்புகிறார்கள்.
llama.cpp: இருக்கக்கூடிய சிறிய இயந்திரம்
தொழில்நுட்பத்தின் பின்னால் உள்ள தொழில்நுட்பம். llama.cpp என்பது CPU மற்றும் GPU க்களில் அளவிடப்பட்ட மாதிரிகளை திறமையாக இயக்கும் C/C++ அனுமான இயந்திரமாகும். சிந்தியுங்கள்: “நாம் ஒரு AI ஐ ஒரு குவளையின் மூலம் பிழிந்து, அது இன்னும் வேலை செய்தால் என்ன செய்வது?” இது அடக்கமான இயந்திரங்களுக்கு ஏற்றது - MacBooks, mini-PC கள், Raspberry Pi அமைப்புகள் கூட - மேலும் இது மற்ற கருவிகளின் முதுகெலும்பாக உள்ளது.
நன்மைகள்
- மிகவும் திறமையானது; அடக்கமான வன்பொருளில் இயங்குகிறது
- உட்பொதிக்கப்பட்ட அல்லது ஆஃப்லைன் அமைப்புகளுக்கு சிறந்தது
- நிலையான மற்றும் பரவலாக ஆதரிக்கப்படுகிறது
தீமைகள்
- தனியாக முழு பயன்பாடு அல்ல; உங்களுக்கு ஒரு GUI அல்லது wrapper தேவைப்படும்
- பெரிய மாதிரிகளில் ஹெவிவெயிட் GPU-உகந்த சேவையகங்களை விட செயல்திறன் பின்தங்கியிருக்கலாம்
இதற்கு ஏற்றது: சிறிய, வேகமான மற்றும் உள்ளூர் விரும்பும் ஆர்வலர்கள் மற்றும் குறைந்தபட்சவாதிகள்.
vLLM: அதிக போக்குவரத்துக்கான நெடுஞ்சாலை
சேவை வேகம் மற்றும் ஏககாலத்தில் நீங்கள் அக்கறை கொள்ளும்போது, vLLM ஒரு மூடியுடன் நுழைகிறது. இது ஒரு உயர் செயல்திறன் அனுமான சேவையகம் ஆகும், இது உங்களிடம் பல பயனர்கள், பல கோரிக்கைகள் அல்லது நேரத்திற்கு உணர்திறன் பயன்பாடுகள் இருக்கும்போது பிரகாசிக்கிறது. உங்கள் சாதனத்தை ஒரு குழுவிற்கான மாதிரி சேவையகமாக மாற்றுகிறீர்கள் என்றால் - அல்லது உங்கள் கார்டியோவைப் போல பெஞ்ச்மார்க்கிங் செய்கிறீர்கள் என்றால் - vLLM ஐப் பார்ப்பது மதிப்பு.
நன்மைகள்
- அதிவேக செயல்திறன் மற்றும் திறமையான நினைவக பயன்பாடு
- பல பயனர் அல்லது உற்பத்தி-பாணி அமைப்புகளுக்கு சிறந்தது
- பிரபலமான கட்டமைப்புகளுடன் நன்றாக விளையாடுகிறது
தீமைகள்
- அதிக அமைப்பு மற்றும் செயல்பாட்டு அறிவு தேவை
- தனி அரட்டை மற்றும் பயன்பாட்டிற்கு அதிகப்படியானது
இதற்கு ஏற்றது: உண்மையான பணிச்சுமைகளுக்கான மாதிரிகளை ஹோஸ்ட் செய்யும் டெவ்ஸ், ஆய்வகங்கள் அல்லது சிறிய நிறுவனங்கள்.
KoboldCpp / KoboldAI: கதைசொல்லியின் கருவித்தொகுப்பு
கதை எழுத்து மற்றும் ரோல்பிளேக்கு, Kobold-சுவையுள்ள கருவிகள் ஆசிரியர்களை மயக்கும் அம்சங்களைக் கொண்டு வருகின்றன: நீண்ட கால நினைவகம், எழுத்து தாள்கள், உலக குறிப்புகள் மற்றும் நிலைத்தன்மைக்கான சூழல் தந்திரங்கள். நீங்கள் உங்கள் மியூஸுடன் அரட்டை அடிக்கிறீர்கள்; அது உங்கள் உலகத்தை உருவாக்குவதை நினைவில் கொள்கிறது. வில்லன் யார் என்பதை மறந்துவிட்டதற்காக நீங்கள் ஒரு AI ஐக் கத்தியிருந்தால், இது உங்கள் விருப்பம்.
நன்மைகள்
- புனைகதை மற்றும் ரோல்பிளேக்கு ஏற்றது
- நீண்ட நினைவகம் மற்றும் பெர்சோனா கருவிகள்
தீமைகள்
- மற்ற UI களை விட குறைவான பொதுவான நோக்கம்
- சிறந்த முடிவுகளுக்கு சிறிது ட்யூனிங் மற்றும் மாதிரி தேர்வு தேவை
இதற்கு ஏற்றது: கடைசி பத்தியத்தை விட அதிகமாக நினைவில் கொள்ளும் உள்ளூர் AI ஐ விரும்பும் எழுத்தாளர்கள்.
LMDeploy மற்றும் செயல்திறன் சார்ந்த அடுக்குகள்: வேகம் பணி செய்யும் போது
LMDeploy மற்றும் ஒத்த அடுக்குகள் பைப்லைன் திறன், அளவீட்டு உத்திகள் மற்றும் GPU மேம்படுத்தல்களில் கவனம் செலுத்துகின்றன. பெஞ்ச்மார்க்கிங் பழக்கத்துடன் ஒரு கேமரைப் போல நீங்கள் வினாடிக்கு பிரேம்களைத் துரத்தினால், இந்த கருவிகள் உங்களுக்கு கூடுதல் விளிம்பைக் கொடுக்கும் - கட்டமைப்பு நேரத்தின் விலையில்.
நன்மைகள்
- தீவிரமான கருவிகளுக்கான ட்யூன் செய்யக்கூடிய செயல்திறன்
- உங்கள் GPU இலிருந்து மேலும் கசக்கி எடுக்க பரிசோதனை மற்றும் சிறந்தது
தீமைகள்
- அமைப்பு “ஹெல்மெட் கொண்டு வாருங்கள்” அளவாக இருக்கலாம்
- சாதாரண பயனர்களுக்கு மிகவும் நட்பு ரீதியான தேர்வு அல்ல
இதற்கு ஏற்றது: குமிழ்கள் மற்றும் விளக்கப்படங்களை விரும்பும் செயல்திறன் ஆர்வலர்கள் மற்றும் ஆராய்ச்சியாளர்கள்.
“உள்ளூர்” AI பற்றிய ஒரு விரைவான யதார்த்த சோதனை
உள்ளூர் தானாகவே “100% தனிப்பட்டது” என்று அர்த்தமல்ல. சில பயன்பாடுகள் இணையத்திலிருந்து மாதிரிகளைப் பெறலாம், புதுப்பிப்புகளை இழுக்கலாம் அல்லது குரல், பார்வை அல்லது உட்பொதிவுகளுக்கான வெளிப்புற API களை அழைக்கலாம். தனியுரிமை உங்கள் நோக்கமாக இருந்தால், சோதனை செய்யும் போது விமானப் பயன்முறையைத் திருப்புங்கள், ஆஃப்லைன் மாதிரிகளைப் பயன்படுத்துங்கள் மற்றும் நீங்கள் அடமானம் போடுவது போல் அமைப்புகளைப் படியுங்கள். இந்த கருவிகளில் பல ஆஃப்லைனில் நன்றாக உள்ளன - ஆனால் நீங்கள் உண்மையில் ஆஃப்லைனில் சென்றால் மட்டுமே.
மாதிரிகளைத் தேர்ந்தெடுப்பது: மூன்று கரடிகள் கொள்கை
- பெரிய மாதிரிகள் (70B+): அதிக திறன், அதிக RAM/GPU VRAM தேவை, உங்கள் டோஸ்டரை விட அதிக வெப்பம்.
- நடுத்தர அளவு (7B–13B): ஒழுக்கமான GPU க்களுடன் மடிக்கணினிகளுக்கான இனிமையான இடம்; நல்ல பொதுவான செயல்திறன்.
- சிறியது (3B–4B): அடக்கமான வன்பொருளில் வேகமானது, சில பணிகளுக்கு ஆச்சரியப்படும் வகையில் திறமையானது, இருப்பினும் அவை எப்போதாவது உங்கள் நாயின் நடுத்தர பெயரை மாயமாக்குகின்றன.
சந்தேகம் இருந்தால், சிறியதாகத் தொடங்குங்கள். 7B மாடல் நன்றாக இயங்குகிறது, பின்னர் உங்கள் ரசிகர்கள் டெக்னோவை இயற்றும் வரை அதிகரிக்கவும்.
வன்பொருள் உண்மை: அமைதியான வில்லன்
- GPU VRAM தான் ராஜா. உங்கள் GPU இல் 8GB இருந்தால், கவனமான அமைப்புகளுடன் அளவிடப்பட்ட 13B மாடலைச் சுற்றி நீங்கள் அதிகபட்சமாக வெளியேறுவீர்கள்.
- மாதிரிகளை ஏற்றுவதற்கு RAM முக்கியமானது, ஆனால் வேகமான அனுமானத்திற்கான VRAM என்பது தடையாக உள்ளது.
- CPU கள் llama.cpp வழியாக அளவிடப்பட்ட மாதிரிகளை இயக்க முடியும், ஆனால் ராக்கெட் கப்பல்களை எதிர்பார்க்க வேண்டாம். இது ஒரு நல்ல குரூஸ்.
இரண்டு அமைப்புகளின் கதை: உண்மையான உலக காட்சிகள்
சாதாரண உருவாக்கியவர்
- இலக்கு: செய்திமடல்களை உருவாக்குங்கள், மூளைச்சலவை செய்யுங்கள், YouTube ஸ்கிரிப்ட்களை உள்ளூரில் கோடிட்டுக் காட்டுங்கள்.
- தேர்வு: நட்பு முன் முனையில் LM Studio அல்லது OpenWebUI.
- மாதிரி: வேகத்திற்கான 4-பிட் அளவீட்டில் 7B பொதுவான மாதிரி.
- உதவிக்குறிப்பு: உங்கள் தூண்டுதல்களை குறுகியதாகவும் குறிப்பிட்டதாகவும் வைத்திருங்கள். தொனி தவறாக இருந்தால் மாதிரிகளை மாற்றவும். இது ஒரு வித்தியாசமான பாடலுக்கான கிட்டார்களை மாற்றுவது போன்றது.
வீட்டு ஆய்வக ஹீரோ
- இலக்கு: பல பயனர்கள்; ஒரு குடும்ப விக்கி அல்லது கோடிங் உதவியாளர் கூட.
- தேர்வு: பின்தள சேவையகமாக vLLM; அரட்டை முன் முனையாக OpenWebUI.
- மாதிரி: சமநிலைக்கு நடுத்தர அளவு ஒன்று. டெவ் பணிகளுக்கான ஒரு சிறப்பு கோடிங் மாதிரியைக் கவனியுங்கள்.
- உதவிக்குறிப்பு: உங்கள் செயல்திறனைப் புரிந்துகொள்ள அளவீட்டுடன் மற்றும் இல்லாமல் பெஞ்ச்மார்க்குகளை இயக்கவும்.
புனைகதை எழுத்தாளர்
- இலக்கு: நீண்ட கால நிலைத்தன்மை மற்றும் எழுத்து நினைவகம்.
- தேர்வு: KoboldAI/KoboldCpp அல்லது நினைவக நீட்டிப்புகளுடன் TGWUI.
- மாதிரி: ஒரு கதை சொல்லும் ட்யூனிங் மாதிரி; வேகமான மறு செய்கைக்கு சிறிய அளவுகளை முயற்சிக்கவும்.
- உதவிக்குறிப்பு: உலக குறிப்புகள் மற்றும் எழுத்து அட்டைகளைப் பயன்படுத்தவும். உங்கள் AI மிகவும் பொறுமையான மேம்பாட்டு பங்குதாரர்.
மல்டிமோடல் பற்றி என்ன: உரை, படங்கள் மற்றும் ஒலி?
உள்ளூர் சுற்றுச்சூழல் அமைப்பு வாரந்தோறும் அதிக மல்டிமோடலாகி வருகிறது. சில UI கள் பட புரிதல், TTS அல்லது STT தொகுதிகளைச் சேர்க்க உங்களை அனுமதிக்கின்றன. இது இசைக்குழுவிற்கு புதிய கருவிகளைச் சேர்ப்பது போன்றது - எந்த செருகுநிரல் சிம்பல் செயலிழக்கச் செய்தது என்பதை உங்களுக்குத் தெரியும் வரை ஒரு நேரத்தில் ஒன்றை மட்டும் சோதிக்கவும். r/LocalLLaMA போன்ற சமூகங்கள் உங்கள் மேசையில் உண்மையான “AI ஸ்டுடியோவுக்காக” உரை, ஆடியோ மற்றும் பட உருவாக்கத்தை கலக்கும் கருவிகளுடன் பெருகி வருகின்றன.
Sider.AI கலவையில்: உலாவி பக்க உதவியாளர் எங்கு உதவுகிறது இதோ ஒரு ஆச்சரியம்: Sider.AI (ஆம், இந்த வலைப்பதிவை ஹோஸ்ட் செய்யும் நபர்கள்) நீங்கள் உலாவியில் ஆராய்ச்சி, வரைவு மற்றும் யோசனைகளை ஒழுங்கமைக்கும்போது சிறப்பாக செயல்படுகிறது. இது ஒரு உள்ளூர் மாதிரி ரன்னர் அல்ல - இந்த Ollama மாற்றுகள் அனைத்தும் செய்வது அதுதான் - ஆனால் நீங்கள் ஆதாரங்களைச் சேகரிக்கும்போது, துணுக்குகளை வெட்டும்போது அல்லது மனிதனால் படிக்கக்கூடிய உரைக்குள் குறிப்புகளை ஒருங்கிணைக்கும்போது இது ஒரு சிறந்த ஆதரவு பாத்திரத்தை வகிக்கிறது. உங்கள் உள்ளூர் மாதிரி பின்னணியில் முணுமுணுக்கும்போது அதை உங்கள் ஆராய்ச்சி சைட்கிக்காக கருதுங்கள். அவர்கள் டெவ் ஏஜெண்டுகள் மற்றும் அறிவு கட்டமைப்புகளுக்கான மாற்று அடுக்குகள் பற்றிய கவரேஜ், அவர்கள் AI கருவியின் நடைமுறை பக்கத்தில் தாவல்களை வைத்திருப்பதை காட்டுகிறது, வெறும் பளபளப்பான டெமோக்கள் அல்ல. சிக்கல்கள் மற்றும் அவற்றை எப்படித் தவிர்ப்பது
- மாடல் சூப்: வெவ்வேறு வடிவங்கள் (GGUF, Safetensors, போன்றவை) மற்றும் அளவீட்டு நிலைகள் குழப்பமாக இருக்கலாம். நன்கு ஆவணப்படுத்தப்பட்ட மாதிரி அட்டையுடன் தொடங்கி, கருவியின் பரிந்துரைக்கப்பட்ட வடிவத்தைப் பின்பற்றவும்.
- VRAM மிராஜ்: ஒரு மாதிரி கிட்டத்தட்ட ஏற்றப்பட்டால், அது இன்னும் அரட்டை அடித்த ஐந்து நிமிடங்களில் செயலிழக்கச் செய்யும். VRAM தேவைகளைச் சரிபார்த்து, ஹெட்ரூமை விடுங்கள்.
- செருகுநிரல் குவியல்: ஒரு நேரத்தில் ஒரு நீட்டிப்பைச் சேர்க்கவும். செயல்திறன் தொட்டியில் இருந்தால், குற்றவாளி யார் என்று உங்களுக்குத் தெரியும்.
- புதுப்பிப்பு கிரெம்ளின்ஸ்: பின்தளங்கள் மற்றும் UI க்கும் இடையிலான பதிப்பு பொருந்தாதது மர்மமான பிழைகளை உருவாக்குகிறது. உங்களிடம் நிலையான அமைப்பு இருக்கும்போது பதிப்புகளை முடக்குங்கள்.
ஒரு கையேடு மினி வழிகாட்டி: Ollama இலிருந்து ஒரு மாற்றத்திற்கு மாறுதல்
காட்சி: நீங்கள் Ollama ஐப் பயன்படுத்தினீர்கள், ஆனால் ஒரு நட்பு GUI மற்றும் அதிக கட்டுப்பாடு வேண்டும்.
- LM Studio வை முயற்சிக்கவும்
- உங்கள் OS க்கான பயன்பாட்டைப் பதிவிறக்கவும்.
- மாதிரிகளை உலாவவும் தொடங்க 7B ஐத் தேர்ந்தெடுக்கவும்.
- ஸ்லைடர்களுடன் மாதிரி அளவுருக்களை (வெப்பநிலை, டாப்-பி) சரிசெய்யவும் மற்றும் அரட்டை அடிக்கவும்.
- உங்களுக்கு API அணுகல் தேவைப்பட்டால், சேவையக பயன்முறையை இயக்கி, உங்கள் வாடிக்கையாளரை லோக்கல் ஹோஸ்டில் சுட்டிக்காட்டவும்.
- அல்லது OpenWebUI + llama.cpp ஐ முயற்சிக்கவும்
- உங்கள் தளத்திற்கான llama.cpp பில்டரை நிறுவவும்.
- GGUF மாடலைப் பிடிக்கவும் (7B, 4-பிட்டுடன் தொடங்கவும்).
- OpenWebUI ஐ இயக்கி, llama.cpp ஐ பின்தளமாக அமைக்கவும்.
- மாடல் மாறுதலுடன் சுத்தமான அரட்டை இடைமுகத்தை அனுபவிக்கவும்.
- அல்லது முழு சக்தியுடன் செல்லுங்கள்: TGWUI
- Text Generation WebUI ஐ நிறுவவும் (ரெப்போவின் வழிமுறைகளைப் பின்பற்றவும்; ஆழமாக சுவாசிக்கவும்).
- உங்கள் GPU க்கு ஏற்ற ஒரு பின்தளத்தைத் தேர்ந்தெடுக்கவும் (CUDA, ROCm, Metal).
- நினைவகம், தூண்டுதல்கள் மற்றும் மல்டிமோடல் கூடுதல் நீட்டிப்புகளை ஆராயுங்கள்.
அனுபவத்தை ஒப்பிடுதல்: உணர்வு vs வேகம் vs கட்டுப்பாடு
- உணர்வு (UX): LM Studio மற்றும் OpenWebUI நட்புக்காக வெற்றி பெறுகின்றன. TGWUI ஆழமானது, ஆனால் பரபரப்பானது.
- வேகம்: vLLM மற்றும் exllama/LLMDeploy போன்ற ட்யூன் செய்யப்பட்ட பின்தளங்கள் சரியான வன்பொருளில் அலற முடியும்.
- கட்டுப்பாடு: TGWUI மற்றும் Kobold-மைய கருவிகள் உங்களுக்கு நாட்களுக்கு தேவையான குமிழ்களை வழங்குகின்றன. llama.cpp உங்களுக்கு குறைந்தபட்சம் மற்றும் பொருந்தக்கூடிய தன்மையை வழங்குகிறது.
தொகுப்புகள் என்ன சொல்கின்றன (மற்றும் எங்கே சந்தேகப்பட வேண்டும்)
Ollama, LM Studio, TGWUI மற்றும் vLLM ஆகியவற்றை முக்கிய தூண்களாக தொகுப்புகள் தொடர்ந்து எடுத்துக்காட்டுகின்றன, செயல்திறனுக்கான llama.cpp மற்றும் எழுத்தாளர்களுக்கான Kobold கருவிகளுக்கு shout-out களுடன். இருப்பினும், ஒரு-அளவு-அனைவருக்கும் தீர்ப்புகளை எச்சரிக்கையாக இருங்கள் - வன்பொருள், மாதிரிகள் மற்றும் அமைப்பிற்கான உங்கள் சகிப்புத்தன்மை ஆகியவை எந்த “Top 5” பட்டியலையும் விட முக்கியமானது. 24GB GPU இல் பறக்கும் ஒன்று ஒரு MacBook Air இல் ஊர்ந்து செல்லக்கூடும், மேலும் நீங்கள் ஸ்மார்ட் அளவீடுகளைத் தேர்ந்தெடுத்தால், அதற்கு நேர்மாறாக இருக்கும்.
எனது கருத்து: நட்பு பரிந்துரை ஏணி
- தொடங்கு: LM Studio அல்லது OpenWebUI. வேகமாக வெற்றி பெறுங்கள்.
- பிறகு: உங்களுக்கு அதிக கட்டுப்பாடு மற்றும் செருகுநிரல்கள் தேவைப்பட்டால் TGWUI ஐ முயற்சிக்கவும்.
- அடுத்து: நீங்கள் இலகுரக மற்றும் போர்ட்டபிள் விரும்பினால் llama.cpp ஐ ஆராயுங்கள்.
- குழுக்களுக்கு: உங்களுக்கு ஏககாலம் தேவைப்படும்போது vLLM அல்லது ஒத்த சேவையகத்தைத் தொடங்கவும்.
- எழுத்தாளர்களுக்கு: நினைவக அம்சங்களுடன் கூடிய Kobold-சுவையுள்ள கருவிகள்.
இறுதியாக ஒன்று… (ஏனென்றால் எப்போதும் ஒன்று இருக்கும்)
உள்ளூர் AI என்பது கொல்லைப்புற தோட்டம் போன்றது. முதல் தக்காளி சிறியதாக இருக்கும், மேலும் நீங்கள் நியாயமற்ற முறையில் பெருமைப்படுவீர்கள். நீங்கள் மண் (அளவீட்டு), சூரிய ஒளி (VRAM) மற்றும் நீர் (மாதிரி அளவுருக்கள்) ஆகியவற்றை சரிசெய்வீர்கள். ஒரு நாள், உங்கள் சொந்த இயந்திரத்திலிருந்து ஒரு சரியான, தனிப்பட்ட, அதிவேக சாட்போட்டை வெளியே இழுத்துவிடுவீர்கள் - மேலும் நீங்கள் ஒருபோதும் திரும்பிச் செல்லப் போவதில்லை என்பதை உணருவீர்கள்.
முக்கிய படிப்பினைகள் சுருக்கப்பட்டுள்ளன
- Ollama சிறந்தது, ஆனால் GUI கள் (LM Studio, OpenWebUI), சக்தி மற்றும் செருகுநிரல்கள் (TGWUI), வேகம்/சேவை (vLLM), திறன் (llama.cpp) மற்றும் கதை சொல்லுதல் (Kobold கருவிகள்) ஆகியவற்றிற்கு மாற்றுகள் பிரகாசிக்கின்றன.
- உங்கள் வன்பொருள் மற்றும் இலக்குகளுக்கு ஏற்ற கருவியைப் பயன்படுத்தவும்; சிறியதாகத் தொடங்கி, பின்னர் அளவிடவும்.
- மாதிரி அட்டைகளைப் படியுங்கள்; VRAM ஐ மனதில் கொள்ளுங்கள்; செருகுநிரல்களை மெதுவாகச் சேர்க்கவும்.
- உலாவியில் ஆதாரங்களைச் சேகரித்து வரைவுகளை வடிவமைக்கும்போது Sider.AI ஐ உங்கள் ஆராய்ச்சி சைட்கிக்காகப் பயன்படுத்தவும் - உள்ளூர் ரன்னர்கள் அனுமானத்தை மேற்கொள்கிறார்கள், சொற்களைக் கையாள Sider.AI உதவுகிறது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
Q1: ஆரம்பநிலையாளர்களுக்கான சிறந்த Ollama மாற்றுகள் யாவை?
LM Studio மற்றும் OpenWebUI ஆகியவை நட்பு ரீதியான Ollama மாற்றுகள். அவை உங்களுக்கு ஒரு சுத்தமான இடைமுகம், எளிதான மாதிரி உலாவல் மற்றும் கட்டளை-வரி துப்புரவு வேட்டை இல்லாமல் விரைவான வெற்றிகளை வழங்குகின்றன.
Q2: பல பயனர் சேவைக்கு எந்த Ollama மாற்று வேகமானது?
vLLM செயல்திறன் மற்றும் ஏககாலத்திற்காக உருவாக்கப்பட்டது, இது பல பயனர் அல்லது குழு காட்சிகளுக்கு ஒரு சிறந்த தேர்வாக அமைகிறது. ஒரு கிளிக் பயன்பாட்டை விட இதற்கு அதிக அமைப்பு தேவைப்படுகிறது, ஆனால் செயல்திறன் திரும்பப் பெறுவது உண்மையானது.
Q3: என்னிடம் ஒரு சாதாரண லேப்டாப் இருந்தால், நான் முதலில் எந்த கருவியை முயற்சி செய்ய வேண்டும்?
OpenWebUI அல்லது LM Studio போன்ற எளிய front end மூலம் llama.cpp உடன் தொடங்கவும். உங்கள் லேப்டாப்பின் ventilator அதிக சூடாகாமல் இருக்க, சிறிய, 4-பிட் quantized 7B மாதிரியைப் பயன்படுத்தவும்.
Q4: நான் ஒரு எழுத்தாளர் - நீண்ட கதைகளுக்கு சிறந்த உள்ளூர் அமைப்பு எது?
நினைவக அம்சங்கள் மற்றும் கதாபாத்திர கருவிகள் காரணமாக KoboldCpp அல்லது KoboldAI கதை சொல்லலுக்குச் சிறப்பாக இருக்கும். கூடுதல் plugins மற்றும் ஆழமான tuning உங்களுக்குத் தேவைப்பட்டால், Text Generation WebUI மற்றொரு சிறந்த வழி.
Q5: ஒரு நட்பு UI-ஐ அதிவேக backend உடன் இணைக்க முடியுமா?
நிச்சயமாக முடியும். OpenWebUI அல்லது TGWUI-ஐ vLLM அல்லது llama.cpp போன்ற backend உடன் இணைக்கவும். உள்ளே கடினமான வேலை நடக்கும்போது உங்களுக்கு வசதியான chat interface கிடைக்கும்.
