வampயர் படக் கதைகளிலிருந்து எடுக்கப்பட்டது போல் தோற்றமளிக்கும் அறிவுறுத்தல்களுடன் ஒரு ஃபிளாட்-பேக் மரச்சாமான்களைச் சேர்க்க எப்போதாவது முயன்றிருக்கிறீர்களா? 2023 ஆம் ஆண்டில் ஒரு உள்ளூர் AI மாதிரியை இயக்குவது பலருக்கு அப்படித் தோன்றியது: கவர்ச்சிகரமான, அதிகாரம் அளிக்கும், மற்றும் மரவேலை செய்வதைக் கற்றுக்கொள்ள விரும்பும் அளவுக்கு குழப்பமானதாக இருந்தது. GPT4All உதவியது - நட்பு நிறுவி, ஒழுக்கமான UI - ஆனால் அது உங்களுக்குச் சரியாகப் பொருந்தாது. எளிதான மாதிரி மேலாண்மை, அல்லது GPU வேகம், அல்லது பகிரக்கூடிய வலை UI, அல்லது "எனது ஆவணங்களுடன் அரட்டை அடிக்க ஒரு எளிய வழி, தயவுசெய்து" போன்றவற்றை நீங்கள் விரும்பலாம்.
நல்ல செய்தி: GPT4All மாற்றுகளின் ஒரு முழு சுற்றுப்புறமும் மலர்ந்துள்ளது. அவை தனியுரிமை, சாதன வேகம் மற்றும் உங்கள் தரவை கிளவுடுக்கு அனுப்பாத சூடான பஞ்சுபோன்ற உணர்வு ஆகியவற்றில் கவனம் செலுத்துகின்றன. இன்று, நான் சிறந்த விருப்பங்களைச் சுற்றிப் பார்க்கிறேன், ஒவ்வொன்றும் எங்கு பிரகாசிக்கிறது என்பதை விளக்குகிறேன், மேலும் - இந்தப் பகுதி முக்கியமானது - ஒரு சாதாரண நபர் (நீங்கள்!) அவற்றை வீட்டில், வேலையில் அல்லது உங்கள் Wi-Fi காபி இடைவேளைக்குச் செல்லும் போது உண்மையில் எவ்வாறு பயன்படுத்துவார் என்பதைக் காட்டுகிறேன்.
நாங்கள் உருளும் முன் ஒரு எச்சரிக்கை: மென்பொருள் வேகமாக நகர்கிறது, அம்சங்கள் மாறுகின்றன, மேலும் உங்கள் கணினியின் அடிப்படையில் உங்கள் பயன்பாடு மாறுபடும். இதை ஒரு பயண வழிகாட்டியாக நினைத்துக்கொள்ளுங்கள், பத்து கட்டளைகள் அல்ல. 2024-2025 ஆம் ஆண்டுகளில் மக்கள் பேசும் உள்ளூர் LLM கருவிகளை நீங்கள் தேடுகிறீர்கள் என்றால், குறுகிய பட்டியலில் Ollama, LM Studio, Text Generation WebUI (அதாவது oobabooga), Jan, Llama.cpp, LocalAI மற்றும் நண்பர்கள் அடங்கும். பல திரட்டல்கள் இந்த ஆண்டுக்கு செல்ல வேண்டிய உள்ளூர் LLM தேர்வுகள் என இந்த பெயர்களை முன்னிலைப்படுத்துகின்றன.
எப்படியிருந்தாலும், நாங்கள் எதற்காக மேம்படுத்துகிறோம்?
“உள்ளூர் LLMகள்” என்பது உங்களுக்குப் புதிய சொற்றொடர் என்றால், கிளவுடு இல்லை, மாதக் கட்டணம் இல்லை, அறியப்படாத சேவையகங்களுக்குத் தரவு செல்வதில்லை, உங்கள் சொந்த கணினியில் AI மாதிரிகளை இயக்குவது என்று அர்த்தம். மெகா-கிளவுட் மாடல்களின் சில மூல சக்தியை நீங்கள் விட்டுவிடுவீர்கள் (இப்போது), ஆனால் நீங்கள் தனியுரிமை, கட்டுப்பாடு மற்றும் ஆச்சரியப்படும் விதமாகப் பயன்படுத்தக்கூடிய வேகத்தைப் பெறுவீர்கள், சரியான மாதிரி அளவு மற்றும் வன்பொருளை நீங்கள் தேர்வு செய்தால்.
இப்போது, அந்த மாதிரிகளை இயக்க சரியான கருவியை எப்படித் தேர்ந்தெடுப்பது? ஆளுமை வகையின்படி வரிசைப்படுத்தலாம்.
- Ollama: "இது வேலை செய்கிறது" கட்டளை-வரிசை வரவேற்பாளர்
மாதிரிகளை நிறுவி மாற்றுவதற்கு ஒரு வார்த்தை வழி இருந்தால் நீங்கள் எப்போதாவது விரும்பியிருந்தால், Ollama என்பது பிஸ்ஸா ஆர்டர் செய்வது போன்றது: “ollama run llama3” மற்றும் அது சரியான மாவு, சாஸ் மற்றும் டாப்பிங்ஸைப் பெறுகிறது. இது ஒரு பின்னணிச் சேவையாகும், இது வளர்ந்து வரும் மாதிரிகளின் மெனுவிற்கான பதிவிறக்கம், குவாண்ட்டைசேஷன் மற்றும் புதுப்பிப்புகளைக் கையாள்கிறது. நீங்கள் அதைத் தனியாகப் பயன்படுத்தலாம், அதன் உள்ளூர் API மூலம் மற்ற பயன்பாடுகளில் வயர் செய்யலாம் அல்லது வலை UI உடன் இணைக்கலாம். இது உள்ளூர் LLMகளுக்கான உலகளாவிய ரிமோட் போன்றது.
இது எதற்காகச் சிறந்தது:
- விரைவான தொடக்கங்கள்: நீங்கள் நிமிடங்களில் ஒரு மாதிரியுடன் அரட்டை அடிக்கலாம்.
- மாடல் ஹாப்பிங்: இந்த மணி நேரத்தில் லாமா 3 ஐயும், மதிய உணவுக்குப் பிறகு ஒரு மிஸ்ட்ரல் மாறுபாட்டையும் சோதிக்கவும்.
- ஒருங்கிணைப்புகள்: பல சமூக கருவிகள் ஒல்லாமாவின் மொழியைப் பேசுகின்றன.
எதை கவனிக்க வேண்டும்:
- இது பெரும்பாலும் ஒரு CLI அனுபவம். பயமுறுத்துவதாக இல்லை, வெறுமனே.
- நீண்ட அமர்வுகளுக்கு நீங்கள் இன்னும் ஒரு UI ஐ மேலே வைத்திருக்க விரும்புவீர்கள் - Open WebUI அல்லது Ollama API உடன் பேசும் எதையும்.
நீங்கள் மேலோட்டமாக இருந்தால்: Ollama என்பது உராய்வு நீக்கி. புதிய வழிகாட்டிகள் 2025 ஆம் ஆண்டிற்கான சிறந்த உள்ளூர் LLM கருவிகளில் ஒன்றாகத் தொடர்ந்து தரவரிசைப்படுத்துகின்றன.
- LM Studio: மனிதர்களுக்கான சிறந்த "பயன்பாடு போன்ற" அனுபவம்
Ollama கட்டளையின் மூலம் பிஸ்ஸா என்றால், LM Studio உங்கள் வசதியான சுற்றுப்புற டிராட்டோரியா. இது காட்சி மாதிரி பட்டியல், ஒரு கிளிக் பதிவிறக்கங்கள், அரட்டை சாளரங்கள் மற்றும் சூழல் நீளம் மற்றும் அமைப்பு தூண்டுதல்களுக்கான சில எளிமையான குமிழ் கொண்ட ஒரு முழுமையான டெஸ்க்டாப் பயன்பாடாகும். பிற பயன்பாடுகள் இணைக்கக்கூடிய ஒரு உள்ளூர் சேவையகத்தையும் நீங்கள் இயக்கலாம், இது "வீட்டில் உங்கள் தனிப்பட்ட AI இயந்திரமாக LM Studio ஐப் பயன்படுத்துங்கள்" என்று சொல்வதற்கான ஒரு ஆடம்பரமான வழியாகும்.
இது எதற்காகச் சிறந்தது:
- டெர்மினல்களை விட பொத்தான்களை விரும்பும் நபர்கள்.
- ஒரு கருவியைக் கற்றுக் கொள்ளாமல் ஒரு மாதிரியை முயற்சி செய்து மற்றொரு மாடலுக்கு மாறுதல்.
- எடை குறைந்த தூண்டுதல் பொறியியல் மற்றும் மாதிரிகளின் நூலகத்தை நிர்வகித்தல்.
எதை கவனிக்க வேண்டும்:
- சக்தி பயனர்கள் அதன் இயல்புநிலைகளை விட அதிகமாக வளரலாம், ஆனால் நீங்கள் தோண்டினால் ஆழம் உள்ளது.
- எல்லா உள்ளூர் கருவிகளையும் போலவே, செயல்திறன் உங்கள் வன்பொருளைப் பெரிதும் சார்ந்துள்ளது.
உள்ளூர் மாடல்களை இயக்குவதற்கான சிறந்த தேர்வுகளில் LM Studio அடிக்கடி சேர்க்கப்படுகிறது - அதற்கு ஒரு நல்ல காரணம் உள்ளது: இது புதியவர்களுக்கு மிகவும் அணுகக்கூடிய நுழைவாயில் ஆகும்.
- Text Generation WebUI (oobabooga): சுவிஸ் இராணுவ அரட்டை ஆய்வகம்
இது டின்க்கரர்களின் கிளப்ஹவுஸ்: உங்கள் உலாவியில் நீங்கள் இயக்கும் உள்ளூர் வலை பயன்பாடு, நீட்டிப்புகள், பாத்திர அட்டைகள், உடனடி வார்ப்புருக்கள், நன்றாக-சரிப்படுத்தும் உதவியாளர்கள் மற்றும் ஒரு டின்னர் மெனுவை விட அதிகமான ஸ்லைடர்களுடன் Bristling. உங்கள் சிறந்த வெள்ளிக்கிழமை இரவு "ஆறு மாதிரிகள் மற்றும் இரண்டு GPUகளிலும் டோக்கன் மாதிரி அமைப்புகளை ஒப்பிடுக" என்றால், இது உங்களுக்கான இடம்.
இது எதற்காகச் சிறந்தது:
- ஆழமான தனிப்பயனாக்கம்: மாதிரி முறைகள், LoRA ஏற்றங்கள், முன்னமைவுகள்.
- ஆள் மற்றும் பாத்திர விளையாட்டு அரட்டைகள், ஆக்கப்பூர்வமான எழுத்து, சோதனை.
- நீண்ட அமர்வுகள் மற்றும் செருகுநிரல்கள்.
எதை கவனிக்க வேண்டும்:
- ஒரு கிளிக் படையை விட அமைப்பு மிகவும் சிக்கலானதாக இருக்கலாம்.
- சக்தியுடன் சிக்கல் வருகிறது. இது ஒரு ஆய்வகம், ஸ்பா அல்ல.
- Jan: நட்பு, தொகுக்கப்பட்ட, இணையம் தேவையில்லாத பயன்பாடு
Jan என்பது "AI to-go" பை போன்றது: இது ஒரு இயந்திரத்தையும் மாதிரிகளையும் தொகுக்கிறது, எனவே நீங்கள் தலையிடாமல் ஆஃப்லைனில் இயக்கலாம். சிந்தியுங்கள்: "உள்ளூர்-LLM ரகசிய கைகுலுக்கலைக் கற்காமல் நான் ஒரு தனிப்பட்ட அரட்டை உதவியாளரை விரும்புகிறேன்." இது தனியுரிமைக்கு முதலிடம் கொடுக்கும், பெட்டியிலிருந்து வெளியே ஒரு பயனர் நட்பு அனுபவமாக இருக்க வேண்டும்.
இது எதற்காகச் சிறந்தது:
- ஆஃப்லைன்-முதல் பயனர்கள் மற்றும் பயணிகள்.
- இணையம் இல்லாமல் அரட்டை, குறிப்பு வரைவு, அடிப்படை கோடிங் உதவி.
எதை கவனிக்க வேண்டும்:
- மாதிரி மெனு ஒரு DIY ஸ்டேக் போல பரந்ததாக இல்லை.
- சக்தி பயனர்கள் மற்ற கருவிகளை விட விரைவில் வரம்புகளை சந்திக்கலாம்.
- Llama.cpp மற்றும் நண்பர்கள்: செயல்திறன் பிளம்பிங்
பல உள்ளூர் கருவிகளின் கீழ் Llama.cpp உள்ளது - இது மிகவும் மேம்படுத்தப்பட்ட C/C++ செயல்படுத்தல் ஆகும், இது இந்த மாதிரிகள் CPU மற்றும் நுகர்வோர் GPUகளில் வியக்கத்தக்க வகையில் நன்றாக இயங்க வைக்கிறது. நீங்கள் குறைந்த-நிலை கட்டுப்பாடு விரும்பினால் நீங்கள் அதை நேரடியாகப் பயன்படுத்தலாம், அல்லது Ollama மற்றும் LM Studio போன்ற கருவிகள் உங்களுக்காக அதைக் கையாளட்டும். குவாண்ட்டைசேஷன் வடிவங்களில் நீங்கள் கனவு கண்டால், வீட்டிற்கு வரவேற்கிறோம்.
இது எதற்காகச் சிறந்தது:
- வெறும்-உலோக செயல்திறன் மற்றும் சிறந்த-தானிய கட்டுப்பாடு.
- கவனமாக குவாண்ட்டைசேஷனுடன் மிதமான வன்பொருளில் இயங்குதல்.
எதை கவனிக்க வேண்டும்:
- DIY பிரதேசம். சில வாசிப்பு மற்றும் டெர்மினல் நேரத்தை எதிர்பார்க்கவும்.
- LocalAI: டிராப்-இன் API மாற்றீடு அபிலாஷைகள்
LocalAI பிரபலமான AI APIகளை உள்நாட்டில் பிரதிபலிக்க முயல்கிறது. உங்கள் பயன்பாடு OpenAI-பாணி இறுதிப்புள்ளியை எதிர்பார்த்தால், LocalAI உங்கள் மடிக்கணினி அல்லது சேவையகத்தில் பிளக்-இணக்கமான நிலைப்பாடாக இருக்க விரும்புகிறது. டெவலப்பர்களுக்கு, அது ஒரு வல்லரசாக இருக்கலாம்: உங்கள் குறியீட்டில் பாதியை மீண்டும் எழுதாமல் தனியுரிமை மற்றும் பெயர்வுத்திறன்.
இது எதற்காகச் சிறந்தது:
- கிளவுட் போல "வேலை செய்யும்" ஒரு உள்ளூர், தனிப்பட்ட API ஐ விரும்பும் டெவலப்பர்கள்.
- சுயமாக வழங்குபவர்கள் மற்றும் சிறிய குழுக்கள்.
எதை கவனிக்க வேண்டும்:
- நுகர்வோர் சார்ந்த பயன்பாடுகளை விட அதிக அமைப்பு மற்றும் பராமரிப்பு தேவைப்படுகிறது.
- Open WebUI (மற்றும் இதே போன்றது): உங்கள் இயந்திரங்களுக்கான நட்பு முகம்
Ollama போன்ற பின் முனையை Open WebUI போன்ற முன் முனையுடன் இணைக்கவும், மேலும் வரலாறு, கோப்பு பதிவேற்றங்கள் மற்றும் பல-மாதிரி மாறுதலுடன் ஒரு மகிழ்ச்சியான, பகிரக்கூடிய அரட்டை இடைமுகத்தைப் பெற்றுள்ளீர்கள். உங்கள் உள்ளூர் AI ஐ கேரேஜில் ஒரு பால் கிரேட்டில் உட்கார வைப்பதற்குப் பதிலாக ஒரு வாழ்க்கை அறையைக் கொடுப்பது போன்றது இது.
இது எதற்காகச் சிறந்தது:
- ஒரு சுத்தமான, உலாவி அடிப்படையிலான அரட்டையை விரும்பும் குழுக்கள் அல்லது குடும்பங்கள்.
- ஒரே இடைமுகத்தில் பல பின்-முனை மாதிரிகளை மையப்படுத்துதல்.
எதை கவனிக்க வேண்டும்:
- நீங்கள் இரண்டு அடுக்குகளை நிர்வகிக்கிறீர்கள் - இயந்திரம் மற்றும் UI.
நீங்கள் எதை எடுக்க வேண்டும்? உள்ளூர் LLMகளுக்கான ஆளுமை வினாடி வினா
- "நான் வேகமாகத் தொடங்க விரும்புகிறேன், மேலும் கட்டளை வரியை நான் பொருட்படுத்தவில்லை." Ollama வைத் தேர்ந்தெடுக்கவும்.
- "தயவு செய்து எனக்கு பொத்தான்களுடன் ஒரு நல்ல பயன்பாட்டைக் கொடுங்கள்." LM Studio வைத் தேர்ந்தெடுக்கவும்.
- "நான் டிங்கர் செய்கிறேன், எனவே நான் இருக்கிறேன்." Text Generation WebUI வைத் தேர்ந்தெடுக்கவும்.
- "ஆஃப்லைன், தனிப்பட்ட, தொகுக்கப்பட்டவை." Jan ஐத் தேர்ந்தெடுக்கவும்.
- "நான் பயன்பாடுகளை உருவாக்குகிறேன், எனக்கு ஒரு உள்ளூர் API வேண்டும்." LocalAI ஐத் தேர்ந்தெடுக்கவும்.
- "எனக்கு இறுதி கட்டுப்பாடு மற்றும் வேக குமிழ்கள் வேண்டும்." Llama.cpp ஐ நேரடியாகத் தேர்ந்தெடுக்கவும் (அல்லது அதன் மீது கட்டப்பட்ட கருவிகள்).
செயல்திறன் மற்றும் வன்பொருள் பற்றிய ஒரு விரைவான வார்த்தை
உள்ளூர் மாதிரிகள் GPUகளில் வேகமாக இயங்குகின்றன, ஆனால் நவீன CPUகள் சிறிய, குவாண்ட்டைஸ் செய்யப்பட்ட மாதிரிகளுடன் ஆச்சரியப்படும் விதமாக நன்றாகச் செயல்பட முடியும். மொழிபெயர்ப்பு: Minesweeper தீவிரமானது என்று நினைக்கும் மின்விசிறி இல்லாத மடிக்கணினி உங்களிடம் இருந்தால், 70B-அளவுரு மம்முத்தைப் பதிவிறக்க வேண்டாம். பொதுவான எழுத்து மற்றும் மூளைச்சலவைக்கு 3B–8B மாதிரிகளை முயற்சிக்கவும்; உங்களிடம் இடைப்பட்ட GPU இருந்தால் 13B–14Bக்கு உயரவும்; உங்களுக்குத் தேவை என்று உங்களுக்குத் தெரிந்தால் மட்டுமே பெரிதாகச் செல்லுங்கள் - மேலும் உங்கள் பவர் பில் உணர்ச்சி ரீதியாகத் தயாராக உள்ளது.
சூழல் சாளரங்கள் (“நினைவில் வைக்க” மாதிரி எவ்வளவு உரை) நீங்கள் நினைப்பதை விட முக்கியமானது. நீங்கள் ஆவண Q&A செய்கிறீர்கள் என்றால், நீண்ட சூழலை அனுப்ப உங்களை அனுமதிக்கும் ஒரு மாதிரி மற்றும் கருவியைத் தேர்ந்தெடுக்கவும் அல்லது மீட்டெடுப்பு-பெருகிய தலைமுறையைப் பயன்படுத்தவும் (RAG) “முதலில் தேடுங்கள், பின்னர் பதிலளிக்கவும்.” இப்போது பல கருவிகள் ஆவண அட்டவணையிடலில் பேக் செய்கின்றன, எனவே நீங்கள் ஒரு PDF ஐ கைவிட்டு, "இப்போது பணத்தைத் திரும்பக் கொடுக்கும் கொள்கை எந்தப் பக்கத்தில் மறைந்துள்ளது என்று சொல்லுங்கள்" என்று குப்பைத் தொட்டியில் ஒரு ரக்கூன் போல உருட்டாமல் சொல்லலாம்.
தனியுரிமையைப் பற்றி என்ன?
உள்ளூர் LLMகள் உங்கள் தரவை உங்கள் சாதனத்தில் வைத்திருக்கின்றன, இது அவற்றைப் பயன்படுத்துவதற்கான பாதி காரணம். ஆனால் நினைவில் கொள்ளுங்கள்: செருகுநிரல்கள், நீட்டிப்புகள் மற்றும் “இந்த மாதிரியை இணையத்திலிருந்து பதிவிறக்கு” இன்னும்… இணையம் அடங்கும். உங்கள் கணினியைப் புதுப்பித்த நிலையில் வைத்திருங்கள், நம்பகமான மையங்களிலிருந்து மாதிரிகளைப் பதிவிறக்குங்கள், மேலும் முக்கியமான கோப்புகளை முக்கியமான கோப்புகளாகக் கருதுங்கள். உள்ளூர் என்றால் கவனக்குறைவு என்று அர்த்தமல்ல.
வருத்தமில்லாமல் மாற்றுகளை சோதனை செய்வது எப்படி
ஒரு சிலவற்றை முயற்சிக்க இங்கே ஒரு குறைந்த நாடக வழி:
- LM Studio இலிருந்து தொடங்கவும். இது நட்பு மற்றும் உங்கள் வன்பொருளில் மாதிரி அளவுகள் மற்றும் வேகத்தைப் பற்றிய உணர்வை உங்களுக்கு வழங்குகிறது.
- அடுத்து Ollama வை நிறுவவும். அதை ஒரு பின்னணி இயந்திரமாகப் பயன்படுத்தி Open WebUI போன்ற முன் முனையை முயற்சிக்கவும்.
- நீங்கள் ஆழமாகச் செல்ல விரும்பினால், மேம்பட்ட அம்சங்கள் மற்றும் பாத்திர விளையாட்டு முன்னமைவுகளுக்காக Text Generation WebUI ஐ சுழற்றுங்கள்.
- "ஆஃப்லைன் மூட்டை" உங்கள் இதயத்தை மகிழ்வித்தால், Jan ஐ முயற்சிக்கவும், அது உங்கள் அன்றாட பணிகளை உள்ளடக்குகிறதா என்று பார்க்கவும்.
ஒவ்வொரு கருவியையும் இந்த கேள்விகளைக் கேளுங்கள்:
- இது ஒரு மாதிரியை விரைவாக ஏற்றுவதற்கும் அரட்டைக்கு போதுமான வேகத்தில் பதிலளிப்பதற்கும் செய்கிறதா?
- மாதிரிகளை மாற்றுவதும் உங்கள் அரட்டை வரலாற்றை வைத்திருப்பதும் எளிதானதா?
- இது உங்கள் அன்றாட வேலையைக் கையாள முடியுமா: மின்னஞ்சல்கள், குறிப்புகள், குறியீடு துணுக்குகள் அல்லது ஆவண Q&A?
ஒரு நட்பு யதார்த்த சோதனை: சிறிய மாதிரிகள் எதிராக பெரிய எதிர்பார்ப்புகள்
நாங்கள் "உள்ளூரில் போதுமான நல்ல" பொற்காலத்தில் இருக்கிறோம். சிறிய மாதிரிகள் ஒரு வருடத்திற்கு முன்பு இருந்ததை விட மிகச் சிறந்தவை, மேலும் குவாண்ட்டைசேஷன் நுட்பங்கள் சாதாரண கணினிகளில் அவற்றை இயக்க உங்களை அனுமதிக்கின்றன. ஆனால் ஒரு 7B மாதிரி ஒரு சிறந்த கிளவுட் மாதிரி செய்யக்கூடிய வழியில் ஒரு குறைபாடற்ற சட்ட இயக்கத்தை எழுதவோ அல்லது ஆயிரம்-வரி குறியீட்டுத் தளத்தை பிழைதிருத்தவோ வாய்ப்பில்லை. நீங்கள் உச்சவரம்பில் மோதினால், அது நீங்கள் அல்ல - இது இயற்பியல், கணிதம் மற்றும் நம்மைக் கோபப்படுத்தும் வெப்ப இயக்கவியலின் ஒரு விதி.
GPT4All இப்போது எங்கே பொருந்துகிறது?
GPT4All ஒரு உறுதியான தேர்வாக உள்ளது, குறிப்பாக அதன் அணுகக்கூடிய பயன்பாடு மற்றும் உள்ளூர் மாதிரி பட்டியலுக்கு. ஆனால் நீங்கள் ஒரு எளிய இயந்திர மேலாண்மையை (Ollama), மேலும் "உள்நாட்டு பயன்பாடு" உணர்வை (LM Studio), அதிகபட்ச டின்க்கரபிலிட்டி (Text Generation WebUI), அல்லது முன்-தொகுக்கப்பட்ட ஆஃப்லைன் அதிர்வை (Jan) விரும்பினால், மேலே உள்ள மாற்றுகளுடன் உங்களுக்கு ஒரு சிறந்த பொருத்தம் இருக்கலாம். சமீபத்திய திரட்டல்கள் GPT4All ஐ தொடர்ந்து கலவையில் வைக்கின்றன - குறைந்த உராய்வை விரும்பும் புதியவர்களுக்கு எப்போதும் மேலே இருக்காது.
உண்மையான வாழ்க்கை சூழ்நிலைகள்: எந்த மாற்று வெற்றி?
- வார இறுதி எழுத்தாளர்: நீங்கள் வலைப்பதிவு இடுகைகளை வரைவு செய்கிறீர்கள், தலைப்புகளை மூளைச்சலவை செய்கிறீர்கள், மேலும் பத்திகளை ஒரு நட்பு குரலில் மீண்டும் எழுதுகிறீர்கள். LM Studio மற்றும் 7B–8B மாதிரி அதிவேக அகராதி போல் உணரும், அது அதிர்வுகளையும் புரிந்துகொள்கிறது.
- தனியுரிமையில் கவனம் செலுத்தும் ஆலோசகர்: நீங்கள் கிளவுட் இல்லாமல் வாடிக்கையாளர் ஆவணங்களை சுருக்கி முன்மொழிவுகளை உருவாக்குகிறீர்கள். Ollama வை Open WebUI மற்றும் மீட்டெடுப்பு துணை நிரலுடன் இணைக்கவும், எனவே நீங்கள் PDFகளைக் குறிப்பிடலாம். நீங்கள் இரகசியங்களை சிந்தாத பேய் எழுத்தாளராக இருப்பீர்கள்.
- வீட்டு ஆய்வக டின்னர்: நீங்கள் மாதிரி அளவுருக்கள், எழுத்து அட்டைகள் மற்றும் ஆக்கப்பூர்வமான எழுத்துக்கான முக்கிய மாதிரிகளுடன் பரிசோதனை செய்கிறீர்கள். Text Generation WebUI உங்கள் விளையாட்டு மைதானம்.
- டெவலப்பர்: நீங்கள் டோக்கன்களை எரிக்காமல் பயன்பாடுகளை முன்மாதிரி செய்ய ஒரு உள்ளூர் API ஐ விரும்புகிறீர்கள். LocalAI (அல்லது Ollama's API) செருகுகிறது, உங்கள் குறியீடு வித்தியாசத்தை அறியாது, மேலும் உங்கள் மடிக்கணினி தரவு மையமாக காஸ்ப்ளே செய்ய வேண்டும்.
- பயணி: நீங்கள் Wi‑Fi இல்லாமல் ஒரு விமானத்தில் இருப்பீர்கள், ஆனால் இன்னும் ஒரு எழுத்து நண்பர் தேவை. Jan உங்கள் கேரி-ஆன் உதவியாளர்.
சரிசெய்தல் கார்னர்: விஷயங்கள் மோசமாகும்போது
- இது மெதுவாக உள்ளது: சிறிய, அதிக தீவிரமாக குவாண்ட்டைஸ் செய்யப்பட்ட மாதிரியை முயற்சிக்கவும் (Q4_K_M போன்றவை). சூழல் நீளத்தைக் குறைக்கவும். நினைவகத்தைத் தாக்கும் பயன்பாடுகளை மூடவும். உங்களிடம் தனி GPU இருந்தால், கருவி உண்மையில் அதைப் பயன்படுத்துகிறதா என்பதை உறுதிப்படுத்தவும்.
- இது மறதியானது: உங்கள் RAM அனுமதித்தால் சூழல் சாளரத்தை அதிகரிக்கவும். அல்லது RAG பணிப்பாய்வை அமைக்கவும், எனவே மாதிரி உங்கள் கோப்புகளிலிருந்து உண்மைகளை "பார்க்கலாம்".
- இது மென்மையாக உள்ளது: அமைப்பு தூண்டுதல்களையும் எடுத்துக்காட்டுகளையும் பயன்படுத்தவும். நீங்கள் விரும்பும் ஒரு பத்தியைக் காட்டி, "இதுபோல எழுதுங்கள், ஆனால் . பற்றி." என்று சொல்லுங்கள்.
- உள்ளூரில் மாதிரிகளை இயக்க சிறந்த கருவிகளைப் பற்றிய ஒரு பரந்த பார்வை - LM Studio, Jan, Llamafile, GPT4All, Ollama மற்றும் Llama.cpp.
அடிக்கடி கேட்கப்படும் கேள்விகள்
Q1:ஆரம்பநிலையாளர்களுக்கான சிறந்த GPT4All மாற்றுகள் என்ன?
நட்பு, பயன்பாடு போன்ற அனுபவத்திற்காக LM Studio இலிருந்து தொடங்கவும், பின்னர் நீங்கள் எளிதாக மாதிரி மாறுதல் மற்றும் ஒருங்கிணைப்புகளை விரும்பினால் Ollama வை சேர்க்கவும். ஏராளமான அம்சங்களைக் கொண்ட வலை UI ஐ நீங்கள் விரும்பினால், Text Generation WebUI என்பது டின்னர் விரும்புபவரின் விருப்பமாகும்.
Q2:ஒரு வழக்கமான மடிக்கணினியில் எந்த GPT4All மாற்று வேகமானது?
வேகம் உங்கள் வன்பொருள் மற்றும் மாதிரி அளவைப் பொறுத்தது. Ollama மற்றும் நன்கு குவாண்ட்டைஸ் செய்யப்பட்ட 7B–8B மாதிரி (அல்லது LM Studio அதே இயங்கும்) பொதுவாக விரைவாக உணர்கிறது; கிடைத்தால் உங்கள் GPU ஐப் பயன்படுத்தவும் மற்றும் சூழல் நீளத்தை நியாயமானதாக வைத்திருக்கவும்.
Q3:GPT4All ஐ மாற்றியமைக்க எளிய ஆஃப்லைன் அமைப்பு என்ன?
ஒரு ஆல்-இன்-ஒன், ஆஃப்லைன்-நட்பு அனுபவத்திற்காக Jan ஐ முயற்சிக்கவும். சிக்கலான இல்லாமல் இன்னும் கொஞ்சம் நெகிழ்வுத்தன்மையை நீங்கள் விரும்பினால், LM Studio ஒரு நெருக்கமான இரண்டாவது.
Q4:GPT4All மாற்றுகள் தனிப்பட்ட ஆவண Q&A ஐ கையாள முடியுமா?
ஆம் - மீட்டெடுப்பு-பெருகிய தலைமுறையை (RAG) அல்லது நீண்ட சூழல் சாளரங்களை ஆதரிக்கும் ஒரு கருவியைப் பயன்படுத்தவும். Ollama அல்லது LM Studio வை ஒரு வலை UI (Open WebUI போன்றவை) மற்றும் உங்கள் PDFகளைப் பாதுகாப்பாக வினவ RAG செருகுநிரலுடன் இணைக்கவும்.
Q5:உள்ளூர் LLMகள் அல்லது Sider.AI போன்ற உலாவி உதவியாளரைப் பயன்படுத்த வேண்டுமா?
பொருத்தமாக இருக்கும்போது இரண்டையும் பயன்படுத்தவும்: தனியுரிமை மற்றும் ஆஃப்லைன் வேலைக்கான உள்ளூர் LLMகள் மற்றும் நீங்கள் உலாவும்போது, பக்கங்களை சுருக்கமாகக் கூறும்போது அல்லது பதில்களை வரைவு செய்யும்போது Sider.AI. இது ஒரு ஒற்றை வெற்றியாளரைத் தேர்ந்தெடுப்பது அல்ல, பணிக்கான சரியான கருவியைத் தேர்ந்தெடுப்பது பற்றியது. 
