சரி, அப்படியானால் நீங்கள் ஒரு “செயற்கை நுண்ணறிவை” உருவாக்குவதில் ஆர்வமாக இருக்கிறீர்கள். அது ஹாலிவுட் படங்களில் வருவது போல, இருப்பதைப் பற்றி சிந்திக்கும் ஒரு செயற்கை நுண்ணறிவு அல்ல; மாறாக, உங்கள் மடிக்கணினியில் இயக்கி, கணிப்புகளைச் செய்து, விஷயங்களை வகைப்படுத்தி, ஒருவேளை சற்றே உரையாடவும் செய்யும் ஒரு செயற்கை நுண்ணறிவு. உங்கள் கணினியில் ஒரு செயற்கை நுண்ணறிவை உருவாக்குவது எப்படி என்பதற்கான இந்த வழிகாட்டி, ஒன்றுமில்லாத நிலையிலிருந்து , உங்கள் கணினியிலேயே உண்மையில் இயங்கும் ஒரு நிலைக்கு உங்களைக் கொண்டு செல்வதற்கான எனது முயற்சியாகும் . குறுக்குவழிகள், வெளிப்படையான கருத்துக்கள், மற்றும் அவ்வப்போது திசைமாறும் விஷயங்களை எதிர்பார்க்கலாம். ஏனென்றால், உண்மையைச் சொல்வதானால், புதிய முயற்சிகளை மேற்கொள்வது ஒருபோதும் சுலபமானதாக இருக்காது.
இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:
🔗 AI மாதிரியை எவ்வாறு உருவாக்குவது: முழு படிகள் விளக்கப்பட்டுள்ளன.
தொடக்கத்திலிருந்து முடிவு வரை AI மாதிரி உருவாக்கத்தின் தெளிவான முறிவு.
🔗 குறியீட்டு AI என்றால் என்ன: நீங்கள் தெரிந்து கொள்ள வேண்டிய அனைத்தும்
குறியீட்டு AI அடிப்படைகள், வரலாறு மற்றும் நவீன கால பயன்பாடுகளைக் கற்றுக்கொள்ளுங்கள்.
🔗 AI-க்கான தரவு சேமிப்புத் தேவைகள்: உங்களுக்குத் தேவையானது
திறமையான மற்றும் அளவிடக்கூடிய AI அமைப்புகளுக்கான சேமிப்பகத் தேவைகளைப் புரிந்து கொள்ளுங்கள்.
இப்போ ஏன் கவலைப்படுறீங்க? 🧭
ஏனென்றால், "கூகிள் அளவிலான ஆய்வகங்கள் மட்டுமே AI-ஐச் செய்ய முடியும்" என்ற சகாப்தம் போய்விட்டது. இப்போதெல்லாம், வழக்கமான மடிக்கணினி, சில திறந்த மூல கருவிகள் மற்றும் பிடிவாதத்துடன், மின்னஞ்சல்களை வகைப்படுத்தும், உரையைச் சுருக்கும் அல்லது படங்களை டேக் செய்யும் சிறிய மாதிரிகளை நீங்கள் சமைக்கலாம். தரவு மையம் தேவையில்லை. உங்களுக்குத் தேவை:
-
ஒரு திட்டம்,
-
ஒரு சுத்தமான அமைப்பு,
-
இயந்திரத்தை ஜன்னலுக்கு வெளியே தூக்கி எறிய விரும்பாமல் நீங்கள் முடிக்கக்கூடிய ஒரு இலக்கு.
இதைப் பின்பற்றுவதற்கு எது மதிப்பு அளிக்கிறது ✅
"உங்கள் கணினியில் ஒரு AI ஐ எவ்வாறு உருவாக்குவது" என்று கேட்பவர்கள் பொதுவாக முனைவர் பட்டம் பெற விரும்புவதில்லை. அவர்கள் உண்மையில் இயக்கக்கூடிய ஒன்றை விரும்புகிறார்கள். ஒரு நல்ல திட்டம் சில விஷயங்களைக் குறிக்கிறது:
-
சிறிய அளவில் தொடங்குங்கள்: அறிவைச் சிக்கலாக்காமல், உணர்வுகளை வகைப்படுத்துங்கள்.
-
மறுஉருவாக்கம்:
கோண்டாஅல்லதுவென்வி, அதனால் நீங்கள் நாளை பீதி இல்லாமல் மீண்டும் உருவாக்க முடியும். -
வன்பொருள் நேர்மை: ஸ்கிகிட்-லெர்னுக்கு CPU-க்கள் சிறந்தவை, டீப் நெட்களுக்கு GPU-க்கள் சிறந்தவை (நீங்கள் அதிர்ஷ்டசாலியாக இருந்தால்) [2][3].
-
சுத்தமான தரவு: தவறாக பெயரிடப்பட்ட குப்பை இல்லை; எப்போதும் ரயில்/செல்லுபடியாகும்/சோதனை எனப் பிரிக்கப்படும்.
-
எதையாவது குறிக்கும் அளவீடுகள்: துல்லியம், துல்லியம், நினைவுகூருதல், F1. சமநிலையின்மைக்கு, ROC-AUC/PR-AUC [1].
-
பகிர்வதற்கான ஒரு வழி: ஒரு சிறிய API, CLI, அல்லது டெமோ பயன்பாடு.
-
பாதுகாப்பு: சந்தேகத்திற்குரிய தரவுத்தொகுப்புகள் இல்லை, தனிப்பட்ட தகவல் கசிவுகள் இல்லை, அபாயங்களை தெளிவாகக் கவனியுங்கள் [4].
அவற்றைச் சரியாகப் புரிந்து கொள்ளுங்கள், உங்கள் "சிறிய" மாதிரி கூட உண்மையானது.
அச்சுறுத்தலாகத் தெரியாத ஒரு சாலை வரைபடம் 🗺️
-
ஒரு சிறிய பிரச்சனை + ஒரு அளவீட்டைத் தேர்ந்தெடுக்கவும்.
-
பைதான் மற்றும் சில முக்கிய நூலகங்களை நிறுவவும்.
-
சுத்தமான சூழலை உருவாக்குங்கள் (நீங்களே பின்னர் நன்றி கூறுவீர்கள்).
-
உங்கள் தரவுத்தொகுப்பை ஏற்றவும், சரியாகப் பிரிக்கவும்.
-
முட்டாள்தனமான ஆனால் நேர்மையான அடிப்படையைப் பயிற்றுவிக்கவும்.
-
அது மதிப்பைக் கூட்டினால் மட்டுமே நரம்பியல் வலையை முயற்சிக்கவும்.
-
ஒரு டெமோவை பேக்கேஜ் செய்யவும்.
-
சில குறிப்புகளை வைத்துக் கொள்ளுங்கள், எதிர்காலத்தில் - நீங்கள் நன்றி கூறுவீர்கள்.
குறைந்தபட்ச கருவித்தொகுப்பு: அதிகமாக சிக்கலாக்காதீர்கள் 🧰
-
பைதான்: python.org இலிருந்து எடுக்கவும்.
-
சுற்றுச்சூழல்: கோண்டா அல்லது
வென்வ். -
குறிப்பேடுகள்: விளையாடுவதற்கான ஜூபிட்டர்.
-
ஆசிரியர்: VS குறியீடு, நட்பு மற்றும் சக்தி வாய்ந்தது.
-
கோர் லிப்ஸ்
-
பாண்டாக்கள் + நம்ப்ய் (தரவு சண்டை)
-
ஸ்கைகிட்-லேர்ன் (கிளாசிக்கல் எம்எல்)
-
PyTorch அல்லது TensorFlow (ஆழமான கற்றல், GPU பொருளை உருவாக்குகிறது) [2][3]
-
கட்டிப்பிடிக்கும் முக மின்மாற்றிகள், ஸ்பாசி, ஓபன்சிவி (NLP + விஷன்)
-
-
முடுக்கம் (விரும்பினால்)
-
NVIDIA → CUDA உருவாக்குகிறது [2]
-
AMD → ROCm உருவாக்குகிறது [2]
-
ஆப்பிள் → உலோக பின்தளத்துடன் கூடிய பைடார்ச் (MPS) [2]
-
⚡ கூடுதல் குறிப்பு: உங்கள் அமைப்பிற்கான சரியான கட்டளையை அதிகாரப்பூர்வ நிறுவிகள் உங்களுக்கு வழங்க அனுமதித்தால், பெரும்பாலான "நிறுவல் சிக்கல்கள்" மறைந்துவிடும் . நகலெடுத்து, ஒட்டி, முடிந்தது [2][3]
முக்கிய விதி: முதலில் CPU-வில் ஊர்ந்து செல்லவும், பின்னர் GPU-வில் ஸ்பிரிண்ட் செய்யவும்.
உங்கள் அடுக்கைத் தேர்ந்தெடுப்பது: பளபளப்பான விஷயங்களை எதிர்க்கவும் 🧪
-
அட்டவணை தரவு → scikit-learn. லாஜிஸ்டிக் பின்னடைவு, சீரற்ற காடுகள், சாய்வு அதிகரிப்பு.
-
உரை அல்லது படங்கள் → PyTorch அல்லது TensorFlow. உரையைப் பொறுத்தவரை, ஒரு சிறிய டிரான்ஸ்ஃபார்மரை நன்றாகச் சரிசெய்வது மிகப்பெரிய வெற்றியாகும்.
-
சாட்பாட் போன்றது →
llama.cppமடிக்கணினிகளில் சிறிய LLM-களை இயக்க முடியும். மாயாஜாலத்தை எதிர்பார்க்க வேண்டாம், ஆனால் இது குறிப்புகள் மற்றும் சுருக்கங்களுக்கு வேலை செய்கிறது [5].
சுத்தமான சுற்றுச்சூழல் அமைப்பு 🧼
# Conda way conda create -n localai python=3.11 conda activate Lokai # அல்லது venv python -m venv .venv source .venv/bin/activate # Windows: .venv\Scripts\activate
பின்னர் அத்தியாவசியங்களை நிறுவவும்:
pip install numpy pandas scikit-learn jupyter pip install torch torchvision torchaudio # அல்லது tensorflow pip install transformers datasets
(GPU கட்டமைப்புகளுக்கு, தீவிரமாக, அதிகாரப்பூர்வ தேர்வியைப் பயன்படுத்தவும் [2][3].)
முதலில் வேலை செய்யும் மாதிரி: அதைச் சிறியதாக வைத்திருங்கள் 🏁
முதலில் அடிப்படை. CSV → அம்சங்கள் + லேபிள்கள் → லாஜிஸ்டிக் பின்னடைவு.
sklearn.linear_model இலிருந்து இறக்குமதி LogisticRegression ... print("துல்லியம்:", accuracy_score(y_test, preds)) print(classification_report(y_test, preds))
இது சீரற்றதை விட சிறப்பாக செயல்பட்டால், நீங்கள் கொண்டாடுவீர்கள். காபி அல்லது குக்கீ, உங்கள் விருப்பம் ☕.
சமநிலையற்ற வகுப்புகளுக்கு, மூல துல்லியத்திற்கு பதிலாக துல்லியம்/மீட்டெடுப்பு + ROC/PR வளைவுகளைக் கவனியுங்கள் [1].
நரம்பியல் வலைகள் (அவை உதவி செய்தால் மட்டுமே) 🧠
உங்களுக்கு டெக்ஸ்ட் இருக்கு, சென்டிமென்ட் வகைப்பாடு வேணுமா? முன் பயிற்சி பெற்ற ஒரு சிறிய டிரான்ஸ்ஃபார்மரை நன்றாக டியூன் செய்யுங்கள். விரைவாக, நேர்த்தியாக, உங்கள் இயந்திரத்தை சோர்வடையச் செய்யாது.
மின்மாற்றிகளிலிருந்து இறக்குமதி ஆட்டோமாடல்ஃபோர்சீக்வென்ஸ் கிளாசிஃபிகேஷன் ... trainer.train() print(trainer.evaluate())
தொழில்முறை குறிப்பு: சிறிய மாதிரிகளுடன் தொடங்குங்கள். 1% தரவில் பிழைத்திருத்தம் செய்வது மணிநேரங்களை மிச்சப்படுத்துகிறது.
தரவு: நீங்கள் தவிர்க்க முடியாத அடிப்படைகள் 📦
-
பொது தரவுத்தொகுப்புகள்: காகிள், கட்டிப்பிடிக்கும் முகம், கல்வி களஞ்சியங்கள் (உரிமங்களைச் சரிபார்க்கவும்).
-
நெறிமுறைகள்: தனிப்பட்ட தகவல்களைத் துடைக்கவும், உரிமைகளை மதிக்கவும்.
-
பிரிவுகள்: பயிற்சி, சரிபார்ப்பு, சோதனை. ஒருபோதும் எட்டிப் பார்க்காதே.
-
Labels: ஆடம்பரமான மாதிரிகளை விட நிலைத்தன்மை முக்கியமானது.
உண்மை குண்டு: 60% முடிவுகள் கட்டிடக்கலை மந்திரத்திலிருந்து அல்ல, சுத்தமான லேபிள்களிலிருந்து வருகின்றன.
உங்களை நேர்மையாக வைத்திருக்கும் அளவீடுகள் 🎯
-
வகைப்பாடு → துல்லியம், நுட்பம், மீட்டெடுப்பு, F1.
-
சமநிலையற்ற தொகுப்புகள் → ROC-AUC, PR-AUC ஆகியவை அதிக முக்கியத்துவம் பெறுகின்றன.
-
பின்னடைவு → MAE, RMSE, R².
-
உண்மை நிலையைச் சரிபார்க்கவும் → சில முடிவுகளை மேலோட்டமாகப் பார்க்கவும்; எண்கள் பொய் சொல்லக்கூடும்.
பயனுள்ள குறிப்பு: scikit-கற்றல் அளவீடுகள் வழிகாட்டி [1].
முடுக்கம் குறிப்புகள் 🚀
-
NVIDIA → PyTorch CUDA கட்டமைப்பு [2]
-
AMD → ROCm [2]
-
ஆப்பிள் → MPS பின்தளம் [2]
-
டென்சர்ஃப்ளோ → அதிகாரப்பூர்வ GPU நிறுவலைப் பின்தொடரவும் + சரிபார்க்கவும் [3]
ஆனால் உங்கள் பேஸ்லைன் இயங்குவதற்கு முன்பே அதை மேம்படுத்த வேண்டாம். அது காரில் சக்கரங்கள் வருவதற்கு முன்பே விளிம்புகளை மெருகூட்டுவது போன்றது.
உள்ளூர் உற்பத்தி மாதிரிகள்: குழந்தை டிராகன்கள் 🐉
-
llama.cpp[5] வழியாக மொழி → அளவிடப்பட்ட LLMகள் . குறிப்புகள் அல்லது குறியீடு குறிப்புகளுக்கு நல்லது, ஆழமான உரையாடலுக்கு அல்ல. -
படங்கள் → நிலையான பரவல் வகைகள் உள்ளன; உரிமங்களைக் கவனமாகப் படிக்கவும்.
சில நேரங்களில் ஒரு பணி சார்ந்த ஃபைன்-ட்யூன் செய்யப்பட்ட டிரான்ஸ்ஃபார்மர், சிறிய வன்பொருளில் வீங்கிய LLM ஐ வெல்லும்.
பேக்கேஜிங் டெமோக்கள்: மக்கள் கிளிக் செய்யட்டும் 🖥️
-
கிரேடியோ → மிகவும் எளிமையான பயனர் இடைமுகம்.
-
FastAPI → தூய்மையான API.
-
Flask → விரைவு ஸ்கிரிப்டுகள்.
gr clf = pipeline("sentiment-analysis") ... demo.launch() ஆக gradio ஐ இறக்குமதி செய்.
உங்கள் உலாவி அதைக் காண்பிக்கும் போது அது ஒரு மாயாஜாலம் போல இருக்கிறது.
மன அமைதியைக் காப்பாற்றும் பழக்கவழக்கங்கள் 🧠
-
பதிப்பு கட்டுப்பாட்டுக்கான Git.
-
கண்காணிப்பு சோதனைகளுக்கான MLflow அல்லது குறிப்பேடுகள்.
-
DVC அல்லது ஹாஷ்களைப் பயன்படுத்தி தரவு பதிப்பு.
-
மற்றவர்கள் உங்கள் பொருட்களை இயக்க வேண்டும் என்றால் டாக்கர்.
-
பின் சார்புகள் (
requirements.txt).
என்னை நம்புங்கள், எதிர்காலம் - நீங்கள் நன்றியுள்ளவர்களாக இருப்பீர்கள்.
சரிசெய்தல்: பொதுவான "அச்சச்சோ" தருணங்கள் 🧯
-
நிறுவலில் பிழைகளா? env-ஐ அழித்து மீண்டும் உருவாக்கவும்.
-
GPU கண்டறியப்படவில்லையா? இயக்கி பொருந்தவில்லை, பதிப்புகளைச் சரிபார்க்கவும் [2][3].
-
மாதிரி கற்கவில்லையா? கற்றல் விகிதத்தைக் குறைக்கவும், எளிமைப்படுத்தவும் அல்லது லேபிள்களை சுத்தம் செய்யவும்.
-
அதிகமாகப் பொருத்துகிறீர்களா? ஒழுங்குபடுத்து, விட்டுவிடு, அல்லது இன்னும் அதிகமான தரவை மட்டும்.
-
ரொம்ப நல்ல மெட்ரிக்குகளா? நீங்க டெஸ்ட் செட்டை கசிய விட்டீங்க (நீங்க நினைக்கிறதை விட இது அதிகமாக நடக்கும்).
பாதுகாப்பு + பொறுப்பு 🛡️
-
ஸ்ட்ரிப் PII.
-
உரிமங்களை மதிக்கவும்.
-
உள்ளூர்-முதல் = தனியுரிமை + கட்டுப்பாடு, ஆனால் கணக்கீட்டு வரம்புகளுடன்.
-
ஆவண அபாயங்கள் (நியாயம், பாதுகாப்பு, மீள்தன்மை, முதலியன) [4].
எளிமையான ஒப்பீட்டு அட்டவணை 📊
| கருவி | சிறந்தது | ஏன் அதைப் பயன்படுத்த வேண்டும்? |
|---|---|---|
| ஸ்கைகிட்-கற்று | அட்டவணை தரவு | விரைவான வெற்றிகள், சுத்தமான API 🙂 |
| பைடார்ச் | தனிப்பயன் ஆழமான வலைகள் | நெகிழ்வான, பெரிய சமூகம் |
| டென்சர்ஃப்ளோ | உற்பத்தி குழாய்வழிகள் | சுற்றுச்சூழல் அமைப்பு + சேவை விருப்பங்கள் |
| மின்மாற்றிகள் | உரைப் பணிகள் | முன்கூட்டியே பயிற்சி பெற்ற மாதிரிகள் கணக்கீட்டைச் சேமிக்கின்றன |
| ஸ்பாசி | NLP குழாய்கள் | தொழில்துறை வலிமை, நடைமுறைக்கு ஏற்றது |
| கிராடியோ | டெமோக்கள்/UIகள் | 1 கோப்பு → UI |
| ஃபாஸ்ட்ஏபிஐ | APIகள் | வேகம் + தானியங்கி ஆவணங்கள் |
| ONNX இயக்க நேரம் | குறுக்கு-கட்டமைப்பு பயன்பாடு | எடுத்துச் செல்லக்கூடியது + திறமையானது |
| ல்லாமா.சிபிபி | சிறிய உள்ளூர் எல்.எல்.எம்.கள் | CPU-க்கு ஏற்ற அளவு நிர்ணயம் [5] |
| டாக்கர் | envs பகிர்தல் | "இது எல்லா இடங்களிலும் வேலை செய்கிறது" |
மூன்று ஆழமான டைவ்கள் (நீங்கள் உண்மையில் பயன்படுத்துவீர்கள்) 🏊
-
அட்டவணைகளுக்கான அம்சப் பொறியியல் → இயல்பாக்குதல், ஒன்-ஹாட், மர மாதிரிகளை முயற்சித்தல், குறுக்கு-சரிபார்ப்பு [1].
-
உரைக்கான பரிமாற்றக் கற்றல் → சிறிய டிரான்ஸ்ஃபார்மர்களை நன்றாகச் சரிசெய்யவும், வரிசை நீளத்தை மிதமாக வைத்திருக்கவும், அரிதான வகுப்புகளுக்கு F1 [1].
-
உள்ளூர் அனுமானத்திற்கான உகப்பாக்கம் → அளவாக்கி, ONNX-ஐ ஏற்றுமதி செய்து, டோக்கனைசர்களைத் தற்காலிக நினைவகத்தில் சேமித்தல்.
கிளாசிக் பிட்பில்ட்ஸ் 🪤
-
மிக பெரிய கட்டிடம், மிக சீக்கிரம்.
-
தரவு தரத்தைப் புறக்கணித்தல்.
-
சோதனைப் பிரிவைத் தவிர்க்கிறது.
-
குருட்டு நகல்-ஒட்டு குறியீட்டு முறை.
-
எதையும் ஆவணப்படுத்தவில்லை.
ஒரு README கூட மணிநேரங்களுக்குப் பிறகு சேமிக்கிறது.
நேரத்திற்கு மதிப்புள்ள கற்றல் வளங்கள் 📚
-
அதிகாரப்பூர்வ ஆவணங்கள் (PyTorch, TensorFlow, scikit-learn, Transformers).
-
கூகிள் எம்எல் க்ராஷ் கோர்ஸ், டீப் லேர்னிங்.ஏஐ.
-
பார்வை அடிப்படைகளுக்கான OpenCV ஆவணங்கள்.
-
NLP குழாய்களுக்கான spaCy பயன்பாட்டு வழிகாட்டி.
ஒரு சிறிய லைஃப்-ஹேக்: உங்கள் GPU நிறுவல் கட்டளையை உருவாக்கும் அதிகாரப்பூர்வ நிறுவிகள் உயிர் காக்கும் [2][3].
எல்லாவற்றையும் ஒன்றாக இணைத்தேன் 🧩
-
நோக்கம் → ஆதரவு டிக்கெட்டுகளை 3 வகைகளாக வகைப்படுத்துதல்.
-
தரவு → CSV ஏற்றுமதி, அடையாளம் மறைக்கப்பட்டது, பிரிக்கப்பட்டது.
-
அடிப்படை → ஸ்கிகிட்-லெர்ன் TF-IDF + லாஜிஸ்டிக் ரெக்ரஷன்.
-
மேம்படுத்துதல் → அடிப்படை நிலை தடைபட்டால் மின்மாற்றியை நுட்பமாகச் சரிசெய்தல்.
-
டெமோ → கிரேடியோ டெக்ஸ்ட்பாக்ஸ் செயலி.
-
ஷிப் → டாக்கர் + ரீட்மீ.
-
மீண்டும் மீண்டும் செய் → பிழைகளைச் சரிசெய், மறுபெயரிடு, மீண்டும் செய்.
-
பாதுகாத்தல் → ஆவண அபாயங்கள் [4].
இது சலிப்பூட்டும் வகையில் பயனுள்ளதாக இருக்கிறது.
TL;DR 🎂
உங்கள் கணினியில் ஒரு செயற்கை நுண்ணறிவை உருவாக்குவது எப்படி என்பதைக் கற்றுக்கொள்வது = ஒரு சிறிய சிக்கலைத் தேர்ந்தெடுங்கள், ஒரு அடிப்படையை உருவாக்குங்கள், அது உதவும்போது மட்டுமே அடுத்த கட்டத்திற்குச் செல்லுங்கள், மேலும் உங்கள் அமைப்பை மீண்டும் மீண்டும் செய்யக்கூடியதாக வைத்திருங்கள். இதை இரண்டு முறை செய்தால், நீங்கள் திறமையானவர் என்று உணர்வீர்கள். இதை ஐந்து முறை செய்தால், மக்கள் உங்களிடம் உதவி கேட்கத் தொடங்குவார்கள், அதுதான் இதில் உள்ள ரகசியமான சுவாரஸ்யமான பகுதி.
ஆமா, சில சமயங்கள்ல ஒரு டோஸ்டருக்கு கவிதை எழுதக் கற்றுக்கொடுக்கிறது மாதிரி தோணுது. பரவாயில்லை. தொடர்ந்து ட்னிங் பண்ணுங்க. 🔌📝
குறிப்புகள்
[1] scikit-learn — அளவீடுகள் & மாதிரி மதிப்பீடு: இணைப்பு
[2] PyTorch — உள்ளூர் நிறுவல் தேர்வி (CUDA/ROCm/Mac MPS): இணைப்பு
[3] TensorFlow — நிறுவல் + GPU சரிபார்ப்பு: இணைப்பு
[4] NIST — AI இடர் மேலாண்மை கட்டமைப்பு: இணைப்பு
[5] llama.cpp — உள்ளூர் LLM களஞ்சியம்: இணைப்பு