முன்பெல்லாம், செயற்கை நுண்ணறிவு (AI) பெரிய சர்வர்கள் மற்றும் கிளவுட் GPU-களில் இயங்கி வந்தது. இப்போது அது சுருங்கி, சென்சார்களுக்கு மிக அருகிலேயே நகர்ந்து வருகிறது. உட்பொதிக்கப்பட்ட அமைப்புகளுக்கான (embedded systems) செயற்கை நுண்ணறிவு என்பது ஏதோ ஒரு தொலைதூர வாக்குறுதி அல்ல - அது ஏற்கெனவே குளிர்சாதனப் பெட்டிகள், ட்ரோன்கள், அணியக்கூடிய சாதனங்கள்... ஏன், பார்ப்பதற்குச் சற்றும் 'ஸ்மார்ட்' ஆகத் தெரியாத கருவிகளுக்குள்ளும் கூட இயங்கிக்கொண்டிருக்கிறது.
இந்த மாற்றம் ஏன் முக்கியமானது, இதை கடினமாக்குவது எது, மற்றும் உங்கள் நேரத்தை செலவிடத் தகுந்த தேர்வுகள் எவை என்பன இங்கே விளக்கப்பட்டுள்ளன.
இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:
🔗 நெறிமுறைகளுக்கு இணக்கமான மற்றும் வெளிப்படையான AI அமைப்புகளை உறுதிசெய்யும் சிறந்த AI நிர்வாகக் கருவிகள்
நெறிமுறை சார்ந்த, இணக்கமான மற்றும் வெளிப்படையான செயற்கை நுண்ணறிவைப் பராமரிக்க உதவும் கருவிகளுக்கான வழிகாட்டி.
🔗 செயற்கை நுண்ணறிவுக்கான பொருள் சேமிப்பகம்: தேர்வுகள், தேர்வுகள், தேர்வுகள்
செயற்கை நுண்ணறிவுப் பணிச்சுமைகளுக்கு ஏற்றவாறு வடிவமைக்கப்பட்ட பொருள் சேமிப்பக விருப்பங்களின் ஒப்பீடு.
🔗 செயற்கை நுண்ணறிவுக்கான தரவு சேமிப்புத் தேவைகள்: நீங்கள் உண்மையில் தெரிந்து கொள்ள வேண்டியவை
செயற்கை நுண்ணறிவு தரவு சேமிப்பகத்தைத் திட்டமிடும்போது கருத்தில் கொள்ள வேண்டிய முக்கிய காரணிகள்.
உட்பொதிக்கப்பட்ட அமைப்புகளுக்கான செயற்கை நுண்ணறிவு🌱
உட்பொதிக்கப்பட்ட சாதனங்கள் மிகச் சிறியவை, பெரும்பாலும் மின்கலத்தால் இயங்குபவை, மற்றும் வளக் கட்டுப்பாடுகள் கொண்டவை. ஆயினும், செயற்கை நுண்ணறிவு பெரும் வெற்றிகளைத் திறந்துவிடுகிறது:
-
கிளவுட் ரவுண்ட்-டிரிப்ஸ் இல்லாமல் நிகழ்நேர முடிவுகள்
-
வடிவமைப்பிலேயே தனியுரிமை - மூலத் தரவுகள் சாதனத்திலேயே இருக்கலாம்.
-
மில்லி விநாடிகள் முக்கியமாக இருக்கும்போது தாமதத்தைக் குறைக்கவும்
-
கவனமான மாதிரி மற்றும் வன்பொருள் தேர்வுகள் மூலம் ஆற்றல் சார்ந்த அனுமானம்
இவை மேலோட்டமான நன்மைகள் அல்ல: கணினிச் செயல்பாட்டை விளிம்பிற்குத் தள்ளுவது நெட்வொர்க் சார்புநிலையைக் குறைக்கிறது மற்றும் பல பயன்பாட்டு நிகழ்வுகளுக்கு தனியுரிமையை பலப்படுத்துகிறது [1].
தந்திரம் என்பது முரட்டு பலம் அல்ல - அது குறைந்த வளங்களைக் கொண்டு புத்திசாலித்தனமாகச் செயல்படுவது. ஒரு முதுகுப்பையுடன் மாரத்தான் ஓடுவதை நினைத்துப் பாருங்கள்... பொறியாளர்கள் தொடர்ந்து செங்கற்களை அகற்றிக்கொண்டே இருக்கிறார்கள்.
உட்பொதிக்கப்பட்ட அமைப்புகளுக்கான செயற்கை நுண்ணறிவின் விரைவு ஒப்பீட்டு அட்டவணை 📝
| கருவி / கட்டமைப்பு | சிறந்த பார்வையாளர்கள் | விலை (தோராயமாக) | இது ஏன் வேலை செய்கிறது (விசித்திரமான குறிப்புகள்) |
|---|---|---|---|
| டென்சர்ஃப்ளோ லைட் | டெவலப்பர்கள், பொழுதுபோக்காளர்கள் | இலவசம் | நேர்த்தியான, எடுத்துச் செல்லக்கூடிய, சிறந்த MCU → மொபைல் கவரேஜ் |
| விளிம்பு உந்துதல் | ஆரம்பநிலையாளர்கள் மற்றும் ஸ்டார்ட்அப்கள் | ஃப்ரீமியம் அடுக்குகள் | இழுத்து விடுதல் பணிப்பாய்வு - “AI LEGO” போல |
| என்விடியா ஜெட்சன் தளம் | சக்தி தேவைப்படும் பொறியாளர்கள் | $$$ (மலிவானது அல்ல) | அதிக பார்வை/பணிச்சுமைகளுக்கான GPU + முடுக்கிகள் |
| TinyML (ஆர்டுயினோ வழியாக) | கல்வியாளர்கள், முன்மாதிரி உருவாக்குபவர்கள் | குறைந்த விலை | அணுகக்கூடியவர்; சமூக அக்கறை கொண்டவர் ❤️ |
| குவால்காம் AI இன்ஜின் | OEM-கள், மொபைல் தயாரிப்பாளர்கள் | மாறுபடும் | ஸ்னாப்டிராகனில் NPU முடுக்கம் - அபார வேகம் |
| எக்ஸிக்யூடார்ச் (பைடார்ச்) | மொபைல் & எட்ஜ் டெவலப்பர்கள் | இலவசம் | தொலைபேசிகள்/அணியக்கூடிய சாதனங்கள்/உட்பொதிக்கப்பட்டவற்றுக்கான சாதனத்தில் இயங்கும் PyTorch இயக்க நேரம் [5] |
ஆம், சீரற்றதுதான். யதார்த்தமும் அப்படித்தான்
உட்பொதிக்கப்பட்ட சாதனங்களில் உள்ள செயற்கை நுண்ணறிவு, தொழில்துறைக்கு ஏன் முக்கியத்துவம் பெறுகிறது 🏭
வெறும் ஆரவாரம் மட்டுமல்ல: தொழிற்சாலைகளில், சிறிய மாதிரிகள் குறைபாடுகளைக் கண்டறிகின்றன; விவசாயத்தில், குறைந்த சக்தி கொண்ட கணுக்கள் வயலில் மண்ணை ஆய்வு செய்கின்றன; வாகனங்களில், பாதுகாப்பு அம்சங்கள் பிரேக் செய்வதற்கு முன் "தகவல் அனுப்ப" முடியாது. தாமதம் மற்றும் தனியுரிமை ஆகியவை சமரசம் செய்ய முடியாதவையாக இருக்கும்போது, கணக்கீட்டை விளிம்பிற்கு நகர்த்துவது ஒரு மூலோபாய நெம்புகோலாகும் [1].
TinyML: உட்பொதிக்கப்பட்ட செயற்கை நுண்ணறிவின் மௌன நாயகன் 🐜
TinyML, கிலோபைட்டுகள் முதல் சில மெகாபைட்டுகள் வரையிலான ரேம் கொண்ட மைக்ரோகண்ட்ரோலர்களில் மாடல்களை இயக்குகிறது - ஆனாலும், முக்கிய வார்த்தைகளைக் கண்டறிதல், சைகை அங்கீகாரம், முரண்பாடுகளைக் கண்டறிதல் மற்றும் பலவற்றைச் செய்கிறது. இது, ஒரு சுண்டெலி செங்கல்லைத் தூக்குவதைப் பார்ப்பது போன்றது. விசித்திரமான திருப்தி அளிக்கிறது.
ஒரு விரைவான மன மாதிரி:
-
தரவுத் தடங்கள்: சிறிய, தொடர் உணரி உள்ளீடுகள்.
-
மாதிரிகள்: கச்சிதமான CNNகள்/RNNகள், பாரம்பரிய ML, அல்லது அடர்த்தியாக்கப்பட்ட/அளவாக்கப்பட்ட வலைப்பின்னல்கள்.
-
வரவுசெலவுத் திட்டங்கள்: மில்லிவாட்கள், வாட்கள் அல்ல; KB–MB, GB அல்ல.
வன்பொருள் தேர்வுகள்: விலை மற்றும் செயல்திறன் ஒப்பீடு ⚔️
வன்பொருளைத் தேர்ந்தெடுப்பதில்தான் பல திட்டங்கள் தடுமாறுகின்றன:
-
ராஸ்பெர்ரி பை வகை: நட்பான, பொதுப் பயன்பாட்டு சிபியு; முன்மாதிரிகளுக்கு உறுதியானது.
-
என்விடியா ஜெட்சன் : அடர்த்தியான பார்வை அல்லது பல மாதிரி அடுக்குகளுக்கு பத்து முதல் நூற்றுக்கணக்கான TOPS வரை வழங்கும் பிரத்யேகமாக உருவாக்கப்பட்ட எட்ஜ் AI தொகுதிகள் (எ.கா., ஓரின்) - சிறந்தது, ஆனால் அதிக விலை மற்றும் அதிக சக்தி தேவை [4]
-
கூகிள் கோரல் (எட்ஜ் TPU) : குவாண்டம் செய்யப்பட்ட மாடல்களுக்கு சுமார் 2W இல் ~4 TOPS (~2 TOPS/W) வழங்கும் ஒரு ASIC முடுக்கி - உங்கள் மாடல் கட்டுப்பாடுகளுக்குள் பொருந்தும்போது அருமையான செயல்திறன்/W [3].
-
ஸ்மார்ட்போன் SoC-கள் (ஸ்னாப்டிராகன்): சாதனத்தில் மாடல்களைத் திறமையாக இயக்குவதற்காக NPU-கள் மற்றும் SDK-களுடன் வருகின்றன.
பொது விதி: செலவு, வெப்பம் மற்றும் கணக்கீடு ஆகியவற்றைச் சமநிலைப்படுத்துங்கள். “எங்கும் அதிநவீனமானது அல்ல” என்பதை விட, “எல்லா இடங்களிலும் போதுமானது” என்பது பெரும்பாலும் சிறந்தது.
உட்பொதிக்கப்பட்ட அமைப்புகளுக்கான செயற்கை நுண்ணறிவில் உள்ள பொதுவான சவால்கள் 🤯
பொறியாளர்கள் தொடர்ந்து எதிர்கொள்ளும் சவால்கள்:
-
பற்றாக்குறையான நினைவகம்: மிகச்சிறிய சாதனங்களால் பிரம்மாண்டமான மாதிரிகளை இயக்க முடியாது.
-
பேட்டரி பட்ஜெட்: ஒவ்வொரு மில்லிஆம்பும் முக்கியமானது.
-
மாதிரி உகப்பாக்கம்:
-
அளவாக்கம் → சிறிய, வேகமான int8/float16 எடைகள்/செயல்படுத்தல்கள்.
-
கத்தரித்தல் → அடர்த்தி குறைவதற்காக முக்கியமற்ற எடைகளை நீக்குதல்.
-
கிளஸ்டரிங்/வெயிட் ஷேரிங் → மேலும் சுருக்குதல்.
இவை சாதன செயல்திறனுக்கான நிலையான நுட்பங்கள் [2].
-
-
அளவை அதிகரித்தல்: ஒரு வகுப்பறை ஆர்டுயினோ செயல்விளக்கம் என்பது, பாதுகாப்பு, காப்புறுதி மற்றும் ஆயுட்காலக் கட்டுப்பாடுகளைக் கொண்ட ஒரு வாகன உற்பத்தி அமைப்பு அல்ல.
பிழைதிருத்தமா? கையுறைகளை அணிந்துகொண்டு, பூட்டுத் துளை வழியாக ஒரு புத்தகத்தைப் படிப்பதை கற்பனை செய்து பாருங்கள்.
விரைவில் நீங்கள் அதிகம் காணவிருக்கும் நடைமுறைப் பயன்பாடுகள் 🚀
-
ஸ்மார்ட் அணியக்கூடிய சாதனங்கள் , சாதனத்திலேயே சுகாதார நுண்ணறிவுகளை வழங்குகின்றன.
-
மூலக் காட்சிகளை ஸ்ட்ரீம் செய்யாமலேயே நிகழ்வுகளைக் குறிக்கும் IoT கேமராக்கள்
-
கைகள் பயன்படுத்தாமல் கட்டுப்படுத்துவதற்கான ஆஃப்லைன் குரல் உதவியாளர்கள் - கிளவுட் சார்ந்திருக்கத் தேவையில்லை
-
ஆய்வு, விநியோகம் மற்றும் துல்லியமான விவசாயத்திற்கான தன்னாட்சி ட்ரோன்கள்
சுருக்கமாக: செயற்கை நுண்ணறிவு உண்மையில் நெருங்கி வந்து கொண்டிருக்கிறது - நம் மணிக்கட்டுகளுக்கு, நம் சமையலறைகளுக்கு, மற்றும் நம் உள்கட்டமைப்பு முழுவதும்.
டெவலப்பர்கள் தொடங்குவது எப்படி 🛠️
-
பரந்த கருவியமைப்பு மற்றும் MCU→மொபைல் கவரேஜுக்கு டென்சர்ஃப்ளோ லைட் உடன் தொடங்கவும் ; ஆரம்பத்திலேயே குவாண்டமாக்கல்/ப்ரூனிங் பயன்படுத்தவும் [2]
-
நீங்கள் PyTorch உலகில் வாழ்ந்து, மொபைல் மற்றும் உட்பொதிக்கப்பட்டவற்றில் மெலிந்த ஆன்-டிவைஸ் ரன்டைம் தேவைப்பட்டால் ExecuTorch ஐ ஆராயுங்கள் [5]
-
வேகமான, இனிமையான முன்மாதிரி உருவாக்கத்திற்கு Arduino + TinyML கருவிகளைப் பயன்படுத்திப் பாருங்கள்
-
காட்சிவழி செயல்முறைகளை விரும்புகிறீர்களா? எட்ஜ் இம்பல்ஸ் தரவு சேகரிப்பு, பயிற்சி மற்றும் செயலாக்கம் மூலம் அந்தத் தடையைக் குறைக்கிறது.
-
வன்பொருளை ஒரு முதன்மை அங்கமாகக் கருதுங்கள் - CPU-களில் முன்மாதிரியை உருவாக்கி, பின்னர் தாமதம், வெப்பம் மற்றும் துல்லியத்தன்மை வேறுபாடுகளை உறுதிப்படுத்த உங்கள் இலக்கு முடுக்கியில் (Edge TPU, Jetson, NPU) சரிபார்க்கவும்.
சிறு காட்சி: ஒரு குழு நாணய-செல் சென்சாரில் அதிர்வு-அசாதாரண கண்டறியும் கருவியை அனுப்புகிறது. float32 மாடல் ஆற்றல் பட்ஜெட்டைத் தவறவிடுகிறது; int8 குவாண்டமாக்கல் ஒவ்வொரு அனுமானத்திற்கும் ஆற்றலைக் குறைக்கிறது, ப்ரூனிங் நினைவகத்தைக் குறைக்கிறது, மற்றும் MCU-ஐ டியூட்டி-சைக்கிளிங் செய்வது வேலையை முடிக்கிறது - நெட்வொர்க் தேவையில்லை [2,3].
உட்பொதிக்கப்பட்ட அமைப்புகளுக்கான செயற்கை நுண்ணறிவின் அமைதியான புரட்சி 🌍
சிறிய, விலை மலிவான செயலிகள், உள்ளூரிலேயே உணர்ந்து → சிந்தித்து → செயல்படக் கற்றுக்கொள்கின்றன . பேட்டரி ஆயுள் குறித்த கவலை எப்போதுமே நம்மை வாட்டி வதைக்கும், ஆனால் அதன் பாதை தெளிவாக உள்ளது: மேலும் கச்சிதமான மாதிரிகள், சிறந்த தொகுப்பிகள், அறிவார்ந்த முடுக்கிகள். இதன் விளைவு? தொழில்நுட்பம் வெறும் இணைப்பில் இருப்பது மட்டுமல்லாமல், அது கவனம் செலுத்துவதால், அது மேலும் தனிப்பட்டதாகவும், துரிதமாகவும் உணரப்படுகிறது.
குறிப்புகள்
[1] ETSI (மல்டி-ஆக்சஸ் எட்ஜ் கம்ப்யூட்டிங்) - தாமதம்/தனியுரிமை நன்மைகள் மற்றும் தொழில்துறை சூழல்.
ETSI MEC: புதிய வெள்ளை அறிக்கை கண்ணோட்டம்
[2] கூகிள் டென்சர்ஃப்ளோ மாதிரி உகப்பாக்கக் கருவித்தொகுப்பு - சாதன செயல்திறனுக்கான அளவாக்கம், கத்தரித்தல், தொகுத்தல்.
டென்சர்ஃப்ளோ மாதிரி உகப்பாக்க வழிகாட்டி
[3] கூகிள் கோரல் எட்ஜ் TPU - எட்ஜ் முடுக்கத்திற்கான செயல்திறன்/வாட் அளவீடுகள்.
எட்ஜ் TPU அளவீடுகள்
[4] என்விடியா ஜெட்சன் ஓரின் (அதிகாரப்பூர்வ) - எட்ஜ் AI தொகுதிகள் மற்றும் செயல்திறன் உறைகள்.
ஜெட்சன் ஓரின் தொகுதிகள் கண்ணோட்டம்
[5] PyTorch ExecuTorch (அதிகாரப்பூர்வ ஆவணங்கள்) - மொபைல் மற்றும் எட்ஜிற்கான சாதனத்தில் இயங்கும் PyTorch ரன்டைம்.
ExecuTorch கண்ணோட்டம்