பெரும்பாலான மக்கள் "செயற்கை நுண்ணறிவு" என்று கேட்கும்போது, அவர்கள் நியூரல் நெட்வொர்க்குகள், மேம்பட்ட அல்காரிதம்கள், அல்லது சற்று விசித்திரமான மனித உருவ ரோபோக்களையே கற்பனை செய்கிறார்கள். ஆனால், ஆரம்பத்திலேயே அரிதாகவே குறிப்பிடப்படும் ஒரு விஷயம் இதுதான்: செயற்கை நுண்ணறிவு, கணக்கீட்டுத் திறனைப் பயன்படுத்துவதைப் போலவே சேமிப்பகத்தையும் பேராசையுடன் பயன்படுத்துகிறது. அதுவும் ஏதோ ஒரு சேமிப்பகம் அல்ல; ஆப்ஜெக்ட் சேமிப்பகம் பின்னணியில் அமைதியாக அமர்ந்து, மாடல்களுக்குத் தேவையான தரவுகளை வழங்கும் கவர்ச்சியற்ற ஆனால் முற்றிலும் அத்தியாவசியமான வேலையைச் செய்கிறது.
AI-க்கு பொருள் சேமிப்பை மிகவும் முக்கியமானதாக மாற்றுவது எது, சேமிப்பக அமைப்புகளின் "பழைய பாதுகாப்பு" யிலிருந்து அது எவ்வாறு வேறுபடுகிறது, மேலும் அது ஏன் அளவிடுதல் மற்றும் செயல்திறனுக்கான முக்கிய நெம்புகோல்களில் ஒன்றாக மாறுகிறது என்பதைப் பார்ப்போம்.
இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:
🔗 வணிகத்திற்கு பெரிய அளவிலான உற்பத்தி AI ஐப் பயன்படுத்த எந்த தொழில்நுட்பங்கள் இருக்க வேண்டும்?
ஜெனரேட்டிவ் AI-ஐ திறம்பட அளவிடுவதற்கு வணிகங்களுக்குத் தேவையான முக்கிய தொழில்நுட்பங்கள்.
🔗 நீங்கள் பார்க்க வேண்டிய AI கருவிகளுக்கான தரவு மேலாண்மை
AI செயல்திறனை மேம்படுத்த தரவைக் கையாள்வதற்கான சிறந்த நடைமுறைகள்.
🔗 வணிக உத்தியில் செயற்கை நுண்ணறிவின் தாக்கங்கள்
வணிக உத்திகள் மற்றும் நீண்டகால முடிவெடுப்பதில் AI எவ்வாறு தாக்கத்தை ஏற்படுத்துகிறது.
AI-க்கான பொருள் சேமிப்பை எது சிறப்பாக்குகிறது? 🌟
முக்கிய யோசனை: பொருள் சேமிப்பகம் கோப்புறைகள் அல்லது விறைப்பான தொகுதி தளவமைப்புகளைப் பொருட்படுத்துவதில்லை. இது தரவை "பொருள்களாக" பிரிக்கிறது, ஒவ்வொன்றும் மெட்டாடேட்டாவுடன் குறியிடப்பட்டுள்ளது. அந்த மெட்டாடேட்டா அமைப்பு-நிலை விஷயங்களாக (அளவு, நேரமுத்திரைகள், சேமிப்பக வகை) மற்றும் பயனர் வரையறுக்கப்பட்ட விசை:மதிப்பு குறிச்சொற்களாக இருக்கலாம் [1]. ஒவ்வொரு கோப்பும் அது என்ன, அது எப்படி உருவாக்கப்பட்டது, மற்றும் உங்கள் பைப்லைனில் அது எங்கு பொருந்துகிறது என்பதைத் துல்லியமாகச் சொல்லும் ஒட்டும் குறிப்புகளின் அடுக்கைச் சுமந்து செல்வது போல் இதைக் கருதுங்கள்.
AI அணிகளைப் பொறுத்தவரை, அந்த நெகிழ்வுத்தன்மை ஒரு மாற்றத்தை ஏற்படுத்துகிறது:
-
தலைவலி இல்லாத விரிவாக்கம் - தரவு ஏரிகள் பெட்டாபைட் வரை நீண்டுள்ளன, மேலும் பொருள் சேமிப்பகங்கள் அதை எளிதாகக் கையாளுகின்றன. அவை கிட்டத்தட்ட வரம்பற்ற வளர்ச்சி மற்றும் பல-AZ நிலைத்தன்மைக்காக வடிவமைக்கப்பட்டுள்ளன (அமேசான் S3 இயல்பாகவே "11 நைன்ஸ்" மற்றும் குறுக்கு-மண்டல நகலெடுப்பைப் பற்றி பெருமை பேசுகிறது) [2].
-
மெட்டாடேட்டா வளம் - ஒவ்வொரு பொருளுடனும் சூழல் சவாரி செய்வதால் வேகமான தேடல்கள், தூய்மையான வடிப்பான்கள் மற்றும் சிறந்த பைப்லைன்கள் [1].
-
கிளவுட்-நேட்டிவ் - தரவு HTTP(S) வழியாக வருகிறது, அதாவது நீங்கள் இழுப்புகளை இணையாக மாற்றலாம் மற்றும் பரவலான பயிற்சி ஹம்மிங்கைத் தொடரலாம்.
-
உள்ளமைக்கப்பட்ட மீள்தன்மை - நீங்கள் பல நாட்கள் பயிற்சி செய்யும்போது, சிதைந்த ஷார்ட் எபோக் 12-ஐ அழித்துவிடும் அபாயத்தை எடுக்க முடியாது. ஆப்ஜெக்ட் ஸ்டோரேஜ் வடிவமைப்பின் மூலம் அதைத் தவிர்க்கிறது [2].
இது அடிப்படையில் ஒரு அடிமட்டப் பைதான்: உள்ளே குழப்பமாக இருக்கலாம், ஆனால் நீங்கள் அதைத் தேடும்போது எல்லாவற்றையும் மீட்டெடுக்க முடியும்.
AI பொருள் சேமிப்பிற்கான விரைவு ஒப்பீட்டு அட்டவணை 🗂️
| கருவி / சேவை | (பார்வையாளர்களுக்கு) சிறந்தது | விலை வரம்பு | இது ஏன் வேலை செய்கிறது (விளிம்புகளில் உள்ள குறிப்புகள்) |
|---|---|---|---|
| அமேசான் எஸ்3 | எண்டர்பிரைசஸ் + கிளவுட்-முதல் அணிகள் | கட்டணச் சலுகை | மிகவும் நீடித்தது, பிராந்திய ரீதியாக மீள்தன்மை கொண்டது [2] |
| கூகிள் கிளவுட் சேமிப்பிடம் | தரவு விஞ்ஞானிகள் & எம்எல் டெவலப்பர்கள் | நெகிழ்வான அடுக்குகள் | வலுவான ML ஒருங்கிணைப்புகள், முழுமையாக மேக-பூர்வீகம் |
| அஸூர் ப்ளாப் சேமிப்பு | மைக்ரோசாப்ட்-கனரக கடைகள் | அடுக்கு (சூடான/குளிர்) | Azure இன் தரவு + ML கருவி மூலம் தடையற்றது |
| மினியோ | திறந்த மூல / DIY அமைப்புகள் | இலவசம்/சுய-ஹோஸ்ட் | S3-க்கு இணக்கமானது, இலகுரக, எங்கும் பயன்படுத்தலாம் 🚀 |
| வசாபி சூடான மேகம் | செலவு உணர்திறன் கொண்ட நிறுவனங்கள் | குறைந்த விலை $ | வெளியேறுதல் அல்லது API-கோரிக்கை கட்டணம் இல்லை (ஒரு பாலிசிக்கு) [3] |
| ஐபிஎம் கிளவுட் ஆப்ஜெக்ட் ஸ்டோரேஜ் | பெரிய நிறுவனங்கள் | மாறுபடும் | வலுவான நிறுவன பாதுகாப்பு விருப்பங்களுடன் முதிர்ந்த அடுக்கு |
உங்கள் நிஜ உலக பயன்பாட்டிற்கு ஏற்ப, குறிப்பாக வெளியேறுதல், கோரிக்கை அளவு மற்றும் சேமிப்பக-வகுப்பு கலவைக்கு ஏற்ப எப்போதும் விலையை சரிபார்த்துக் கொள்ளுங்கள்.
AI பயிற்சி ஏன் பொருள் சேமிப்பை விரும்புகிறது 🧠
பயிற்சி என்பது "ஒரு சில கோப்புகள்" அல்ல. அது, ஒரே நேரத்தில் பல மில்லியன் கணக்கான பதிவுகளைக் கையாளுவதாகும். படிநிலை கோப்பு அமைப்புகள் அதிகப்படியான ஒருங்கமைவால் திணறுகின்றன. பொருள் சேமிப்பகம் (Object storage), தட்டையான பெயர்வெளிகள் (flat namespaces) மற்றும் தெளிவான API-கள் மூலம் இதைச் சமாளிக்கிறது. ஒவ்வொரு பொருளுக்கும் ஒரு தனித்துவமான திறவுகோல் (key) உள்ளது; பணியாளர்கள் (workers) பரவி, ஒரே நேரத்தில் தரவுகளைப் பெறுகின்றன. துண்டாக்கப்பட்ட தரவுத்தொகுப்புகள் + இணையான உள்ளீடு/வெளியீடு (parallel I/O) = GPU-க்கள் காத்திருப்பதற்குப் பதிலாக எப்போதும் சுறுசுறுப்பாக இயங்குகின்றன.
ஒரு குறிப்பு: கம்ப்யூட் கிளஸ்டருக்கு அருகில் (அதே பகுதி அல்லது மண்டலம்) சூடான துண்டுகளை வைத்திருங்கள், மேலும் SSD இல் தீவிரமாக கேச் செய்யுங்கள். GPU களில் உங்களுக்கு கிட்டத்தட்ட நேரடி ஊட்டங்கள் தேவைப்பட்டால், NVIDIA GPUDirect சேமிப்பிடம் பார்ப்பது மதிப்புக்குரியது - இது CPU பவுன்ஸ் பஃபர்களை ஒழுங்கமைக்கிறது, தாமதத்தைக் குறைக்கிறது மற்றும் அலைவரிசையை நேராக முடுக்கிகளுக்கு உயர்த்துகிறது [4].
மெட்டாடேட்டா: மதிப்பிடப்படாத சூப்பர் பவர் 🪄
இங்குதான் பொருள் சேமிப்பகம் அவ்வளவு வெளிப்படையாகத் தெரியாத வழிகளில் சிறந்து விளங்குகிறது. பதிவேற்றத்தின் போது, நீங்கள் தனிப்பயன் மெட்டாடேட்டாவை ( S3-க்கான x-amz-meta-… போன்றவை) இணைக்கலாம். உதாரணமாக, ஒரு பார்வைத் தரவுத்தொகுப்பு, படங்களை lighting=low அல்லது blur=high எனக் குறியிடலாம் . இது மூலக் கோப்புகளை மீண்டும் ஸ்கேன் செய்யாமல் பைப்லைன்களை வடிகட்ட, சமநிலைப்படுத்த அல்லது அடுக்கமைக்க அனுமதிக்கிறது [1].
மேலும் பதிப்பு முறை. பல பொருள் சேமிப்பகங்கள் ஒரு பொருளின் பல பதிப்புகளை அருகருகே வைத்திருக்கின்றன - மீண்டும் உருவாக்கக்கூடிய சோதனைகள் அல்லது பின்வாங்கல்கள் தேவைப்படும் ஆளுகைக் கொள்கைகளுக்கு ஏற்றது [5].
பொருள் vs தொகுதி vs கோப்பு சேமிப்பு ⚔️
-
தொகுதி சேமிப்பு: பரிவர்த்தனை தரவுத்தளங்களுக்கு அற்புதமானது - வேகமானது மற்றும் துல்லியமானது - ஆனால் பெட்டாபைட் அளவிலான கட்டமைக்கப்படாத தரவுகளுக்கு மிகவும் விலை உயர்ந்தது.
-
கோப்பு சேமிப்பு: பரிச்சயமானது, POSIX-க்கு ஏற்றது, ஆனால் கோப்பகங்கள் மிகப்பெரிய இணையான சுமைகளால் மூச்சுத் திணறுகின்றன.
-
பொருள் சேமிப்பு: அளவு, இணைத்தன்மை மற்றும் மெட்டாடேட்டா சார்ந்த அணுகலுக்காக அடிப்படையிலிருந்து வடிவமைக்கப்பட்டது [1].
நீங்கள் ஒரு விகாரமான உருவகத்தை விரும்பினால்: தொகுதி சேமிப்பு என்பது ஒரு தாக்கல் செய்யும் அலமாரி, கோப்பு சேமிப்பு என்பது ஒரு டெஸ்க்டாப் கோப்புறை, மற்றும் பொருள் சேமிப்பு என்பது... எப்படியோ அதைப் பயன்படுத்தக்கூடியதாக மாற்றும் ஒட்டும் குறிப்புகளைக் கொண்ட ஒரு அடிமட்ட குழி.
கலப்பின AI பணிப்பாய்வுகள் 🔀
இது எப்போதும் மேகங்களுக்கு மட்டுமே உரியது அல்ல. பொதுவான கலவை பின்வருமாறு:
-
உணர்திறன் வாய்ந்த அல்லது ஒழுங்குபடுத்தப்பட்ட தரவுகளுக்கான ஆன்-பிரேம் பொருள் சேமிப்பு (MinIO, Dell ECS)
-
வெடிப்பு பணிச்சுமைகள், பரிசோதனைகள் அல்லது ஒத்துழைப்புக்கான கிளவுட் பொருள் சேமிப்பு
இந்த சமநிலை செலவு, இணக்கம் மற்றும் சுறுசுறுப்பைத் தாக்குகிறது. ஒரு தற்காலிக GPU கிளஸ்டரை ஒளிரச் செய்வதற்காக, குழுக்கள் ஒரே இரவில் டெராபைட்களை ஒரு S3 வாளியில் கொட்டுவதை நான் பார்த்திருக்கிறேன் - பின்னர் ஸ்பிரிண்ட் முடிந்ததும் அனைத்தையும் அணு ஆயுதமாக்குகின்றன. இறுக்கமான பட்ஜெட்டுகளுக்கு, வசாபியின் பிளாட்-ரேட்/நோ-எக்ரஸ் மாடல் [3] வாழ்க்கையை முன்னறிவிப்பதை எளிதாக்குகிறது.
யாரும் பெருமை பேசாத பகுதி 😅
உண்மை சரிபார்ப்பு: இது குறைபாடற்றது அல்ல.
-
தாமதம் - கணினி மற்றும் சேமிப்பிடத்தை மிக தொலைவில் வைக்கவும், உங்கள் GPUகள் ஊர்ந்து செல்லும். GDS உதவுகிறது, ஆனால் கட்டமைப்பு இன்னும் முக்கியமானது [4].
-
செலவு ஆச்சரியங்கள் - வெளியேற்றம் மற்றும் API-கோரிக்கை கட்டணங்கள் மக்களை எதிர்பாராத விதமாக வந்தடைகின்றன. சில வழங்குநர்கள் அவற்றை தள்ளுபடி செய்கிறார்கள் (வாசாபி செய்கிறது; மற்றவர்கள் செய்வதில்லை) [3].
-
பெரிய அளவிலான மெட்டாடேட்டா குழப்பம் - குறிச்சொற்கள் மற்றும் பதிப்புகளில் "உண்மை" என்பதை யார் வரையறுக்கிறார்கள்? உங்களுக்கு ஒப்பந்தங்கள், கொள்கைகள் மற்றும் சில நிர்வாக வலிமை தேவைப்படும் [5].
பொருள் சேமிப்பு என்பது உள்கட்டமைப்பு வசதிகளை மேம்படுத்துவதாகும்: முக்கியமானது, ஆனால் கவர்ச்சிகரமானது அல்ல.
அது எங்கே போகிறது 🚀
-
SQL போன்ற வினவல் அடுக்குகள் வழியாக தரவை தானாக டேக் செய்து வெளிப்படுத்தும் ஸ்மார்ட்டான, AI- விழிப்புணர்வு சேமிப்பு [1]
-
நெருக்கமான வன்பொருள் ஒருங்கிணைப்பு (DMA பாதைகள், NIC ஆஃப்லோடுகள்) அதனால் GPU-க்கள் I/O-பற்றாக்குறைக்கு உள்ளாகாது [4].
-
வெளிப்படையான, கணிக்கக்கூடிய விலை நிர்ணயம் (எளிமைப்படுத்தப்பட்ட மாதிரிகள், விலக்கு அளிக்கப்பட்ட வெளியேற்றக் கட்டணம்) [3].
மக்கள் கணக்கீட்டை செயற்கை நுண்ணறிவின் எதிர்காலமாகப் பேசுகிறார்கள். ஆனால் யதார்த்தமாகப் பார்த்தால்? பட்ஜெட்டை மீறாமல், மாடல்களுக்கு வேகமாகத் தரவுகளை அளிப்பதிலும்தான். அதனால்தான் ஆப்ஜெக்ட் ஸ்டோரேஜின் பங்கு வளர்ந்துகொண்டே இருக்கிறது.
சுருக்கம் 📝
பொருள் சேமிப்பு என்பது பகட்டானதல்ல, ஆனால் அது அடித்தளமானது. அளவிடக்கூடிய, மெட்டாடேட்டா-விழிப்புணர்வு, மீள்தன்மை கொண்ட சேமிப்பு இல்லாமல், பெரிய மாடல்களுக்கு பயிற்சி அளிப்பது செருப்புகளுடன் ஒரு மாரத்தான் ஓடுவது போன்ற உணர்வைத் தரும்.
ஆம், GPU-க்களும் முக்கியம், கட்டமைப்புகளும் முக்கியம். ஆனால் நீங்கள் செயற்கை நுண்ணறிவில் தீவிர கவனம் செலுத்தினால், உங்கள் தரவுகள் எங்கே இருக்கின்றன என்பதைப் புறக்கணிக்காதீர்கள். பெரும்பாலும், ஆப்ஜெக்ட் ஸ்டோரேஜ் ஏற்கனவே இந்த முழு செயல்பாட்டையும் அமைதியாகத் தடுத்துக் கொண்டிருக்கிறது.
குறிப்புகள்
[1] AWS S3 – பொருள் மெட்டாடேட்டா - அமைப்பு மற்றும் தனிப்பயன் மெட்டாடேட்டா
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – சேமிப்பக வகுப்புகள் - நீடித்த தன்மை (“11 நைன்ஸ்”) + மீள்தன்மை
https://aws.amazon.com/s3/storage-classes/
[3] வாசாபி ஹாட் கிளவுட் – விலை நிர்ணயம் - நிலையான கட்டணம், வெளியேறும்/API கட்டணங்கள் இல்லை
https://wasabi.com/pricing
[4] NVIDIA GPUDirect சேமிப்பகம் – ஆவணங்கள் - GPUகளுக்கான DMA பாதைகள்
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – பதிப்பித்தல் - நிர்வாகம்/மீளுருவாக்கத்திற்கான பல பதிப்புகள்
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html