செயற்கை நுண்ணறிவு மாதிரிகளைச் செயல்படுத்துவது எப்படி [காணொளி மற்றும் வினாவிடை]

சுருக்கமான பதில்: ஒரு AI மாதிரியைச் செயல்படுத்துவது என்பது, ஒரு சேவை முறையை (நிகழ்நேரம், தொகுதி, ஸ்ட்ரீமிங் அல்லது எட்ஜ்) தேர்ந்தெடுத்து, பின்னர் அந்த முழுப் பாதையையும் மீண்டும் உருவாக்கக்கூடியதாகவும், கண்காணிக்கக்கூடியதாகவும், பாதுகாப்பானதாகவும், மீளக்கூடியதாகவும் மாற்றுவதாகும். நீங்கள் எல்லாவற்றையும் பதிப்பித்து, உற்பத்தி போன்ற தரவுப் பொதிகளில் p95/p99 தாமதத்தை அளவிடும்போது, ​​"என் மடிக்கணினியில் வேலை செய்கிறது" போன்ற பெரும்பாலான தோல்விகளைத் தவிர்க்கிறீர்கள்.

முக்கிய குறிப்புகள்:

பயன்படுத்தல் முறைகள்: கருவிகளைப் பயன்படுத்துவதற்கு முன் நிகழ்நேரம், தொகுதி, ஸ்ட்ரீமிங் அல்லது விளிம்பைத் தேர்வுசெய்யவும்.

மறுஉருவாக்கம்: சறுக்கலைத் தடுக்க மாதிரி, அம்சங்கள், குறியீடு மற்றும் சூழலைப் பதிப்பு செய்யவும்.

கவனிக்கத்தக்க தன்மை: தாமத வால்கள், பிழைகள், செறிவு மற்றும் தரவு அல்லது வெளியீட்டு விநியோகங்களைத் தொடர்ந்து கண்காணிக்கவும்.

பாதுகாப்பான வெளியீடுகள்: தானியங்கி பின்வாங்கல் வரம்புகளுடன் கேனரி, நீல-பச்சை அல்லது நிழல் சோதனையைப் பயன்படுத்தவும்.

பாதுகாப்பு மற்றும் தனியுரிமை: அங்கீகாரம், விகித வரம்புகள் மற்றும் இரகசிய மேலாண்மையைப் பயன்படுத்துங்கள், மேலும் பதிவேடுகளில் உள்ள தனிப்பட்ட அடையாளத் தகவல்களைக் குறைக்கவும்.

இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்: 

🔗 AI செயல்திறனை எவ்வாறு அளவிடுவது
நம்பகமான AI முடிவுகளுக்கான அளவீடுகள், வரையறைகள் மற்றும் நிஜ உலக சோதனைகளைக் கற்றுக்கொள்ளுங்கள்.

🔗 AI உடன் பணிகளை தானியக்கமாக்குவது எப்படி
தூண்டுதல்கள், கருவிகள் மற்றும் ஒருங்கிணைப்புகளைப் பயன்படுத்தி மீண்டும் மீண்டும் செய்யப்படும் வேலையை பணிப்பாய்வுகளாக மாற்றவும்.

🔗 AI மாதிரிகளை எவ்வாறு சோதிப்பது
மாதிரிகளை புறநிலையாக ஒப்பிட்டுப் பார்க்க மதிப்பீடுகள், தரவுத்தொகுப்புகள் மற்றும் மதிப்பெண்களை வடிவமைக்கவும்.

🔗 AI உடன் எப்படி பேசுவது
சிறந்த கேள்விகளைக் கேளுங்கள், சூழலை அமைக்கவும், தெளிவான பதில்களை விரைவாகப் பெறுங்கள்.

1) "பயன்படுத்தல்" என்றால் உண்மையில் என்ன (மேலும் அது ஏன் வெறும் API அல்ல) 🧩

மக்கள் "மாதிரியைப் பயன்படுத்துங்கள்" என்று கூறும்போது, ​​அவர்கள் இவற்றில் ஏதேனும் ஒன்றைக் குறிக்கலாம்:

• ஒரு பயன்பாடு நிகழ்நேரத்தில் அனுமானத்தை அழைக்கும் வகையில் ஒரு முனைப்புள்ளியை வெளிப்படுத்துங்கள் ( வெர்டெக்ஸ் AI: ஒரு மாதிரியை ஒரு முனைப்புள்ளியில் வரிசைப்படுத்துங்கள் , அமேசான் சேஜ்மேக்கர்: நிகழ்நேர அனுமானம் )

• தரவுத்தளத்தில் கணிப்புகளைப் புதுப்பிக்க இரவு முழுவதும் தொகுதி மதிப்பெண்ணை இயக்கவும் ( அமேசான் சேஜ்மேக்கர் தொகுதி மாற்றம் )

• ஸ்ட்ரீம் அனுமானம் (நிகழ்வுகள் தொடர்ந்து வருகின்றன, கணிப்புகள் தொடர்ந்து வெளிவருகின்றன) (கிளவுட் டேட்டாஃப்ளோ: சரியாக-ஒரு முறை vs-குறைந்தபட்சம்-ஒரு முறை, கிளவுட் டேட்டாஃப்ளோ ஸ்ட்ரீமிங் முறைகள்)

• எட்ஜ் வரிசைப்படுத்தல் (தொலைபேசி, உலாவி, உட்பொதிக்கப்பட்ட சாதனம், அல்லது “தொழிற்சாலையில் உள்ள அந்தச் சிறிய பெட்டி”) (LiteRT சாதனத்திலான அனுமானம், LiteRT கண்ணோட்டம்)

• உள் கருவி வரிசைப்படுத்தல் (ஆய்வாளர் எதிர்கொள்ளும் UI, குறிப்பேடுகள் அல்லது திட்டமிடப்பட்ட ஸ்கிரிப்டுகள்)

எனவே வரிசைப்படுத்தல் என்பது "மாதிரியை அணுகக்கூடியதாக மாற்றுவது" குறைவாகவும், மேலும் இது போன்றது:

• பேக்கேஜிங் + சேவை + அளவிடுதல் + கண்காணிப்பு + நிர்வாகம் + திரும்பப் பெறுதல் (நீல-பச்சை வரிசைப்படுத்தல்)

இது ஒரு உணவகத்தைத் திறப்பது போலத்தான். ஒரு சிறந்த உணவை சமைப்பது முக்கியம், நிச்சயமாக. ஆனால் உங்களுக்கு இன்னும் கட்டிடம், ஊழியர்கள், குளிர்சாதன பெட்டி, மெனுக்கள், விநியோகச் சங்கிலி மற்றும் வாக்-இன் ஃப்ரீசரில் அழாமல் இரவு உணவு அவசரத்தை கையாள ஒரு வழி தேவை. சரியான உருவகம் இல்லை… ஆனால் நீங்கள் அதைப் புரிந்துகொள்கிறீர்கள். 🍝

2) “AI மாதிரிகளை எவ்வாறு பயன்படுத்துவது” என்பதன் நல்ல பதிப்பை உருவாக்குவது எது ✅

ஒரு "நல்ல வரிசைப்படுத்தல்" சிறந்த முறையில் சலிப்பை ஏற்படுத்துகிறது. அது அழுத்தத்தின் கீழ் கணிக்கக்கூடிய வகையில் செயல்படுகிறது, அது நடக்காதபோது, ​​நீங்கள் அதை விரைவாகக் கண்டறியலாம்.

"நல்லது" பொதுவாக எப்படி இருக்கும் என்பது இங்கே:

• மீண்டும் உருவாக்கக்கூடிய கட்டமைப்புகள்.
  அதே குறியீடு + அதே சார்புநிலைகள் = அதே செயல்பாடு. "என் மடிக்கணினியில் வேலை செய்கிறது" என்பது போன்ற பயமுறுத்தும் உணர்வுகள் இல்லை 👻 (டாக்கர்: கண்டெய்னர் என்றால் என்ன?)

• தெளிவான இடைமுக ஒப்பந்தம்
  உள்ளீடுகள், வெளியீடுகள், திட்டங்கள் மற்றும் விளிம்பு வழக்குகள் வரையறுக்கப்பட்டுள்ளன. அதிகாலை 2 மணிக்கு எந்த ஆச்சரிய வகைகளும் இல்லை. (OpenAPI: OpenAPI என்றால் என்ன?, JSON Schema)

• யதார்த்தத்துடன் பொருந்தக்கூடிய செயல்திறன்
  உற்பத்தி போன்ற வன்பொருள் மற்றும் யதார்த்தமான பேலோடுகளில் அளவிடப்படும் தாமதம் மற்றும் செயல்திறன்.

• பற்களைக் கொண்டு கண்காணித்தல்
  செயலைத் தூண்டும் அளவீடுகள், பதிவுகள், தடயங்கள் மற்றும் சறுக்கல் சோதனைகள் (யாரும் திறக்காத டேஷ்போர்டுகள் மட்டுமல்ல). (SRE புத்தகம்: விநியோகிக்கப்பட்ட அமைப்புகளைக் கண்காணித்தல்)

• பாதுகாப்பான வெளியீட்டு உத்தியான
  கேனரி அல்லது ப்ளூ-க்ரீன், எளிதான பின்வாங்கல், பிரார்த்தனை தேவைப்படாத பதிப்பாக்கம். (கேனரி வெளியீடு, ப்ளூ-க்ரீன் வரிசைப்படுத்தல்)

• செலவு குறித்த விழிப்புணர்வு:
  பில் ஒரு தொலைபேசி எண்ணைப் போலத் தோன்றும் வரை, “வேகம்” என்பது சிறந்ததுதான் 📞💸

• ரகசிய மேலாண்மை, அணுகல் கட்டுப்பாடு, PII கையாளுதல், தணிக்கைத்திறன் ஆகியவற்றில் பாதுகாப்பு மற்றும் தனியுரிமை பேக் செய்யப்பட்டுள்ளது . ( குபெர்னெட்ஸ் சீக்ரெட்ஸ் , NIST SP 800-122 )
  

நீங்கள் அவற்றைத் தொடர்ந்து செய்ய முடிந்தால், நீங்கள் ஏற்கனவே பெரும்பாலான அணிகளை விட முன்னேறிவிட்டீர்கள். நேர்மையாகச் சொல்லப் போனால்.

3) சரியான வரிசைப்படுத்தல் முறையைத் தேர்வு செய்யவும் (நீங்கள் கருவிகளைத் தேர்ந்தெடுப்பதற்கு முன்) 🧠

நிகழ்நேர API அனுமானம் ⚡

சிறந்தது எப்போது:

• பயனர்களுக்கு உடனடி முடிவுகள் தேவை (பரிந்துரைகள், மோசடி சோதனைகள், அரட்டை, தனிப்பயனாக்கம்)

• கோரிக்கையின் போது முடிவுகள் எடுக்கப்பட வேண்டும்

கவனிக்க வேண்டியவை:

• p99 தாமதம் சராசரியை விட முக்கியமானது (தி டெயில் அட் ஸ்கேல், SRE புத்தகம்: டிஸ்ட்ரிபியூட்டட் சிஸ்டம்ஸ் கண்காணிப்பு)

• ஆட்டோஸ்கேலிங்கிற்கு கவனமாக டியூனிங் தேவை (குபெர்னெட்ஸ் கிடைமட்ட பாட் ஆட்டோஸ்கேலிங்)

• கோல்ட் ஸ்டார்ட்ஸ் தந்திரமானதாக இருக்கலாம்... ஒரு பூனை மேசையிலிருந்து கண்ணாடிக் குவளையைத் தள்ளிவிடுவதைப் போல (AWS லாம்ப்டா செயலாக்கச் சூழல் வாழ்க்கைச் சுழற்சி).

தொகுதி மதிப்பெண் 📦

சிறந்தது எப்போது:

• கணிப்புகள் தாமதமாகலாம் (ஒரே இரவில் ஆபத்து மதிப்பீடு, சலிப்பு கணிப்பு, ETL செறிவூட்டல்) (அமேசான் சேஜ்மேக்கர் தொகுதி மாற்றம்)

• உங்களுக்கு செலவுத் திறன் மற்றும் எளிமையான செயல்பாடுகள் வேண்டும்

கவனிக்க வேண்டியவை:

• தரவு புத்துணர்ச்சி மற்றும் பின்நிரப்புதல்கள்

• பயிற்சியுடன் அம்ச தர்க்கத்தை இணக்கமாக வைத்திருத்தல்

ஸ்ட்ரீமிங் அனுமானம் 🌊

சிறந்தது எப்போது:

• நீங்கள் தொடர்ந்து நிகழ்வுகளை செயலாக்குகிறீர்கள் (IoT, கிளிக்ஸ்ட்ரீம்கள், கண்காணிப்பு அமைப்புகள்)

• கடுமையான கோரிக்கை-பதில் இல்லாமல் கிட்டத்தட்ட நிகழ்நேர முடிவுகளை நீங்கள் விரும்புகிறீர்கள்

கவனிக்க வேண்டியவை:

• சரியாக-ஒருமுறை vs குறைந்தபட்சம்-ஒருமுறை சொற்பொருள் (கிளவுட் டேட்டாஃப்ளோ: சரியாக-ஒருமுறை vs குறைந்தபட்சம்-ஒருமுறை)

• மாநில மேலாண்மை, மறு முயற்சிகள், விசித்திரமான பிரதிகள்

விளிம்பு வரிசைப்படுத்தல் 📱

சிறந்தது எப்போது:

• நெட்வொர்க் சார்பு இல்லாமல் குறைந்த தாமதம் (LiteRT சாதனத்தில் அனுமானம்)

• தனியுரிமை கட்டுப்பாடுகள்

• ஆஃப்லைன் சூழல்கள்

கவனிக்க வேண்டியவை:

• மாதிரி அளவு, பேட்டரி, அளவீடு, வன்பொருள் துண்டு துண்டாக (பயிற்சிக்குப் பிந்தைய அளவீடு (டென்சர்ஃப்ளோ மாதிரி உகப்பாக்கம்))

• புதுப்பிப்புகள் கடினமானவை (நீங்கள் 30 பதிப்புகளை காடுகளில் விரும்பவில்லை…)

முதலில் பேட்டர்னைத் தேர்ந்தெடுங்கள், பிறகு அடுக்கைத் தேர்ந்தெடுங்கள். இல்லையெனில் நீங்கள் ஒரு சதுர மாதிரியை ஒரு வட்ட இயக்க நேரத்திற்குள் கட்டாயப்படுத்துவீர்கள். அல்லது அது போன்ற ஏதாவது. 😬

4) உற்பத்தியுடனான தொடர்பைத் தக்கவைத்துக்கொள்ள மாதிரியை பேக்கேஜிங் செய்தல் 📦🧯

இங்குதான் பெரும்பாலான "எளிதான வரிசைப்படுத்தல்கள்" அமைதியாக இறக்கின்றன.

பதிப்பு எல்லாம் (ஆம், எல்லாம்)

• மாதிரி கலைப்பொருள் (எடைகள், வரைபடம், டோக்கனைசர், லேபிள் வரைபடங்கள்)

• அம்ச தர்க்கம் (மாற்றங்கள், இயல்பாக்கம், குறியாக்கிகள்)

• அனுமானக் குறியீடு (முன்/பின் செயலாக்கம்)

• சூழல் (பைதான், CUDA, சிஸ்டம் லிப்ஸ்)

வேலை செய்யும் ஒரு எளிய அணுகுமுறை:

• மாதிரியை ஒரு வெளியீட்டு கலைப்பொருளாகக் கருதுங்கள்

• அதை ஒரு பதிப்பு குறிச்சொல்லுடன் சேமிக்கவும்

• மாதிரி அட்டை-இஷ் மெட்டாடேட்டா கோப்பு தேவை: ஸ்கீமா, அளவீடுகள், பயிற்சி தரவு ஸ்னாப்ஷாட் குறிப்புகள், அறியப்பட்ட வரம்புகள் (மாதிரி அறிக்கையிடலுக்கான மாதிரி அட்டைகள்)

கொள்கலன்கள் உதவும், ஆனால் அவற்றை வணங்க வேண்டாம் 🐳

கொள்கலன்கள் சிறந்தவை ஏனெனில் அவை:

• முடக்க சார்புகள் (டாக்கர்: ஒரு கொள்கலன் என்றால் என்ன?)

• கட்டமைப்புகளை தரப்படுத்து

• பயன்படுத்தல் இலக்குகளை எளிதாக்குதல்

ஆனால் நீங்கள் இன்னும் நிர்வகிக்க வேண்டும்:

• அடிப்படை பட புதுப்பிப்புகள்

• GPU இயக்கிகள் இணக்கத்தன்மை

• பாதுகாப்பு ஸ்கேனிங்

• இமேஜ் அளவு (9GB “ஹலோ வேர்ல்ட்” யாருக்கும் பிடிக்காது) (டாக்கர் உருவாக்க சிறந்த நடைமுறைகள்)

இடைமுகத்தை தரப்படுத்தவும்

உங்கள் உள்ளீடு/வெளியீட்டு வடிவமைப்பை முன்கூட்டியே முடிவு செய்யுங்கள்:

• எளிமைக்கான JSON (மெதுவான, ஆனால் நட்பு) (JSON ஸ்கீமா)

• செயல்திறனுக்கான புரோட்டோபஃப் (ப்ரோட்டோகால் பஃபர்கள் கண்ணோட்டம்)

• படங்கள்/ஆடியோவிற்கான கோப்பு அடிப்படையிலான பேலோடுகள் (மேலும் மெட்டாடேட்டா)

மேலும், உள்ளீடுகளைச் சரிபார்க்கவும். தவறான உள்ளீடுகளே, “ஏன் அர்த்தமற்ற முடிவுகளைத் தருகிறது” என்ற புகார்களுக்கு முதன்மைக் காரணமாகும். (OpenAPI: OpenAPI என்றால் என்ன?,JSON Schema)

5) சேவை விருப்பங்கள் - "எளிய API" முதல் முழு மாதிரி சேவையகங்கள் வரை 🧰

இரண்டு பொதுவான பாதைகள் உள்ளன:

விருப்பம் A: ஆப் சர்வர் + அனுமானக் குறியீடு (FastAPI-பாணி அணுகுமுறை) 🧪

மாதிரியை ஏற்றி கணிப்புகளைத் தரும் ஒரு API ஐ நீங்கள் எழுதுகிறீர்கள். (FastAPI)

நன்மை:

• தனிப்பயனாக்க எளிதானது

• எளிமையான மாதிரிகள் அல்லது ஆரம்ப கட்ட தயாரிப்புகளுக்கு சிறந்தது

• நேரடியான அங்கீகாரம், ரூட்டிங் மற்றும் ஒருங்கிணைப்பு

பாதகம்:

• உங்களிடம் செயல்திறன் சரிப்படுத்தும் உரிமை (தொகுப்பு, திரித்தல், GPU பயன்பாடு) உள்ளது

• நீங்கள் சில சக்கரங்களை மீண்டும் கண்டுபிடிப்பீர்கள், ஒருவேளை முதலில் மோசமாக இருக்கலாம்

விருப்பம் B: மாதிரி சேவையகம் (டார்ச்சர்வ் / ட்ரைடன்-பாணி அணுகுமுறை) 🏎️

கையாளும் சிறப்பு சேவையகங்கள்:

• தொகுத்தல் (டிரைட்டன்: மாறும் தொகுத்தல் மற்றும் ஒருங்கமைந்த மாதிரிச் செயலாக்கம்)

• ஒத்திசைவு (ட்ரைடன்: ஒத்திசைவு மாதிரி செயல்படுத்தல்)

• பல மாதிரிகள்

• GPU செயல்திறன்

• தரப்படுத்தப்பட்ட இறுதிப்புள்ளிகள் (டார்ச்சர்வ் ஆவணங்கள், ட்ரைடன் அனுமான சேவையக ஆவணங்கள்)

நன்மை:

• சிறந்த செயல்திறன் வடிவங்கள்

• சேவைக்கும் வணிக தர்க்கத்திற்கும் இடையிலான தூய்மையான பிரிப்பு

பாதகம்:

• கூடுதல் செயல்பாட்டு சிக்கலானது

• குளியலறை வெப்பநிலையை சரிசெய்வது போல, உள்ளமைவு... சற்று குழப்பமாக உணர முடியும்

ஒரு கலப்பின முறை மிகவும் பொதுவானது:

• அனுமானத்திற்கான மாதிரி சேவையகம் (ட்ரைடன்: டைனமிக் பேட்சிங்)

• அங்கீகாரம், கோரிக்கை வடிவமைத்தல், வணிக விதிகள் மற்றும் விகித வரம்பு (API கேட்வே த்ரோட்லிங்)

6) ஒப்பீட்டு அட்டவணை - பயன்படுத்துவதற்கான பிரபலமான வழிகள் (நேர்மையான அதிர்வுகளுடன்) 📊😌

AI மாதிரிகளை எவ்வாறு பயன்படுத்துவது என்பதைக் கண்டுபிடிக்கும்போது மக்கள் உண்மையில் பயன்படுத்தும் விருப்பங்களின் நடைமுறை ஸ்னாப்ஷாட் கீழே உள்ளது .

அட்டவணை குறிப்பு: "இலவசம்" என்பது நிஜ வாழ்க்கைச் சொல். ஏனென்றால் அது ஒருபோதும் இலவசமல்ல. உங்கள் தூக்கமாக இருந்தாலும் கூட, எங்காவது ஒரு பில் எப்போதும் இருக்கும். 😴

7) செயல்திறன் மற்றும் அளவிடுதல் - தாமதம், செயல்திறன் மற்றும் உண்மை 🏁

செயல்திறனைச் சரிசெய்யும்போதுதான், அதைச் செயல்படுத்துவது ஒரு கலையாக மாறுகிறது. இலக்கு "வேகமாக" இருப்பது அல்ல. சீராகப் போதுமான வேகத்தை.

முக்கியமான முக்கிய அளவீடுகள்

• p50 தாமதம்: வழக்கமான பயனர் அனுபவம்

• p95 / p99 தாமதம்: ஆத்திரத்தைத் தூண்டும் வால் (தி டெயில் அட் ஸ்கேல், SRE புத்தகம்: டிஸ்ட்ரிபியூட்டட் சிஸ்டம்ஸ் கண்காணிப்பு)

• செயல்திறன்: வினாடிக்கு கோரிக்கைகள் (அல்லது ஜெனரேட்டிவ் மாதிரிகளுக்கு வினாடிக்கு டோக்கன்கள்)

• பிழை விகிதம்: வெளிப்படையானது, ஆனால் சில நேரங்களில் புறக்கணிக்கப்படுகிறது.

• வள பயன்பாடு: CPU, GPU, நினைவகம், VRAM (SRE புத்தகம்: டிஸ்ட்ரிபியூட்டட் சிஸ்டம்களைக் கண்காணித்தல்)

இழுக்கப் பயன்படும் பொதுவான நெம்புகோல்கள்

• இணைத்தல்
  . செயல்திறனுக்கு சிறந்தது, நீங்கள் அதை மிகைப்படுத்தினால் தாமதத்தை பாதிக்கலாம். (ட்ரைடன்: டைனமிக் பேட்சிங்)

• அளவு நிர்ணயம்
  குறைந்த துல்லியம் (INT8 போன்றது) அனுமானத்தை விரைவுபடுத்தி நினைவகத்தைக் குறைக்கும். துல்லியத்தை சற்றுக் குறைக்கலாம். சில நேரங்களில் இல்லை, ஆச்சரியப்படும் விதமாக. (பயிற்சிக்குப் பிந்தைய அளவு நிர்ணயம்)

• தொகுத்தல் / உகப்பாக்கம்
  ONNX ஏற்றுமதி, வரைபட உகப்பாக்கிகள், TensorRT போன்ற செயல்முறைகள். சக்தி வாய்ந்தது, ஆனால் பிழைதிருத்தம் செய்வது சவாலாக இருக்கலாம் 🌶️ (ONNX, ONNX இயக்கநேர மாதிரி உகப்பாக்கங்கள்)

• தற்காலிக சேமிப்பு
  உள்ளீடுகள் மீண்டும் மீண்டும் செய்யப்பட்டால் (அல்லது நீங்கள் உட்பொதிப்புகளை தற்காலிக சேமிப்பு செய்யலாம்), நீங்கள் நிறைய சேமிக்கலாம்.

• CPU/GPU பயன்பாடு, வரிசை ஆழம் அல்லது கோரிக்கை விகிதம் ஆகியவற்றில் தானியங்கி அளவிடுதல் அளவுகோல். வரிசை ஆழம் குறைவாக மதிப்பிடப்பட்டுள்ளது. ( குபெர்னெட்ஸ் HPA )
  

ஒரு விசித்திரமான ஆனால் உண்மையான குறிப்பு: உற்பத்தி போன்ற சுமை அளவுகளைக் கொண்டு அளவிடவும். சிறிய சோதனை சுமைகள் உங்களிடம் பொய் சொல்கின்றன. அவை பணிவாகச் சிரித்துவிட்டு பின்னர் உங்களைக் காட்டிக் கொடுக்கும்.

8) கண்காணிப்பு மற்றும் கவனிக்கத்தக்க தன்மை - குருடாகப் பறக்காதீர்கள் 👀📈

மாதிரி கண்காணிப்பு என்பது வெறும் இயக்க நேர கண்காணிப்பு மட்டுமல்ல. நீங்கள் தெரிந்து கொள்ள விரும்புவது:

• சேவை ஆரோக்கியமானது

• மாதிரி நடந்து கொள்கிறது

• தரவு நகர்கிறது

• கணிப்புகள் நம்பகத்தன்மை குறைந்து வருகின்றன (வெர்டெக்ஸ் AI மாதிரி கண்காணிப்பு கண்ணோட்டம், அமேசான் சேஜ்மேக்கர் மாதிரி கண்காணிப்பு)

எதைக் கண்காணிக்க வேண்டும் (குறைந்தபட்ச சாத்தியமான தொகுப்பு)

சேவை ஆரோக்கியம்

• கோரிக்கை எண்ணிக்கை, பிழை விகிதம், தாமத விநியோகங்கள் (SRE புத்தகம்: பரவலாக்கப்பட்ட அமைப்புகளைக் கண்காணித்தல்)

• செறிவு (CPU/GPU/நினைவகம்)

• வரிசையின் நீளம் மற்றும் வரிசையில் காத்திருக்கும் நேரம்

மாதிரி நடத்தை

• உள்ளீட்டு அம்ச விநியோகங்கள் (அடிப்படை புள்ளிவிவரங்கள்)

• உட்பொதித்தல் விதிமுறைகள் (உட்பொதித்தல் மாதிரிகளுக்கு)

• வெளியீட்டு விநியோகங்கள் (நம்பிக்கை, வகுப்பு கலவை, மதிப்பெண் வரம்புகள்)

• உள்ளீடுகளில் ஒழுங்கின்மை கண்டறிதல் (குப்பை உள்ளே, குப்பை வெளியே)

தரவு சறுக்கல் மற்றும் கருத்து சறுக்கல்

• சறுக்கல் எச்சரிக்கைகள் செயல்படக்கூடியதாக இருக்க வேண்டும் (வெர்டெக்ஸ் AI: கண்காணிப்பு அம்ச வளைவு மற்றும் சறுக்கல், அமேசான் சேஜ்மேக்கர் மாதிரி மானிட்டர்)

• எச்சரிக்கை ஸ்பேமைத் தவிர்க்கவும் - இது எல்லாவற்றையும் புறக்கணிக்க மக்களுக்குக் கற்றுக்கொடுக்கிறது

பதிவு செய்தல், ஆனால் "எல்லாவற்றையும் என்றென்றும் பதிவு செய்" அணுகுமுறை அல்ல 🪵

பதிவு:

• கோரிக்கை ஐடிகள்

• மாதிரி பதிப்பு

• திட்ட சரிபார்ப்பு முடிவுகள் (OpenAPI: OpenAPI என்றால் என்ன?)

• குறைந்தபட்ச கட்டமைக்கப்பட்ட பேலோட் மெட்டாடேட்டா (மூல PII அல்ல) (NIST SP 800-122)

தனியுரிமையில் கவனமாக இருங்கள். உங்கள் பதிவேடுகள் உங்கள் தரவுக் கசிவாக மாறுவதை நீங்கள் விரும்ப மாட்டீர்கள். (NIST SP 800-122)

9) CI/CD மற்றும் வெளியீட்டு உத்திகள் - மாடல்களை உண்மையான வெளியீடுகளைப் போல நடத்துங்கள் 🧱🚦

நம்பகமான பயன்பாடுகளை நீங்கள் விரும்பினால், ஒரு குழாய்வழியை உருவாக்குங்கள். எளிமையானது கூட.

ஒரு திடமான ஓட்டம்

• முன் செயலாக்கம் மற்றும் பின் செயலாக்கத்திற்கான அலகு சோதனைகள்

• அறியப்பட்ட உள்ளீடு-வெளியீடு "கோல்டன் செட்" உடன் ஒருங்கிணைப்பு சோதனை

• சுமை சோதனை அடிப்படை (இலகுரக ஒன்று கூட)

• கலைப்பொருளை உருவாக்குதல் (கொள்கலன் + மாதிரி) (டாக்கர் சிறந்த நடைமுறைகளை உருவாக்குதல்)

• ஸ்டேஜிங்கில் பயன்படுத்தவும்

• கேனரி வெளியீடு ஒரு சிறிய போக்குவரத்துப் பகுதிக்கு (கேனரி வெளியீடு)

• படிப்படியாக அதிகரிக்கவும்

• முக்கிய வரம்புகளில் தானியங்கி ரோல்பேக் (நீலம்-பச்சை வரிசைப்படுத்தல்)

உங்கள் நல்லறிவைக் காப்பாற்றும் ரோல்அவுட் வடிவங்கள்

• கேனரி: முதலில் 1-5% போக்குவரத்தை வெளியிடு (கேனரி வெளியீடு)

• நீல-பச்சை: பழைய பதிப்போடு புதிய பதிப்பை இயக்கவும், தயாரானதும் புரட்டவும் (நீல-பச்சை வரிசைப்படுத்தல்)

• நிழல் சோதனை: புதிய மாடலுக்கு உண்மையான தரவுப் போக்குவரத்தை அனுப்புதல், ஆனால் அதன் முடிவுகளைப் பயன்படுத்தாமல் இருத்தல் (மதிப்பீட்டிற்கு மிகவும் சிறந்தது) (மைக்ரோசாஃப்ட்: நிழல் சோதனை)

மேலும் உங்கள் இறுதிப்புள்ளிகளை அல்லது மாதிரி பதிப்பின் அடிப்படையில் பாதையை வடிவமைக்கவும். எதிர்காலத்தில் நீங்கள் உங்களுக்கு நன்றி கூறுவீர்கள். தற்போது நீங்கள் நன்றி கூறுவீர்கள், ஆனால் அமைதியாக.

10) பாதுகாப்பு, தனியுரிமை மற்றும் "தயவுசெய்து பொருட்களை கசியவிடாதீர்கள்" 🔐🙃

பாதுகாப்பு அதிகாரிகள் அழைக்கப்படாத விருந்தினரைப் போல தாமதமாக வருவார்கள். சீக்கிரமாக அழைப்பது நல்லது.

நடைமுறை சரிபார்ப்புப் பட்டியல்

• அங்கீகாரம் மற்றும் அங்கீகாரம் (மாடலை யார் அழைக்கலாம்?)

• விகித வரம்பு (துஷ்பிரயோகம் மற்றும் தற்செயலான புயல்களுக்கு எதிராகப் பாதுகாத்தல்) (API கேட்வே த்ரோட்லிங்)

• இரகசிய மேலாண்மை (குறியீட்டில் சாவிகள் இல்லை, உள்ளமைவு கோப்புகளிலும் சாவிகள் இல்லை…) (AWS இரகசிய மேலாளர், குபர்நெட்டஸ் இரகசியங்கள்)

• நெட்வொர்க் கட்டுப்பாடுகள் (தனியார் சப்நெட்டுகள், சேவையிலிருந்து சேவை கொள்கைகள்)

• தணிக்கைப் பதிவுகள் (குறிப்பாக முக்கியமான கணிப்புகளுக்கு)

• தரவு சிறிதாக்குதல் (தேவையானதை மட்டும் சேமிக்கவும்) (NIST SP 800-122)

மாதிரி தனிப்பட்ட தரவைத் தொட்டால்:

• திருத்துதல் அல்லது ஹாஷ் அடையாளங்காட்டிகள்

• மூல பேலோடுகளை பதிவு செய்வதைத் தவிர்க்கவும் (NIST SP 800-122)

• தக்கவைப்பு விதிகளை வரையறுக்கவும்

• ஆவணத் தரவு ஓட்டம் (சலிப்பூட்டும், ஆனால் பாதுகாப்பானது)

மேலும், உடனடி ஊசி மற்றும் வெளியீட்டு துஷ்பிரயோகம் ஜெனரேட்டிவ் மாதிரிகளுக்கு முக்கியமானதாக இருக்கலாம். சேர்: (LLM பயன்பாடுகளுக்கான OWASP டாப் 10, OWASP: உடனடி ஊசி)

• உள்ளீட்டு சுத்திகரிப்பு விதிகள்

• பொருத்தமான இடங்களில் வெளியீட்டு வடிகட்டுதல்

• கருவி அழைப்பு அல்லது தரவுத்தள செயல்களுக்கான பாதுகாப்புத் தடுப்புகள்

எந்த அமைப்பும் சரியானதல்ல, ஆனால் நீங்கள் அதை குறைவான உடையக்கூடியதாக மாற்றலாம்.

11) பொதுவான ஆபத்துகள் (வழக்கமான பொறிகள் என்றும் அழைக்கப்படுகின்றன) 🪤

இதோ கிளாசிக்ஸ்:

• பயிற்சி-சேவை வளைவு
  பயிற்சிக்கும் உற்பத்திக்கும் இடையில் முன் செயலாக்கம் வேறுபடுகிறது. திடீரென்று துல்லியம் குறைகிறது, ஏன் என்று யாருக்கும் தெரியாது. (டென்சர்ஃப்ளோ தரவு சரிபார்ப்பு: பயிற்சி-சேவை வளைவைக் கண்டறிதல்)

• ஸ்கீமா சரிபார்ப்பு இல்லை.
  மூலத்தில் செய்யப்படும் ஒரு மாற்றம் எல்லாவற்றையும் செயலிழக்கச் செய்துவிடுகிறது. அதுவும் எப்போதும் பெரிய சத்தத்துடன் நடப்பதில்லை… (JSON Schema, OpenAPI: OpenAPI என்றால் என்ன?)

• பயனர்கள் கோபமாக இருக்கும்போது, ​​வால் தாமதத்தைப் புறக்கணிப்பதுதான் p99-இல் அவர்கள் வசிக்கும் இடம். ( அளவிலான வால் )
  

• செலவை மறந்துவிட்டு
  , GPU எண்ட்பாயிண்ட்கள் செயலற்ற நிலையில் இயங்குவது, உங்கள் வீட்டில் உள்ள ஒவ்வொரு விளக்கையும் எரிய விடுவது போன்றது, ஆனால் பல்புகள் பணத்தால் ஆனவை.

• பின்வாங்கும் திட்டம் இல்லை
  . “நாங்கள் மீண்டும் நிலைநிறுத்திக் கொள்வோம்” என்பது ஒரு திட்டமல்ல. அது ஒரு அகழி அங்கி அணிந்த நம்பிக்கை. (நீல-பச்சை நிலைநிறுத்தம்)

• செயல்பாட்டு நேரத்தை மட்டும் கண்காணித்தல்:
  மாடல் தவறாக இருக்கும்போதும் சேவை இயங்கிக்கொண்டிருக்கலாம். அது இன்னும் மோசமானது என்றே கூறலாம். (வெர்டெக்ஸ் ஏஐ: அம்சச் சரிவு மற்றும் விலகலைக் கண்காணித்தல், அமேசான் சேஜ்மேக்கர் மாடல் மானிட்டர்)

இதைப் படித்துவிட்டு, "ஆமாம், அவற்றில் இரண்டை நாங்கள் செய்கிறோம்" என்று நீங்கள் நினைத்தால், கிளப்புக்கு வரவேற்கிறோம். கிளப்பில் சிற்றுண்டிகளும் லேசான மன அழுத்தமும் உண்டு. 🍪

12) சுருக்கம் - உங்கள் மனதை இழக்காமல் AI மாதிரிகளை எவ்வாறு பயன்படுத்துவது 😄✅

பயன்படுத்துதல் என்பது AI ஒரு உண்மையான தயாரிப்பாக மாறும் இடம். இது கவர்ச்சிகரமானது அல்ல, ஆனால் நம்பிக்கையைப் பெறுவது இங்குதான்.

சுருக்கமான விளக்கம்

• முதலில் உங்கள் வரிசைப்படுத்தல் முறையைத் தீர்மானியுங்கள் (நிகழ்நேரம், தொகுதி, ஸ்ட்ரீமிங், எட்ஜ்) 🧭 (அமேசான் சேஜ்மேக்கர் பேட்ச் டிரான்ஸ்ஃபார்ம், கிளவுட் டேட்டாஃப்ளோ ஸ்ட்ரீமிங் முறைகள், லைட்ஆர்டி சாதனத்திலான அனுமானம்)

• மீண்டும் உருவாக்கக்கூடிய வகையில் தொகுக்கப்பட்டுள்ளது (அனைத்தையும் பதிப்பாக்கம் செய்யவும், பொறுப்புடன் கண்டெய்னராக்கவும்) 📦 (டாக்கர் கண்டெய்னர்கள்)

• செயல்திறன் தேவைகளின் அடிப்படையில் சேவை வழங்கும் உத்தியைத் தேர்ந்தெடுக்கவும் (எளிய API அல்லது மாதிரி சேவையகம்) 🧰 (FastAPI, Triton: டைனமிக் பேட்சிங்)

• p95/p99 தாமதத்தை அளவிடுங்கள், வெறும் சராசரிகளை மட்டுமல்ல 🏁 (அளவிலான வால் பகுதி)

• சேவையின் ஆரோக்கியம் மற்றும் மாதிரியின் செயல்பாட்டைக் கண்காணிக்கும் வசதியைச் சேர்க்கவும் 👀 (SRE புத்தகம்: பரவலாக்கப்பட்ட அமைப்புகளைக் கண்காணித்தல், வெர்டெக்ஸ் AI மாதிரி கண்காணிப்பு)

• கேனரி அல்லது நீல-பச்சை விளக்குடன் பாதுகாப்பாக விரித்து, பின்வாங்குவதை எளிதாக வைத்திருங்கள் 🚦 (கேனரி வெளியீடு, நீல-பச்சை நிலைநிறுத்தம்)

• முதல் நாளிலிருந்தே பாதுகாப்பையும் தனியுரிமையையும் உள்ளடக்கவும் 🔐 (AWS சீக்ரெட்ஸ் மேனேஜர், NIST SP 800-122)

• சலிப்பூட்டுவதாகவும், கணிக்கக்கூடியதாகவும், ஆவணப்படுத்தக்கூடியதாகவும் வைத்திருங்கள் - சலிப்பு அழகானது 😌

ஆம், AI மாடல்களைப் பயன்படுத்துவது என்பது, எரியும் பந்துகளைக் கையாள்வது போலத்தான் இருக்கும். ஆனால் உங்கள் செயல்முறை நிலைபெற்றவுடன், அது ஒரு விசித்திரமான திருப்தியைத் தரும். இறுதியாகக் குப்பைகள் நிறைந்த ஒரு டிராயரை ஒழுங்கமைப்பது போல... ஆனால் அந்த டிராயர் என்பது உற்பத்தி சார்ந்த தகவல்களாக இருக்கும்.

நடைமுறை உதாரணம்: ஆதரவு டிக்கெட் வகைப்படுத்தல் மாதிரியைச் செயல்படுத்துதல்

சூழ்நிலை

12 ஆதரவு முகவர்களையும், வாரத்திற்குச் சுமார் 900 வாடிக்கையாளர் டிக்கெட்டுகளையும் கொண்ட ஒரு கற்பனையான ஆனால் யதார்த்தமான SaaS நிறுவனத்தைக் கற்பனை செய்து பாருங்கள். ஒரு மனித முகவர் பதிலளிப்பதற்கு முன்பு, உள்வரும் டிக்கெட்டுகளை வகை, அவசரம் மற்றும் பரிந்துரைக்கப்பட்ட வழிமுறை ஆகியவற்றின் அடிப்படையில் வகைப்படுத்த ஒரு AI மாதிரியை அந்த அணி விரும்புகிறது.

இது ஒரு முழுமையாகத் தானியங்குபடுத்தப்பட்ட ஆதரவு போட் அல்ல. இந்த மாடல் வாடிக்கையாளர்களுக்குப் பதில்களை அனுப்புவதில்லை. இது டிக்கெட்டுகளை வேகமாக வழிநடத்தவும், அபாயகரமான நிகழ்வுகளைக் கண்டறியவும், முகவர்களுக்கு ஒரு தெளிவான தொடக்கப் புள்ளியை வழங்கவும் மட்டுமே உதவுகிறது.

இங்குள்ள சிறந்த செயலாக்க முறை பொதுவாக நிகழ்நேர API அனுமானம். ஒவ்வொரு புதிய டிக்கெட்டும் உதவி மையத்தை அடைகிறது, AI சேவை சில நூறு மில்லி விநாடிகளுக்குள் அதற்கு மதிப்பெண் வழங்குகிறது, மேலும் உதவி மையம் கணிக்கப்பட்ட வகை, முன்னுரிமை, நம்பகத்தன்மை மதிப்பெண் மற்றும் மாதிரிப் பதிப்பு ஆகியவற்றைச் சேமித்துக்கொள்கிறது.

உதவியாளருக்கு என்ன தேவை

பயனுள்ள உள்ளீடுகள்:

டிக்கெட் பொருள்

டிக்கெட் அமைப்பு

வாடிக்கையாளர் திட்ட வகை

கணக்குப் பகுதி

தயாரிப்புப் பகுதி, ஏற்கனவே தெரிந்திருந்தால்

கடந்த 30 நாட்களில் முந்தைய டிக்கெட் எண்ணிக்கை

பயனுள்ள விதிகள்:

தனிப்பட்ட தரவுகள் அடங்கியுள்ள மூல வாடிக்கையாளர் செய்திகளை ஒருபோதும் பதிவு செய்யாதீர்கள்

கட்டணத் தகராறுகள், சட்ட அச்சுறுத்தல்கள், கணக்கு நீக்கக் கோரிக்கைகள் மற்றும் பாதுகாப்புச் சிக்கல்களை மனித மதிப்பாய்வுக்கு அனுப்பவும்

நம்பிக்கை அளவு 0.85 போன்ற வரையறுக்கப்பட்ட வரம்பிற்கு மேல் இருக்கும்போது மட்டுமே தானாக வழித்தடம் அமைக்கவும்

ஒவ்வொரு கணிப்புடனும் மாதிரிப் பதிப்பைச் சேமிக்கவும்

மாடல் சேவை மெதுவாக இருந்தால் அல்லது கிடைக்கவில்லை என்றால், கைமுறை வகைப்படுத்தலுக்குத் திரும்பவும்

எடுத்துக்காட்டு அறிவுறுத்தல்

நீங்கள் ஒரு ஆதரவு டிக்கெட் வகைப்படுத்தும் உதவியாளர். ஒவ்வொரு டிக்கெட்டையும் பில்லிங், உள்நுழைவு, பிழை அறிக்கை, அம்சக் கோரிக்கை, கணக்கு ரத்து, பாதுகாப்பு அல்லது பிற ஆகிய வகைகளில் ஒன்றில் வகைப்படுத்துங்கள்.

பிரிவு, அவசர நிலை, நம்பகத்தன்மை மதிப்பெண், சுருக்கமான காரணம் மற்றும் பரிந்துரைக்கப்பட்ட ஆதரவு வரிசை ஆகியவற்றைத் திருப்பியளிக்கவும்.

விடுபட்ட உண்மைகளைக் கற்பனையாக உருவாக்காதீர்கள். புகாரில் சட்டம், பாதுகாப்பு, பணம் செலுத்துவதில் தோல்வி, கணக்கு நீக்கம் அல்லது கோபமான வாடிக்கையாளரின் மொழி ஆகியவை இடம்பெற்றிருந்தால், அதை மனித மதிப்பாய்வுக்காகக் குறிக்கவும்.

நம்பகத்தன்மை 0.85-க்குக் குறைவாக இருந்தால், “கையேடு ஆய்வு” என்பதைப் பரிந்துரைக்கப்பட்ட வரிசையாகத் திருப்பி அனுப்பவும்.

எடுத்துக்காட்டு வெளியீடு

பலவீனமான வெளியீடு:

வகை: பிழை
முன்னுரிமை: உயர்
உதவிக்குழுவிற்கு அனுப்பவும்.

சிறந்த வெளியீடு:

வகை: உள்நுழைவு
அவசரம்: நடுத்தரம்
நம்பகத்தன்மை: 0.91
பரிந்துரைக்கப்பட்ட வரிசை: கணக்கு அணுகல்
காரணம்: கடவுச்சொல்லை மீட்டமைத்த பிறகு வாடிக்கையாளரால் தங்கள் கணக்கை அணுக முடியவில்லை. பாதுகாப்பு அச்சுறுத்தல் அல்லது பணம் செலுத்துவதில் சிக்கல் எதுவும் குறிப்பிடப்படவில்லை.
மனித மதிப்பாய்வு தேவை: இல்லை
மாதிரிப் பதிப்பு: ticket-triage-v1.3

மேம்பட்ட வெளியீட்டில் நம்பகத்தன்மை மதிப்பெண், வழித்தட முடிவு, காரணம் மற்றும் மாதிரிப் பதிப்பு ஆகியவை அடங்கியிருப்பதால், அதனைத் தணிக்கை செய்வது எளிதாகிறது.

அதை எப்படி சோதிப்பது

மாடலுக்கு நேரடி டிராஃபிக்கை அனுப்புவதற்கு முன், உண்மையான ஆனால் அடையாளம் மறைக்கப்பட்ட டிக்கெட்டுகளின் ஒரு சிறிய “கோல்டன் செட்”-ஐ உருவாக்கவும்.

ஒரு எளிய சோதனைத் தொகுப்பில் பின்வருவன அடங்கலாம்:

50 பில்லிங் டிக்கெட்டுகள்

50 உள்நுழைவு டிக்கெட்டுகள்

50 பிழை அறிக்கைகள்

30 ரத்து கோரிக்கைகள்

20 பாதுகாப்பு உணர்திறன் டிக்கெட்டுகள்

20 குழப்பமான அல்லது கலப்பு வகை டிக்கெட்டுகள்

பிறகு சரிபார்க்கவும்:

ஒரு மனித மதிப்பாய்வாளர் தேர்ந்தெடுக்கும் அதே வகையை இந்த மாடல் தேர்ந்தெடுக்கிறதா?

பாதுகாப்பு, சட்டம் மற்றும் ரத்து தொடர்பான புகார்களை இது முறையாக அடுத்த கட்டத்திற்கு எடுத்துச் செல்கிறதா?

நம்பகத்தன்மை குறைவாக இருக்கும்போது அது “கையேடு ஆய்வு” எனத் திருப்பியளிக்குமா?

p95 தாமதம் அணியின் இலக்கிற்குக் கீழ் உள்ளதா?

மாடல் கிடைக்காதபோது, ​​சேவை பாதுகாப்பாகத் தோல்வியடைகிறதா?

செயல்படுத்துவதற்கு, முதலில் நிழல் சோதனையைப் பயன்படுத்தவும். புதிய மாதிரிக்கு உண்மையான டிக்கெட்டுகளை அனுப்பவும், ஆனால் அதன் கணிப்புகளை இப்போதைக்குப் பயன்படுத்த வேண்டாம். சில நாட்களுக்கு அதன் வெளியீட்டை சாதாரண மனித வகைப்படுத்தலுடன் ஒப்பிடவும். முடிவுகள் நிலையானதாக இருந்தால், 5% எச்சரிக்கை வெளியீட்டிற்குச் செல்லவும், பின்னர் 25%, பின்னர் 100%.

முடிவு

பணிப்பாய்வைப் பயன்படுத்துவதற்கு முன்னும் பின்னும் 100 மாதிரி டிக்கெட்டுகளின் நேரத்தைக் கணக்கிட்டதன் அடிப்படையிலான விளக்க முடிவு:

கைமுறை வகைப்படுத்தல் நேரம் ஒரு டிக்கெட்டுக்கு 6 நிமிடங்களிலிருந்து 1 நிமிடம் 40 வினாடிகளாகக் குறைந்தது

குழு 100 டிக்கெட்டுகள் மூலம் சுமார் 7.2 மணிநேரத்தை மிச்சப்படுத்தியது

220 டிக்கெட்டுகள் கொண்ட கோல்டன் செட் ஒன்றில், மனித மதிப்பாய்வாளருடனான வகை உடன்பாடு 87% ஆக இருந்தது

பாதுகாப்பு உணர்திறன் கொண்ட 20 சோதனைச் சீட்டுகளில் 100% மனித மதிப்பாய்வுக்கு அனுப்பப்பட்டன

உற்பத்தி போன்ற தரவுச் சுமைகளில் p95 தாமதம் 480 மில்லி விநாடிகளாக இருந்தது

p99 தாமதம் 910 மில்லி விநாடிகளாக இருந்தது

கேனரி வெளியீட்டின் போது பழைய மாடல் எண்ட்பாயிண்ட் இயங்கு நிலையில் இருந்ததால், ரோல்பேக் நேரம் 2 நிமிடங்களுக்கும் குறைவாக இருந்தது

இந்த எண்கள் உலகளாவிய அளவுகோல்கள் அல்ல. இவை, வகைப்படுத்தும் பணிகளுக்கு நேரம் ஒதுக்குதல், குறியிடப்பட்ட சோதனைத் தொகுப்புடன் கணிப்புகளை ஒப்பிடுதல், மற்றும் யதார்த்தமான டிக்கெட் தரவுகளுடன் எண்ட்பாயிண்ட்டை சுமை-சோதனை செய்தல் ஆகியவற்றின் மூலம் ஒரு குழுவால் மீண்டும் உருவாக்கக்கூடிய எடுத்துக்காட்டு அளவீடுகள் ஆகும்.

என்ன தவறு நடக்கக்கூடும்?

மாதிரியை அதிகமாக நம்புவதே மிகப்பெரிய ஆபத்து. “குறைந்த அவசரம்” எனக் குறிக்கப்பட்ட ஒரு புகாரிலும்கூட, குறிப்பாக வாடிக்கையாளர் தெளிவாக எழுதாத பட்சத்தில், ஒரு தீவிரமான பாதுகாப்புப் பிரச்சினை இருக்கக்கூடும்.

மற்ற பொதுவான தவறுகள்:

உண்மையான வாடிக்கையாளர் சீட்டுகளுடன் பொருந்தாத, மெருகூட்டப்பட்ட சோதனைச் சீட்டுகளைப் பயன்படுத்துதல்

தனிப்பட்ட தரவுகளுடன் முழுமையான வாடிக்கையாளர் செய்திகளைப் பதிவு செய்தல்

ஒவ்வொரு கணிப்புடனும் மாதிரிப் பதிப்பைச் சேமிக்காமல் இருப்பது

நம்பிக்கை குறைவாக இருக்கும்போதும், ஒவ்வொரு டிக்கெட்டையும் தானாகவே வழிப்படுத்துதல்

கைமுறை மாற்று வரிசையை மறந்துவிடுதல்

p95 மற்றும் p99-ஐப் புறக்கணித்து சராசரி தாமதத்தை அளவிடுதல்

ஆதரவுக் குழு அதன் வரிசைகளை மாற்றிய பிறகும் பழைய வகைகளை மாதிரியில் வைத்திருக்க அனுமதித்தல்

நடைமுறைப் பாடம்

ஒரு நல்ல AI நிறுவல் மிகப் பெரியதாகத் தொடங்க வேண்டியதில்லை. ஒரு குறுகிய பணிப்பாய்வு, ஒரு தெளிவான இடைமுகம், ஒரு சிறந்த சோதனைத் தொகுப்பு மற்றும் ஒரு பாதுகாப்பான பின்வாங்கல் வழி ஆகியவற்றுடன் தொடங்குங்கள். அந்த மாதிரி, அபாயத்தை மறைக்காமல் நேரத்தைச் சேமித்தால், அது விரிவாக்கத் தகுந்த ஒரு நிறுவலாகும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

உற்பத்தியில் AI மாதிரியைப் பயன்படுத்துவது என்றால் என்ன?

ஒரு AI மாதிரியைப் பயன்படுத்துவதில் பொதுவாக ஒரு கணிப்பு API ஐ வெளிப்படுத்துவதை விட அதிகமாக அடங்கும். நடைமுறையில், இது மாதிரி மற்றும் அதன் சார்புகளை பேக்கேஜிங் செய்தல், ஒரு சேவை முறையைத் தேர்ந்தெடுப்பது (நிகழ்நேரம், தொகுதி, ஸ்ட்ரீமிங் அல்லது விளிம்பு), நம்பகத்தன்மையுடன் அளவிடுதல், ஆரோக்கியம் மற்றும் சறுக்கலைக் கண்காணித்தல் மற்றும் பாதுகாப்பான ரோல்அவுட் மற்றும் ரோல்பேக் பாதைகளை அமைத்தல் ஆகியவற்றை உள்ளடக்கியது. ஒரு திடமான வரிசைப்படுத்தல் சுமையின் கீழ் கணிக்கக்கூடிய வகையில் நிலையானதாக இருக்கும் மற்றும் ஏதாவது தவறு நடந்தால் கண்டறியக்கூடியதாக இருக்கும்.

நிகழ்நேரம், தொகுதி, ஸ்ட்ரீமிங் அல்லது விளிம்பு வரிசைப்படுத்தலுக்கு இடையே எவ்வாறு தேர்வு செய்வது

கணிப்புகள் தேவைப்படும்போதும், நீங்கள் செயல்படும் கட்டுப்பாடுகளின் கீழும் பயன்படுத்தல் முறையைத் தேர்வுசெய்யவும். தாமதம் முக்கியத்துவம் வாய்ந்த ஊடாடும் அனுபவங்களுக்கு நிகழ்நேர APIகள் பொருந்துகின்றன. தாமதங்கள் ஏற்றுக்கொள்ளத்தக்கதாகவும் செலவுத் திறன் முன்னணியில் இருக்கும்போதும் தொகுதி மதிப்பெண் சிறப்பாகச் செயல்படும். தொடர்ச்சியான நிகழ்வு செயலாக்கத்திற்கு ஸ்ட்ரீமிங் பொருந்துகிறது, குறிப்பாக டெலிவரி சொற்பொருள் கடினமாக இருக்கும்போது. புதுப்பிப்புகள் மற்றும் வன்பொருள் மாறுபாடுகளை நிர்வகிப்பது கடினமாகிவிட்டாலும், ஆஃப்லைன் செயல்பாடு, தனியுரிமை அல்லது மிகக் குறைந்த தாமதத் தேவைகளுக்கு எட்ஜ் பயன்படுத்தல் சிறந்தது.

"எனது மடிக்கணினியில் வேலை செய்கிறது" என்ற வரிசைப்படுத்தல் தோல்விகளைத் தவிர்க்க என்ன பதிப்பைச் செய்ய வேண்டும்?

மாதிரி எடைகளை விட பதிப்பு அதிகம். பொதுவாக, உங்களுக்கு ஒரு பதிப்பு மாதிரி கலைப்பொருள் (டோக்கனைசர்கள் அல்லது லேபிள் வரைபடங்கள் உட்பட), முன் செயலாக்கம் மற்றும் அம்ச தர்க்கம், அனுமானக் குறியீடு மற்றும் முழு இயக்க நேர சூழல் (பைதான்/CUDA/சிஸ்டம் நூலகங்கள்) தேவைப்படும். மாதிரியை டேக் செய்யப்பட்ட பதிப்புகள் மற்றும் ஸ்கீமா எதிர்பார்ப்புகள், மதிப்பீட்டு குறிப்புகள் மற்றும் அறியப்பட்ட வரம்புகளை விவரிக்கும் இலகுரக மெட்டாடேட்டாவுடன் வெளியீட்டு கலைப்பொருளாகக் கருதுங்கள்.

ஒரு எளிய FastAPI-பாணி சேவையுடன் பயன்படுத்த வேண்டுமா அல்லது ஒரு பிரத்யேக மாதிரி சேவையகத்துடன் பயன்படுத்த வேண்டுமா

ரூட்டிங், அங்கீகாரம் மற்றும் ஒருங்கிணைப்பு ஆகியவற்றின் மீது நீங்கள் கட்டுப்பாட்டைத் தக்கவைத்துக்கொள்வதால், ஒரு எளிய பயன்பாட்டு சேவையகம் (FastAPI-பாணி அணுகுமுறை) ஆரம்பகால தயாரிப்புகள் அல்லது நேரடியான மாதிரிகளுக்கு நன்றாக வேலை செய்கிறது. ஒரு மாதிரி சேவையகம் (TorchServe அல்லது NVIDIA Triton-பாணி) வலுவான பேட்சிங், ஒருங்கிணைவு மற்றும் GPU செயல்திறனை பெட்டியிலிருந்து வெளியே வழங்க முடியும். பல அணிகள் ஒரு கலப்பினத்தில் இறங்குகின்றன: அனுமானத்திற்கான மாதிரி சேவையகம் மற்றும் அங்கீகாரம், கோரிக்கை வடிவமைத்தல் மற்றும் விகித வரம்புகளுக்கான மெல்லிய API அடுக்கு.

துல்லியத்தை மீறாமல் தாமதம் மற்றும் செயல்திறனை எவ்வாறு மேம்படுத்துவது

உற்பத்தி போன்ற வன்பொருளில் p95/p99 தாமதத்தை யதார்த்தமான பேலோடுகளுடன் அளவிடுவதன் மூலம் தொடங்கவும், ஏனெனில் சிறிய சோதனைகள் தவறாக வழிநடத்தக்கூடும். பொதுவான நெம்புகோல்களில் பேட்சிங் (சிறந்த செயல்திறன், சாத்தியமான மோசமான தாமதம்), அளவீடு (சிறியது மற்றும் வேகமானது, சில நேரங்களில் மிதமான துல்லிய பரிமாற்றங்களுடன்), தொகுப்பு மற்றும் உகப்பாக்க ஓட்டங்கள் (ONNX/TensorRT போன்றவை) மற்றும் மீண்டும் மீண்டும் உள்ளீடுகள் அல்லது உட்பொதிப்புகளை தற்காலிகமாக சேமிப்பது ஆகியவை அடங்கும். வரிசை ஆழத்தின் அடிப்படையில் தானியங்கி அளவிடுதல் வால் தாமதத்தை மேல்நோக்கி ஊர்ந்து செல்வதைத் தடுக்கலாம்.

"இறுதிப்புள்ளி மேலே உள்ளது" என்பதற்கு அப்பால் என்ன கண்காணிப்பு தேவை?

இயக்க நேரம் போதாது, ஏனென்றால் ஒரு சேவை ஆரோக்கியமாகத் தோன்றலாம், அதே நேரத்தில் கணிப்பு தரம் மோசமடைகிறது. குறைந்தபட்சம், கோரிக்கை அளவு, பிழை விகிதம் மற்றும் தாமத விநியோகங்களைக் கண்காணிக்கவும், மேலும் CPU/GPU/நினைவகம் மற்றும் வரிசை நேரம் போன்ற செறிவு சமிக்ஞைகளையும் கண்காணிக்கவும். மாதிரி நடத்தைக்கு, அடிப்படை ஒழுங்கின்மை சமிக்ஞைகளுடன் உள்ளீடு மற்றும் வெளியீட்டு விநியோகங்களையும் கண்காணிக்கவும். சத்தமில்லாத எச்சரிக்கைகளுக்குப் பதிலாக செயலைத் தூண்டும் சறுக்கல் சரிபார்ப்புகள் மற்றும் பதிவு கோரிக்கை ஐடிகள், மாதிரி பதிப்புகள் மற்றும் திட்ட சரிபார்ப்பு விளைவுகளைச் சேர்க்கவும்.

புதிய மாடல் பதிப்புகளை பாதுகாப்பாக வெளியிடுவது மற்றும் விரைவாக மீட்டெடுப்பது எப்படி

மாதிரிகளை முழு வெளியீடுகளாகக் கருதுங்கள், முன் செயலாக்கம் மற்றும் பின் செயலாக்கத்தை சோதிக்கும் CI/CD பைப்லைன், "கோல்டன் செட்" உடன் ஒருங்கிணைப்பு சோதனைகளை இயக்குகிறது மற்றும் ஒரு சுமை அடிப்படையை நிறுவுகிறது. வெளியீடுகளுக்கு, கேனரி ரேம்ப் டிராஃபிக்கை படிப்படியாக வெளியிடுகிறது, அதே நேரத்தில் நீல-பச்சை பழைய பதிப்பை உடனடி பின்னடைவுக்காக நேரலையில் வைத்திருக்கிறது. நிழல் சோதனை பயனர்களைப் பாதிக்காமல் உண்மையான போக்குவரத்தில் ஒரு புதிய மாதிரியை மதிப்பிட உதவுகிறது. ரோல்பேக் என்பது ஒரு முதல்-வகுப்பு பொறிமுறையாக இருக்க வேண்டும், பின் சிந்தனையாக இருக்கக்கூடாது.

AI மாதிரிகளை எவ்வாறு பயன்படுத்துவது என்பதைக் கற்றுக்கொள்வதில் மிகவும் பொதுவான சிக்கல்கள்

பயிற்சி-சேவை வளைவு என்பது ஒரு உன்னதமான வழக்கு: முன் செயலாக்கம் பயிற்சிக்கும் உற்பத்திக்கும் இடையில் வேறுபடுகிறது, மேலும் செயல்திறன் அமைதியாகக் குறைகிறது. மற்றொரு அடிக்கடி ஏற்படும் பிரச்சினை ஸ்கீமா சரிபார்ப்பைக் காணவில்லை, அங்கு ஒரு அப்ஸ்ட்ரீம் மாற்றம் உள்ளீடுகளை நுட்பமான வழிகளில் உடைக்கிறது. அணிகள் டெயில் லேட்டன்சியைக் குறைத்து மதிப்பிடுகின்றன மற்றும் சராசரிகளில் அதிக கவனம் செலுத்துகின்றன, செலவைக் கவனிக்கவில்லை (செயலற்ற GPUகள் வேகமாகச் சேர்க்கின்றன), மற்றும் ரோல்பேக் திட்டமிடலைத் தவிர்க்கின்றன. இயக்க நேரத்தை மட்டும் கண்காணிப்பது மிகவும் ஆபத்தானது, ஏனெனில் "மேலே ஆனால் தவறு" என்பது குறைவை விட மோசமாக இருக்கலாம்.

குறிப்புகள்

1. அமேசான் வலை சேவைகள் (AWS) - அமேசான் சேஜ்மேக்கர்: நிகழ்நேர அனுமானம் - docs.aws.amazon.com

2. அமேசான் வலை சேவைகள் (AWS) - அமேசான் சேஜ்மேக்கர் தொகுதி மாற்றம் - docs.aws.amazon.com

3. அமேசான் வலை சேவைகள் (AWS) - அமேசான் சேஜ்மேக்கர் மாதிரி மானிட்டர் - docs.aws.amazon.com

4. அமேசான் வலை சேவைகள் (AWS) - API கேட்வே கோரிக்கை த்ரோட்லிங் - docs.aws.amazon.com

5. அமேசான் வலை சேவைகள் (AWS) - AWS சீக்ரெட்ஸ் மேலாளர்: அறிமுகம் - docs.aws.amazon.com

6. அமேசான் வலை சேவைகள் (AWS) - AWS லாம்ப்டா செயல்படுத்தல் சூழல் வாழ்க்கைச் சுழற்சி - docs.aws.amazon.com

7. கூகிள் கிளவுட் - வெர்டெக்ஸ் AI: ஒரு மாதிரியை ஒரு இறுதிப்புள்ளிக்கு வரிசைப்படுத்துங்கள் - docs.cloud.google.com

8. கூகிள் கிளவுட் - வெர்டெக்ஸ் AI மாதிரி கண்காணிப்பு கண்ணோட்டம் - docs.cloud.google.com

9. கூகிள் கிளவுட் - வெர்டெக்ஸ் AI: அம்ச வளைவு மற்றும் சறுக்கலைக் கண்காணிக்கவும் - docs.cloud.google.com

10. கூகிள் கிளவுட் வலைப்பதிவு - டேட்டாஃப்ளோ: சரியாக ஒரு முறை vs குறைந்தபட்சம் ஒரு முறை ஸ்ட்ரீமிங் முறைகள் - cloud.google.com

11. கூகிள் கிளவுட் - கிளவுட் டேட்டாஃப்ளோ ஸ்ட்ரீமிங் முறைகள் - docs.cloud.google.com

12. கூகிள் SRE புத்தகம் - டிஸ்ட்ரிபியூட்டட் சிஸ்டம்களைக் கண்காணித்தல் - sre.google

13. கூகிள் ஆராய்ச்சி - தி டெயில் அட் ஸ்கேல் - research.google

14. LiteRT (Google AI) - LiteRT மேலோட்டம் - ai.google.dev

15. LiteRT (Google AI) - LiteRT சாதனத்தில் அனுமானம் - ai.google.dev

16. டாக்கர் - ஒரு கொள்கலன் என்றால் என்ன? - docs.docker.com

17. டாக்கர் - டாக்கர் சிறந்த நடைமுறைகளை உருவாக்குகிறது - docs.docker.com

18. குபெர்னெட்ஸ் - குபெர்னெட்ஸ் ரகசியங்கள் - kubernetes.io

19. குபெர்னெட்ஸ் - கிடைமட்ட பாட் ஆட்டோஸ்கேலிங் - kubernetes.io

20. மார்ட்டின் ஃபோவ்லர் - கேனரி வெளியீடு - martinfowler.com

21. மார்ட்டின் ஃபோவ்லர் - நீல-பச்சை வரிசைப்படுத்தல் - martinfowler.com

22. OpenAPI முன்முயற்சி - OpenAPI என்றால் என்ன? - openapis.org

23. JSON ஸ்கீமா - (தளம் குறிப்பிடப்பட்டுள்ளது) - json-schema.org

24. புரோட்டோகால் பஃபர்கள் - புரோட்டோகால் பஃபர்கள் கண்ணோட்டம் - protobuf.dev

25. FastAPI - (தளம் குறிப்பிடப்பட்டுள்ளது) - fastapi.tiangolo.com

26. என்விடியா - டிரைட்டன்: டைனமிக் பேட்சிங் மற்றும் கன்கரண்ட் மாடல் எக்ஸிகியூஷன் - docs.nvidia.com

27. NVIDIA - ட்ரைடன்: ஒரே நேரத்தில் மாதிரி செயல்படுத்தல் - docs.nvidia.com

28. NVIDIA - ட்ரைடன் இன்ஃபரன்ஸ் சர்வர் ஆவணங்கள் - docs.nvidia.com

29. பைடார்ச் - டார்ச்சர்வ் டாக்ஸ் - docs.pytorch.org

30. BentoML - பயன்படுத்துவதற்கான பேக்கேஜிங் - docs.bentoml.com

31. ரே - ரே ஆவணங்களை வழங்கு - docs.ray.io

32. டென்சர்ஃப்ளோ - பயிற்சிக்குப் பிந்தைய அளவீடு (டென்சர்ஃப்ளோ மாதிரி உகப்பாக்கம்) - tensorflow.org

33. டென்சர்ஃப்ளோ - டென்சர்ஃப்ளோ தரவு சரிபார்ப்பு: பயிற்சி-சேவை செய்யும் வளைவைக் கண்டறிதல் - tensorflow.org

34. ONNX - (தளம் குறிப்பிடப்பட்டுள்ளது) - onnx.ai

35. ONNX இயக்க நேரம் - மாதிரி மேம்படுத்தல்கள் - onnxruntime.ai

36. NIST (தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனம்) - NIST SP 800-122 - csrc.nist.gov

37. arXiv - மாதிரி அறிக்கையிடலுக்கான மாதிரி அட்டைகள் - arxiv.org

38. மைக்ரோசாப்ட் - நிழல் சோதனை - microsoft.github.io

39. OWASP - LLM விண்ணப்பங்களுக்கான OWASP முதல் 10 இடங்கள் - owasp.org

40. OWASP GenAI பாதுகாப்பு திட்டம் - OWASP: உடனடி ஊசி - genai.owasp.org

அதிகாரப்பூர்வ AI உதவியாளர் கடையில் சமீபத்திய AI ஐக் கண்டறியவும்

எங்களை பற்றி