ஜெனரேட்டிவ் AI இல் அடித்தள மாதிரிகள் என்றால் என்ன?

ஜெனரேட்டிவ் AI இல் அடித்தள மாதிரிகள் என்றால் என்ன?

சுருக்கமான பதில்: அடித்தள மாதிரிகள் என்பது பெரிய, பொது நோக்கத்திற்கான AI மாதிரிகள், அவை பரந்த, பரந்த தரவுத்தொகுப்புகளில் பயிற்சியளிக்கப்பட்டு, பின்னர் தூண்டுதல், நேர்த்தியான சரிசெய்தல், கருவிகள் அல்லது மீட்டெடுப்பு மூலம் பல வேலைகளுக்கு (எழுதுதல், தேடல், குறியீட்டு முறை, படங்கள்) மாற்றியமைக்கப்படுகின்றன. உங்களுக்கு நம்பகமான பதில்கள் தேவைப்பட்டால், அவற்றை மேம்படுத்த விடாமல், அடிப்படை (RAG போன்றவை), தெளிவான கட்டுப்பாடுகள் மற்றும் சரிபார்ப்புகளுடன் இணைக்கவும்.

முக்கிய குறிப்புகள்:

வரையறை : ஒரு மாதிரிக்கு ஒரு பணி அல்ல, பல பணிகளில் மீண்டும் பயன்படுத்தப்படும் ஒரு பரந்த பயிற்சி பெற்ற அடிப்படை மாதிரி.

தகவமைப்பு : நடத்தையை வழிநடத்த தூண்டுதல், நன்றாகச் சரிசெய்தல், LoRA/அடாப்டர்கள், RAG மற்றும் கருவிகளைப் பயன்படுத்தவும்.

உருவாக்கப் பொருத்தம் : அவை உரை, படம், ஆடியோ, குறியீடு மற்றும் மல்டிமாடல் உள்ளடக்க உருவாக்கத்தை இயக்குகின்றன.

தரமான சமிக்ஞைகள் : கட்டுப்படுத்தும் தன்மை, குறைவான மாயத்தோற்றங்கள், பல மாதிரி திறன் மற்றும் திறமையான அனுமானம் ஆகியவற்றை முன்னுரிமைப்படுத்துங்கள்.

இடர் கட்டுப்பாடுகள் : மாயத்தோற்றங்கள், சார்பு, தனியுரிமை கசிவு மற்றும் நிர்வாகம் மற்றும் சோதனை மூலம் உடனடி ஊசி போடுவதற்கான திட்டம்.

ஜெனரேட்டிவ் AI இல் அடித்தள மாதிரிகள் என்றால் என்ன? தகவல் வரைபடம்

இதற்குப் பிறகு நீங்கள் படிக்க விரும்பக்கூடிய கட்டுரைகள்:

🔗 ஒரு AI நிறுவனம் என்றால் என்ன?
AI நிறுவனங்கள் தயாரிப்புகள், குழுக்கள் மற்றும் வருவாய் மாதிரிகளை எவ்வாறு உருவாக்குகின்றன என்பதைப் புரிந்து கொள்ளுங்கள்.

🔗 AI குறியீடு எப்படி இருக்கும்?
பைதான் மாதிரிகள் முதல் APIகள் வரை AI குறியீட்டின் உதாரணங்களைக் காண்க.

🔗 AI அல்காரிதம் என்றால் என்ன
AI வழிமுறைகள் என்றால் என்ன, அவை எவ்வாறு முடிவுகளை எடுக்கின்றன என்பதை அறிக.

🔗 AI தொழில்நுட்பம் என்றால் என்ன
ஆட்டோமேஷன், பகுப்பாய்வு மற்றும் அறிவார்ந்த பயன்பாடுகளை இயக்கும் முக்கிய AI தொழில்நுட்பங்களை ஆராயுங்கள்.

1) அடித்தள மாதிரிகள் - மூடுபனி இல்லாத வரையறை 🧠

ஒரு அடித்தள மாதிரி என்பது பரந்த தரவுகளில் (பொதுவாக டன் கணக்கில்) பயிற்சி பெற்ற ஒரு பெரிய, பொது நோக்கத்திற்கான AI மாதிரியாகும், எனவே இது ஒன்றுக்கு மட்டுமல்ல, பல பணிகளுக்கும் மாற்றியமைக்கப்படலாம் ( NIST , Stanford CRFM ).

ஒரு தனி மாதிரியை உருவாக்குவதற்கு பதிலாக:

  • மின்னஞ்சல்களை எழுதுதல்

  • கேள்விகளுக்கு பதிலளித்தல்

  • PDFகளை சுருக்கமாகக் கூறுதல்

  • படங்களை உருவாக்குதல்

  • ஆதரவு டிக்கெட்டுகளை வகைப்படுத்துதல்

  • மொழிகளை மொழிபெயர்த்தல்

  • குறியீடு பரிந்துரைகளை உருவாக்குதல்

…நீங்கள் ஒரு பெரிய அடிப்படை மாதிரியைப் பயிற்றுவித்து, அது "உலகைக் கற்றுக்கொள்ளும்" ஒரு தெளிவற்ற புள்ளிவிவர வழியில் பயிற்சி அளிக்கிறீர்கள், பின்னர் அதை குறிப்பிட்ட வேலைகளுக்கு ஏற்ப அறிவுறுத்தல்கள், நன்றாகச் சரிசெய்தல் அல்லது கூடுதல் கருவிகள் மூலம் மாற்றியமைக்கிறீர்கள் பொம்மசானி மற்றும் பலர்., 2021 ).

வேறு வார்த்தைகளில் கூறுவதானால்: இது நீங்கள் இயக்கக்கூடிய பொதுவான இயந்திரம்

ஆம், முக்கிய சொல் "பொது." அதுதான் முழு தந்திரம்.

2) ஜெனரேட்டிவ் AI-யில் ஃபவுண்டேஷன் மாடல்கள் என்றால் என்ன? (அவை எவ்வாறு குறிப்பாகப் பொருந்துகின்றன) 🎨📝

எனவே, ஜெனரேட்டிவ் AI இல் உள்ள ஃபவுண்டேஷன் மாடல்கள் என்றால் என்ன? அவை புதிய உள்ளடக்கத்தை உருவாக்கக்கூடிய அமைப்புகளுக்கு சக்தி அளிக்கும் அடிப்படை மாதிரிகள் - உரை, படங்கள், ஆடியோ, குறியீடு, வீடியோ, மற்றும் பெருகிய முறையில்... இவை அனைத்தின் கலவைகள் ( NIST , NIST ஜெனரேட்டிவ் AI சுயவிவரம் ).

ஜெனரேட்டிவ் AI என்பது "ஸ்பேம் / ஸ்பேம் அல்ல" போன்ற லேபிள்களை கணிப்பது மட்டுமல்ல. இது ஒரு நபரால் உருவாக்கப்பட்டதைப் போல தோற்றமளிக்கும் வெளியீடுகளை உருவாக்குவது பற்றியது.

  • பத்திகள்

  • கவிதைகள்

  • தயாரிப்பு விளக்கங்கள்

  • விளக்கப்படங்கள்

  • மெல்லிசைகள்

  • பயன்பாட்டு முன்மாதிரிகள்

  • செயற்கை குரல்கள்

  • சில நேரங்களில் நம்பமுடியாத அளவிற்கு நம்பிக்கையான முட்டாள்தனம் 🙃

அடித்தள மாதிரிகள் இங்கே மிகவும்

அவை "அடிப்படை அடுக்கு" - ரொட்டி மாவைப் போல. நீங்கள் அதை ஒரு பக்கோடா, பீட்சா அல்லது இலவங்கப்பட்டை ரோல்களாக சுடலாம்... சரியான உருவகம் அல்ல, ஆனால் நீங்கள் என்னைப் புரிந்துகொள்கிறீர்கள் 😄

3) ஏன் அவர்கள் எல்லாவற்றையும் மாற்றினார்கள் (மற்றும் மக்கள் ஏன் அவர்களைப் பற்றி பேசுவதை நிறுத்த மாட்டார்கள்) 🚀

அடித்தள மாதிரிகளுக்கு முன்பு, AI இன் பெரும்பகுதி பணி சார்ந்ததாக இருந்தது:

  • உணர்வு பகுப்பாய்விற்கான ஒரு மாதிரியைப் பயிற்றுவிக்கவும்

  • மொழிபெயர்ப்புக்கு இன்னொருவருக்கு பயிற்சி அளிக்கவும்

  • பட வகைப்பாட்டிற்கு இன்னொருவருக்கு பயிற்சி அளிக்கவும்

  • பெயரிடப்பட்ட நிறுவன அங்கீகாரத்திற்காக இன்னொருவருக்கு பயிற்சி அளிக்கவும்

அது வேலை செய்தது, ஆனால் அது மெதுவாகவும், விலை உயர்ந்ததாகவும், ஓரளவுக்கு... உடையக்கூடியதாகவும் இருந்தது.

அடித்தள மாதிரிகள் அதை புரட்டிப் போட்டன:

அந்த மறுபயன்பாடுதான் பெருக்கமாகும். நிறுவனங்கள் சக்கரத்தை 20 முறை மீண்டும் கண்டுபிடிப்பதற்குப் பதிலாக, ஒரு மாதிரி குடும்பத்தின் மேல் 20 அம்சங்களை உருவாக்க முடியும்.

மேலும், பயனர் அனுபவம் மிகவும் இயல்பானதாக மாறியது:

  • நீங்கள் "வகைப்படுத்தியைப் பயன்படுத்துவதில்லை"

  • நீங்க அந்த மாடலிடம் பேசுறது, தூங்கவே வர்ற ஒரு உதவிகரமான சக ஊழியர் மாதிரி ☕🤝

சில நேரங்களில் அது எல்லாவற்றையும் நம்பிக்கையுடன் தவறாகப் புரிந்து கொள்ளும் ஒரு சக ஊழியரைப் போலவும் இருக்கும், ஆனால் ஏய். வளர்ச்சி.

4) முக்கிய யோசனை: முன் பயிற்சி + தழுவல் 🧩

கிட்டத்தட்ட அனைத்து அடித்தள மாதிரிகளும் ஒரு முறையைப் பின்பற்றுகின்றன ( ஸ்டான்போர்ட் CRFM , NIST ):

முன் பயிற்சி ("இணையத்தை உள்வாங்கும்" கட்டம்) 📚

இந்த மாதிரி சுய மேற்பார்வை கற்றலைப் பயன்படுத்தி மிகப்பெரிய, பரந்த தரவுத்தொகுப்புகளில் பயிற்சி அளிக்கப்படுகிறது ( NIST ). மொழி மாதிரிகளுக்கு, அது பொதுவாக விடுபட்ட சொற்களையோ அல்லது அடுத்த டோக்கனையோ கணிப்பதாகும் ( Devlin et al., 2018 , Brown et al., 2020 ).

ஒரே ஒரு பணியைக் கற்பிப்பதல்ல இதன் நோக்கம். பொதுவான பிரதிநிதித்துவங்களைக் :

  • இலக்கணம்

  • உண்மைகள் (ஒருவிதமாக)

  • பகுத்தறிவு முறைகள் (சில நேரங்களில்)

  • எழுத்து நடைகள்

  • குறியீட்டு அமைப்பு

  • பொதுவான மனித நோக்கம்

தகவமைப்பு ("நடைமுறைக்கு ஏற்றவாறு மாற்றும்" கட்டம்) 🛠️

பின்னர் நீங்கள் ஒன்று அல்லது அதற்கு மேற்பட்டவற்றைப் பயன்படுத்தி அதை மாற்றியமைக்கலாம்:

  • தூண்டுதல் (எளிய மொழியில் வழிமுறைகள்)

  • அறிவுறுத்தல் சரிசெய்தல் (வழிமுறைகளைப் பின்பற்ற அதைப் பயிற்றுவித்தல்) ( வீ மற்றும் பலர், 2021 )

  • நன்றாகச் சரிசெய்தல் (உங்கள் டொமைன் தரவு குறித்த பயிற்சி)

  • LoRA / அடாப்டர்கள் (இலகுரக டியூனிங் முறைகள்) ( Hu et al., 2021 )

  • RAG (மீட்டெடுப்பு-வளர்ச்சியடைந்த தலைமுறை - மாதிரி உங்கள் ஆவணங்களை ஆலோசிக்கிறது) ( லூயிஸ் மற்றும் பலர், 2020 )

  • கருவி பயன்பாடு (அழைப்பு செயல்பாடுகள், உள் அமைப்புகளை உலாவுதல் போன்றவை)

இதனால்தான் அதே அடிப்படை மாதிரி ஒரு காதல் காட்சியை எழுத முடியும்… பின்னர் ஐந்து வினாடிகள் கழித்து ஒரு SQL வினவலை பிழைத்திருத்த உதவ முடியும் 😭

5) ஒரு அடித்தள மாதிரியின் நல்ல பதிப்பை உருவாக்குவது எது? ✅

இது மக்கள் தவிர்த்துவிட்டு, பின்னர் வருத்தப்படும் பகுதி.

ஒரு "நல்ல" அடித்தள மாதிரி வெறும் "பெரியது" மட்டுமல்ல. பெரியது நிச்சயமாக உதவும்... ஆனால் அது மட்டுமே ஒரே விஷயம் அல்ல. அடித்தள மாதிரியின் ஒரு நல்ல பதிப்பு பொதுவாக இவற்றைக் கொண்டுள்ளது:

வலுவான பொதுமைப்படுத்தல் 🧠

பணி சார்ந்த மறுபயிற்சி தேவையில்லாமல் பல பணிகளில் இது சிறப்பாகச் செயல்படுகிறது ( பொம்மசானி மற்றும் பலர், 2021 ).

திசைமாற்றி மற்றும் கட்டுப்படுத்தும் தன்மை 🎛️

இது போன்ற வழிமுறைகளை நம்பத்தகுந்த முறையில் பின்பற்ற முடியும்:

  • "சுருக்கமாக இரு"

  • "குறிச்சொற்களைப் பயன்படுத்துங்கள்"

  • "நட்பு தொனியில் எழுதுங்கள்"

  • "ரகசிய தகவல்களை வெளியிட வேண்டாம்"

சில மாடல்கள் புத்திசாலித்தனமாக இருந்தாலும் வழுக்கும். ஷவரில் சோப்புப் பட்டையைப் பிடிக்க முயற்சிப்பது போல. உதவியாக இருக்கும், ஆனால் நிலையற்றது 😅

குறைந்த மாயத்தோற்றப் போக்கு (அல்லது குறைந்தபட்சம் வெளிப்படையான நிச்சயமற்ற தன்மை) 🧯

நல்ல மாதிரிகள் தவிர, எந்த மாதிரியும் மாயத்தோற்றங்களிலிருந்து விடுபடாது:

நல்ல மல்டிமாடல் திறன் (தேவைப்படும்போது) 🖼️🎧

படங்களைப் படிக்கும், விளக்கப்படங்களை விளக்கும் அல்லது ஆடியோவைப் புரிந்துகொள்ளும் உதவியாளர்களை நீங்கள் உருவாக்கினால், மல்டிமாடல் மிகவும் முக்கியமானது ( ராட்ஃபோர்ட் மற்றும் பலர், 2021 ).

திறமையான அனுமானம் ⚡

தாமதமும் செலவும் முக்கியம். வலிமையான ஆனால் மெதுவாக இயங்கும் ஒரு மாடல், டயர் பஞ்சரான ஸ்போர்ட்ஸ் காரைப் போன்றது.

பாதுகாப்பு மற்றும் சீரமைப்பு நடத்தை 🧩

"எல்லாவற்றையும் மறுப்பது" மட்டுமல்ல, ஆனால்:

  • தீங்கு விளைவிக்கும் வழிமுறைகளைத் தவிர்க்கவும்

  • சார்பைக் குறை

  • உணர்திறன் வாய்ந்த தலைப்புகளை கவனமாகக் கையாளவும்

  • அடிப்படை ஜெயில்பிரேக் முயற்சிகளை எதிர்க்கவும் (ஓரளவு...) ( NIST AI RMF 1.0 , NIST ஜெனரேட்டிவ் AI சுயவிவரம் )

ஆவணப்படுத்தல் + சுற்றுச்சூழல் அமைப்பு 🌱

இது வறண்டதாகத் தெரிகிறது, ஆனால் இது உண்மையானது:

  • கருவி

  • எவால் ஹார்னஸ்கள்

  • பயன்படுத்தல் விருப்பங்கள்

  • நிறுவனக் கட்டுப்பாடுகள்

  • ஃபைன்-ட்யூனிங் ஆதரவு

ஆமாம், "சுற்றுச்சூழல்" என்பது ஒரு தெளிவற்ற சொல். எனக்கும் அது பிடிக்காது. ஆனால் அது முக்கியம்.

6) ஒப்பீட்டு அட்டவணை - பொதுவான அடித்தள மாதிரி விருப்பங்கள் (மற்றும் அவை எதற்கு நல்லது) 🧾

கீழே ஒரு நடைமுறைக்குரிய, சற்று அபூரணமான ஒப்பீட்டு அட்டவணை உள்ளது. இது "ஒரே உண்மையான பட்டியல்" அல்ல, இது மக்கள் காடுகளில் எதைத் தேர்வு செய்கிறார்கள் என்பதைப் போன்றது.

கருவி / மாதிரி வகை பார்வையாளர்கள் விலை உயர்ந்த அது ஏன் வேலை செய்கிறது?
தனியுரிம LLM (அரட்டை பாணி) வேகம் + மெருகூட்டலை விரும்பும் அணிகள் பயன்பாடு சார்ந்த / சந்தா சிறந்த வழிமுறைகளைப் பின்பற்றுதல், வலுவான பொதுவான செயல்திறன், பொதுவாக சிறந்த "அவுட் ஆஃப் பாக்ஸ்" 😌
ஓபன்-வெயிட் எல்எல்எம் (சுய-ஹோஸ்டபிள்) கட்டுப்பாட்டை விரும்பும் கட்டுமான நிறுவனங்கள் உள்கட்டமைப்பு செலவு (மற்றும் தலைவலி) தனிப்பயனாக்கக்கூடியது, தனியுரிமைக்கு ஏற்றது, உள்ளூரில் இயக்கலாம்... நீங்கள் நள்ளிரவில் டிங்கரிங் செய்ய விரும்பினால்
பரவல் பட ஜெனரேட்டர் படைப்பாளிகள், வடிவமைப்பு குழுக்கள் இலவசம் முதல் பணம் செலுத்துதல் வரை சிறந்த பட தொகுப்பு, பாணி வகை, மீண்டும் மீண்டும் வரும் பணிப்பாய்வுகள் (மேலும்: விரல்கள் துண்டிக்கப்படலாம்) ✋😬 ( ஹோ மற்றும் பலர், 2020 , ரோம்பாக் மற்றும் பலர், 2021 )
பன்முக "பார்வை-மொழி" மாதிரி படங்கள் + உரையைப் படிக்கும் பயன்பாடுகள் பயன்பாடு சார்ந்த படங்கள், ஸ்கிரீன்ஷாட்கள், வரைபடங்கள் பற்றிய கேள்விகளைக் கேட்க உங்களை அனுமதிக்கிறது - வியக்கத்தக்க வகையில் எளிது ( ராட்ஃபோர்ட் மற்றும் பலர், 2021 )
உட்பொதித்தல் அடித்தள மாதிரி தேடல் + RAG அமைப்புகள் ஒரு அழைப்புக்கு குறைந்த கட்டணம் சொற்பொருள் தேடல், கிளஸ்டரிங், பரிந்துரை - அமைதியான MVP ஆற்றலுக்கான உரையை திசையன்களாக மாற்றுகிறது ( கர்புகின் மற்றும் பலர், 2020 , டூஸ் மற்றும் பலர், 2024 )
பேச்சு-க்கு-உரை அடிப்படை மாதிரி அழைப்பு மையங்கள், படைப்பாளிகள் பயன்பாடு சார்ந்த / உள்ளூர் வேகமான டிரான்ஸ்கிரிப்ஷன், பன்மொழி ஆதரவு, சத்தமில்லாத ஆடியோவிற்கு போதுமானது (பொதுவாக) 🎙️ ( விஸ்பர் )
உரையிலிருந்து பேச்சுக்கான அடிப்படை மாதிரி தயாரிப்பு குழுக்கள், ஊடகங்கள் பயன்பாடு சார்ந்த இயற்கையான குரல் உருவாக்கம், குரல் பாணிகள், விவரிப்பு - பயமுறுத்தும்-உண்மையானதாக இருக்கலாம் ( ஷென் மற்றும் பலர், 2017 )
குறியீட்டை மையமாகக் கொண்ட எல்.எல்.எம் டெவலப்பர்கள் பயன்பாடு சார்ந்த / சந்தா குறியீட்டு வடிவங்கள், பிழைத்திருத்தம், மறுசீரமைப்பு ஆகியவற்றில் சிறந்தவர்... இருப்பினும் இன்னும் மனதைப் படிப்பவர் அல்ல 😅

"அடித்தள மாதிரி" என்பது "சாட்பாட்" என்பதை மட்டும் குறிக்கவில்லை என்பதைக் கவனியுங்கள். உட்பொதிப்புகள் மற்றும் பேச்சு மாதிரிகள் அடித்தளமாகவும் இருக்கலாம், ஏனெனில் அவை பரந்த அளவில் உள்ளன மற்றும் அனைத்து பணிகளிலும் மீண்டும் பயன்படுத்தக்கூடியவை ( பொம்மசானி மற்றும் பலர், 2021 , NIST ).

7) நெருக்கமாகப் பாருங்கள்: மொழி அடித்தள மாதிரிகள் எவ்வாறு கற்றுக்கொள்கின்றன (வைப் பதிப்பு) 🧠🧃

மொழி அடித்தள மாதிரிகள் (பெரும்பாலும் LLMகள் என்று அழைக்கப்படுகின்றன) பொதுவாக பெரிய அளவிலான உரைத் தொகுப்புகளில் பயிற்சி அளிக்கப்படுகின்றன. அவை டோக்கன்களைக் கணிப்பதன் மூலம் கற்றுக்கொள்கின்றன ( பிரவுன் மற்றும் பலர், 2020 ). அவ்வளவுதான். ரகசிய தேவதை தூசி இல்லை.

ஆனால் மாயாஜாலம் என்னவென்றால், டோக்கன்களைக் கணிப்பது மாதிரியை கட்டமைப்பைக் கற்றுக்கொள்ள கட்டாயப்படுத்துகிறது ( CSET ):

  • இலக்கணம் மற்றும் தொடரியல்

  • தலைப்பு உறவுகள்

  • பகுத்தறிவு போன்ற வடிவங்கள் (சில நேரங்களில்)

  • பொதுவான சிந்தனை வரிசைகள்

  • மக்கள் எப்படி விஷயங்களை விளக்குகிறார்கள், வாதிடுகிறார்கள், மன்னிப்பு கேட்கிறார்கள், பேச்சுவார்த்தை நடத்துகிறார்கள், கற்பிக்கிறார்கள்

மனிதர்கள் எப்படிச் செயல்படுகிறார்கள் என்பதைப் "புரிந்துகொள்ளாமல்" லட்சக்கணக்கான உரையாடல்களைப் பின்பற்றக் கற்றுக்கொள்வது போன்றது இது. அது வேலை செய்யக்கூடாது என்று தோன்றினாலும்... அது வேலை செய்து கொண்டே இருக்கிறது.

ஒரு லேசான மிகைப்படுத்தல்: இது அடிப்படையில் மனித எழுத்தை ஒரு பெரிய நிகழ்தகவு மூளைக்குள் சுருக்குவது போன்றது.
மீண்டும், அந்த உருவகம் கொஞ்சம் சபிக்கப்பட்டது. ஆனால் நாம் நகர்கிறோம் 😄

8) நெருக்கமான தோற்றம்: பரவல் மாதிரிகள் (படங்கள் ஏன் வித்தியாசமாக வேலை செய்கின்றன) 🎨🌀

பட அடித்தள மாதிரிகள் பெரும்பாலும் பரவல் முறைகளைப் பயன்படுத்துகின்றன ( ஹோ மற்றும் பலர், 2020 , ரோம்பாக் மற்றும் பலர், 2021 ).

தோராயமான யோசனை:

  1. படங்கள் டிவி ஸ்டேட்டிக் ஆகும் வரை சத்தத்தைச் சேர்க்கவும்

  2. அந்த சத்தத்தை படிப்படியாக மாற்றியமைக்க ஒரு மாதிரியைப் பயிற்றுவிக்கவும்

  3. தலைமுறை நேரத்தில், சத்தம் மற்றும் "டெனோயிஸ்" உடன் தொடங்கி ஒரு ப்ராம்ட் மூலம் வழிநடத்தப்படும் ஒரு படத்தில் ( ஹோ மற்றும் பலர், 2020 )

இதனால்தான் படத்தை உருவாக்குவது ஒரு புகைப்படத்தை "வளர்ப்பது" போல் உணர்கிறது, ஆனால் புகைப்படம் ஒரு சூப்பர் மார்க்கெட் நடைபாதையில் ஸ்னீக்கர்கள் அணிந்த ஒரு டிராகன் 🛒🐉

பரவல் மாதிரிகள் நல்லவை ஏனெனில்:

  • அவை உயர்தர காட்சிகளை உருவாக்குகின்றன

  • அவர்கள் உரையால் வலுவாக வழிநடத்தப்படலாம்

  • அவை மீண்டும் மீண்டும் சுத்திகரிப்பை ஆதரிக்கின்றன (மாறுபாடுகள், உள் ஓவியம், மேல்நோக்கி அளவிடுதல்) ( ரோம்பாக் மற்றும் பலர், 2021 )

அவர்கள் சில சமயங்களில் இதனுடன் போராடுகிறார்கள்:

  • படங்களுக்குள் உரை ரெண்டரிங்

  • நுண்ணிய உடற்கூறியல் விவரங்கள்

  • காட்சிகள் முழுவதும் சீரான கதாபாத்திர அடையாளம் (அது மேம்பட்டு வருகிறது, ஆனால் இன்னும்)

9) நெருக்கமான தோற்றம்: மல்டிமாடல் அடித்தள மாதிரிகள் (உரை + படங்கள் + ஆடியோ) 👀🎧📝

மல்டிமோடல் அடித்தள மாதிரிகள் பல தரவு வகைகளைப் புரிந்துகொண்டு உருவாக்குவதை நோக்கமாகக் கொண்டுள்ளன:

நிஜ வாழ்க்கையில் இது ஏன் முக்கியமானது:

  • வாடிக்கையாளர் ஆதரவு ஸ்கிரீன் ஷாட்களை விளக்க முடியும்

  • அணுகல் கருவிகள் படங்களை விவரிக்க முடியும்

  • கல்வி பயன்பாடுகள் வரைபடங்களை விளக்க முடியும்

  • படைப்பாளர்கள் வடிவங்களை விரைவாக ரீமிக்ஸ் செய்யலாம்

  • வணிகக் கருவிகள் டாஷ்போர்டு ஸ்கிரீன்ஷாட்டை "படித்து" அதைச் சுருக்கமாகக் கூறலாம்

பன்முக அமைப்புகள் பெரும்பாலும் பிரதிநிதித்துவங்களை சீரமைக்கின்றன:

  • ஒரு படத்தை உட்பொதிவுகளாக மாற்றவும்

  • உரையை உட்பொதிவுகளாக மாற்றவும்

  • "பூனை" என்பது பூனை பிக்சல்களுடன் பொருந்தும் பகிரப்பட்ட இடத்தைக் கற்றுக்கொள்ளுங்கள் 😺 ( ராட்ஃபோர்ட் மற்றும் பலர், 2021 )

அது எப்போதும் நேர்த்தியாக இருக்காது. சில நேரங்களில் அது ஒரு போர்வையைப் போல ஒன்றாக தைக்கப்படும். ஆனால் அது வேலை செய்கிறது.

10) ஃபைன்-ட்யூனிங் vs ப்ராம்ப்டிங் vs RAG (அடிப்படை மாதிரியை நீங்கள் எவ்வாறு மாற்றியமைக்கிறீர்கள்) 🧰

ஒரு குறிப்பிட்ட துறைக்கு (சட்டம், மருத்துவம், வாடிக்கையாளர் சேவை, உள் அறிவு) ஒரு அடித்தள மாதிரியை நடைமுறைக்குக் கொண்டுவர முயற்சிக்கிறீர்கள் என்றால், உங்களிடம் சில நுணுக்கங்கள் உள்ளன:

தூண்டுதல் 🗣️

வேகமான மற்றும் எளிமையானது.

  • நன்மை: பூஜ்ஜிய பயிற்சி, உடனடி மறு செய்கை

  • பாதகம்: சீரற்றதாக இருக்கலாம், சூழல் வரம்புகள், உடனடி பலவீனம்

ஃபைன்-ட்யூனிங் 🎯

உங்கள் எடுத்துக்காட்டுகளைப் பயன்படுத்தி மாதிரியை மேலும் பயிற்றுவிக்கவும்.

  • நன்மை: அதிக சீரான நடத்தை, சிறந்த டொமைன் மொழி, உடனடி நீளத்தைக் குறைக்கும்

  • பாதகம்: செலவு, தரவு தரத் தேவைகள், அதிகமாகப் பொருத்தப்படும் ஆபத்து, பராமரிப்பு

இலகுரக டியூனிங் (LoRA / அடாப்டர்கள்) 🧩

ஃபைன்-ட்யூனிங்கிற்கான மிகவும் திறமையான பதிப்பு ( ஹு மற்றும் பலர், 2021 ).

  • நன்மை: மலிவானது, மட்டுப்படுத்தப்பட்டது, மாற்ற எளிதானது

  • பாதகம்: இன்னும் பயிற்சி குழாய் மற்றும் மதிப்பீடு தேவை

RAG (மீட்டெடுப்பு-வளர்ச்சியடைந்த தலைமுறை) 🔎

இந்த மாதிரி உங்கள் அறிவுத் தளத்திலிருந்து பொருத்தமான ஆவணங்களைப் பெற்று அவற்றைப் பயன்படுத்தி பதில்களைப் பெறுகிறது ( லூயிஸ் மற்றும் பலர், 2020 ).

  • நன்மை: புதுப்பித்த அறிவு, உள்நாட்டில் மேற்கோள்கள் (நீங்கள் அதை செயல்படுத்தினால்), குறைவான மறுபயிற்சி

  • பாதகம்: மீட்டெடுப்பு தரம் அதை உருவாக்கலாம் அல்லது உடைக்கலாம், நல்ல துண்டு துண்டாக + உட்பொதித்தல் தேவை

உண்மையான பேச்சு: பல வெற்றிகரமான அமைப்புகள் தூண்டுதல் + RAG ஐ இணைக்கின்றன. ஃபைன்-ட்யூனிங் சக்தி வாய்ந்தது, ஆனால் எப்போதும் அவசியமில்லை. இது சுவாரஸ்யமாகத் தெரிவதால் மக்கள் அதை மிக விரைவாகப் பயன்படுத்துகிறார்கள் 😅

11) அபாயங்கள், வரம்புகள் மற்றும் "தயவுசெய்து இதை கண்மூடித்தனமாக பயன்படுத்த வேண்டாம்" பிரிவு 🧯😬

அறக்கட்டளை மாதிரிகள் சக்திவாய்ந்தவை, ஆனால் அவை பாரம்பரிய மென்பொருளைப் போல நிலையானவை அல்ல. அவை பெரும்பாலும்... தன்னம்பிக்கை பிரச்சனை உள்ள ஒரு திறமையான பயிற்சியாளரைப் போன்றவை.

திட்டமிடுவதற்கான முக்கிய வரம்புகள்:

மாயத்தோற்றங்கள் 🌀

மாதிரிகள் கண்டுபிடிக்கலாம்:

தணிப்புகள்:

  • அடிப்படை சூழலுடன் கூடிய RAG ( லூயிஸ் மற்றும் பலர், 2020 )

  • கட்டுப்படுத்தப்பட்ட வெளியீடுகள் (திட்டங்கள், கருவி அழைப்புகள்)

  • வெளிப்படையான "யூகிக்க வேண்டாம்" என்ற அறிவுறுத்தல்

  • சரிபார்ப்பு அடுக்குகள் (விதிகள், குறுக்கு சரிபார்ப்புகள், மனித மதிப்பாய்வு)

சார்பு மற்றும் தீங்கு விளைவிக்கும் வடிவங்கள் ⚠️

பயிற்சி தரவு மனிதர்களைப் பிரதிபலிப்பதால், நீங்கள் பெறலாம்:

  • ஒரே மாதிரியான கருத்துக்கள்

  • குழுக்களிடையே சீரற்ற செயல்திறன்

  • பாதுகாப்பற்ற நிறைவுகள் ( NIST AI RMF 1.0 , Bommasani et al., 2021 )

தணிப்புகள்:

தரவு தனியுரிமை மற்றும் கசிவு 🔒

நீங்கள் ஒரு மாதிரி இறுதிப்புள்ளியில் ரகசியத் தரவை ஊட்டினால், நீங்கள் தெரிந்து கொள்ள வேண்டியது:

  • அது எப்படி சேமிக்கப்படுகிறது

  • அது பயிற்சிக்குப் பயன்படுத்தப்படுகிறதா?

  • என்ன பதிவு உள்ளது?

  • உங்கள் நிறுவனத்தின் தேவைகளை எது கட்டுப்படுத்துகிறது ( NIST AI RMF 1.0 )

தணிப்புகள்:

உடனடியாக ஊசி போடுங்கள் (குறிப்பாக RAG உடன்) 🕳️

மாதிரி நம்பத்தகாத உரையைப் படித்தால், அந்த உரை அதை கையாள முயற்சிக்கலாம்:

தணிப்புகள்:

  • கணினி வழிமுறைகளை தனிமைப்படுத்துதல்

  • மீட்டெடுக்கப்பட்ட உள்ளடக்கத்தை சுத்தப்படுத்துதல்

  • கருவி அடிப்படையிலான கொள்கைகளைப் பயன்படுத்தவும் (சும்மா அறிவுறுத்தல்கள் அல்ல)

  • எதிர்மறை உள்ளீடுகளுடன் சோதனை ( OWASP ஏமாற்றுத் தாள் , NIST ஜெனரேட்டிவ் AI சுயவிவரம் )

உன்னை பயமுறுத்த முயற்சிக்கவில்லை. ... தரை பலகைகள் எங்கே சத்தமிடுகின்றன என்பதை அறிவது நல்லது.

12) உங்கள் பயன்பாட்டு வழக்குக்கு ஒரு அடித்தள மாதிரியை எவ்வாறு தேர்வு செய்வது 🎛️

நீங்கள் ஒரு அடித்தள மாதிரியைத் தேர்வுசெய்தால் (அல்லது ஒன்றைக் கட்டினால்), இந்த அறிவுறுத்தல்களுடன் தொடங்கவும்:

நீங்கள் என்ன உருவாக்குகிறீர்கள் என்பதை வரையறுக்கவும் 🧾

  • உரை மட்டும்

  • படங்கள்

  • ஆடியோ

  • கலப்பு மல்டிமாடல்

உங்கள் உண்மைத்தன்மை பட்டியை அமைக்கவும் 📌

உங்களுக்கு அதிக துல்லியம் தேவைப்பட்டால் (நிதி, சுகாதாரம், சட்டம், பாதுகாப்பு):

  • உங்களுக்கு RAG தேவை ( லூயிஸ் மற்றும் பலர், 2020 )

  • உங்களுக்கு சரிபார்ப்பு வேண்டும்

  • நீங்கள் சுழற்சியில் மனித மதிப்பாய்வை விரும்புவீர்கள் (குறைந்தபட்சம் சில நேரங்களில்) ( NIST AI RMF 1.0 )

உங்கள் தாமத இலக்கைத் தீர்மானிக்கவும் ⚡

அரட்டை உடனடியாக முடியும். தொகுதி சுருக்கம் மெதுவாக இருக்கலாம்.
உடனடி பதில் தேவைப்பட்டால், மாதிரி அளவு மற்றும் ஹோஸ்டிங் முக்கியம்.

வரைபட தனியுரிமை மற்றும் இணக்கத் தேவைகள் 🔐

சில அணிகள் தேவை:

சமநிலை பட்ஜெட் - மற்றும் பொறுமை 😅

சுய-ஹோஸ்டிங் கட்டுப்பாட்டை அளிக்கிறது ஆனால் சிக்கலைச் சேர்க்கிறது.
நிர்வகிக்கப்பட்ட APIகள் எளிதானவை, ஆனால் விலை உயர்ந்தவை மற்றும் குறைவான தனிப்பயனாக்கக்கூடியவை.

ஒரு சிறிய நடைமுறை குறிப்பு: முதலில் எளிதான ஒன்றைக் கொண்டு முன்மாதிரி செய்யுங்கள், பின்னர் கடினப்படுத்துங்கள். "சரியான" அமைப்பிலிருந்து தொடங்குவது பொதுவாக எல்லாவற்றையும் மெதுவாக்கும்.

13) ஜெனரேட்டிவ் AI-யில் உள்ள ஃபவுண்டேஷன் மாடல்கள் என்றால் என்ன? (விரைவான மன மாதிரி) 🧠✨

அதை மீண்டும் கொண்டு வருவோம். ஜெனரேட்டிவ் AI இல் அடித்தள மாதிரிகள் என்றால் என்ன?

அவை:

  • பரந்த தரவுகளில் பயிற்சி பெற்ற பெரிய, பொதுவான மாதிரிகள் ( NIST , ஸ்டான்போர்ட் CRFM )

  • உள்ளடக்கத்தை உருவாக்கும் திறன் கொண்டது (உரை, படங்கள், ஆடியோ, முதலியன) ( NIST ஜெனரேட்டிவ் AI சுயவிவரம் )

  • தூண்டுதல்கள், நேர்த்தியான சரிசெய்தல் மற்றும் மீட்டெடுப்பு மூலம் பல பணிகளுக்கு ஏற்றவாறு மாற்றியமைக்கக்கூடியது ( பொம்மசானி மற்றும் பலர், 2021 )

  • பெரும்பாலான நவீன ஜெனரேட்டிவ் AI தயாரிப்புகளுக்கு சக்தி அளிக்கும் அடிப்படை அடுக்கு

அவை ஒரே கட்டிடக்கலை அல்லது பிராண்ட் அல்ல. அவை ஒரு தளம் போல செயல்படும் மாதிரிகளின் வகை.

ஒரு ஃபவுண்டேஷன் மாடல் கால்குலேட்டர் மாதிரி இல்ல, சமையலறை மாதிரி. நீங்க நிறைய சாப்பாடு சமைக்கலாம். நீங்க கவனிக்கலன்னா டோஸ்ட்டையும் எரிக்கலாம்... ஆனா சமையலறை இன்னும் ரொம்பவே கைக்கு எட்டும் 🍳🔥

14) சுருக்கம் மற்றும் எடுத்துச் செல்லுதல் ✅🙂

அறக்கட்டளை மாதிரிகள் என்பவை ஜெனரேட்டிவ் AI இன் மீண்டும் பயன்படுத்தக்கூடிய இயந்திரங்கள். அவை பரந்த அளவில் பயிற்சியளிக்கப்பட்டு, பின்னர் தூண்டுதல், நேர்த்தியான சரிசெய்தல் மற்றும் மீட்டெடுப்பு ( NIST , Stanford CRFM ) மூலம் குறிப்பிட்ட பணிகளுக்கு ஏற்ப மாற்றியமைக்கப்படுகின்றன. அவை அற்புதமானவை, ஒழுங்கற்றவை, சக்திவாய்ந்தவை, அவ்வப்போது அபத்தமானவை - அனைத்தும் ஒரே நேரத்தில்.

சிறுகதை:

  • அடித்தள மாதிரி = பொது-நோக்க அடிப்படை மாதிரி ( NIST )

  • ஜெனரேட்டிவ் AI = உள்ளடக்க உருவாக்கம், வெறும் வகைப்பாடு அல்ல ( NIST ஜெனரேட்டிவ் AI சுயவிவரம் )

  • தகவமைப்பு முறைகள் (தூண்டுதல், RAG, ட்யூனிங்) அதை நடைமுறைக்கு ஏற்றதாக ஆக்குகின்றன ( லூயிஸ் மற்றும் பலர், 2020 , ஹு மற்றும் பலர், 2021 )

  • ஒரு மாதிரியைத் தேர்ந்தெடுப்பது சமரசங்களைப் பற்றியது: துல்லியம், செலவு, தாமதம், தனியுரிமை, பாதுகாப்பு ( NIST AI RMF 1.0 )

நீங்கள் ஜெனரேட்டிவ் AI உடன் எதையும் உருவாக்கினால், அடித்தள மாதிரிகளைப் புரிந்துகொள்வது விருப்பமல்ல. அது கட்டிடம் நிற்கும் முழு தளம்... ஆமாம், சில நேரங்களில் தரை சிறிது தள்ளாடும் 😅

அடிக்கடி கேட்கப்படும் கேள்விகள்

எளிமையான சொற்களில் அடித்தள மாதிரிகள்

ஒரு அடித்தள மாதிரி என்பது பரந்த தரவுகளில் பயிற்சி பெற்ற ஒரு பெரிய, பொது நோக்கத்திற்கான AI மாதிரியாகும், இதனால் இது பல பணிகளுக்கு மீண்டும் பயன்படுத்தப்படலாம். ஒரு வேலைக்கு ஒரு மாதிரியை உருவாக்குவதற்குப் பதிலாக, நீங்கள் ஒரு வலுவான "அடிப்படை" மாதிரியுடன் தொடங்கி தேவைக்கேற்ப அதை மாற்றியமைக்கிறீர்கள். அந்த தழுவல் பெரும்பாலும் தூண்டுதல், நன்றாகச் சரிசெய்தல், மீட்டெடுப்பு (RAG) அல்லது கருவிகள் மூலம் நிகழ்கிறது. மையக் கருத்து அகலம் மற்றும் திசைமாற்றம் ஆகும்.

பாரம்பரிய பணி சார்ந்த AI மாதிரிகளிலிருந்து அடித்தள மாதிரிகள் எவ்வாறு வேறுபடுகின்றன

பாரம்பரிய AI பெரும்பாலும் ஒவ்வொரு பணிக்கும் தனித்தனி மாதிரியைப் பயிற்றுவிக்கிறது, சென்டிமென்ட் பகுப்பாய்வு அல்லது மொழிபெயர்ப்பு போன்றவை. அடித்தள மாதிரிகள் அந்த முறையை தலைகீழாக மாற்றுகின்றன: ஒரு முறை முன்கூட்டியே பயிற்சி செய்து, பின்னர் பல அம்சங்கள் மற்றும் தயாரிப்புகளில் மீண்டும் பயன்படுத்தவும். இது நகல் முயற்சியைக் குறைத்து புதிய திறன்களை வழங்குவதை விரைவுபடுத்தும். நீங்கள் கட்டுப்பாடுகள் மற்றும் சோதனைகளைச் சேர்க்காவிட்டால், அவை கிளாசிக் மென்பொருளை விட குறைவாகவே கணிக்கக்கூடியதாக இருக்கும் என்பதே இதன் சமரசமாகும்.

ஜெனரேட்டிவ் AI இல் அடித்தள மாதிரிகள்

ஜெனரேட்டிவ் AI-யில், ஃபவுண்டேஷன் மாடல்கள் என்பது உரை, படங்கள், ஆடியோ, குறியீடு அல்லது மல்டிமாடல் வெளியீடுகள் போன்ற புதிய உள்ளடக்கத்தை உருவாக்கக்கூடிய அடிப்படை அமைப்புகளாகும். அவை லேபிளிங் அல்லது வகைப்பாட்டிற்கு மட்டுப்படுத்தப்படவில்லை; அவை மனிதனால் உருவாக்கப்பட்ட வேலையை ஒத்த பதில்களை உருவாக்குகின்றன. முன் பயிற்சியின் போது அவை பரந்த வடிவங்களைக் கற்றுக்கொள்வதால், அவை பல உடனடி வகைகள் மற்றும் வடிவங்களைக் கையாள முடியும். அவை பெரும்பாலான நவீன ஜெனரேட்டிவ் அனுபவங்களுக்குப் பின்னால் உள்ள "அடிப்படை அடுக்கு" ஆகும்.

முன் பயிற்சியின் போது அடித்தள மாதிரிகள் எவ்வாறு கற்றுக்கொள்கின்றன

பெரும்பாலான மொழி அடிப்படை மாதிரிகள், அடுத்த சொல் அல்லது உரையில் விடுபட்ட சொற்கள் போன்ற டோக்கன்களைக் கணிப்பதன் மூலம் கற்றுக்கொள்கின்றன. அந்த எளிய குறிக்கோள், இலக்கணம், பாணி மற்றும் பொதுவான விளக்க முறைகள் போன்ற கட்டமைப்பை உள்வாங்க அவர்களைத் தள்ளுகிறது. எப்போதும் நம்பகத்தன்மையுடன் இல்லாவிட்டாலும், அவை உலக அறிவை அதிக அளவில் உள்வாங்க முடியும். இதன் விளைவாக, ஒரு வலுவான பொதுவான பிரதிநிதித்துவம் கிடைக்கிறது, பின்னர் நீங்கள் குறிப்பிட்ட வேலையை நோக்கிச் செல்லலாம்.

தூண்டுதல், நன்றாகச் சரிசெய்தல், LoRA மற்றும் RAG ஆகியவற்றுக்கு இடையேயான வேறுபாடு

வழிமுறைகளைப் பயன்படுத்தி நடத்தையை வழிநடத்துவதற்கான வேகமான வழி தூண்டுதல் ஆகும், ஆனால் அது உடையக்கூடியதாக இருக்கலாம். ஃபைன்-ட்யூனிங் என்பது மாதிரியை உங்கள் எடுத்துக்காட்டுகளில் மேலும் நிலையான நடத்தைக்காகப் பயிற்றுவிக்கிறது, ஆனால் இது செலவு மற்றும் பராமரிப்பைச் சேர்க்கிறது. LoRA/அடாப்டர்கள் ஒரு இலகுவான ஃபைன்-ட்யூனிங் அணுகுமுறையாகும், இது பெரும்பாலும் மலிவானது மற்றும் அதிக மட்டுப்படுத்தல் கொண்டது. RAG தொடர்புடைய ஆவணங்களை மீட்டெடுக்கிறது மற்றும் அந்த சூழலைப் பயன்படுத்தி மாதிரி பதிலைக் கொண்டுள்ளது, இது புத்துணர்ச்சி மற்றும் அடிப்படைக்கு உதவுகிறது.

ஃபைன்-ட்யூனிங்கிற்கு பதிலாக RAG ஐ எப்போது பயன்படுத்த வேண்டும்

உங்கள் தற்போதைய ஆவணங்கள் அல்லது உள் அறிவுத் தளத்தை அடிப்படையாகக் கொண்ட பதில்கள் உங்களுக்குத் தேவைப்படும்போது RAG பெரும்பாலும் ஒரு வலுவான தேர்வாகும். தலைமுறை நேரத்தில் பொருத்தமான சூழலுடன் மாதிரியை வழங்குவதன் மூலம் இது "யூகிப்பதை" குறைக்கலாம். நிலையான பாணி, டொமைன் சொற்றொடர் அல்லது தூண்டுதலால் நம்பத்தகுந்த வகையில் உருவாக்க முடியாத நடத்தை உங்களுக்குத் தேவைப்படும்போது ஃபைன்-ட்யூனிங் ஒரு சிறந்த பொருத்தமாகும். பல நடைமுறை அமைப்புகள் ஃபைன்-ட்யூனிங்கை அடைவதற்கு முன்பு ப்ராம்ப்டிங் + RAG ஐ இணைக்கின்றன.

மாயத்தோற்றங்களைக் குறைத்து நம்பகமான பதில்களைப் பெறுவது எப்படி

வழங்கப்பட்ட சூழலுக்கு அருகில் இருக்க, மீட்டெடுப்பு (RAG) மூலம் மாதிரியை நிலைநிறுத்துவது ஒரு பொதுவான அணுகுமுறையாகும். நீங்கள் திட்டங்களுடன் வெளியீடுகளைக் கட்டுப்படுத்தலாம், முக்கிய படிகளுக்கு கருவி அழைப்புகளைக் கோரலாம் மற்றும் வெளிப்படையான "யூகிக்க வேண்டாம்" வழிமுறைகளைச் சேர்க்கலாம். சரிபார்ப்பு அடுக்குகளும் முக்கியம், விதி சரிபார்ப்புகள், குறுக்கு சரிபார்ப்பு மற்றும் உயர்-பங்கு பயன்பாட்டு நிகழ்வுகளுக்கான மனித மதிப்பாய்வு போன்றவை. மாதிரியை ஒரு நிகழ்தகவு உதவியாளராகக் கருதுங்கள், இயல்பாகவே உண்மையின் ஆதாரமாக அல்ல.

உற்பத்தியில் அடித்தள மாதிரிகளுடன் மிகப்பெரிய ஆபத்துகள்

பொதுவான அபாயங்களில் மாயத்தோற்றங்கள், பயிற்சித் தரவிலிருந்து வரும் சார்புடைய அல்லது தீங்கு விளைவிக்கும் வடிவங்கள் மற்றும் முக்கியமான தரவு மோசமாகக் கையாளப்பட்டால் தனியுரிமை கசிவு ஆகியவை அடங்கும். ஆவணங்கள் அல்லது வலை உள்ளடக்கத்திலிருந்து மாதிரி நம்பத்தகாத உரையைப் படிக்கும்போது, ​​அமைப்புகள் உடனடி ஊசிக்கு ஆளாகக்கூடும். தணிப்புகளில் பொதுவாக நிர்வாகம், ரெட்-டீமிங், அணுகல் கட்டுப்பாடுகள், பாதுகாப்பான தூண்டுதல் வடிவங்கள் மற்றும் கட்டமைக்கப்பட்ட மதிப்பீடு ஆகியவை அடங்கும். இந்த அபாயங்களை பின்னர் சரிசெய்வதற்குப் பதிலாக முன்கூட்டியே திட்டமிடுங்கள்.

உடனடி ஊசி மற்றும் RAG அமைப்புகளில் அது ஏன் முக்கியமானது

"முந்தைய திசைகளைப் புறக்கணி" அல்லது "ரகசியங்களை வெளிப்படுத்து" போன்ற வழிமுறைகளை நம்பத்தகாத உரை மீற முயற்சிக்கும் போது உடனடி ஊசி ஏற்படுகிறது. RAG இல், மீட்டெடுக்கப்பட்ட ஆவணங்களில் அந்த தீங்கிழைக்கும் வழிமுறைகள் இருக்கலாம், மேலும் நீங்கள் கவனமாக இல்லாவிட்டால் மாதிரி அவற்றைப் பின்பற்றக்கூடும். ஒரு பொதுவான அணுகுமுறை என்னவென்றால், கணினி வழிமுறைகளை தனிமைப்படுத்துதல், மீட்டெடுக்கப்பட்ட உள்ளடக்கத்தை சுத்தப்படுத்துதல் மற்றும் அறிவுறுத்தல்களை மட்டும் நம்புவதற்குப் பதிலாக கருவி அடிப்படையிலான கொள்கைகளை நம்பியிருத்தல். எதிர்மறை உள்ளீடுகளுடன் சோதனை செய்வது பலவீனமான இடங்களை வெளிப்படுத்த உதவுகிறது.

உங்கள் பயன்பாட்டு வழக்குக்கு ஒரு அடித்தள மாதிரியை எவ்வாறு தேர்வு செய்வது

நீங்கள் உருவாக்க வேண்டியவற்றை வரையறுப்பதன் மூலம் தொடங்கவும்: உரை, படங்கள், ஆடியோ, குறியீடு அல்லது மல்டிமாடல் வெளியீடுகள். பின்னர் உங்கள் உண்மைத்தன்மை பட்டியை அமைக்கவும் - உயர்-துல்லிய டொமைன்களுக்கு பெரும்பாலும் கிரவுண்டிங் (RAG), சரிபார்ப்பு மற்றும் சில நேரங்களில் மனித மதிப்பாய்வு தேவை. தாமதம் மற்றும் செலவைக் கருத்தில் கொள்ளுங்கள், ஏனெனில் மெதுவான அல்லது விலை உயர்ந்த ஒரு வலுவான மாதிரியை அனுப்புவது கடினமாக இருக்கும். இறுதியாக, வரைபட தனியுரிமை மற்றும் இணக்கம் வரிசைப்படுத்தல் விருப்பங்கள் மற்றும் கட்டுப்பாடுகளுக்குத் தேவை.

குறிப்புகள்

  1. தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனம் (NIST) - அடித்தள மாதிரி (சொற்களஞ்சியம் சொல்) - csrc.nist.gov

  2. தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனம் (NIST) - NIST AI 600-1: ஜெனரேட்டிவ் AI சுயவிவரம் - nvlpubs.nist.gov

  3. தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனம் (NIST) - NIST AI 100-1: AI இடர் மேலாண்மை கட்டமைப்பு (AI RMF 1.0) - nvlpubs.nist.gov

  4. ஸ்டான்போர்ட் அறக்கட்டளை மாதிரிகள் ஆராய்ச்சி மையம் (CRFM) - அறிக்கை - crfm.stanford.edu

  5. arXiv - அறக்கட்டளை மாதிரிகளின் வாய்ப்புகள் மற்றும் அபாயங்கள் (பொம்மசானி மற்றும் பலர், 2021) - arxiv.org

  6. arXiv - மொழி மாதிரிகள் மிகக் குறைந்த எண்ணிக்கையிலான கற்றவர்கள் (பிரவுன் மற்றும் பலர், 2020) - arxiv.org

  7. arXiv - அறிவு-தீவிர NLP பணிகளுக்கான மீட்டெடுப்பு-வளர்ச்சியடைந்த தலைமுறை (லூயிஸ் மற்றும் பலர், 2020) - arxiv.org

  8. arXiv - LoRA: பெரிய மொழி மாதிரிகளின் குறைந்த-தர தழுவல் (Hu et al., 2021) - arxiv.org

  9. arXiv - BERT: மொழி புரிதலுக்கான ஆழமான இருதிசை மின்மாற்றிகளின் முன் பயிற்சி (டெவ்லின் மற்றும் பலர், 2018) - arxiv.org

  10. arXiv - ஃபைன்ட்யூன் செய்யப்பட்ட மொழி மாதிரிகள் ஜீரோ-ஷாட் கற்றவர்கள் (வீ மற்றும் பலர், 2021) - arxiv.org

  11. ACM டிஜிட்டல் நூலகம் - இயற்கை மொழி உருவாக்கத்தில் மாயத்தோற்றம் பற்றிய ஆய்வு (Ji et al., 2023) - dl.acm.org

  12. arXiv - இயற்கை மொழி மேற்பார்வையிலிருந்து மாற்றத்தக்க காட்சி மாதிரிகளைக் கற்றல் (ராட்ஃபோர்ட் மற்றும் பலர், 2021) - arxiv.org

  13. arXiv - சத்தம் நீக்கும் பரவல் நிகழ்தகவு மாதிரிகள் (ஹோ மற்றும் பலர், 2020) - arxiv.org

  14. arXiv - மறைந்திருக்கும் பரவல் மாதிரிகளுடன் உயர் தெளிவுத்திறன் கொண்ட பட தொகுப்பு (ரோம்பாக் மற்றும் பலர், 2021) - arxiv.org

  15. arXiv - திறந்த-டொமைன் கேள்வி பதிலுக்கான அடர்த்தியான பத்தி மீட்டெடுப்பு (கர்புகின் மற்றும் பலர், 2020) - arxiv.org

  16. arXiv - தி ஃபைஸ் நூலகம் (Douze et al., 2024) - arxiv.org

  17. OpenAI - விஸ்பரை அறிமுகப்படுத்துகிறோம் - openai.com

  18. arXiv - மெல் ஸ்பெக்ட்ரோகிராம் கணிப்புகளில் கண்டிஷனிங் வேவ்நெட் மூலம் இயற்கை TTS தொகுப்பு (ஷென் மற்றும் பலர், 2017) - arxiv.org

  19. பாதுகாப்பு மற்றும் வளர்ந்து வரும் தொழில்நுட்ப மையம் (CSET), ஜார்ஜ்டவுன் பல்கலைக்கழகம் - அடுத்த வார்த்தை கணிப்புகளின் ஆச்சரியமான சக்தி: பெரிய மொழி மாதிரிகள் விளக்கப்பட்டுள்ளன (பகுதி 1) - CSet.georgetown.edu

  20. USENIX - பெரிய மொழி மாதிரிகளிலிருந்து பயிற்சித் தரவைப் பிரித்தெடுத்தல் (கார்லினி மற்றும் பலர், 2021) - usenix.org

  21. OWASP - LLM01: உடனடி ஊசி - genai.owasp.org

  22. arXiv - நீங்கள் கேட்டதை விட அதிகம்: பயன்பாடு-ஒருங்கிணைந்த பெரிய மொழி மாதிரிகளுக்கான நாவல் உடனடி ஊசி அச்சுறுத்தல்கள் பற்றிய விரிவான பகுப்பாய்வு (கிரேஷேக் மற்றும் பலர், 2023) - arxiv.org

  23. OWASP ஏமாற்றுத் தாள் தொடர் - LLM உடனடி ஊசி தடுப்பு ஏமாற்றுத் தாள் - cheatsheetseries.owasp.org

அதிகாரப்பூர்வ AI உதவியாளர் கடையில் சமீபத்திய AI ஐக் கண்டறியவும்

எங்களை பற்றி

வலைப்பதிவிற்குத் திரும்பு