હ્યુમન ફીડબેક (RLHF) થી રિઇન્ફોર્સમેન્ટ લર્નિંગ

વ્યાખ્યા

રિઇન્ફોર્સમેન્ટ લર્નિંગ ફ્રોમ હ્યુમન ફીડબેક (RLHF) એ તાલીમ પ્રક્રિયામાં માનવીય નિર્ણયોનો સમાવેશ કરીને AI મોડેલોને માનવ મૂલ્યો સાથે સંરેખિત કરવાની એક પદ્ધતિ છે. તેનો ઉપયોગ ઘણીવાર મોટા ભાષા મોડેલોને ફાઇન-ટ્યુન કરવા માટે થાય છે.

હેતુ

આનો હેતુ AI આઉટપુટને વધુ સુરક્ષિત, વધુ ઉપયોગી અને માનવ પસંદગીઓ સાથે સંરેખિત બનાવવાનો છે. RLHF હાનિકારક, પક્ષપાતી અથવા અપ્રસ્તુત પ્રતિભાવો ઘટાડીને વાતચીત પ્રણાલીઓને સુધારે છે.

મહત્વ

• AI તાલીમમાં માનવ દેખરેખ પૂરી પાડે છે.
• AI સિસ્ટમ્સની વિશ્વસનીયતામાં સુધારો કરે છે.
• માનવીય ટીકાની જરૂરિયાતોને કારણે શ્રમ-સઘન.
• પસંદગી મોડેલિંગ અને ગોઠવણી સંશોધન સાથે સંબંધિત.

તે કેવી રીતે કામ કરે છે

1. મોડેલ આઉટપુટની સરખામણી કરીને માનવ પ્રતિસાદ એકત્રિત કરો.
2. માનવ પસંદગીઓ પર પુરસ્કાર મોડેલ તાલીમ આપો.
3. બેઝ મોડેલને ફાઇન-ટ્યુન કરવા માટે રિઇન્ફોર્સમેન્ટ લર્નિંગનો ઉપયોગ કરો.
4. સંરેખણ લક્ષ્યો સામે કામગીરીનું મૂલ્યાંકન કરો.
5. વધારાના પ્રતિસાદ સાથે પુનરાવર્તન કરો.

ઉદાહરણો (વાસ્તવિક દુનિયા)

• OpenAI ChatGPT: સુરક્ષિત પ્રતિભાવો માટે RLHF સાથે સુધારેલ.
• એન્થ્રોપિકનું બંધારણીય AI: સીધા પ્રતિસાદને બદલે સિદ્ધાંતો દ્વારા સંચાલિત.
• InstructGPT: RLHF દર્શાવતું પ્રારંભિક OpenAI મોડેલ.

સંદર્ભો / વધુ વાંચન

• ક્રિશ્ચિયાનો અને અન્ય. "માનવ પસંદગીઓમાંથી ઊંડાણપૂર્વકનું શિક્ષણ." ન્યુરિપ્સ 2017.
• OpenAI InstructGPT પેપર.
• NIST AI રિસ્ક મેનેજમેન્ટ ફ્રેમવર્ક.
• માનવ પ્રતિભાવ સાથે રિઇન્ફોર્સમેન્ટ લર્નિંગ (RLHF) શું છે?