મોટાભાગની ભૌતિક AI ટીમો જાણે છે કે તેમને ડેટાની જરૂર છે. બહુ ઓછા લોકો જાણે છે કે તેમને તેનો એક સ્ટેક જોઈએ છે. તૈનાત હ્યુમનોઇડ, AV, અથવા વેરહાઉસ રોબોટને જે ક્ષમતાઓની જરૂર હોય છે - દ્રષ્ટિ, ક્રિયા, સૂચના અનુસરણ, બહુ-પગલાં વર્કફ્લો એક્ઝેક્યુશન - દરેક નકશા તાલીમ ડેટાના એક અલગ સ્તર પર, વિવિધ સંગ્રહ પદ્ધતિઓ, ટીકા ઊંડાઈ અને ગુણવત્તા નિયંત્રણો સાથે. ભૌતિક AI ડેટાસેટ સ્ટેક એ તે સ્તરોને ચાર ડિસ્કનેક્ટેડ પ્રાપ્તિ નિર્ણયોને બદલે એક સંકલિત સિસ્ટમ તરીકે વિચારવાનો એક માર્ગ છે.
કી ટેકવેઝ
- ભૌતિક AI ડેટાસેટ સ્ટેકમાં ચાર સ્તરો છે જે ચાર વાસ્તવિક-વિશ્વ ક્ષમતાઓ સાથે જોડાયેલા છે.
- સ્તર 1 માનવ પ્રવૃત્તિ અને દ્રષ્ટિ અને સમજણ માટે પ્રદર્શન ડેટાને આવરી લે છે.
- સ્તર 2 પુનરાવર્તિત કાર્ય અમલીકરણ માટે રોબોટ મેનિપ્યુલેશન ડેટા કેપ્ચર કરે છે.
- સ્તર 3, સ્કેલ પર અનુસરવામાં આવતી સૂચના માટે દ્રષ્ટિ, ભાષા અને ક્રિયાને સંરેખિત કરે છે.
- સ્તર 4 વાસ્તવિક વાતાવરણમાં લાંબા-ક્ષિતિજ, બહુ-પગલાંના કાર્ય પૂર્ણતાને સપોર્ટ કરે છે.
- દરેક સ્તર બીજા સ્તરને ખવડાવે છે; નીચેની નબળાઈઓ સ્ટેકમાં ફેલાય છે.
ભૌતિક AI ડેટાને સ્ટેક તરીકે શા માટે વિચારો?
ભૌતિક AI ડેટા એક સ્ટેક તરીકે વર્તે છે કારણ કે દરેક ક્ષમતા સ્તર તેની નીચેના સ્તરો પર આધાર રાખે છે. ક્રિયા ડેટા વિનાનો પર્સેપ્શન ડેટા એક મોડેલ બનાવે છે જે જુએ છે પણ ખસેડી શકતો નથી. ભાષા ગોઠવણી વિનાનો ક્રિયા ડેટા એક મોડેલ બનાવે છે જે ખસેડી શકે છે પણ સૂચનાઓનું પાલન કરી શકતો નથી. મજબૂત સૂચના વિના લાંબા-ક્ષિતિજ વર્કફ્લો ડેટા પ્રથમ બહુ-પગલાંના કાર્ય પર તૂટી પડે છે.
ડેવલપર સમુદાયને રજૂ કરાયેલ NVIDIA ના ઓપન ફિઝિકલ AI ડેટાસેટમાં અભૂતપૂર્વ વિવિધતા સાથે હજારો કલાકનો મલ્ટીકેમેરા વિડિયો શામેલ છે (NVIDIA, 2025), અને તે સ્કેલ પર પણ, ડાઉનસ્ટ્રીમ ટીમોને હજુ પણ તેની ઉપર પોતાના કાર્ય-વિશિષ્ટ સ્તરોની જરૂર છે. પ્રી-ટ્રેનિંગ ડેટા જરૂરી છે, પૂરતો નથી.
સ્તર ૧: માનવ સમજણ ડેટા શું આવરી લે છે?
માનવ સમજણનો ડેટા એ માનવ પ્રવૃત્તિ અને પ્રદર્શનનો ડેટા છે - વાસ્તવિક વાતાવરણમાં કાર્યો કરતા માનવોના પ્રથમ-વ્યક્તિ અને ત્રીજા-વ્યક્તિ ફૂટેજ. તે મોડેલને શીખવે છે કે વિશ્વ કેવું દેખાય છે અને માનવીઓ તેમાંથી કેવી રીતે આગળ વધે છે.
માનવ નિદર્શન ડેટા: કાર્યો કરતા માનવીઓના વિડિયો અને સેન્સર રેકોર્ડિંગ્સ, જેમાં એવી ટીકાઓ હોય છે જે અવલોકનોને ક્રિયાઓ, ઉદ્દેશ્યો અથવા પરિણામો સાથે સંરેખિત કરે છે.
આ સ્તર દ્રષ્ટિ, દ્રશ્ય સમજણ અને ઉદ્દેશ્ય અનુમાનને ફીડ કરે છે. પૂછવા માટેના ગુણવત્તાયુક્ત પ્રશ્નો:
- શું ડેટા તમારા રોબોટ જે વાતાવરણમાં કામ કરશે તેને આવરી લે છે?
- શું પ્રદર્શનો પરમાણુ-ક્રિયા સ્તરે નોંધાયેલા છે, અથવા ફક્ત પ્રતિ-ક્લિપ?
- શું સહભાગીની સંમતિ દસ્તાવેજીકૃત અને શોધી શકાય તેવી છે?
શેપનું L1 ડેટા કલેક્શન લેયર રસોડા, ફેક્ટરીઓ, વેરહાઉસ, આરોગ્યસંભાળ સુવિધાઓ અને રસ્તાઓ પર વાસ્તવિક દુનિયાની પ્રવૃત્તિને કેપ્ચર કરે છે - એવા વાતાવરણ જે પ્રયોગશાળાની પરિસ્થિતિઓને બદલે ડિપ્લોયમેન્ટ સંદર્ભો સાથે મેળ ખાય છે.
સ્તર 2: કાર્ય અમલીકરણ ડેટા શું આવરી લે છે?
કાર્ય અમલીકરણ ડેટા એ રોબોટ મેનિપ્યુલેશન ડેટા છે - પ્રક્ષેપણ, સંયુક્ત સ્થિતિઓ, ઑબ્જેક્ટ ક્રિયાપ્રતિક્રિયાઓ અને પુનરાવર્તિત ભૌતિક કાર્યો માટે સંપર્ક ગતિશીલતા. તે મોડેલને ફક્ત શું સમજવું તે જ નહીં, પણ કેવી રીતે કાર્ય કરવું તે શીખવે છે.
રોબોટ મેનિપ્યુલેશન ડેટા: ટેલિઓપરેશન, સ્ક્રિપ્ટેડ એક્ઝેક્યુશન અથવા ડેમોન્સ્ટ્રેશન રિપ્લે દરમિયાન કેપ્ચર કરાયેલ રોબોટ સ્ટેટ્સ, એન્ડ-ઇફેક્ટર પોઝ અને ઑબ્જેક્ટ ઇન્ટરેક્શનના ટાઇમ-સ્ટેમ્પ્ડ સિક્વન્સ.
આ તે જગ્યા છે જ્યાં મૂર્ત સ્વરૂપ-વિશિષ્ટ માળખું દેખાય છે. સંયુક્ત રૂપરેખાંકનો, ગ્રિપર ભૂમિતિઓ અને ક્રિયા સ્થાનો રોબોટ્સમાં બદલાય છે, તેથી મેનિપ્યુલેશન ડેટા ભાગ્યે જ પુનઃલક્ષ્યીકરણ વિના મૂર્ત સ્વરૂપોમાં પોર્ટેબલ હોય છે. ક્રોસ-એમ્બોડિમેન્ટ પ્રયાસો - જેમ કે ડેટાસેટ્સ એક ક્રિયા યોજના હેઠળ 22 રોબોટ મૂર્ત સ્વરૂપોને એકીકૃત કરે છે (ડીપમાઇન્ડ/સ્ટેનફોર્ડ એટ અલ., 2024) - આને થોડું સરળ બનાવ્યું છે, પરંતુ કાર્ય-વિશિષ્ટ મેનિપ્યુલેશન ડેટા એક વ્યવહારુ સંગ્રહ કાર્યક્રમ રહે છે.
સ્તર 3: VLA ડેટા શું ઉમેરે છે?
VLA ડેટા દ્રષ્ટિ અને ક્રિયામાં ભાષા સંરેખણ ઉમેરે છે - દરેક એપિસોડ તેને પૂર્ણ કરતા માર્ગ સાથે જોડાયેલ કુદરતી-ભાષા સૂચના ધરાવે છે.
વિઝન-લેંગ્વેજ-એક્શન (VLA) ડેટા: એપિસોડ-લેવલ તાલીમ ડેટા જેમાં સિંક્રનાઇઝ્ડ દ્રશ્ય અવલોકનો, કુદરતી-ભાષા સૂચનાઓ અને સફળતા લેબલ સાથે ક્રિયા માર્ગોનો સમાવેશ થાય છે.
આ સ્તર સૂચનાઓનું પાલન કરવાનું શક્ય બનાવે છે. તેના વિના, મેનિપ્યુલેશન મોડેલ એક પ્રશિક્ષિત કાર્યને અમલમાં મૂકી શકે છે; તેની સાથે, તે જ કરોડરજ્જુ સેંકડો સૂચનાઓમાં સામાન્યીકરણ કરી શકે છે. મુખ્ય મુદ્દો: ભાષા વર્ણનો અણુ, ચોક્કસ અને વાસ્તવિક ક્રિયા સીમાઓ સાથે સંરેખિત હોવા જોઈએ - અસ્પષ્ટ સારાંશ નહીં. આ સ્તર પર ટીકાની ચોકસાઇ નક્કી કરે છે કે ફાઇન-ટ્યુન કરેલ VLA નવા પ્રોમ્પ્ટ્સને સામાન્ય બનાવે છે કે તાલીમ સેટને યાદ રાખે છે.
સ્તર 4: લાંબા ક્ષિતિજ કાર્ય ડેટા શું આવરી લે છે?
લાંબા-ક્ષિતિજ કાર્ય ડેટા બહુ-પગલાંના કાર્યપ્રવાહને આવરી લે છે - એવા ક્રમ જ્યાં રોબોટે બીજું શરૂ કરવા માટે એક પેટા-કાર્ય પૂર્ણ કરવું આવશ્યક છે. ભોજન રાંધવા, વેરહાઉસ પેલેટને સૉર્ટ કરવા અને કીટ એસેમ્બલ કરવા એ લાંબા-ક્ષિતિજ કાર્યો છે. દરેક મોડેલને સ્થિતિને ટ્રેક કરવા, પેટા-કાર્ય નિષ્ફળતામાંથી પુનઃપ્રાપ્ત કરવા અને સાંકળ કુશળતાની જરૂર પડે છે.
લાંબા-ક્ષિતિજ ટેબલટોપ મેનીપ્યુલેશન પર ધ્યાન કેન્દ્રિત કરતા એક સંશોધન ડેટાસેટમાં 20 બહુ-પગલાંના કાર્યોમાં 200 એપિસોડનો સમાવેશ થાય છે જેમાં અવ્યવસ્થિત દ્રશ્યો હોય છે (LHManip લેખકો, arXiv, 2024) — નાના પાયે પણ ચુસ્ત રીતે રચાયેલ. ઉત્પાદન ટીમો સામાન્ય રીતે સેંકડોથી હજારો લાંબા-ક્ષિતિજ એપિસોડ સાથે મૂલ્યાંકન સેટ બનાવે છે, ઉપરાંત નિષ્ફળતા પુનઃપ્રાપ્તિ માટે અપવાદ-હેન્ડલિંગ ટ્રેસ.
ચાર સ્તરો ડિપ્લોયમેન્ટ કેવી રીતે ફીડ કરે છે
| સ્તર બદલવા માટે | ક્ષમતા અનલોક થઈ | ટીમો સામાન્ય રીતે શું ચૂકી જાય છે |
|---|---|---|
| L1 — માનવ સમજણ | ધારણા, ઉદ્દેશ્ય, દ્રશ્ય સંદર્ભ | ડિપ્લોયમેન્ટ સાઇટ સાથે પર્યાવરણ મેળ ખાય છે |
| L2 — કાર્ય અમલીકરણ | પુનરાવર્તિત મેનીપ્યુલેશન | સંપર્ક ગતિશીલતા, નિષ્ફળતા પુનઃપ્રાપ્તિ |
| L3 — સૂચનાઓનું પાલન | ક્રોસ-ટાસ્ક સામાન્યીકરણ | પરમાણુ, ક્રિયા-સંરેખિત ભાષા લેબલ્સ |
| L4 — વર્કફ્લો પૂર્ણતા | બહુ-પગલાંવાળા વાસ્તવિક દુનિયાના કાર્યો | અપવાદ હેન્ડલિંગ, સ્ટેટ ટ્રેકિંગ |
એક એવી ઔદ્યોગિક ઓટોમેશન ટીમની કલ્પના કરો જે L1 અને L2 ને પૂર્ણ કરે છે - સ્વચ્છ દ્રષ્ટિકોણ, પરીક્ષણોમાં સરળ મેનીપ્યુલેશન - પરંતુ L3 ને છોડી દે છે. તેમનો રોબોટ તમે જે પણ વસ્તુ તરફ નિર્દેશ કરો છો તેને પસંદ કરે છે પરંતુ કોડ ફેરફારો વિના મૌખિક સૂચનાનું પાલન કરી શકતો નથી. L4 ને છોડી દેવાનું પાત્ર સમાન છે: સિસ્ટમ એક જ કાર્યોને હેન્ડલ કરે છે, પછી બીજા પગલા પર તૂટી જાય છે. દરેક ખૂટતું સ્તર ડિપ્લોયમેન્ટ સીલિંગને કેપ કરે છે.
[આ પણ વાંચો: ભૌતિક AI કેવી રીતે સ્વાયત્ત બુદ્ધિને ફરીથી વ્યાખ્યાયિત કરી રહ્યું છે ]
ભૌતિક AI ડેટા માટે પ્રમાણપત્રો અને પાલન
ભૌતિક AI ડેટા પ્રોગ્રામ્સ કડક નિયમનકારી અને પ્રાપ્તિ વાતાવરણમાં રહે છે, ખાસ કરીને આરોગ્યસંભાળ, સ્વાયત્ત ગતિશીલતા અને કાર્યકર-સુરક્ષા ઉપયોગના કિસ્સાઓ માટે. એન્ટરપ્રાઇઝ ખરીદદારોને સંગ્રહ અથવા ટીકા કરાર પર હસ્તાક્ષર કરતા પહેલા માળખાગત નિયંત્રણોની વધુને વધુ જરૂર પડે છે.
- માહિતી સુરક્ષા વ્યવસ્થાપન માટે ISO 27001.
- સેવા સંગઠન નિયંત્રણો માટે SOC 2 પ્રકાર II.
- ક્લિનિકલ અથવા પુનર્વસન ગતિ ડેટા માટે HIPAA-સંરેખિત નિયંત્રણો.
- સહભાગીઓની સંમતિ અને ડેટા અધિકારો માટે GDPR અને CCPA ફ્રેમવર્ક.
શેપ વૈશ્વિક કલેક્શન પ્રોગ્રામ્સમાં આ દરેક ફ્રેમવર્ક હેઠળ કાર્ય કરે છે. ખરીદદારો ભૌતિક AI જોડાણનો અવકાશ શોધતા પહેલા સુરક્ષા અને પાલન પૃષ્ઠ પર સ્પષ્ટીકરણોની સમીક્ષા કરી શકે છે.
નિષ્કર્ષ: સ્ટેક એ વ્યૂહરચના છે
ભૌતિક AI ડેટાસેટ સ્ટેક એ કોઈ ખરીદી ચેકલિસ્ટ નથી; તે એક ડિપ્લોયેબલ સિસ્ટમનું આર્કિટેક્ચર છે. જે ટીમો તેને એક સંકલિત બિલ્ડ તરીકે ગણે છે - માનવ સમજણ ફીડિંગ મેનીપ્યુલેશન, મેનીપ્યુલેશન ફીડિંગ સૂચના અનુસરણ, તે બધા ફીડિંગ લોંગ-હોરાઇઝન એક્ઝિક્યુશન - વાસ્તવિક દુનિયામાં કામ કરતા રોબોટ્સ મોકલે છે. Shaip ચારેય સ્તરોમાં ડેટા ઇન્ફ્રાસ્ટ્રક્ચર ભાગીદાર તરીકે કાર્ય કરે છે, જેમાં મલ્ટિમોડલ AI વર્કફ્લોનો સમાવેશ થાય છે જે એક જોડાણ હેઠળ દ્રષ્ટિ, ભાષા અને ક્રિયાને જોડે છે.
ભૌતિક AI ડેટાસેટ સ્ટેક શું છે?
ભૌતિક AI ડેટાસેટ સ્ટેક એ ચાર-સ્તરનું માળખું છે જે તાલીમ ડેટા પ્રકારોને રોબોટ ક્ષમતાઓ સાથે મેપ કરે છે. સ્તર 1 માનવ પ્રવૃત્તિને દ્રષ્ટિ માટે આવરી લે છે, સ્તર 2 રોબોટ મેનિપ્યુલેશનને આવરી લે છે, સ્તર 3 સૂચના અનુસરવા માટે દ્રષ્ટિ-ભાષા-ક્રિયા ડેટાને આવરી લે છે, અને સ્તર 4 લાંબા-ક્ષિતિજ બહુ-પગલાં કાર્યોને આવરી લે છે. દરેક સ્તર એક અલગ ડિપ્લોયમેન્ટ ક્ષમતાને સક્ષમ કરે છે.
શું ચારેય સ્તરો હંમેશા ઘરમાં જ બનાવવાની જરૂર છે?
ચારેય સ્તરોને ઘરમાં બનાવવાની જરૂર નથી. જાહેર પ્રીટ્રેનિંગ ડેટાસેટ્સ લેયર 1 નો મોટાભાગનો ભાગ આવરી લે છે, અને લેયર 2 થી 4 પર પસંદગીયુક્ત ફાઇન-ટ્યુનિંગ ડેટા એ છે જ્યાં ઇન-હાઉસ અથવા ભાગીદાર પ્રોગ્રામ્સ કેન્દ્રિત છે. નિર્ણાયક પ્રશ્ન એ છે કે શું ડેટા ડિપ્લોયમેન્ટ વાતાવરણ સાથે મેળ ખાય છે, નહીં કે તે સ્વ-એકત્રિત કરવામાં આવ્યો હતો.
ભૌતિક AI ટીમો દ્વારા કયા સ્તરને સૌથી ઓછો અંદાજવામાં આવે છે?
સ્તર 4 - લાંબા-ક્ષિતિજ કાર્ય ડેટા - સૌથી ઓછો અંદાજવામાં આવે છે. ટીમો ઘણીવાર મજબૂત દ્રષ્ટિ અને મેનીપ્યુલેશન પાઇપલાઇન બનાવે છે, પછી ધારે છે કે સિક્વન્સિંગ મફતમાં આવે છે. વ્યવહારમાં, બહુ-પગલાંના કાર્યોને સ્પષ્ટ પ્રદર્શનો, અપવાદ હેન્ડલિંગ ટ્રેસ અને મૂલ્યાંકન સેટની જરૂર હોય છે જે સબ-ટાસ્ક નિષ્ફળતા મોડ્સને પકડે છે. તે વિના, સિંગલ-ટાસ્ક ડેમો પર ડિપ્લોયમેન્ટ સ્ટોલ થાય છે.
ભૌતિક AI ડેટાસેટ સ્ટેક VLA મોડેલો સાથે કેવી રીતે સંબંધિત છે?
ભૌતિક AI ડેટાસેટ સ્ટેક લેયર 3 પર VLA મોડેલ્સ સાથે સંબંધિત છે. VLA તાલીમ ડેટા સૂચના-અનુસરણ સ્તર પર બેસે છે, જે લેયર 1 પર્સેપ્શન ડેટા અને લેયર 2 મેનિપ્યુલેશન ડેટાને પાયા તરીકે ઉપયોગ કરે છે. સારી રીતે બનેલા VLA ને કાર્ય કરવા માટે ત્રણેય નીચલા સ્તરોની જરૂર પડે છે; લેયર 4 પછી તેને બહુ-પગલાં વાસ્તવિક-વિશ્વ વર્કફ્લોમાં વિસ્તૃત કરે છે.
શું સિન્થેટિક ડેટા ડેટાસેટ સ્ટેકનો ભાગ છે?
કૃત્રિમ ડેટા ડેટાસેટ સ્ટેકના દરેક સ્તરનો ભાગ છે પરંતુ ભાગ્યે જ વાસ્તવિક ડેટાને સંપૂર્ણપણે બદલે છે. કૃત્રિમ જનરેશન દુર્લભ ઘટનાઓ, ધારના કિસ્સાઓ અને અમલીકરણ ચલોને સ્કેલ કરે છે. વાસ્તવિક ડેટા એન્કર સંપર્ક ગતિશીલતા, સિમ-ટુ-રીઅલ ટ્રાન્સફર અને માનવ-રોબોટ ક્રિયાપ્રતિક્રિયા કરે છે. પરિપક્વ પ્રોગ્રામ્સ બંનેનો ઉપયોગ કરે છે, જોડીવાળા બેન્ચમાર્ક સાથે જે સિમ-ટુ-રીઅલ પ્રદર્શન ગેપનું નિરીક્ષણ કરે છે.
સંપૂર્ણ ભૌતિક AI ડેટાસેટ સ્ટેક બનાવવામાં કેટલો સમય લાગે છે?
સંપૂર્ણ ભૌતિક AI ડેટાસેટ સ્ટેક બનાવવામાં સામાન્ય રીતે મહિનાઓથી વર્ષો લાગે છે, જે અવકાશ અને અમલીકરણ પર આધાર રાખે છે. વિવિધ વાતાવરણમાં સંગ્રહ કાર્યક્રમો સૌથી લાંબો તબક્કો છે. ટીમો લક્ષ્ય કાર્ય માટે ફોકસ્ડ લેયર 3 ફાઇન-ટ્યુનિંગ ડેટાથી શરૂઆત કરીને વેગ આપે છે, પછી લેયર 4 વર્કફ્લો અને વ્યાપક લેયર 1 કવરેજ સુધી વિસ્તૃત થાય છે કારણ કે ડિપ્લોયમેન્ટ ઉપયોગ કેસ સ્થિર થાય છે.
