LLM અને AI તાલીમ માટે લાઇસન્સ પ્રાપ્ત ટેક્સ્ટ ડેટાસેટ્સ
LLM, NLP અને જનરેટિવ AI તાલીમ માટે ઉપયોગમાં લેવા માટે તૈયાર ટેક્સ્ટ કોર્પોરાનું લાઇસન્સ - વાતચીતના પ્રશ્નોત્તરી, કોડ, સમાચાર, ક્લિનિકલ, શૈક્ષણિક અને બહુભાષી ડેટા, જે તમારા પ્રોજેક્ટમાં સમાવિષ્ટ છે.
LLM અને NLP તાલીમ માટે લાઇસન્સ પ્રાપ્ત ટેક્સ્ટ ડેટાસેટ્સ
શેપનો ટેક્સ્ટ ડેટા કેટલોગ એઆઈ ટીમોને તાલીમ, ફાઇન-ટ્યુનિંગ અને મોટા ભાષા મોડેલ્સ (LLMs) અને NLP સિસ્ટમ્સનું મૂલ્યાંકન કરવા માટે તૈયાર-લાયસન્સ ટેક્સ્ટ ડેટાસેટ્સ આપે છે. તે આઠ શ્રેણીઓને આવરી લે છે. દરેક ડેટાસેટ વાસ્તવિક દુનિયાની સામગ્રીમાંથી મેળવવામાં આવે છે અને તેને તમારા પ્રોજેક્ટમાં સ્કોપ કરી શકાય છે.
આ કેટલોગમાં અંગ્રેજી અને અરબીમાં વાતચીતના પ્રશ્નોત્તરી અને સૂચના ડેટાસેટ્સનો સમાવેશ થાય છે , જે આધુનિક માનક અરબી અને સાઉદી, અમીરાતી, ઇજિપ્તીયન અને લેવેન્ટાઇન બોલીઓને આવરી લે છે. તેમાં નવ પ્રોગ્રામિંગ ભાષાઓમાં કોડ રિપોઝીટરી ડેટાસેટ્સ પણ છે, જેમાં ઘણા સંપૂર્ણ પુલ-રિક્વેસ્ટ અને કમિટ ઇતિહાસ સાથે છે. વર્તમાન-ઇવેન્ટ્સ મોડેલ્સ અને RAG માટે, અંગ્રેજી, સ્પેનિશ અને અરબીમાં સમાચાર ડેટાસેટ્સ છે , જેમાં 1999 થી 975,000 લેખોનો આર્કાઇવ શામેલ છે. હેલ્થકેર AI ટીમો ક્લિનિકલ પ્રશ્નોત્તરી અને કેસ ડેટાસેટ્સનો ઉપયોગ કરી શકે છે , જે ગોલ્ડન અને સિલ્વર સેટ તરીકે ઉપલબ્ધ છે, જેમાં ઓળખાણ શામેલ છે.
પ્રી-ટ્રેનિંગ માટે, કાચો ટેક્સ્ટ અને વેબ-સ્કેલ કોર્પોરા છે , જેમાં 20 મિલિયન શબ્દોનો અરબી કોર્પસનો સમાવેશ થાય છે. સ્કેન કરેલ દસ્તાવેજ કોર્પોરા સપોર્ટ દસ્તાવેજ AI અને માહિતી નિષ્કર્ષણ. શૈક્ષણિક અને પ્રકાશક ટેક્સ્ટ બાર વિજ્ઞાન અને એન્જિનિયરિંગ વિષયોને આવરી લે છે, અને સ્ક્રિપ્ટેડ મનોરંજન ટેક્સ્ટ ફિલ્મ, ટીવી, એનિમેશન અને માઇક્રોડ્રામાને આવરી લે છે.
દરેક ડેટાસેટ સ્પષ્ટ લાઇસન્સિંગ અને ગુણવત્તા સમીક્ષા સાથે આવે છે. નમૂનાઓ ઉપલબ્ધ છે જેથી તમે ખરીદતા પહેલા ડેટાસેટનું મૂલ્યાંકન કરી શકો. નીચે આપેલ શ્રેણી બ્રાઉઝ કરો અથવા કસ્ટમ ટેક્સ્ટ ડેટા સંગ્રહની ચર્ચા કરવા માટે અમારો સંપર્ક કરો.
વાતચીતના પ્રશ્નોત્તરી અને સૂચના ડેટાસેટ્સ
આ ડેટાસેટ્સમાં માનવ-લેખિત પ્રશ્ન-જવાબ જોડીઓ અને સૂચના-શૈલીના સંકેતો અરબી અને અંગ્રેજીમાં છે, જે સાઉદી, અમીરાતી, ઇજિપ્તીયન અને લેવેન્ટાઇન બોલીઓ સાથે આધુનિક માનક અરબીને આવરી લે છે. ડોમેન-વિશિષ્ટ સેટ STEM, ખોરાક અને કૃષિને આવરી લે છે. તેઓ ભાષા મોડેલોના સૂચના-ટ્યુનિંગ, ફાઇન-ટ્યુનિંગ અને મૂલ્યાંકનને સમર્થન આપે છે જ્યાં પ્રાદેશિક બોલી કવરેજ અને સાંસ્કૃતિક રીતે આધારિત જ્ઞાન મહત્વપૂર્ણ છે.
કોડ અને સોફ્ટવેર રિપોઝીટરી ડેટાસેટ્સ
C#, React, TypeScript, Angular, Java, Go, PHP, Swift અને BrightScript માં વાસ્તવિક, શિપ્ડ સોફ્ટવેરમાંથી લેવામાં આવેલા ઉત્પાદન કોડબેઝ. ઘણી એન્ટ્રીઓમાં સંપૂર્ણ પુલ-રિક્વેસ્ટ અને કમિટ ઇતિહાસનો સમાવેશ થાય છે, જે દર્શાવે છે કે સમીક્ષા હેઠળ કોડ કેવી રીતે બદલાયો. તેઓ કોડ-કમ્પ્લીશન, કોડ-જનરેશન, કોડ-સમજણ અને કોડ-રીવ્યુ મોડેલ તાલીમને સપોર્ટ કરે છે, જેમાં લાઇસન્સિંગ પહેલાં મૂલ્યાંકન માટે ઉપલબ્ધ રિપોઝીટરીઝ છે.
સમાચાર અને પત્રકારત્વ ટેક્સ્ટ ડેટાસેટ્સ
એક મુખ્ય આંતરરાષ્ટ્રીય સમાચાર સંગઠન તરફથી વ્યાવસાયિક રીતે લખાયેલા અને સંપાદિત સમાચાર લેખો, જે અંગ્રેજી, સ્પેનિશ અને અરબીમાં રિકરિંગ ફીડ તરીકે અને 1999 થી પ્રકાશિત 975,000 લેખોના આર્કાઇવલ કોર્પસ તરીકે ઉપલબ્ધ છે. દરેક લેખમાં બાયલાઇન, તારીખ, હેડલાઇન, મુખ્ય ભાગ અને વિષય ટૅગ્સ હોય છે. તેઓ વર્તમાન-ઘટના મોડેલ તાલીમ, પુનઃપ્રાપ્તિ-સંવર્ધિત પેઢી અને ટેમ્પોરલ તર્ક કાર્યોને અનુરૂપ છે.
ક્લિનિકલ પ્રશ્ન અને જવાબ અને કેસ ડેટાસેટ્સ
આરોગ્યસંભાળ-કેન્દ્રિત મોડેલ તાલીમ અને મૂલ્યાંકન માટે તબીબી પ્રશ્ન-જવાબ સેટ, ક્લિનિકલ કેસ સારાંશ અને પૂર્ણ-ટેક્સ્ટ તબીબી લેખો. ગોલ્ડન અને સિલ્વર ડેટાસેટ્સ ઉપલબ્ધ છે, જે બેન્ચમાર્કિંગ માટે ઉચ્ચ સમીક્ષા ધોરણ માટે તૈયાર છે. જ્યાં સ્રોત સામગ્રીમાં વ્યક્તિગત રીતે ઓળખી શકાય તેવી અથવા સુરક્ષિત આરોગ્ય માહિતી હોય છે, ત્યાં સંપાદન, ઓળખ રદ કરવા અને માસ્કિંગને જોડાણમાં સમાવવામાં આવે છે.
કાચો ટેક્સ્ટ અને વેબ-સ્કેલ કોર્પોરા
મોટા-વોલ્યુમ કાચો ટેક્સ્ટ, પ્રોમ્પ્ટ અને ટેક્સ્ટ-ટુ-સ્પીચ સ્ક્રિપ્ટ કોર્પોરા આધુનિક માનક અરબી અને પ્રાદેશિક બોલીઓમાં ફેલાયેલો છે, જેમાં 20 મિલિયન શબ્દોનો કાચો કોર્પસનો સમાવેશ થાય છે. તેઓ ભાષા મોડેલ પૂર્વ-પ્રશિક્ષણ અને શબ્દભંડોળ અને બોલી કવરેજના વિસ્તરણને સમર્થન આપે છે જે મોડેલો MSA ને સારી રીતે હેન્ડલ કરે છે પરંતુ બોલાતી પ્રાદેશિક ચલોમાં ખરાબ પ્રદર્શન કરે છે.
દસ્તાવેજ અને સ્કેન કરેલ ટેક્સ્ટ કોર્પોરા
વાસ્તવિક દુનિયાના સ્કેન કરેલા દસ્તાવેજો અને સંરચિત સ્વરૂપો પીડીએફ તરીકે વિતરિત કરવામાં આવે છે, કૃત્રિમ રેન્ડરને બદલે અધિકૃત લેઆઉટ અને સ્કેન ગુણવત્તામાં. તેઓ દસ્તાવેજ AI, OCR-સંલગ્ન કુદરતી ભાષા પ્રક્રિયા અને માહિતી નિષ્કર્ષણને સપોર્ટ કરે છે, ખાસ કરીને કી-વેલ્યુ અને ટેબ્યુલર દસ્તાવેજ સમજણ માટે જ્યાં લેઆઉટ ટેક્સ્ટ જેટલો જ અર્થ ધરાવે છે.
શૈક્ષણિક અને પ્રકાશક ટેક્સ્ટ ડેટાસેટ્સ
શૈક્ષણિક પ્રકાશક પાસેથી લાઇસન્સ પ્રાપ્ત અને API દ્વારા વિતરિત પૂર્ણ-ટેક્સ્ટ પુસ્તકો અને જર્નલ લેખો, ભૌતિક વિજ્ઞાન અને એન્જિનિયરિંગના બાર વિષય ક્ષેત્રોને આવરી લે છે - ખગોળશાસ્ત્ર, બાયોમેડિકલ, સિવિલ, ઇલેક્ટ્રિકલ અને ઇલેક્ટ્રોનિક્સ, ઊર્જા, ઔદ્યોગિક, સામગ્રી વિજ્ઞાન, યાંત્રિક, નેનો ટેકનોલોજી, ભૌતિકશાસ્ત્ર, પોલિમર વિજ્ઞાન અને સુરક્ષા વ્યવસ્થાપન. તેઓ પીઅર-સમીક્ષા કરેલ સ્રોત સામગ્રી કરતાં વૈજ્ઞાનિક અને તકનીકી પૂર્વ-પ્રશિક્ષણ અને પુનઃપ્રાપ્તિને અનુકૂળ છે.
સ્ક્રિપ્ટેડ મનોરંજન અને કથાત્મક લખાણ
નાટક, કોમેડી, સાયન્સ ફિક્શન, વેસ્ટર્ન, એક્શન, રહસ્ય, રોમાંસ, થ્રિલર અને ધાર્મિક શૈલીઓમાં ફીચર ફિલ્મો, ટેલિવિઝન, એનિમેશન અને વર્ટિકલ માઇક્રોડ્રામાને આવરી લેતા વિશાળ સ્ક્રિપ્ટેડ-એન્ટરટેઇનમેન્ટ કેટલોગમાંથી લેવામાં આવેલી પ્રોડક્શન સ્ક્રિપ્ટ્સ, ટ્રાન્સક્રિપ્ટ્સ અને કથાત્મક ટેક્સ્ટ. તેઓ કથા અને સંવાદ જનરેશન, સ્ક્રીનપ્લે-ફોર્મેટ મોડેલિંગ અને સ્ક્રિપ્ટ-ટુ-સીન ગોઠવણીને સમર્થન આપે છે.
વારંવાર પૂછાતા પ્રશ્નો (FAQ)
૧. AI તાલીમ માટે ટેક્સ્ટ ડેટાસેટ્સ શું છે?
AI તાલીમ માટેના ટેક્સ્ટ ડેટાસેટ્સ એ લેખિત ભાષાના ક્યુરેટેડ સંગ્રહ છે, જેમ કે પ્રશ્ન-જવાબ જોડીઓ, સૂચનાઓ, લેખો, કોડ, ક્લિનિકલ રેકોર્ડ્સ, પુસ્તકો અને સ્ક્રિપ્ટો, જેનો ઉપયોગ મોટા ભાષા મોડેલ્સ (LLMs) અને NLP સિસ્ટમ્સને પ્રીટેન કરવા, ફાઇન-ટ્યુન કરવા અને મૂલ્યાંકન કરવા માટે થાય છે. શેપનો ટેક્સ્ટ ડેટા કેટલોગ આઠ શ્રેણીઓમાં રેડી-ટુ-લાઇસન્સ ડેટાસેટ્સ પ્રદાન કરે છે, દરેક વાસ્તવિક-વિશ્વ સામગ્રીમાંથી મેળવેલ છે.
2. શેપ કયા પ્રકારના ટેક્સ્ટ ડેટાસેટ્સ ઓફર કરે છે?
આ કેટલોગ આઠ શ્રેણીઓને આવરી લે છે: વાતચીતના પ્રશ્નોત્તરી અને સૂચના ડેટાસેટ્સ, કોડ અને સોફ્ટવેર રિપોઝીટરી ડેટાસેટ્સ, સમાચાર અને પત્રકારત્વ ટેક્સ્ટ, ક્લિનિકલ પ્રશ્નોત્તરી અને કેસ ડેટાસેટ્સ, કાચો ટેક્સ્ટ અને વેબ-સ્કેલ કોર્પોરા, સ્કેન કરેલા દસ્તાવેજ કોર્પોરા, શૈક્ષણિક અને પ્રકાશક ટેક્સ્ટ, અને સ્ક્રિપ્ટેડ મનોરંજન અને વર્ણનાત્મક ટેક્સ્ટ.
૩. કઈ ભાષાઓ અને બોલીઓ આવરી લેવામાં આવી છે?
ડેટાસેટ્સ અંગ્રેજી, અરબી અને સ્પેનિશમાં ઉપલબ્ધ છે. અરબી કવરેજમાં સાઉદી, અમીરાતી, ઇજિપ્તીયન અને લેવેન્ટાઇન બોલીઓ સાથે આધુનિક માનક અરબીનો સમાવેશ થાય છે, જે MSA ને સારી રીતે હેન્ડલ કરતા પરંતુ બોલાતા પ્રાદેશિક પ્રકારો સાથે સંઘર્ષ કરતા મોડેલોને મદદ કરે છે.
૪. આ ડેટાસેટ્સ કયા AI ઉપયોગના કેસોને સપોર્ટ કરે છે?
સામાન્ય ઉપયોગના કિસ્સાઓમાં LLM પ્રીટ્રેનિંગ, સૂચના-ટ્યુનિંગ અને ફાઇન-ટ્યુનિંગ, મોડેલ મૂલ્યાંકન અને બેન્ચમાર્કિંગ, પુનઃપ્રાપ્તિ-સંવર્ધિત જનરેશન (RAG), કોડ પૂર્ણતા અને કોડ સમીક્ષા, આરોગ્યસંભાળ AI, દસ્તાવેજ AI અને માહિતી નિષ્કર્ષણ, અને સંવાદ અને સ્ક્રીનપ્લે જનરેશનનો સમાવેશ થાય છે.
૫. શું હું ડેટાસેટને લાઇસન્સ આપતા પહેલા તેનું મૂલ્યાંકન કરી શકું છું?
હા. ડેટાસેટને લાઇસન્સ આપતા પહેલા નમૂનાઓ અથવા મૂલ્યાંકન ઍક્સેસ ગોઠવી શકાય છે, જેથી તમારી ટીમ ફિટ, ફોર્મેટ અને ગુણવત્તા ચકાસી શકે. સંબંધિત શ્રેણીમાંથી નમૂનાની વિનંતી કરવા માટે તમારા ઉપયોગ કેસ સાથે અમારો સંપર્ક કરો.
૬. PII અને PHI જેવા સંવેદનશીલ ડેટાને કેવી રીતે હેન્ડલ કરવામાં આવે છે?
જ્યાં સ્રોત સામગ્રીમાં વ્યક્તિગત રીતે ઓળખી શકાય તેવી અથવા સુરક્ષિત આરોગ્ય માહિતી હોય છે, જેમ કે ક્લિનિકલ ડેટા, ત્યાં સંપાદન, ઓળખ રદ કરવા અને માસ્કિંગને જોડાણમાં શામેલ કરવામાં આવે છે જેથી ડેટા તમારી ગોપનીયતા અને પાલનની આવશ્યકતાઓને પૂર્ણ કરે.
7. ગોલ્ડન અને સિલ્વર ડેટાસેટ્સ વચ્ચે શું તફાવત છે?
ગોલ્ડન ડેટાસેટ્સ ઉચ્ચ સમીક્ષા ધોરણ અનુસાર તૈયાર કરવામાં આવે છે અને બેન્ચમાર્કિંગ અને મૂલ્યાંકન માટે શ્રેષ્ઠ અનુકૂળ હોય છે. સિલ્વર ડેટાસેટ્સ પ્રમાણભૂત સમીક્ષામાંથી પસાર થાય છે અને મોટા પાયે તાલીમ માટે યોગ્ય હોય છે જ્યાં વોલ્યુમ વધુ મહત્વનું હોય છે.
૮. શું ડેટાસેટ્સને કસ્ટમાઇઝ અથવા વિસ્તૃત કરી શકાય છે?
હા. ડેટાસેટ્સ તમારા પ્રોજેક્ટમાં ભાષા, ડોમેન, વોલ્યુમ અથવા ફોર્મેટ દ્વારા સ્કોપ કરી શકાય છે. જો કેટલોગ તમને જે જોઈએ છે તે આવરી લેતું નથી, તો Shaip તમારા સ્પષ્ટીકરણો અનુસાર કસ્ટમ ટેક્સ્ટ ડેટા એકત્રિત કરી શકે છે અને એનોટેટ કરી શકે છે.
૧૨. કયા લાઇસન્સિંગ વિકલ્પો ઉપલબ્ધ છે?
ડેટાસેટ, વોલ્યુમ, હેતુપૂર્વકના ઉપયોગ અને અવધિના આધારે દરેક જોડાણ માટે લાઇસન્સિંગનો અવકાશ છે. કેટલાક ડેટાસેટ્સ, જેમ કે સમાચાર સામગ્રી, રિકરિંગ ફીડ અને એક-વખતના આર્કાઇવલ કોર્પસ બંને તરીકે ઉપલબ્ધ છે.
૧૦. ડેટાસેટ્સ કેવી રીતે પહોંચાડવામાં આવે છે?
ડિલિવરી ડેટાસેટ પર આધાર રાખે છે. વિકલ્પોમાં સ્ટ્રક્ચર્ડ ફાઇલો, સ્કેન કરેલા દસ્તાવેજો માટે PDF, સમાચાર માટે રિકરિંગ ફીડ્સ અને શૈક્ષણિક અને પ્રકાશક સામગ્રી માટે API ડિલિવરીનો સમાવેશ થાય છે. ડિલિવરી ફોર્મેટ તમારી તાલીમ પાઇપલાઇન સાથે ગોઠવી શકાય છે.
૧૧. ટેક્સ્ટ ડેટાસેટ્સની કિંમત કેટલી છે?
કિંમત શ્રેણી, વોલ્યુમ, વિશિષ્ટતા અને લાઇસન્સિંગ શરતો પર આધાર રાખે છે. તમારા પ્રોજેક્ટને અનુરૂપ ક્વોટ માટે અમારી ટીમ સાથે તમારી જરૂરિયાતો શેર કરો.
12. હું કેવી રીતે શરૂઆત કરી શકું?
તમારા ઉપયોગના કેસ સાથે મેળ ખાતી શ્રેણી બ્રાઉઝ કરો, પછી તમારી જરૂરિયાતો સાથે Shaip નો સંપર્ક કરો. અમારી ટીમ ડેટાસેટ વિગતો શેર કરશે, નમૂનાઓ ગોઠવશે અને તમારા પ્રોજેક્ટ માટે લાઇસન્સનો અવકાશ આપશે.
