ઓટોમેટિક સ્પીચ રેકગ્નિશન માટે ઉચ્ચ-ગુણવત્તાવાળા ઓડિયો ડેટા કેવી રીતે એકત્રિત કરવો

સચોટ ASR (ઓટોમેટિક સ્પીચ રેકગ્નિશન) યોગ્ય ડેટાથી શરૂ થાય છે - "વધુ" ડેટાથી નહીં. તમારી કલેક્શન યોજના વાસ્તવિક વપરાશકર્તાઓ કેવી રીતે બોલે છે તેનું પ્રતિબિંબ પાડવી જોઈએ: ઉચ્ચારો અને બોલીઓ, પૃષ્ઠભૂમિ અવાજ, ઉપકરણ માઇક્સ, ચેનલ કોડેક્સ, અને લોકો વાક્યની વચ્ચે ભાષાઓ કેવી રીતે બદલાય છે તે પણ. આ માર્ગદર્શિકા ઑડિઓ એકત્રિત કરવા, લેબલ કરવા અને સંચાલિત કરવા માટે વ્યવહારુ, ગોપનીયતા-પ્રથમ પ્રક્રિયામાંથી પસાર થાય છે જેના પર મોડેલ્સ (અને પાલન ટીમો) વિશ્વાસ કરી શકે છે.

સ્પીચ રેકગ્નિશન મોડેલ્સ માટે ઓડિયો કલેક્શનની પ્રક્રિયા

૧) ડેટા ધ્યેય સેટ કરો (રેકોર્ડ કરતા પહેલા)

મોડેલને શું સમજવું જોઈએ અને કઈ પરિસ્થિતિઓ હેઠળ તે વ્યાખ્યાયિત કરો. ચુસ્ત અવકાશ બગાડના સંગ્રહને અટકાવે છે અને QA ને માપી શકાય તેવું બનાવે છે.

• ઉપયોગના કિસ્સાઓ: શ્રુતલેખન, સંપર્ક-કેન્દ્ર, આદેશો, મીટિંગ્સ, IVR
• ભાષાઓ/બોલીઓ અને અપેક્ષિત કોડ-સ્વિચિંગ
• ચેનલો અને વાતાવરણ: ફોન, એપ્લિકેશન/ડેસ્કટોપ, દૂર-ક્ષેત્ર; શાંત વિરુદ્ધ ઘોંઘાટીયા
• લક્ષ્ય મેટ્રિક્સ: WER/CER, એન્ટિટી ચોકસાઈ, ડાયારાઇઝેશન, લેટન્સી (જો સ્ટ્રીમિંગ હોય તો)
• ડિલિવરેબલ: એક-પૃષ્ઠ ડેટા સ્પેક બધા સહી કરે છે

૨) નમૂના યોજના: કોણ, ક્યાં, કેટલું

સ્પીકર્સ, ઉચ્ચારો, ઉપકરણો અને ઘોંઘાટને સંતુલિત કરો જેથી પરિણામો સામાન્ય બને અને વાજબી રહે. દરેક "સ્લાઇસ" ના કલાકોનું અગાઉથી આયોજન કરો.

• વક્તાની વિવિધતા: પ્રદેશ, વય શ્રેણી, લિંગ, વાણી દર
• બોલી દીઠ ઉચ્ચારણ ક્વોટા (દા.ત., દરેક 10-15%)
• ઉચ્ચારણ મિશ્રણ: વાંચવું, વાતચીત, આદેશ/પ્રશ્ન
  
• શબ્દભંડોળ પર ધ્યાન કેન્દ્રિત કરો: ડોમેન શબ્દો, સંખ્યાઓ/તારીખો/એકમો
• સ્તર: ઉપકરણ × પર્યાવરણ × ઉચ્ચારણ ઓછામાં ઓછા કલાકો સાથે

૩) સંમતિ, ગોપનીયતા અને પાલન

કોઈપણ વ્યક્તિને ઓનબોર્ડ કરતા પહેલા પરવાનગીઓ અને ડેટા હેન્ડલિંગને લૉક કરો. PII/PHI ને એક અલગ, સંચાલિત સંપત્તિ તરીકે ગણો.

• સ્પષ્ટ સંમતિ (હેતુ, રીટેન્શન, શેરિંગ, નાપસંદ)
• ઓળખ રદ કરો વહેલા; રી-આઈડી કી અલગથી સ્ટોર કરો
• રહેઠાણ અને કાયદા: HIPAA/GDPR/સ્થાનિક નિયમો
• ઍક્સેસ: ઓછામાં ઓછું વિશેષાધિકાર + ઑડિટ ટ્રેઇલ

૪) રેકોર્ડિંગ સેટઅપ અને પ્રોટોકોલ

સતત કેપ્ચર લેબલનો અવાજ ઘટાડે છે અને મોડેલની ગુણવત્તામાં વધારો કરે છે. હાર્ડવેર, સેટિંગ્સ અને દૃશ્યોને માનક બનાવો.

• હાર્ડવેર: મંજૂર ફોન/માઇક; લોગ બનાવટ/મોડેલ
  
• સેટિંગ્સ: WAV/FLAC, મોનો, 16-બીટ, ૧૬ કિલોહર્ટ્ઝ+
  દ્રશ્યો: શાંત બેઝલાઇન + નિયંત્રિત અવાજ (કાફે, ટ્રાફિક, ઓફિસ)
• પ્રોમ્પ્ટ: સ્ક્રિપ્ટો, રોલ-પ્લે, કમાન્ડ લિસ્ટ
• ઓપરેટરની નોંધ: માઇકનું અંતર, રૂમનું કદ, બેઠક વ્યવસ્થા

૫) મેટાડેટા જે મહત્વપૂર્ણ છે

ઉત્તમ મેટાડેટા તમારા ડેટાસેટને ફરીથી વાપરી શકાય તેવું અને ડીબગેબલ બનાવે છે. તમે જે ઉપયોગ કરશો તે જ કેપ્ચર કરો.

• ભાષા/લોકેલ, એક્સેન્ટ ટેગ, ડિવાઇસ/ઓએસ, માઇક પ્રકાર
• પર્યાવરણ, SNR અંદાજ, ચેનલ (PSTN/VoIP)
• ઉપનામ વક્તા ક્ષેત્રો (વય શ્રેણી, પ્રદેશ, સંમતિ સંસ્કરણ)
• ફાઇલ નામકરણ: _ _ _ _ _ _ .wav

૬) ટીકા માર્ગદર્શિકા અને સાધનો

સુસંગત લેબલ્સ મોટા ડેટાસેટ્સને હરાવી શકે છે. સંક્ષિપ્ત, સંસ્કરણિત શૈલી માર્ગદર્શિકા બિન-વાટાઘાટોપાત્ર છે.

• નિયમો: કેસીંગ, વિરામચિહ્નો, આંકડા, ખચકાટ, ઓવરલેપ્સ
• ટૅગ્સ: કોડ-સ્વિચ માર્કર્સ, યોગ્ય-સંજ્ઞા શબ્દકોશ, સ્થાનિક જોડણી
• ડાયરાઇઝેશન વર્કફ્લો: વારા ઠીક કરો, ઓવરલેપ્સ ચિહ્નિત કરો; શબ્દ ટાઇમસ્ટેમ્પ
• સાધનો: હોટકી, QA પેનલ, લેક્સિકોન પ્રોમ્પ્ટ

૭) ગુણવત્તા ખાતરી (બહુ-સ્તરીય)

તમે જે કરી શકો તે ઓટોમેટિક કરો, પછી માણસો સાથે નમૂના લો. કરારને ટ્રેક કરો અને હોટસ્પોટ્સ વહેલા ઠીક કરો.

• ઓટોમેટેડ ગેટ્સ: ફોર્મેટ, ક્લિપિંગ/મૌન, અવધિ, મેટાડેટા પૂર્ણતા
• માનવ QA: ડ્યુઅલ ટ્રાન્સ્ક્રાઇબ + નિર્ણય; ટ્રેક આઇએએ
  
• સોનાનો સેટ (2–5%): બેન્ચમાર્ક વિક્રેતાઓ/ટિપ્પણીકારો માટે નિષ્ણાત લેબલ્સ
• મેટ્રિક્સ: WER/CER (ઉચ્ચારણ/ઉપકરણ/અવાજ દ્વારા), એન્ટિટી અને ડાયરાઇઝેશન ચોકસાઈ, શૈલી પાલન

૮) ટ્રેન/વેલ/ટેસ્ટ સ્પ્લિટ જે લીક થતા નથી

પ્રમાણિક સ્કોર મેળવવા માટે સ્પીકર્સને અલગ અલગ રાખો. પરીક્ષણમાં "કઠિન" પરિસ્થિતિઓને સંતુલિત કરો.

• સ્પીકર-લેવલ અલગતા (કોઈ ક્રોસ-સ્પ્લિટ સ્પીકર્સ નથી)
• સંતુલિત ઉચ્ચાર/ઉપકરણ/અવાજ ગુણોત્તર
• મુશ્કેલ કેસ: ઓછા SNR, ઓવરલેપ્સ, ઝડપી વાણી, ભારે કોડ-સ્વિચિંગ, જાર્ગન સ્ટ્રેસ ટેસ્ટ

૯) સુરક્ષિત સંગ્રહ અને શાસન

સ્પીચ ડેટા સંવેદનશીલ છે - તેને સોર્સ કોડ અને PII ની જેમ સંચાલિત કરો.

• આરામ પર/ટ્રાન્ઝીટમાં એન્ક્રિપ્ટ કરો; PII ને ઑડિઓ/ટેક્સ્ટથી અલગ કરો
• RBAC, ટાઇમ-બોક્સ્ડ વેન્ડર એક્સેસ, ઓડિટ લોગ્સ
• જીવનચક્ર: રીટેન્શન, ડિલીટ કરવાનું વર્કફ્લો, રી-લેબલ્સ માટે વર્ઝનિંગ

૧૦) પેકેજિંગ અને ડિલિવરી

મોડેલર્સ માટે ડ્રોપ્સ પ્લગ-એન્ડ-પ્લે બનાવો જેથી તેઓ ઝડપથી પુનરાવર્તિત થાય.

• બંડલ: ઑડિઓ + ટ્રાન્સક્રિપ્ટ્સ (JSON/CSV), શબ્દ ટાઇમસ્ટેમ્પ્સ, સ્પીકર લેબલ્સ, કોન્ફિડન્સ
• ડેટા કાર્ડ: પદ્ધતિઓ, વસ્તી વિષયક માહિતી, મર્યાદાઓ, QA આંકડા, લાઇસન્સ
• ચેન્જલોગ: નવું શું છે (ઉચ્ચાર/ઉપકરણો, માર્ગદર્શિકા અપડેટ્સ)

મીની ચેકલિસ્ટ્સ