Audio un video izstrāde un mācīšanās

Vispirms mēs pieņemam, ka kādam nav nulles pamata audio un video jomā, un viņš nekad nav iemācījies ar digitālo signālu apstrādi saistītās zināšanas. Matemātiskais pamats būtībā ir vidusskolas līmenis, taču viņš ir iepazinies ar C / C ++ attīstību, vismaz pārzina IDE apkopošanu un atkļūdošanu noteiktā platformā.

Koncentrējieties uz diviem atvērtā koda projektiem ffmpeg un webRTC, galvenokārt aplūkojot ffmpeg video daļu un webRTC audio daļu.

Pirmkārt, sāciet ar video dekodēšanu. Šis ir vienkāršākais. Pamata kods, lai izsauktu ffmpeg video dekodēšanu, ir tikai aptuveni 100 līnijas. Video dekodēšanai ir jāsaprot tikai h.264, 80% + ainas ir šajā kodēšanas formātā, jāsaprot pamata H.264 sps pps NAL un citi failu formātu jēdzieni, jāizprot YUV attēla formāta princips un jāsaprot YUV pārveidošana par RGB , Tātad jūs varat veikt attēlu renderēšanu, jūs varat sasniegt vienkāršu video atskaņotāju. (Būtībā pirmajā posmā)

Tad, lai uzzinātu vairāk par video kodēšanu, ieteicams sākt ar x264, vienkāršs izsaukums uz x264 kodēšanas kodu ir mazāks par 100 rindām. Kodēšana ir sarežģītāka nekā dekodēšana, jo dekodēšanai nav jākonfigurē nekādi parametri, un kodēšanai ir daudz parametru, kas jākonfigurē. Sākumā vienkārši izprotiet dažus pamatjēdzienus, piemēram, kadru ātrumu, parastās plūsmas kontroles metodes ABR CRF, GOP, I / B Ko attiecīgi nozīmē / P Frame. (Atkal pazīstams ar X264 kodējumu)

Audio daļas kodeks ir līdzīgs video. Sākotnējā posmā jums ir jāsaprot tikai divi kodētāji EAAC + un Silk, jāsaprot skaņas kanāla, paraugu ņemšanas ātruma uc jēdzieni un jāsaprot Wave faila formāts. Var būt vienkāršs audio atskaņotājs. (Izveidojiet audio atskaņotāju)

Sarežģītā audio daļa nav kodeks, bet gan skaņas efekts. Apskatiet WebRTC audio apstrādes moduli un izprotiet šādus jēdzienus: NS denoizēšana, atbalss atcelšana AEC, izslēgta skaņas noteikšana VAD, automātiskā pastiprinājuma kontrole AGC un iebūvētais webRTC. Lai gan algoritms nav labākais, tas var atrisināt 90% + problēmu, un ir vērts to iemācīties. (Uzziniet webrtc audio apstrādi)

Pēc tam, kad esmu to iemācījies, man jādomā par jautājumu, vai es vēlos iet inženiertehnisko maršrutu vai algoritmisko maršrutu. Ja tas ir algoritmisks maršruts, tad man jāapgūst matemātika. Digitālā signāla apstrādes pamatā ir liels skaits matemātisko teoriju. Ja tas ir inženierijas maršruts, tad jums jāapgūst starpplatformu izstrāde, jāapgūst audio un video apkopošana, atskaņošana un apstrāde vairākās platformās un jāapgūst montāžas valodas optimizācija vairākās platformās. (Saistīts ar platformu)

Audio un video ir ļoti dziļš lauks, un jūs nekad nepabeigsiet mācīšanos mūža laikā, taču šai jomai ir tā priekšrocība, ka zināšanu atjaunināšanas ātrums ir samērā lēns, iemācītās lietas nav viegli novērst un pieredzes uzkrāšana ir ļoti svarīga.v