Video kodēšanas nozīme
Liela vieta oriģinālo video datu glabāšanai. 1080P 7 s formāta video prasa 817 MB
Sākotnējā video datu pārraide aizņem lielu joslas platumu, un, lai pārsūtītu iepriekšminētos 11 s video ar joslas platumu 7 Mbps, nepieciešamas 10 minūtes.
Pēc H.264 kodēšanas un saspiešanas video izmērs ir tikai 708 k, un 10 Mb / s joslas platumam ir nepieciešamas tikai 500 ms, kas var apmierināt reāllaika pārraides vajadzības. Tāpēc oriģinālajam videoklipam, kas savākts no video iegūšanas sensora, jābūt kodētam.
Fundamentāls
Tad kāpēc milzīgu oriģinālo video var iekodēt ļoti mazā videoklipā? Kāda ir šī tehnoloģija? Pirms runāt par tehnoloģijām, mums vispirms vajadzētu izveidot video jēdzienu, kas ir nepārtraukti attēli.
Galvenā ideja ir noņemt lieko informāciju:
Telpiskā atlaišana: starp blakus esošajiem attēla pikseļiem pastāv cieša korelācija
Laika atlaišana: līdzīgs saturs blakus esošajiem attēliem video secībā
Kodēšanas atlaišana: dažādām pikseļu vērtībām ir atšķirīga varbūtība
Vizuāla atlaišana: cilvēka redzes sistēma nav jutīga pret noteiktām detaļām
Zināšanu atlaišana: regularitātes struktūru var iegūt no iepriekšējām zināšanām un priekšzināšanām
Video būtībā ir attēlu sērija, kas tiek atskaņota nepārtraukti un ātri, tāpēc vienkāršākais video saspiešanas veids ir saspiest katru attēlu kadru. Piemēram, vecāka MJPEG kodēšana ir saspiest katru videoklipa attēlu kadru. Šī kodēšanas metode Ir tikai iekšēja kadra kodēšana, kuras kodēšanai tiek izmantota telpiskā parauga prognozēšana. Attēla metafora paredz katru rāmi uzskatīt par attēlu un attēla saspiešanai izmantot JPEG kodēšanas formātu. Šāda veida kodēšana ņem vērā tikai liekās informācijas saspiešanu attēlā.
Tomēr laika korelācijas starp kadriem dēļ ir izstrādāti daži uzlaboti kodētāji, kas var izmantot starprāmju kodēšanu. Vienkārši sakot, daži rāmja apgabali tiek atlasīti, izmantojot meklēšanas algoritmu, un pēc tam tiek aprēķināts pašreizējais rāmis. Tas ir kodēšanas veids ar vektoru starpību starp priekšējiem un aizmugurējiem atsauces rāmjiem. Izmantojot šādus divus secīgus kadrus 2. attēlā, mēs varam redzēt, ka slēpotājs virzās uz priekšu, bet patiesībā sniega aina pārvietojas atpakaļ, un uz P rāmi ir atsauces. Var iekodēt rāmjus (I vai citus P rāmjus), izmēru pēc kodēšanas ir ļoti mazs, un saspiešanas pakāpe ir ļoti augsta.
Atsauces saite par rāmis http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Dažus studentus var interesēt, kā radās šīs divas bildes. Šeit ir divas FFmpeg komandu rindas, lai sasniegtu. Lai iegūtu sīkāku informāciju par FFmpeg, lūdzu, skatiet šādas nodaļas:
Pirmajā rindiņā tiek ģenerēts video ar kustīgu vektoru
Otrā rinda katru kadru izvada kā attēlu
Izmantojiet komandu
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Papildus telpiskajai redundancijai un laika redundances saspiešanai galvenokārt ir kodēšanas saspiešana un vizuālā saspiešana. Kodētāja galvenā plūsmas diagramma ir šāda:
3. un 4. attēls ir divi procesi. 3. attēls ir kadra iekšējā kodēšana, un 4. attēls ir starp kadru kodēšana. Galvenā atšķirība, kas redzama attēlā, ir tā, ka pirmais solis ir atšķirīgs. Patiesībā šie abi procesi ir arī apvienoti. Vispārīgi runājot, I rāmis un P rāmis izmanto attiecīgi rāmja iekšējo un starprāmju kodēšanu.
Kodētāja izvēle
Esmu sakārtojis kodētāja principu un pamatprocesu. Kodētājs ir pieredzējis gadu desmitiem ilgu attīstību. Tas ir attīstījies no tikai iekšējā kadra kodēšanas atbalsta uz jaunās paaudzes kodētājiem, kurus šodien pārstāv H.265 un VP9. Pašlaik tiek analizēti daži parastie kodētāji, un mēs jūs aizvedīsim, lai izpētītu kodētāju pasauli.
H.264
Ievads
H.264 / AVC projekta mērķis ir izveidot video standartu. Salīdzinot ar veco standartu, tas var nodrošināt augstas kvalitātes video ar mazāku joslas platumu (citiem vārdiem sakot, tikai pusi no MPEG-2, H.263 vai MPEG-4 2. daļas vai mazāk joslas platuma), nepievienojot pārāk lielu dizaina sarežģītību. to nav iespējams sasniegt vai arī ieviešanas izmaksas ir pārāk augstas. Vēl viens mērķis ir nodrošināt pietiekamu elastību, lai to varētu izmantot dažādās lietojumprogrammās, tīklos un sistēmās, ieskaitot lielu un mazu joslas platumu, augstu un zemu video izšķirtspēju, apraidi, DVD atmiņu, RTP / IP tīklus un ITU-T multimediju tālruņu sistēmu.
H.264 / AVC satur virkni jaunu funkciju, padarot to ne tikai efektīvāku nekā iepriekšējie kodeki, bet to var izmantot arī lietojumprogrammās dažādās tīkla vidēs. Šis tehniskais pamats padara H.264 par galveno kodeku, ko izmanto tiešsaistes video uzņēmumi, tostarp YouTube, taču tā izmantošana nav pārāk viegls uzdevums. Teorētiski H.264 izmantošana prasa daudz naudas. Patentu nodevas.
Patenta licence
Tāpat kā MPEG-2 pirmajai un otrajai daļai un MPEG-4 otrajai daļai, arī produktu ražotājiem un pakalpojumu sniedzējiem, kas izmanto H.264 / AVC, jāmaksā patenta licences maksa patentu īpašniekiem. Galvenais šo patentu licenču avots ir privāta organizācija ar nosaukumu MPEG-LA LLC. Šai organizācijai nav nekāda sakara ar MPEG standartizācijas organizāciju, taču šī organizācija pārvalda arī MPEG-2 pirmās daļas sistēmu, otrās daļas video un MPEG-4 pirmo daļu. Divdaļīgas video un citu tehnoloģiju patentu licences.
Citas patentu licences jāpiesaka citai privātai organizācijai ar nosaukumu VIA Licensing, kas arī pārvalda patentu licences tādiem audio saspiešanas standartiem kā MPEG-2 AAC un MPEG-4 Audio.
H.264 atvērtā koda ieviešana
openh264 ir Cisco ieviesta atvērtā koda H.264 kodēšanas programma. Neskatoties uz to, ka H.264 prasa lielu patenta maksu, patenta maksai ir noteikts gada ierobežojums. Pēc tam, kad Cisco maksā gada patenta maksu par OpenH264, OpenH264 faktiski ir bez maksas. Izmantojiet to brīvi.
x264 ir video kodēšanas bezmaksas programmatūra, kas licencēta saskaņā ar GPL. X264 galvenā funkcija ir veikt H.264 / MPEG-4 AVC video kodēšanu, nevis kā dekodētāju.
Izņemot izmaksu jautājumu salīdzināšanai:
Openh264 centrālā procesora izmantošana ir daudz zemāka nekā x264
openh264 atbalsta tikai bāzes profilu, x264 atbalsta vairāk profilu
HEVC / H.265
Ievads
Augstas efektivitātes video kodēšana (HEVC) ir video saspiešanas standarts (saukts arī par H.265), kas tiek uzskatīts par ITU-T H.264 / MPEG-4 AVC standarta pēcteci. 2004. gadā ISO / IEC kustīgo attēlu ekspertu grupa (MPEG) un ITU-T video kodēšanas ekspertu grupa (VCEG) sāka attīstīties kā ISO / IEC 23008-2 MPEG-H 2. daļa vai ITU-T H.265. Pirmā HEVC / H.265 video saspiešanas standarta versija tika pieņemta kā Starptautiskās Telekomunikāciju savienības (ITU-T) oficiālais standarts 13. gada 2013. aprīlī. Tiek uzskatīts, ka HEVC ne tikai uzlabo video kvalitāti, bet arī divas reizes sasniedz H.264 / MPEG-4 AVC saspiešanas pakāpe (kas atbilst 50% bitu pārraides ātruma samazinājumam ar tādu pašu attēla kvalitāti) un var atbalstīt 4K izšķirtspēju un pat īpaši augstas izšķirtspējas TV (UHDTV), augstākā izšķirtspēja var būt sasniegt 8192 × 4320 (8K izšķirtspēja).
Patenta licence
HEVC pieprasa, lai visi satura ražotāji, kas izmanto H.265 tehnoloģiju, tostarp Apple, YouTube, Netflix, Facebook un Amazon, maksā 0.5% no ienākumiem no satura kā tehnoloģiju lietošanas maksu. Viss straumējošo mediju tirgus katru gadu sasniedz aptuveni 100 miljardus ASV dolāru, un tas turpina pieaugt. Pieaugumā 0.5% nodeva noteikti ir milzīga maksa. Un viņi nav atlaiduši iekārtu ražotājus, kuru vidū televizoru ražotājiem patentmaksās jāmaksā 1.5 ASV dolāri par vienību, bet mobilo ierīču ražotājiem - 0.8 ASV dolāri par vienību. Viņi pat nav atlaiduši tādus ražotājus kā Blu-ray ierīču atskaņotāji, spēļu konsoles un video ierakstītāji, kuriem katram jāmaksā 1.1 USD.
H.265 / HEVC atvērtā koda ieviešana
libde265 HEVC nodrošina struktūru uzņēmums ar atvērtā pirmkoda licenci GNU Lesser General Public License (LGPL), un skatītāji var baudīt visaugstākās kvalitātes attēlus ar lēnāku interneta ātrumu. Salīdzinot ar iepriekšējiem dekodētājiem, kuru pamatā ir H.264 standarts, libde265 HEVC dekoderis var palielināt jūsu HD saturu līdz pat divreiz lielākai auditorijas daļai vai samazināt straumēšanai nepieciešamo joslas platumu par 50%.
x265 ir izstrādājusi MulticoreWare, un tā ir atvērta saskaņā ar GPL līgumu.
VP8
Ievads
VP8 ir atvērts video saspiešanas formāts, kuru vispirms izstrādāja On2 Technologies un pēc tam izlaida Google. Tajā pašā laikā Google izlaida arī VP8 kodēto ieviešanas bibliotēku: libvpx, kas tika izlaista BSD licences noteikumu veidā, un pēc tam pievienoja tiesības izmantot patentu. Pēc dažiem argumentiem VP8 autorizācija beidzot tika apstiprināta kā atvērtā koda autorizācija.
Pašlaik tīmekļa pārlūkprogrammas, kas atbalsta VP8, ir Opera, Firefox un Chrome.
Patenta licence
2013. gada martā Google panāca vienošanos ar MPEG LA un 11 patentu īpašniekiem, lai ļautu Google iegūt VP8 un tā iepriekšējos VPx un citus kodējumus, kurus, iespējams, pārkāpj patenti. Tajā pašā laikā Google var arī bez maksas atkārtoti autorizēt saistītos patentus VP8 lietotājiem. , Šis līgums ir piemērots arī nākamās paaudzes VPx kodēšanai. Līdz šim MPEG LA ir atteikusies no VP8 patentu centralizētās licencēšanas alianses izveidošanas, un VP8 lietotāji varēs noteikt, ka šo kodu izmantot bez maksas, neuztraucoties par iespējamām patentu pārkāpumu autoratlīdzībām.
VP8 atvērtā koda ieviešana
Libvpx ir vienīgā VP8 atvērtā pirmkoda ieviešana. To izstrādāja On2 Technologies. Pēc tam, kad Google to ieguva, tas atvēra savu pirmkodu. Licence ir ļoti vaļīga, un to var brīvi izmantot.
VP9
Ievads
VP9 izstrāde sākās 2011. gada trešajā ceturksnī. Mērķis ir samazināt faila lielumu par 50%, salīdzinot ar VP8 kodējumu ar tādu pašu attēla kvalitāti. Vēl viens mērķis ir pārspēt HEVC kodējumu kodēšanas efektivitātē.
13. gada 2012. decembrī pārlūks Chromium pievienoja atbalstu VP9 kodēšanai. Pārlūks Chrome sāka atbalstīt VP9 kodētu video atskaņošanu 21. gada 2013. februārī.
Google paziņoja, ka pabeigs VP9 koda izstrādi 17. gada 2013. jūnijā, kad pārlūks Chrome pēc noklusējuma vadīs VP9 kodu. 18. gada 2014. martā Mozilla pārlūkprogrammai Firefox pievienoja VP9 atbalstu.
3. gada 2015. aprīlī Google izlaida libvpx1.4.0, kas pievienoja atbalstu 10 bitu un 12 bitu dziļumam, 4: 2: 2 un 4: 4: 4 krāsu paraugu ņemšanai un VP9 daudzkodolu kodēšanai / dekodēšanai.
Patenta licence
VP9 ir atvērta formāta video bez maksas kodēšanas formāts.
VP9 atvērtā koda ieviešana
libvpx ir vienīgā atvērtā koda VP9 ieviešana, ko izstrādājusi un uztur Google. Daļu kodu koplieto VP8 un VP9, bet pārējie ir attiecīgi VP8 un VP9 kodeku ieviešana.
VP9 un H.264 un HEVC salīdzinājums
HEVC un H.264 salīdzinājums ar dažādām izšķirtspējām
Salīdzinot ar H.264 / MPEG-4, HEVC vidējais bitu pārraides ātruma samazinājums ir:
Var redzēt, ka bitu pārraides ātrums ir samazinājies par vairāk nekā 60%
HEVC (H.265) ir lielāka priekšrocība bitu pārraides ātruma taupīšanā VP9 un H.264, ietaupot attiecīgi 48.3% un 75.8% vienā un tajā pašā PSNR
H.264 ir milzīga laika kodēšanas priekšrocība. Salīdzinot ar VP9 un HEVC (H.265), HEVC ir 6 reizes lielāks nekā VP9, un VP9 gandrīz 40 reizes pārsniedz H.264.
