3. söfnun
Kaupin fela aðallega í sér tvo þætti: myndbandsöflun og hljóðöflun. Myndbandinu er safnað af myndavélinni sem felur í sér viðeigandi aðgerð myndavélarinnar og breytustillingu myndavélarinnar. Vegna munar á myndavélum ýmissa farsímaframleiðenda eru nokkrar gildrur í þessu sambandi sem lýst verður í greininni um myndavélina. Hljóð er safnað í gegnum hljóðnema. Hljóðnemar mismunandi farsíma styðja mismunandi hljóðsýnatökuhlutfall og stundum þarf að ógilda hljóðið til að styðja við hljóðnemaaðgerðina.
Lykilatriði í myndatöku tækni:
Athugaðu hvort hægt sé að nota myndavélina;
Myndin sem tekin er af myndavélinni er lárétt og snúa þarf myndinni að vissu marki áður en hún birtist;
Það er röð af myndastærðum sem þú getur valið um þegar myndavélin tekur. Þegar myndstærðin sem tekin er er í ósamræmi við skjástærð farsímans er krafist sérstakrar vinnslu;
Android símamyndavélin hefur röð ríkja og samsvarandi aðgerð myndavélarinnar þarf að vera í réttu ástandi;
Margar breytur Android myndavélarinnar hafa vandamál með eindrægni og það þarf að taka betur á þessum eindrægni.
Lykilatriði hljóðtöku tækni:
Athugaðu hvort hægt sé að nota hljóðnemann;
Þarftu að greina stuðning farsímans við ákveðinn hljóðsýnatökuhraða;
Í sumum tilfellum er nauðsynlegt að framkvæma bergmálsmeðferð á hljóðinu;
Stilltu rétta biðminnisstærð við hljóðtöku.
Athugið: Það verður sérstök grein um safnið síðar
4. vinnsla
Vinnsla myndbanda
Fegurð er nú næstum venjuleg uppsetning hugbúnaðar fyrir beina útsendingu farsíma. Eftir fegrun hefur gestgjafinn hærra útlit og er meira aðlaðandi fyrir aðdáendur. Það eru líka nokkur Android beinar útsendingar forrit sem geta þekkt andlit gestgjafans og bætt við skemmtilegum hreyfimyndum. Tæknibrellur, stundum þurfum við líka að bæta vatnsmerki við myndbandið.
Reyndar er unnið úr OpenGL með því að fegra myndband og bæta við tæknibrellum. Það er GLSurfaceView í Android, sem er svipað og SurfaceView, en það er hægt að gera með Renderer. Hægt er að búa til áferð í gegnum OpenGL, SurfaceTexture er hægt að búa til í gegnum áferð Id og SurfaceTexture er hægt að afhenda myndavélinni og að lokum er forskoðunarskjár myndavélarinnar og OpenGL tengd í gegnum áferðina, þannig að hægt er að framkvæma röð aðgerða í gegnum OpenGL .
Allt fegrunarferlið er ekkert annað en að búa til nýja áferð í gegnum FBO tæknina í OpenGL byggt á áferðinni sem myndavélin forskoðar og notar síðan nýju áferðina til að teikna á onDrawFrame () í Renderer. Að bæta við vatnsmerki er að breyta mynd fyrst í áferð og nota síðan OpenGL til að teikna. Að bæta við kraftmiklum hengiskrautum er flóknara. Í fyrsta lagi er nauðsynlegt að framkvæma reikniritgreiningu til að bera kennsl á samsvarandi hluta mannlegs andlits miðað við núverandi forskoðunarmynd og teikna síðan samsvarandi myndir á hvern samsvarandi hluta. Framkvæmd alls ferlisins er nokkuð erfið.
Eftirfarandi mynd er flæðirit yfir allt fegurðarferlið:
Fegurðarferli
Myndin hér að neðan sýnir fegurð og fjör áhrif mjög vel.
Fegurð
Hreyfimyndir og vatnsmerki
Athugið: Það verður sérstök grein um OpenGL og framkvæmd alls ferlisins.
Hljóðvinnsla
Í sumum tilfellum þarf þáttastjórnandinn að bæta við nokkrum viðbótarhljóðum til að auka andrúmsloftið í beinni útsendingu, svo sem klapp og svo framvegis. Ein leið til að takast á við það er að spila viðbótarhljóðið beint, þannig að hljóðneminn safni því saman og taki það síðan saman, en vinnsla af þessu tagi virkar ekki þegar akkerið klæðist heyrnartólum eða þarf að framkvæma bergmálsmeðferð á hljóðinu . Þar sem samsvarandi aðgerð hefur ekki verið bætt við verkefnið okkar er engin viðeigandi reynsla að deila um sinn, við gætum bætt þessari aðgerð við síðar og deilt henni með þér.
5. kóðun
Í gegnum myndavélina og hljóðnemann getum við safnað samsvarandi mynd- og hljóðgögnum, en þetta eru hrá gögn á föstu formi. Almennt séð safnar myndavélin einum ramma fyrir ramma og hljóðneminn safnar PCM hljóðgögnum. Ef þessi gögn eru send beint er gagnamagnið oft mjög mikið sem hefur í för með sér mikla sóun á bandbreidd og því er oft nauðsynlegt að umrita myndband og hljóð áður en það er sent.
Kóðun myndbands
1. Forspár kóðun
Eins og við öll vitum er mynd samsett úr mörgum svokölluðum pixlum. Mikill fjöldi tölfræði sýnir að sterk fylgni er á milli pixla í sömu mynd. Því styttra sem fjarlægðin er milli tveggja punkta, því sterkari er fylgni. Hvað varðar leikmann, því nær gildi tveggja punktanna. Þess vegna geta menn notað þessa fylgni milli punkta til að framkvæma þjöppunarkóðun. Þessi þjöppunaraðferð er kölluð forspárkóðun innan ramma. Ekki nóg með það, fylgni milli aðliggjandi ramma er almennt sterkari en fylgni milli pixla innan ramma, og þjöppunarhlutfallið er líka meira. Það má sjá að með því að nota fylgni milli pixla (innan ramma) og fylgni milli ramma, það er að finna samsvarandi viðmiðunar pixla eða viðmiðunar ramma sem spáð gildi, er hægt að átta sig á myndþjöppunarkóðun.
2. Umbreyta kóðun
Mikill fjöldi tölfræði sýnir að myndbandsmerkið inniheldur orkufrekustu DC- og lágtíðnihlutina, það er flatan hluta myndarinnar og lítið magn af hátíðnihlutum, það er upplýsingar um mynd. Þess vegna er hægt að nota aðra aðferð við myndkóðun. Eftir að myndin hefur farið í gegnum ákveðna stærðfræðilega umbreytingu fæst myndin í umbreytta léninu (eins og sýnt er á myndinni), þar sem u og v eru hnitatíðni hnitanna.
Umbreyta kóðun
3. Kóðun á bylgjulögun
Kóðun byggð á bylgjulögun notar blokkatengda kóðunaraðferð sem sameinar forspárkóðun og umbreytingarkóðun. Í því skyni að draga úr flókun kóðunar og gera myndkóðunaraðgerðina auðveldari í framkvæmd, þegar blendingarkóðunaraðferðin er notuð, skaltu fyrst deila mynd í blokkir af föstri stærð, svo sem kubb 8 × 8 (það er 8 línur á kubb, 8 pixlar á röð), Block 16 × 16 (16 línur á hverja blokk, 16 pixlar á línu) og svo framvegis, og þjappaðu síðan og kóðaðu kubbinn.
Síðan ITU-T gaf út fyrsta stafræna myndkóðunarstaðalinn-H.261 árið 1989 hefur það gefið út myndkóðunarstaðla í röð eins og H.263 og margmiðlunarstöðvar eins og H.320 og H.323. Sérfræðingahópurinn Moving Picture (MPEG) samkvæmt ISO hefur skilgreint MPEG-1, MPEG-2, MPEG-4 og aðra skemmtun og stafræna sjónvarpsþjöppunarkóða sem kóða alþjóðlega staðla.
Í mars 2003 kynnti ITU-T H.264 vídeókóðunarstaðalinn. Það gerir myndaþjöppun ekki aðeins verulega bætta samanborið við fyrri staðla, heldur hefur hún einnig góða sækni við netið, sérstaklega fyrir IP internet, þráðlaust farsímanet og aðra frammistöðu fyrir vídeósendingar á netinu sem auðvelt er að villa, auðvelt að loka fyrir og ekki auðvelt að tryggja QoS . . Allar þessar myndkóðanir nota blokkatengda tvinnkóðun, sem allar eru kóðun byggðar á bylgjulögun.
4. Kóðun á innihaldi
Það er líka til innihaldskóðunartækni þar sem myndrammanum er fyrst skipt í svæði sem svara til mismunandi hluta og síðan kóðuð. Sérstaklega kóðar það lögun, hreyfingu og áferð mismunandi hluta. Í einfaldasta tilvikinu er tvívítt útlínur notað til að lýsa lögun hlutar, hreyfivigur er notaður til að lýsa hreyfingarástandi hans og áferð er lýst með litabylgjuformi.
Þegar þekktar eru tegundir af hlutum í myndbandsröðinni er hægt að nota þekkingarmiðaða eða líkanstengda kóðun. Til dæmis, fyrir andlit manna, hafa nokkur fyrirfram skilgreind vírramma verið þróuð til að umrita eiginleika andlitsins. Á þessum tíma er skilvirkni kóðunarinnar mjög mikil og aðeins örfáa bita þarf til að lýsa eiginleikum hennar. Fyrir svipbrigði (eins og reið, hamingjusöm o.s.frv.) Er hægt að kóða mögulega hegðun með merkingarfræði. Þar sem fjöldi mögulegra atferla hlutar er mjög lítill er hægt að fá mjög mikla skilvirkni í kóðun.
Kóðunaraðferðin sem tekin er upp af MPEG-4 er bæði kubbablönduð kóðun og innihalds byggð kóðunaraðferð.
5. Mjúk og hörð prjón
Það eru tvær leiðir til að innleiða myndkóðun á Android vettvangi, önnur er mjúk kóðun og hin er hörð kóðun. Fyrir mjúka klippingu reiðir það sig oft á CPU og notar tölvukraft CPU til að framkvæma kóðun. Til dæmis getum við sótt x264 kóðunarsafnið, skrifað viðkomandi jni tengi og síðan sent samsvarandi myndgögn. Eftir vinnslu með x264 bókasafninu er upphaflegu myndinni breytt í myndband á h264 sniði.
Harði kóðinn notar MediaCodec frá Android sjálfum. Til að nota MediaCodec þarftu að senda samsvarandi gögn. Þessi gögn geta verið upplýsingar um yuv mynd eða Surface. Yfirleitt er mælt með yfirborði, sem er skilvirkara. Surface notar beint staðbundin vídeógagnabuffer án þess að kortleggja eða afrita þau til ByteBuffers; þess vegna verður þessi aðferð skilvirkari. Þegar þú notar Surface geturðu venjulega ekki fengið beinan aðgang að upprunalegum myndbandsgögnum en þú getur notað ImageReader bekkinn til að fá aðgang að óáreiðanlegum afkóðuðum (eða upprunalegum) myndramma. Þetta gæti samt verið skilvirkara en að nota ByteBuffers, vegna þess að hægt er að kortleggja sum staðbundin biðminni til að stjórna ByteBuffers. Þegar þú notar ByteBuffer ham geturðu notað Image bekkinn og getInput / OutputImage (int) aðferðir til að fá aðgang að upprunalega vídeó gagnagrindinni.
Athugið: Eftirfarandi grein mun sérstaklega lýsa því hvernig á að framkvæma myndkóðun
Audio erfðaskrá
AudioRecord er hægt að nota í Android til að taka upp hljóð og hljóðið sem tekið er upp er PCM hljóð. Ef þú vilt tjá hljóðið á tölvutungumáli verður þú að stafræna hljóðið. Algengasta leiðin til að stafræna hljóð er með Pulse Code Modulation (PCM). Hljóðið fer í gegnum hljóðnemann og er breytt í röð merkja um spennubreytingar. Leiðin til að umbreyta slíku merki í PCM snið er að nota þrjár breytur til að tákna hljóðið. Þau eru: fjöldi rása, fjöldi sýnatökubita og sýnatöku tíðni.
1. Sýnatökutíðni
Það er, sýnatökutíðni, sem vísar til þess hversu oft hljóðsýni fæst á sekúndu. Því hærri sem sýnatökutíðni er, því betri eru hljóðgæðin og raunsærri hljóðgerðin, en á sama tíma hefur hún meiri fjármagn. Vegna takmarkaðrar upplausnar eyra manna er ekki hægt að greina of háa tíðni. Það eru 22KHz, 44KHz og önnur stig í 16 bita hljóðkortum. Meðal þeirra jafngildir 22KHz hljóðgæðum venjulegs FM-útsendingar og 44KHz jafngildir hljóðgæðum geisladiska. Núverandi algeng sýnatökutíðni fer ekki yfir 48KHz.
2. Fjöldi sýnatökubita
Það er að segja sýnatökugildið eða sýnatökugildið (það er magnstærð sýnataksúrtaksins er magnbundin). Það er viðfang sem notað er til að mæla sveiflu hljóðsins og það má líka segja að það sé upplausn hljóðkortsins. Því stærra sem gildi þess er, því hærri er upplausnin og sterkari hljóðstyrkurinn.
Í tölvunni er fjöldi úrtaksbita almennt 8 bitar og 16 bitar, en athugaðu að 8 bitar þýðir ekki að deila vígslunni í 8 hluta, heldur skipt í 2 til 8. afl, sem er 256 hlutar; það sama á við um 16 bita. Það skiptir vígslunni í 2 til 16. valds 65,536.
3. Fjöldi rása
Það er auðvelt að skilja að til eru einhljóð og stereófónísk. Einhljóð er aðeins hægt að framleiða með einum hátalara (sumir eru einnig unnir í tvo hátalara til að senda frá sér sama rásarhljóð) og hljómtæki pcm getur gert tvo hátalara Bæði hljóð (almennt er verkaskipting milli vinstri og hægri rásar), svo þú finnir fyrir staðbundnum áhrifum meira.
Svo, nú getum við fengið formúluna fyrir getu pcm skjalsins:
Geymslurými = (sýnatökutíðni number️ fjöldi sýnatöku bita ✖️ rás ✖️ tími) ➗ 8 (eining: fjöldi bæti)
Ef hljóðið er allt sent á PCM sniði er upptekin bandbreidd tiltölulega mikil og því þarf að kóða hljóðið áður en það er sent.
Það eru nú þegar nokkur notuð hljóðform, svo sem wav, MIDI, MP3, WMA, AAC, Ogg, osfrv. Í samanburði við pcm sniðið þjappa þessi snið hljóðgögnin, sem geta dregið úr bandbreidd flutningsins.
Hljóðkóðuninni er einnig hægt að skipta í tvær gerðir: mjúk kóðun og harða kóðun. Til að fá mjúka klippingu skaltu hlaða niður samsvarandi kóðasafni, skrifa samsvarandi jni og senda síðan gögnin til kóðunar. Harði kóðinn notar MediaCodec frá Android sjálfum.
Athugið: Eftirfarandi grein mun sérstaklega lýsa því hvernig á að framkvæma hljóðkóðun
6, umbúðir
Myndbandið og hljóðið þurfa að skilgreina samsvarandi snið meðan á flutningsferlinu stendur, svo að hægt sé að þátta það rétt þegar það er sent í gagnstæðan endann.
1. HTTP-FLV
Á tímum Web 2.0 eru vinsælustu tegundir vefsíðna náttúrulega Youtube frá útlöndum, Youku og Tudou vefsíður í Kína. Segja má að myndbandaefnið sem slíkar síður bjóða upp á hafi eigin ágæti, en þeir nota allir Flash sem flutningsaðila fyrir vídeó án undantekninga. Tæknigrundvöllur sem styður þessar myndbandssíður er Flash Video (FLV). FLV er glænýtt straumspilunarmyndbandssnið, sem notar mikið notaða Flash Player vettvang á vefsíðum til að samþætta vídeó í Flash fjör. Með öðrum orðum, svo framarlega sem gestir vefsíðunnar geta horft á Flash-hreyfimyndir geta þeir náttúrulega horft á FLV snið vídeó án þess að þurfa að setja upp viðbótarforrit fyrir vídeó. Notkun FLV myndbanda veitir mikla þægindi við miðlun myndbanda.
HTTP-FLV hylur hljóð- og myndgögn í FLV og sendir þau síðan til viðskiptavinarins í gegnum HTTP samskiptareglur. Sem upphleðsluaðili þarf aðeins að senda myndbandið og hljóðið á FLV-sniði til miðlarans.
Almennt séð nota myndbandið og hljóðið á FLV sniði venjulega h264 sniðið fyrir myndbandið og hljóðið notar venjulega AAC-LC sniðið.
FLV sniðið er fyrst að senda FLV hausupplýsingarnar, senda síðan lýsigögnin með vídeó- og hljóðbreytum (Metadata), senda síðan upplýsingar um vídeó og hljóðbreytur og senda síðan mynd- og hljóðgögnin.
Athugið: Eftirfarandi grein mun lýsa FLV í smáatriðum
2. RTMP
RTMP er skammstöfun fyrir Real Time Messaging Protocol. Samskiptareglan er byggð á TCP og er samskiptareglaþyrping, þar með talin RTMP grunnskipan og RTMPT / RTMPS / RTMPE og mörg önnur afbrigði. RTMP er netsamskiptareglur sem hannaðar eru fyrir gagnasamskipti í rauntíma. Það er aðallega notað til hljóð-, mynd- og gagnasamskipta milli Flash / AIR vettvangsins og streymimiðils / gagnvirks netþjóns sem styður RTMP samskiptareglurnar.
RTMP samskiptareglan er rauntímaskipta samskiptareglur sem Adobe hleypir af stokkunum, sem er aðallega notuð við rauntíma sendingu hljóð- og myndstrauma byggt á flv sniði. Eftir að hafa fengið dulkóðuð mynd- og hljóðgögn er fyrst krafist FLV umbúða og þeim síðan pakkað á rtmp snið og síðan sent.
Til að nota RTMP snið til sendingar þarftu fyrst að tengjast netþjóninum, búa síðan til straum, birta síðan strauminn og senda síðan samsvarandi mynd- og hljóðgögn. Öll sendingin er skilgreind með skilaboðum, rtmp skilgreinir ýmis konar skilaboð og til þess að senda skilaboðin vel er skilaboðunum skipt í blokkir sem gerir alla samskiptareglur flóknari.
Athugið: a síðari greinar munu lýsa RTMP í smáatriðum
Það eru líka til nokkrar aðrar gerðir af samskiptareglum, svo sem RTP osfrv. Almennu lögmálin eru svipuð, svo ég mun ekki útskýra þau eitt af öðru.
7. slæm netvinnsla
Hægt er að senda myndbandið og hljóðið í tíma undir góðu neti án þess að valda uppsöfnun mynd- og hljóðgagna á staðnum, beina útsendingaráhrifin eru slétt og seinkunin lítil. Í slæmu netumhverfi, ef ekki er hægt að senda hljóð- og myndgögn, þurfum við að vinna úr hljóð- og myndgögnum. Að jafnaði eru fjórar vinnsluaðferðir fyrir mynd- og hljóðgögn í lélegu netumhverfi: biðminni hönnun, netgreining, vinnsla rammataps og vinnslu bitahraða.
1. Buffer hönnun
Vídeó- og hljóðgögn eru flutt í biðminnið og sendandinn fær gögnin úr biðminni og sendir þau og myndar þannig ósamstillt framleiðanda og neytendahátt. Framleiðandinn þarf aðeins að ýta söfnuðu og kóðuðu mynd- og hljóðgögnum í biðminnið og neytandinn ber ábyrgð á því að taka gögnin úr biðminni og senda þau.
Vídeó og hljóð biðminni
Aðeins myndramminn er sýndur á myndinni hér að ofan og augljóslega eru samsvarandi hljóðrammar inni. Til að byggja upp ósamstillt framleiðanda og neytendalíkan hefur Java veitt góðan flokk. Þar sem hægt er að vinna úr rammatapi, innsetningu, fjarlægingu osfrv. Er augljóst að LinkedBlockingQueue er mjög góður kostur.
2. Netgreining
Mikilvægt ferli við slæma netvinnslu er netgreining. Þegar netkerfið verður lélegt er hægt að greina það fljótt og vinna það síðan í samræmi við það. Þetta mun gera viðbrögð netsins viðkvæmari og áhrifin verða miklu betri.
Við reiknum gögnin í inntaks biðminni á sekúndu og gögnin send út í rauntíma. Ef gögnin sem send eru út eru minni en gögnin í inntakabuffernum, þá er bandbreidd netsins ekki góð. Á þessum tíma munu gögnin í biðminni halda áfram að aukast. Virkja samsvarandi vélbúnað.
3. Úrvinnsla droparamma
Þegar niðurbrot nets greinist er rammatap gott viðbragðskerfi. Eftir að myndbandið er kóðað eru lykilrammar og rammar sem ekki eru lykill. Lykilramminn er heildarmynd og ramminn sem ekki er lykill lýsir hlutfallslegri breytingu á myndinni.
Rammaniðurfellingarstefnan er hægt að skilgreina út af fyrir sig. Eitt sem þarf að hafa í huga er: ef þú vilt sleppa P rammum (rammar sem ekki eru lykill) þarftu að sleppa öllum rammum sem ekki eru lykill á milli tveggja lykilramma, annars verða mósaík. Hönnun rammatapsstefnunnar er mismunandi eftir þörfum og þú getur hannað hana sjálfur.
4. Lækkunarhlutfall kóða
Í Android, ef hörð kóðun er notuð við kóðun, í lélegu netumhverfi, getum við breytt bitahraða harðkóðunar í rauntíma til að gera beina útsendingu sléttari. Þegar það er uppgötvað að netumhverfið er lélegt getum við einnig dregið úr bitahraða vídeósins og hljóðsins á meðan rammar falla. Þegar Android sdk útgáfan er meiri en eða jafnt og 19 er hægt að senda breytur til MediaCodec til að breyta bitahraða gagnanna frá harða dulmálinu.
Búnt bitahraði = nýtt knippi (); bitrate.putInt (MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, bps * 1024);
mMediaCodec.setParameters (bitahraði);
8. senda
Eftir ýmsa vinnslu þarf að senda gögnin loksins, þetta skref er tiltölulega einfalt. Hvort sem það er HTTP-FLV eða RTMP notum við TCP til að koma á tengingu. Fyrir beina útsendingu þarftu að tengjast netþjóninum í gegnum falsið til að staðfesta hvort þú getir tengst netþjóninum. Eftir tenginguna skaltu nota þetta fals til að senda gögn á netþjóninn og loka falsinu eftir að gögnin eru send.
