Puheanalyysi

Puheanalyysin taajuussuureitten muunnoskaavoja

• Hertsit Barkkeina: ${\displaystyle 7\ln[f/650+{\sqrt {(1+(f/650)^{2})}}]}$, f on taajuuden arvo hertseinä.
• Barkit hertseinä: ${\displaystyle 650\sinh(x/7)}$, x on taajuuden arvo Barkkeina.
• Hertsit ERB:einä: ${\displaystyle 21,3\log _{10}(1+f/228,7)}$, f on taajuuden arvo hertseinä.
• ERB:it hertseinä: ${\displaystyle 228,7({10^{x/21,3}-1})}$, x on taajuuden arvo ERB:einä.
• Hertsit meleinä: ${\displaystyle 2595\log _{10}(1+f/700)}$, f on taajuuden arvo hertseinä.
• Melit hertseinä: ${\displaystyle 700({10^{x/2595}-1})}$, x on taajuuden arvo meleinä.
• Hertsit puolisävelinä: ${\displaystyle Y+12\log _{2}(f/440)}$, f on taajuuden arvo hertseinä, ${\displaystyle Y}$ vastaa 440 hertsin puolisävelarvoa. Esim. 880 hertsin st-arvo on ${\displaystyle Y+12}$ ja 220 hertsin st-arvo on ${\displaystyle Y-12}$. Eli taajuuden hertseinä kaksinkertaistuessa puolisävelet lisääntyvät määrällä 12 ja taajuuden hertseinä puolittuessa puolisävelet vähenevät määrällä 12. Puolisävel-asteikko on tasavälinen asteikko.
• Puolisävelet hertseinä: ${\displaystyle 440({2^{(st-Y)/12}})}$, st on taajuuden arvo puolisävelinä, ${\displaystyle Y}$ vastaa 440 hertsin puolisävelarvoa.

Puheanalyysin laskentakaavoja

• Jos ${\displaystyle x_{a}}$ on mikrofonin jännitesignaali, niin ${\displaystyle x_{a}}$(nT) = k${\displaystyle P_{a}}$(nT), jossa ${\displaystyle P_{a}}$ on paine, k on vakiokerroin, T on näytevälin pituus.
• Amplitudiverhokäyrä: ${\displaystyle 10\log _{10}[x(n)^{2}],n=0...N-1}$, x(n) on signaalinäytteen arvo hetkellä n.
• ${\displaystyle Amplitudi_{dB}}$: ${\displaystyle 10\log _{10}[max(n)^{2}]}$, max(n) on ilmaistavan signaalin maksimiarvo hetkellä n.
• Tavallinen ${\displaystyle SPL_{dB}}$: ${\displaystyle 10\log _{10}[(\sum _{n=0}^{N-1}x(n)^{2})/N]}$, x(n) on signaalinäyte hetkellä n.
• Äänekkyys N soneina: ${\displaystyle N=2^{(L_{N}-40)/10}}$, ${\displaystyle L_{N}}$ on äänekkyystaso foneina.

Puheanalyysin teoriakaavoja ja teoriakuvauksia

• Digitaalisen signaalinkäsittelyn kompleksinen perusteoria perustuu osaltaan z-muunnoksen ja sen käänteismuunnoksen olemassaoloon ja käyttöön. ${\displaystyle X(z)=\sum _{n=-\infty }^{\infty }{x(n)z^{-n}}}$. ${\displaystyle x(n)=\oint _{C}{X(z)z^{n-1}dz}}$. x(n) on signaalinäyte, z on kompleksinen muuttuja.

• Digitaalisen signaalinkäsittelyn kompleksinen perusteoria perustuu myös osaltaan diskreetin Fourier-muunnoksen DFT:n ja sen käänteismuunnoksen IDFT:n olemassaoloon ja käyttöön. ${\displaystyle X(k)=\sum _{n=0}^{N-1}{x(n)W_{N}^{kn}}}$, ${\displaystyle 0\leqslant k\leqslant N-1}$, muulloin ${\displaystyle X(k)=0}$. ${\displaystyle x(n)={\frac {1}{N}}\sum _{n=0}^{N-1}{X(k)W_{N}^{-kn}}}$, ${\displaystyle 0\leqslant n\leqslant N-1}$, muulloin ${\displaystyle x(n)=0}$. ${\displaystyle W_{N}=e^{-i(2\pi /N)}}$, N on signaalin x(n) näytteiden määrä.

• DFT tehollisessa muodossa: ${\displaystyle |X(k)|^{2},k=0...N/2-1=|\sum _{n=0}^{N-1}{w(n)x(n)e^{-i(2\pi /N)kn}}|^{2}}$, x(n) on signaalinäyte hetkellä n, w(n) on painotusikkuna, k on spektrikanavan/spektripisteen kohta. Spektrissä kanavien määrä N/2 on aina puolet signaalipisteiden määrästä N. Jos painotusikkunan leveys on signaalipisteitten määrää N pienempi asetetaan painotusikkunan molempiin päihin nollia niin paljon, että signaalin pituus ja painotusikkunan leveys saadaan käytännössä samaksi. Kaava lasketaan nopeaa Fourier-laskentahajotelmaa FFT käyttäen.

• Hamming-painotusikkuna ${\displaystyle w(n)=0.54-0.46cos(2\pi n/(N-1))}$.

• Blackman-Harris-painotusikkuna ${\displaystyle w(n)=0.35875-0.48829cos(2\pi n/(N-1))+0.14128cos(4\pi n/(N-1))-0.01168cos(6\pi n/(N-1))}$.

• DFT dB-muodossa: ${\displaystyle |X(k)|_{dB}=10\log _{10}|X(k)|^{2},k=0...N/2-1}$.

• LTAS tuotetaan laskemalla keskiarvo tehollisessa muodossa ${\displaystyle |X(k)|^{2}}$ olevista DFT:eistä ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon ${\displaystyle |X(k)|_{dB}}$.

• Usean LTAS-spektrin keskiarvo lasketaan tehollisessa muodossa olevien LTAS-spektrien keskiarvona ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon.

• Puheanalyysiin käyttökelpoinen kepstri syntyy laskemalla dB-muodossa ${\displaystyle |X(k)|_{dB}}$ olevasta DFT:stä uusi DFT ${\displaystyle |X(k)|}$.

• Äänen äänekkyystaso foneina on yhtä suuri kuin yhtä äänekkäältä tuntuva 1kHz:n ääneksen äänenpainetaso desibeleinä. Äänekkyys on kuuntelijan subjektiivinen vaikutelma äänen voimakkuudesta. Sen yksikkö on soni. Soni-asteikko on laadittu niin, että soni-määrän kaksinkertaistuminen vastaa myös äänekkyyden kaksinkertaistumista.

FFT-spektri

Ihmisäänen FFT-spektri dB-asteikolla tuotetaan yllä olevia DFT:n kaavoja käyttäen. FFT-spektri käytännössä lasketaan nopeaa Fourier-muunnoshajotelmaa FFT:tä käyttäen. Vaihtoehtoja nopeaksi Fourier-muunnoshajotelmaksi on monta.

Kepstri

Puheanalyysissä kepstri saadaan aikaan seuraavasti. Otetaan ensin Fourier-muunnos äänisignaalista. Näin saadaan uusi signaali seuraavaa Fourier-muunnosta varten. Seuraava Fourier-muunnos laskee uudesta signaalista uuden Fourier-käyrän. Fourier-käyrän voimakkain huippu kuvaa alkuperäisen äänisignaalin perustaajuutta ja huipun avulla voidaan määrittää äänen perustaajuus. Kepstrihuipun avulla perustaajuuden määritys on tarkempi kuin ensimmäisen Fourier-muunnoksen ensimmäisestä harmoonisesta mitattu perustaajuus.

Puheanalyysiin käyttökelpoinen kepstri tuotetaan dB-muodossa olevasta DFT:stä laskemalla siitä uusi DFT.

Minkä tahansa ajassa muuttuvan signaalin perustaajuus on määrättävissä kepstrin avulla.

LPC-spektri

LPC-spektrin tuottamiseen on käytettävissä monta erilaista LPC-laskentamenetelmää. Kun LPC halutaan tulostaa myös FFT-spektrin taustakuvana on PARCOR-menetelmä käytännössä kaikkein toimivampia ja mahdollisimman kaunista kuvaesitystä tuottavaa. LPC-spektri esitetään dB-asteikolla. LPC-spektristä formantit F1, F2, F3 ja F4 voidaan tunnistaa suodattamalla LPC-spektriä sopivalla kaistanpäästösuodatuksella, jolloin vain formanttien kohdalle muodostuu kumpuja.

• 
  FFT- ja LPC-spektrit pitkästä a-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä e-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä i-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä o-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä u-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä y-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä ä-vokaalista.
• 
  FFT- ja LPC-spektrit pitkästä ö-vokaalista.

LTAS-spektri

Ihmisäänen LTAS-spektri tuotetaan laskemalla keskiarvo tehollisessa muodossa olevista DFT:stä ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon.

LTAS-spektrien keskiarvospektri

Usean ihmisäänen LTAS-spektrien keskiarvospektri lasketaan tehollisessa muodossa olevien LTAS-spektrien keskiarvona ja lopuksi tehollinen keskiarvo muutetaan dB-muotoon.

FFT-, kepstri-, LPC-spektrisarjat

FFT-, kepstri-, LPC-spektrisarjat tuotetaan laskemalla muutaman kymmenen millisekunnin välein liukuvasti spektrejä ja sisällyttämällä analyysikuvaan myös aika-akseli.

FFT-spektrogrammi

FFT-spektrogrammi tuotetaan laskemalla muutaman millisekunnin välein liukuvasti FFT-spektrejä dB-asteikolla ja muuttamalla kunkin spektrin kanavien voimakkuudet harmaansävyiksi analyysikuvaan.

LPC-spektrogrammi

LPC-spektrogrammi tuotetaan laskemalla muutaman millisekunnin välein liukuvasti LPC-spektrejä dB-asteikolla ja ilmaisemalla sen jälkeen kaistanpäästösuodatuksella spektreistä neljä ensimmäistä formanttitaajuutta ja tulostaen ilmaistut formantit harmaansävyinä analyysikuvaan.

Perustaajuusanalyysi (äänenkorkeusanalyysi)

Puheen perustaajuusanalyysin algoritmi perustuu joko aikatasossa tapahtuvaan tai taajuustasossa tapahtuvaan ilmaisuun. Jotkut aikatasossa tapahtuvista ilmaisuista poikkeavat taajuustasossa tapahtuvista ilmaisuista ensisijaisesti siinä, että aikatasossa on mahdollista ilmaista ja numeroida yksitellen jokainen puheen perusjakso. Taajuustasoilmaisussa puheen perustaajuus havaitaan tiettynä ajanhetkenä liukuvan aikaikkunan sisällä. Jokaisen perusjakson yksitellen ilmaisevaa algoritmia tarvitaan myös tarkan F0-jakauman luontiin ja siitä tehtävien tarkkojen tilastosuureitten luontiin. Jos F0-jakauman laskennassa on mukana muutakin kuin pelkästään kaikkien todelliset perusjaksojen taajuudet on tilastosuure epätarkka. Aikatason ilmaisuista voidaan mainita kaistanpäästöesisuodatukseen & suoraan säännöillä signaalista tapahtuvaan ilmaisuun perustuvat menetelmät ja autokorrelaatioon perustuvat menetelmät. Taajuustasossa tapahtuvista ilmaisuista voidaan mainita kaksinkertaiseen DFT:hen eli kepstriin perustuvat menetelmät. Kepstriin perustuvat F0-analyysit toimivat vaikka signaalin perustaajuuskomponentti puuttuisikin. Aikataso- ja taajuustasoilmaisuissa voidaan esisuodatuksena käyttää kaistanpäästösuodatusta sekä käänteissuodatusta, jotka pyrkivät yksinkertaistamaan analysoitavaa puhesignaalia.

Jitter ja shimmer

Jitter ja shimmer kuvaavat puheen perusjaksojen taajuuden ja amplitudin muutoksia perusjaksosta toiseen. Algoritmi perustuu aikatasossa tapahtuvaan perustaajuusilmaisuun, joka ilmaisee ja numeroi yksitellen jokaisen puheen perusjakson, sen perustaajuuden ja maksimiamplitudin. Jitter lasketaan ${\displaystyle Hz}$-asteikolla ja shimmer ${\displaystyle amplitudi_{db}}$-asteikolla.

Äänikenttä

Äänikenttä tuotetaan aikatasossa tapahtuvalla perustaajuusanalyysillä (äänenkorkeusanalyysillä), joka ilmaisee ja numeroi yksitellen jokaisen puheen perusjakson, sen perustaajuuden (äänenkorkeuden) ja maksimiamplitudin. Äänikenttäkuvassa ${\displaystyle amplitudi_{db}}$-asteikko on pystysuunnassa ja ${\displaystyle st}$-asteikko tai ${\displaystyle Hz}$-asteikko vaakasuunnassa. Kuvaan tulostetaan myös molempien suureitten jakaumat.

• 
  Puheäänikenttä.
• 
  Puheen fonetogrammi.

Formanttikartta

Formanttikartta on kaksiulotteinen kuva puheen vokaalien formanttitaajuuksien mittaustuloksista taajuusasteikolla, joissa taajuussuureena on yleensä Hz, Bark tai ERB. Taajuusasteikot tekevät kuvassa tarvittaessa taajuusmuunnoksia. Historiallisesti formanttikarttoja tehtiin aluksi Hz-asteikolla. Auditorisen ajattelun mukaan tullessa asteikoksi tuli myös Bark-asteikko. Vähän myöhemmin ERB-asteikko. Bark-asteikkoa käytettäessä formanttikarttaan tulee lisäpiirteenä pisteitten merkitseminen 1 Bark:in kokoisina ympyröinä, jolloin ajatuksena on, että kun vokaalien ympyrät eivät mene kartassa päällekkäin niin ne ovat toisistaan hyvin erottuvia. Jos taas menevät päällekkäin saattaa siitä seurata, että vokaalit eivät erotu hyvin toisistaan. Näin vokaalien erotettavuutta toisistaan voidaan eksaktisti ja havainnollisesti mitata formanttikarttakuvan avulla.

• 
  Bark-asteikkoinen F1/F2-formanttikartta.
• 
  ERB-asteikkoinen F1/F2-formanttikartta.
• 
  Bark-asteikkoinen F1/F2-formanttikartta.
• 
  ERB-asteikkoinen F1/F2-formanttikartta.

Auditorisen ja auditiivisen ero

Auditorinen viittaa kuuloelimiin liittyvään asiaan ja auditiivinen viittaa ulkoiseen kuuloon liittyvään asiaan.

Auditorinen spektri

Auditorinen spektri eli Auditory Spectrum on Otaniemessä Akustiikan laboratoriossa 1982–1983 kehitettyyn Bark-asteikkoiseen tekniseen kuulon malliin ja suodinpankkilaskentaan perustuva spektriesitys kuvaamaan ihmisääntä kuuloalueella 20–10 000 Hz. Auditorinen spektri tuotetaan suodattamalla auditorisella kaistanpäästösuodinpankilla ääntä muutaman kymmenen millisekunnin ajan ja laskemalla lopussa äänikomponenttien voimakkuudet kriittisen kaistan eli 1 Bark:in levyisistä taajuuskaistoista 1/2 Bark:in välein ja tuottamalla siitä 48 arvoa sisältävä spektri. Kehitettyä auditorista spektriä tutkittiin ja sovellettiin professori Matti A. Karjalaisen ja DI Raimo Olavi Toivosen toimesta akateemisesti Akustiikan laboratoriossa Suomen Akatemian Modelling of Auditory and Speech Communication -tutkimushankkeessa 1982–1986 .

• 
  Auditorinen spektrisarja sanasta "ui" Teknillisen korkeakoulun Akustiikan laboratorion 48-kanavaisella Bark-asteikkoisella kuulon mallin mukaisella suodinpankilla (1983)

Auditorinen suodinpankki

Auditorinen suodinpankki eli Auditory Filter Bank poikkeaa muista auditorisista kuulonmalleista siinä, että se sisältää taajuuspeiton lisäksi myös aikatason esi- ja jälkipeiton. Puheentunnistuksessa ja puhujantunnistuksessa käytetyt auditoriset mallit eivät sisällä puheanalyysissä tärkeää aikatason esi- ja jälkipeittoa ja ovat siksi epätarkempia kuulonmalleja eivätkä siksi niin hyvin sovellu ihmispuheen ominaisuuksien tutkimiseen eri tieteen aloilla. Kehitettyä auditorista suodinpankkia tutkittiin ja sovellettiin professori Matti A. Karjalaisen ja DI Raimo Olavi Toivosen toimesta akateemisesti Akustiikan laboratoriossa Suomen Akatemian Modelling of Auditory and Speech Communication -tutkimushankkeessa 1982–1986 .

Auditorinen spektrisarja

Auditorinen spektrisarja eli Auditory Waterfall tuotetaan laskemalla auditorisella kaistanpäästösuodinpankilla muutaman kymmenen millisekunnin välein liukuvasti auditorisia spektrejä. Kehitettyä auditorista spektrisarjaesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditorinen spektrogrammi

Auditorinen spektrogrammi eli Auditory Spectrogram tuotetaan kaistanpäästösuodattamalla auditorisen spektrisarjan kukin spektri Bark-asteikolla niin, että saadaan aikaan spektriesitys, jossa näkyy vain löydetyt ihmisäänen auditoriset formanttitaajuudet harmaansävyinä. Kehitettyä spektrogrammiesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Äänekkyyden ja äänekkyystason ero

Äänekkyyden yksikkö on soni ja äänekkyystason yksikkö on foni.

Auditorinen äänekkyysspektri

Auditorinen äänekkyysspektri eli Auditory Loudness Spectrum tuotetaan auditorisesta spektristä muuntamalla kunkin kriittisen kaistan eli Bark-kaistan arvo soneiksi ja tuottamalla näin uusi spektriesitys. Kehitettyä spektriesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditorinen kokonaisäänekkyys

Auditorinen kokonaisäänekkyys eli Auditory Loudness tuotetaan summaamalla äänekkyysspektrissä kaikki kriittisten kaistojen 24 soni-arvoa. Kehitettyä äänekkyysesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditorinen äänekkyyskäyrä

Auditorinen äänekkyyskäyrä eli Auditory Loudness Curve tuotetaan laskemalla kokonaisäänekkyysarvoja tasa-aikavälein ja tuottamalla siitä käyräesitys aika-asteikolla. Kehitettyä käyräesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditorinen äänekkyysmuutoskäyrä

Auditorinen äänekkyysmuutoskäyrä eli Auditory Chance in Loudness Curve tuotetaan suodattamalla/derivoimalla äänekkyyskäyrää niin, että saadaan aikaan käyrä, jossa näkyy kumpuina vain muutoskohdat. Kehitettyä käyräesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditorinen sointispektri

Auditorinen sointispektri tuotetaan auditorisesta spektristä ilmaisemalla jokaisesta kriittisen kaistan eli 1 Bark:in levyisestä äänikaistasta kepstrissä näkyvä perustaajuuspiikin (äänenkorkeuspiikin) voimakkuus ja laskemalla nämä 1/2 Bark:in välein 24 Bark:in taajuusalueelta. Näin saatu uusi spektri kuvaa miten vahvasti perustaajuus (äänenkorkeus) ja äänen harmoonisuus näkyvät 24 Bark:in levyisellä taajuusalueella. Tämä menetelmä toimii vaikka äänen FFT-spektristä puuttuisi perustaajuuskomponentti. Kehitettyä spektriesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditoriset usean samanaikaisen äänen sointispektrit

Auditoriset usean samanaikaisen äänen sointispektrit voidaan auditorisen sointispektrin laskennalla erottaa tosistaan seuraamalla usean samanaikaisen äänen perustaajuutta (äänenkorkeutta) kepstrillä ja ilmaisemalla kunkin perustaajuuspiikin (äänenkorkeuspiikin) voimakkuus. Näin saadut uudet spektrit kuvaavat miten vahvasti perustaajuus (äänenkorkeus) ja äänen harmoonisuus näkyvät 24 Bark:in levyisellä taajuusalueella kun kyseessä on useita samanaikaisia eri perustaajuisia ääniä. Tämä menetelmä toimii vaikka äänten FFT-spektreistä puuttuisi perustaajuuskomponentti. Kehitettyä spektriesitystä tutkittiin ja sovellettiin em. tutkimushankkeessa.

Auditorinen usean samanaikaisen perustaajuuden (äänenkorkeuden) ilmaisu

Auditorinen usean samanaikaisen perustaajuuden (äänenkorkeuden) ilmaisu tuotetaan auditorisen usean samanaikaisen äänen sointispektrin laskennalla erottamalla ilmaistut eri perustaajuudet omiksi F0-käyrikseen. Tämä menetelmä toimii vaikka äänen FFT-spektreistä puuttuisi perustaajuuskomponentti.