Ting 19 Talesøk og gjenfinning av lyd

Lyd er et komplekst område innen informasjonsgjenfinning. Det kan handler om å søke ved hjelp av tekst etter metadata, det kan søkes ved hjelp av tale og det kan søkes ved hjelp av lyd for å gjenkjenne et lydspor. Ting 19 handler om lyd og gjenfinning.

Vi søker etter lydfiler eller lydspor når vi:

• er på jakt etter musikk for underholdning
• vil finne ut mer om artisten
• vil finne ut hvordan vi får tak i dette lydsporet
• vil finne ut om vi kan bruke lydsporet (enten privat eller profesjonelt, for eksempel i reklame)
• vil finne en god podkast eller innslag i et radioprogram
• er på jakt etter en tale

Og andre elementer vi søker gjennom metadataene til lydfilene.

I tillegg er det nå mange muligheter til å søk ved hjelp av lyd. Det kan være søk ved hjelp av musikk for å kjenne igjen det aktuelle lydsporet, for eksempel i appen Shazam. Søkemotoren Midomi har som ambisjon at den skal gjenkjenne musikk som nynnes.

Talesøk er en måte å søke etter informasjon på ved bruk av stemmen. Denne kommunikasjonen mellom mennesker og datamaskiner kalles taleteknologi  Denne måten å søke på har utfordringer som å forstå menneskets naturlige språk og hva som menes med det som sies, men kan samtidig være nyttig ved at informasjon blir mer tilgjengelig for mennesker som har vansker med å håndtere tastatur eller andre utfordringer.

Stemmestyrte assistenter

Stemmestyrte assistenter er fysiske enheter som utfører oppgaver ved hjelp av talekommandoer. De har små innebygde høyttalere som registrerer kommandoene og gir verbale tilbakemeldinger. Kommandoene kan gå ut på å finne informasjon på internett, spille musikk, sjekke værmeldingen og huske avtaler. Stemmestyrte assistenter legger til rette for å søke, og man får kjapp tilgang til svar, men ingen mulighet til å vurdere ulike svaralternativ. De mest vanlige assistentene:

• Google Assistent ble lansert på norsk høsten 2018, og akkurat nå er denne en av de mest brukte. For hvert produkt får du forskjellige muligheter, og du styrer dem fra telefonen eller med Home-høyttalerne fra Google som har assistenten innebygd.
• Alexa er navnet på Amazons digitale assistent. Den finnes i Amazons høytaler, Echo, og i høytalere fra en rekke andre produkter, for eksempel Sonos. Alexa kan svare på mye, men må alltid tiltales ved “Alexa,…..” deretter spørsmålet. Den gir blant annet muligheten til å søke konkret på ulike emner og du vil få oppgitt hvor informasjonen er hentet fra. *I enkelte tilfeller må enheten tilpasses husstanden ved hjelp av apper. *
• Apple var blant de første som lanserte en stemmestyrt assistent. Hun heter Siri og har lenge vært en fast del av telefoner og nettbrett fra Apple.

Amazon har åpnet for at hvem som helst kan lage egne utvidelser til Alexa, eller da «skills» (ferdigheter) som de har valgt å kalle det. Her er utvalget større enn hos Google, selv om sistnevnte også begynner å komme seg.

• Prøv ut søkemotoren Audiosparx som søker i store mengder musikk og lydfiler.
• Gå inn på Soundscape og lytt til lydbilder fra der du befinner deg.
• Les om Nasjonalbibliotekets kunstige intelligens «Nancy» som transkriberer tekst basert på lydfil.
• Les mer om utvikling av talegjenkjenning og bruk av maskinlæring fra 2006 til 2019.
• Musikk er også underlagt opphavsrettslovgivning, men det finnes nettsider med oversikt over musikk som er uten binding. Animaker har laget en oversikt over gode nettsteder for royalty-free musikk og lyd.

• Les om bekymring for personvernet ved bruk av stemmeassistert tale. Siden de alltid er «på» og aktiveres ved at vi snakker til de med bestemte ord, hvordan kan vi da vite om våre stemmedata er beskyttet?
• Microsoft jobber med tre retninger innenfor dette område: å ekstrahere ikke-verbale signaler fra tale, forstå lyden ved å gjenkjenne bakgrunn og andre elementer og lydsøk.
• I hvilke sammenhenger kan bibliotekansatte få i oppgave å lete etter lyd? Og hvordan kan talestyrte assistenter være til nytte på bibliotekene?
• Center for the Future of Libraries har en lengre artikkel om talestyrte søk. Les mer om hvordan tjenesten er i utvikling og ikke minst hvordan den utvikler brukerne. Spesielt interessant er dette med tilvenningen av kjapp tilgang til svar, uten mulighet til å vurdere ulike alternativ.

American Library Association (2017, 25 juli). Voice Control. http://www.ala.org/tools/future/trends/voicecontrol

Carlsen, H. (2019, 31. juli). Hevder Apples Siri fanger opp private samtaler og folk som har sex. https://www.nrk.no/urix/hevder-apples-siri-fanger-opp-private-samtaler-og-folk-som-har-sex-1.14642517

Microsoft (u.å.). Audio analytics. Hentet 4.desember 2019 fra https://www.microsoft.com/en-us/research/project/audio-analytics/

Nassif, A. B., Shahin, I., Attili, I., Azzeh, M., & Shaalan, K. (2019). Speech recognition using deep neural networks: A systematic review. IEEE Access, 7, 19143-19165. https://doi.org/10.1109/ACCESS.2019.2896880

Tono. (u.å.). Opphavsrett. Hentet 22. januar 2020 fra https://www.tono.no/opphavsrett/

Peltarion (u.å.) Predicting mood from raw audio data: How to solve a multi-label classification problem. Hentet 22. januar 2020 fra https://peltarion.com/knowledge-center/tutorials/predicting-mood-from-raw-audio-data

Rossen, E. (2019, 18. mars). taleteknologi. I Store norske leksikon. https://snl.no/taleteknologi

Talesøk (2019, 24. november). I Wikipedia. https://no.wikipedia.org/wiki/Tales%C3%B8k

Time, J.K. (2018, 6. desember). Si hei til Nancy, Nasjonalbibliotekets kunstige intelligens. Morgenbladet. https://morgenbladet.no/aktuelt/2018/12/si-hei-til-nancy-nasjonalbibliotekets-kunstige-intelligens