Inside the mind of Watson - Chris Welty - IBM Research
Alussa CH esittelee tiimiä, joka työskenteli projektin Watsonin kanssa parissa. Watson on tietokone, joka vastasi kysymyksiin algoritmien avulla. Tärkeintä koneessa oli : vastaukset itsessään ja päättää todennäköisyys vastauksien oikeellisuuteen. Kone pystyi vastaamaan Natural Language Questions. (Mikä on Watson: http://www-05.ibm.com/innovation/fi/ideasfromibm/library/watson/)
Esimerkkinä: The Jeopardy! Challenge / vaikea ihmisille, vaikea ihmisille.Jeopardy on jenkkitietovisa, jossa pitää tietää kysymys vastauksen perusteella. Ihmiset, jotka pelaavat ovat hyviä, mutta tietokone ei pysty samaan, koska sen pitää verrata niin monta tietoa ennen kuin pystyy antamaan vastauksen. (tutustu peliin: http://www.jeopardy.com/) Yhteistä näillä on laaja ja avoin toimialue, vaikea kieli, korkea päättelykyky, oikea vastaus (väärästä vastauksesta kärsii pisteet), nopea tahti. Watsonin kanssa kilpeiltiin ihmisten kanssa, jotka ovat parhaiten pärjänneet jeopardyssa.
WATSONIN TEKNOLOGIA JA LOGIIKKA
Vuonna 2007 päästiin eteenpäin siinä, miten kone pystyi vastaamaan Jeopardy!-tyyppisiin kysymyksiin.
- Uuden ohjelma paradigmi kehitteillä - Tekee keskeneräisiä tuloksia ja vastauksia.
- Tieto ei ole määränpää - vaan vaihtoehdot.
- Tietokoneen älykkyys ei ole ihmisen älykkyyttä - Ero tulee siinä, miten paljon virheitä tulee
Watson toimii, jniin, että Watsonilta kysytään kysymys, se alkaa käsitellä kysymystä ja saa paljon dokumentteja hakujen perusteella ja käsittelee ja löytää vaihtoehtoisia vastauksia, 99 % vastauksista näyttää typeriltä, joten se etsii kaikki mahdolliset ja ei-oikeat vastaukset. Se ottaa suuren määrän kandidaattivastauksia ja käy läpi niitä ennen vastauksen antamista.
Ensin on kysymys - >kysymysanalyysi: se käy läpi (keynotes) hakusanat, sanastollisuuden, päivämäärä, paikka ja relaatiot= voi tulla monta erilaista vaihtoehtoa (200-1000 XXX) Jokainen vastaus saa mahdollisuusnumeron, ja korkeimman saanut on koneen mielestä oikea vastaus. Monien eri hakusanojen kautta löytyy vastaus, koska se vertaa monet tekijät keskenään. Joskus voi löytyy samoja lauseita ja lausahduksia, jotka on annettu koneelle, ja kone löytää jotkut, jotka voivat olla lähellä, mutta kone ei koskaan voi kokonaan ymmärtää! Jokainen vastaus saa vektoripisteen jokaisesta ulottuvuusesta ja lopullinen vertailu antaa suurimman mahdollisuuden oikeaan vastaukseen. Esim. Watson sanoo, on 94 % varmuudella oikeassa, mutta se tarkoitaa sitä, että 6 kertaa kymmenestä se on väärässä.
Hypothesis scoring - kuinka hyvin vastaus sopii kysymykseen. Yli kuin 100 hypoteettista vastausmahdollisuutta - yksikään tulos ei ole vastaus itsessään, monet niistä tkeee samanlaista työtä, esim. 12 kirjoitusvaihtoehtoa, 8 riviä, 18 ei-oikeakirjoituksellista komponenttia jne..
Language - > knowledge, siinä on iso gap välissä, eikä sitä voi kuroa yhteen. Semanttinen teknologia, ei ole se, mikä on vialla, vaan tuloksen olettaminen on väärin. Miten tietokone voisi puhua natural languagea, eli luonnollista kieltä, ei koodia. Hypoteesi on mahdoton.Lopulta Watson päihitti parhaan Jeopardyn pelaajaan lopulta. Vaikka Watson antaa välillä ihmisen mielestä tyhmiä vastauksia, mutta silti se voitti.
Kilpailutilanne Watsonin kanssa (linkki kuvan lähteeseen)
Watson (linkki kuvan lähteeseen)
precision vs. confidence