Mitä assosiatiivinen oppiminen voi tehdä suunnittelussa?

Esittely

Maailman hämmästykseksi tekoälytutkimuksessa käytetyt assosiatiivisen oppimisen mallit saavuttavat nykyään ihmisen tasoisia taitoja videopeleissä ja päihittävät ihmismestarit kiinalaisissa lautapeleissä Go , shakki ja shogi . Huolimatta siitä, että tekoälytutkimuksessa tunnustetaan assosiatiivisen oppimisen tuottavan ihmisen kaltaista käyttäytymistä, assosiatiivista oppimista ei usein joko mainita (esim. ) tai sitä pidetään epätoivottuna tai liian kehittymättömänä (esim. ) selittämään muiden kuin ihmiseläinten joustavaa käyttäytymistä. On kiehtova paradoksi, että assosiatiivinen oppiminen tunnustetaan tekoälytutkimuksessa monimutkaisen joustavan käyttäytymisen tuottajaksi, mutta se jätetään usein huomiotta ja laiminlyödään biologisten järjestelmien (sekä ihmisten että muiden kuin ihmiseläinten) joustavan käyttäytymisen mallina.

Voidaanko käyttäytymissekvenssien kehittymistä muissa kuin ihmiseläimissä ymmärtää assosiatiivisen oppimisen avulla vai ei, sillä on kauaskantoisia seurauksia ymmärryksellemme käyttäytymisen tutkimisesta. Jos kehittyneeksi tai monimutkaiseksi koettu käyttäytyminen, kuten simpanssin (Pan troglodytes) työkalujen käyttö, voi kehittyä assosiatiivisten prosessien kautta, lajieroja voidaan etsiä käyttäytymisrepertuaarien geneettisten erojen, uteliaisuuden kaltaisten tutkimushalujen sekä motivaatio- ja tarkkaavaisuustekijöiden perusteella. Jos assosiatiiviset prosessit eivät riitä selittämään, miten tietoa käsitellään ja muistoja päivitetään käyttäytymisen synnyttämiseksi, on löydettävä vaihtoehtoisia mekanismeja, jotta voimme ymmärtää, miten tällainen käyttäytyminen kehittyy. Nykyään tutkijoilla on hyvin vastakkaisia näkemyksiä tästä asiasta. Toisaalta jotkut katsovat, että assosiatiiviset prosessit yhdessä käyttäytymisrepertuaarin koon ja eksploraation kaltaisten tekijöiden kanssa ovat voimakkaita ja voivat selittää suuren osan siitä, miten eläimet omaksuvat käyttäytymistä (esim. ). Toiset taas korostavat vaihtoehtoisia mekanismeja ja ehdottavat, että eläimillä on monia erilaisia mekanismeja, jotka ratkaisevat erilaisia erityisongelmia ja että nämä mekanismit ovat evoluution hienosäätämiä (esim. ). Kaikki tutkimukset eivät kuulu näihin kahteen kategoriaan, ja joissakin tutkimuksissa testataan vaihtoehtoisia selityksiä ja kontrolloidaan assosiatiivista oppimista. On kuitenkin yleistä, että tällaisissa tutkimuksissa oletetaan vain yksinkertaisimmat assosiatiivisen oppimisen muodot. Tämä johtaa todennäköisesti assosiatiivisen oppimisen hypoteesien väärään hylkäämiseen. Tämä johtuu siitä, että useimmat selkärankaiset ja selkärangattomat eläimet kykenevät sekä instrumentaaliseen että Pavlovin oppimiseen , jotka yhdessä erikoistuneiden muistien kanssa tekevät useimmista eläimistä kykeneviä monimutkaisempaan oppimiseen kuin mitä assosiatiivisen oppimisen yksinkertaisimmat muodot mahdollistavat.

Tässä tutkimuksessa pyrittiin selvittämään, voisiko tekoälytutkimuksessa käytetyn vahvistusoppimisen kaltainen oppimismalli auttaa ymmärtämään suunnittelukäyttäytymisen hankkimista korvideilla ja ihmisapinoilla, jotka ovat käyttäytymismuotoja, jotka toisinaan koetaan monimutkaisiksi ja ihmisen kaltaisiksi. On todettu, että useat lajit suunnittelevat joustavasti tulevaisuutta, toisin kuin ihmiset (esim. ). Ajatuksena on, että tällainen suunnittelu on tulosta joustavasta mentaalisesta mekanismista, joka voi simuloida mentaalisesti erilaisia tulevia tiloja nykyisten tietojen perusteella. Nämä väitteet on kuitenkin kyseenalaistettu ainakin kahden eri väitelinjan perusteella. Ensinnäkin tutkijat ovat esittäneet epäilyjä lintujen yleisestä kyvystä suunnitella, koska linnuilla tehdyissä suunnittelututkimuksissa on tyypillisesti mukana kätköilyyn erikoistuneita lintuja, jotka suorittavat kätköilytehtäviä, kuten pensastaskujen (Aphelocoma californica), räkättirastasien (Garrulus glandarius) ja mustakurkku-uikkujen (Poecile atricapillus) . Nämä tulokset voivat johtua erikoistuneesta muistirepertuaarista (ks. ). Toinen syy hylätä ajatus siitä, että muut kuin ihmiseläimet suunnittelevat joustavasti, on se, että havaittu käyttäytyminen ei johtunut ihmisen kaltaisesta suunnittelusta, vaan se ymmärretään parhaiten assosiatiivisen oppimisen tuloksina, ja että metodologiset puutteet tekevät näistä tutkimuksista epäselviä .

Miksi assosiatiivisen oppimisen malli olisi hyödyllinen tulevaisuuteen suuntautuneen käyttäytymisen ymmärtämiseksi? Assosiatiivinen oppiminen on tunnettu siitä, että se aiheuttaa ennakoivaa käyttäytymistä, käyttäytymistä, joka voi ennustaa myöhempiä merkityksellisiä tapahtumia ilman välitöntä hyötyä . Lisäksi itsekontrolli, joka usein mainitaan tärkeäksi suunnittelun kannalta, voi syntyä assosiatiivisen oppimisen kautta. Voidaan olettaa, että itsekontrolli ei ole mahdollista assosiatiivisen oppimisen kautta, koska välittömästi palkitun käyttäytymisen pitäisi aina olla mieluummin kuin palkitsemattoman käyttäytymisen. Monille eläimille ”odottaminen” tai ”kyttääminen” ovat kuitenkin käyttäytymismuotoja, joita voidaan vahvistaa, kun niitä seuraa myöhempi mahdollisuus palkitsemiseen. Esimerkiksi petoeläimet oppivat kyttäämisen ja odottamisen taidot nuorina .

Tässä käytetty malli on assosiatiivisen oppimisen malli, joka kykenee oppimaan optimaalisen käyttäytymisen monimutkaisessa maailmassa . Malli sisältää kaksi erilaista muistia ja päätöksentekomekanismin. Toinen muisti tallentaa käyttäytymisen B suorittamisen assosiatiivisen voimakkuuden ärsykkeeseen S, ja toinen muisti tallentaa ärsykkeen S arvioidun arvon. Malli voi oppia käyttäytymissarjoja yhdistämällä yksittäisiä käyttäytymisiä toisiinsa ehdollisen vahvistamisen avulla (toissijainen vahvistaminen). Tällä tavoin alun perin neutraaleista ärsykkeistä, jotka edeltävät ensisijaisesti vahvistavia ärsykkeitä, voi tulla itse vahvistavia ärsykkeitä, mikä muuttaa aiemmin palkitsematta jäänyttä käyttäytymistä. Esimerkiksi klikkaimella koulutettu kani on kuullut toistuvia klikkauksia ennen ruokapalkintoja. Tälle kanille klikkauksesta tulee itsessään palkitsevaa, ja kani oppii tekemään käyttäytymistä, joka johtaa vain siihen, että kani kuulee klikkauksen. Mallia selitetään tarkemmin jäljempänä kohdassa Aineisto ja menetelmät.

Testaan tässä hypoteesia, jonka mukaan assosiatiivinen oppimismalli voi selittää muiden kuin ihmisten suunnittelututkimuksissa havaitut tulokset. Oppimismallia käytettiin simuloimaan kahden suunnittelututkimuksen tuloksia, toinen orankien (Pongo pygmaeus) ja bonobojen (Pan pan paniscus) ja toinen korppien (Corvus corax) kanssa . Simulaatioiden havaittiin seuraavan keskeisiä malleja näiden tutkimusten sisällä ja niiden välillä. Johtopäätöksenä on, että ei voida sulkea pois sitä, että apinoiden ja korppikotkien joustavaa suunnittelua koskevat tutkimukset voidaan selittää assosiatiivisella oppimisella. Assosiatiivinen oppiminen ei siis voi tuottaa vain ihmisen kaltaista käyttäytymistä (esim ), vaan se on selitysehdokas muiden kuin ihmiseläinten suunnittelua ja itsekontrollia koskeville havainnoille.

Materiaali ja menetelmät

Tässä kuvaan oppimismallimme , simulaatioissa käytettyjen kahden eri tutkimuksen logiikan ja simulaatioiden yksityiskohdat.

2.1. Aineisto ja menetelmät. Mallin kuvaus

Eläimellä on käyttäytymisrepertuaari ja se voi käyttää käyttäytymistapojaan navigoidakseen havaittavien ympäristötilojen maailmassa. Käyttäytyminen vie eläimen tilasta toiseen. Jokaisella tilalla eli ärsykkeellä on ensisijainen vahvistusarvo, joka on geneettisesti kiinnitetty. Nämä arvot voivat olla negatiivisia, neutraaleja tai positiivisia, ja ne ohjaavat oppimista siten, että selviytymistä ja lisääntymistä edistävä käyttäytyminen edistyy. Eläinten oletetaan tekevän valintoja, jotka maksimoivat kokonaisarvon, ja odotukset tulevan tilan arvosta voivat kehittyä . Malli voi siten tuottaa tavoitteellista käyttäytymistä (ks. toinen keskustelu tavoitteellisesta käyttäytymisestä ja oppimisesta).

Lyhyesti sanottuna malli kuvaa käyttäytymisjaksojen oppimista ärsykkeitä kohtaan muistin muutosten kautta. Siihen sisältyy päätöksenteko, jossa otetaan huomioon muisti sen määrittämiseksi, millainen käyttäytyminen valitaan, kun tietty ärsyke havaitaan. Otetaan esimerkiksi yksittäisen käyttäytymisen oppiminen, esimerkiksi kun koira oppii antamaan tassunsa vastauksena käskyyn ”ravista”. Käpälän nostaminen on käyttäytyminen, käsky ”ravista” ja palkkio ovat ärsykkeitä. Opittava tapahtumasekvenssi on: käsky ’ravista’ → tassun nosto → palkkio, tai

Malli kerää tietoa eri ärsykkeisiin (tai tiloihin) kohdistuvan käyttäytymisen suorittamisen arvosta ja tietoa eri ärsykkeiden (tai tietyissä tiloissa olemisen) arvosta. Oppiminen tapahtuu kahden erilaisen muistin päivittämisen kautta. Nämä muistit vastaavat pavlovilaista ja instrumentaalista oppimista, ja ne päivittyvät koiraesimerkin kaltaisen tapahtumasarjan tai yleisesti ottaen tapahtumasarjan S → B → S′ jälkeen. Ensimmäisen tyyppinen muisti on ärsyke-vaste-assosiaatio. Käytimme vS→B:tä merkitsemään ärsykkeen S ja käyttäytymisen B välistä assosiaation voimakkuutta. Toiminnallisesti vS→B voidaan kuvata käyttäytymisen B suorittamisen arvioiduksi arvoksi ärsykkeen S havaitsemisen yhteydessä. Käytimme wS:ää kuvaamaan tätä ärsykkeen arvoa, ja se päivitetään seuraavan ärsykkeen arvon mukaan. Toisin sanoen wS on tilassa S olemisen ehdollistettu vahvistusarvo. Nämä muistit päivittyvät

mukaisesti sen jälkeen, kun on koettu tapahtumakokonaisuus S → B → S′. Ärsyke-vaste-assosiaatio vS→B päivitetään ärsykkeen S′ ensisijaisen synnynnäisen kiinteän arvon uS′ ja ehdollistetun vahvistusarvon wS′ sekä aiemmin tallennetun ärsyke-vaste-assosiaation vS→B mukaan. Kun kyseessä on ehdollinen vahvistus, käyttäytymisen B suorittamisen arvo ärsykkeen S havaitsemisen yhteydessä on ärsykkeen S′ ensisijaisen ja ehdollisen vahvistusarvon summa. Jos käytetään vain ensimmäistä yhtälöä ja jätetään w pois, se edustaa instrumentaalista ärsyke-vaste-oppimista eli instrumentaalista versiota klassisesta Rescorla-Wagnerin oppimismallista. Oppimisnopeudet αv ja αw määrittelevät nopeuden, jolla muistin päivitykset tapahtuvat.

Jotta oppimismalli voisi tuottaa ja valita käyttäytymistä, tarvitaan päätöksentekomekanismi. Käytimme päätöksentekomekanismia, joka valitsee käyttäytymisvasteet ja aiheuttaa jonkin verran vaihtelua käyttäytymisessä tutkimisen kautta. Tämä määrittää käyttäytymisen B todennäköisyyden tilassa S seuraavasti

joka sisältää parametrin β, joka säätelee eksploraation määrää. Kaikki käyttäytymismuodot valitaan yhtä todennäköisesti, jos β = 0 ottamatta huomioon estimoituja arvoja. Jos β on suuri, valitaan pääasiassa se käyttäytyminen, jolla on korkein estimoitu arvo (v).

Palaamme koiran pariin käytännön esimerkin vuoksi. Koira kuulee käskyn ”ravista”, ärsyke S. Jos koira liikuttaa tassuaan ylöspäin, eli suorittaa käyttäytymisen B, se saa palkkion S′. Kun koira saa tämän palkkion sen jälkeen, kun se on reagoinut oikein käskyyn ”ravista”, ärsyke-vaste-muisti vKäsky `ravista′→nosta tassua kasvaa yhtälön (2.1) ylimmän rivin mukaisesti. Lisäksi käskyn ”ravista” ärsykearvo w päivittyy yhtälön (2.1) alimman rivin mukaisesti. Käskyn ”ravista” arvo w lähestyy ruokapalkkion arvoa u ja saa siten vahvistavia ominaisuuksia itsessään; siitä on tullut ehdollistettu vahvistin. Ehdollistettu vahvistin voi tasoittaa tietä useampien käyttäytymistapojen oppimiselle ennen käpälän siirtämistä ylöspäin. Näin voi tapahtua, koska käyttäytymiset, jotka johtavat siihen, että koira kuulee käskyn ”ravista”, voivat saada vahvistuksen.

2.2. Suunnittelututkimusten simulointi ihmisapinoilla ja korppeilla

Suunnittelukokeiden simuloinnit perustuivat yksityiskohtaisiin kuvauksiin tapahtumien kulusta niissä kahdessa tutkimuksessa, joissa keskeiset tapahtumat tunnistettiin. Keskeisiä tapahtumia olivat muun muassa se, mitä käyttäytymistä harjoiteltiin ennen testejä ja mitä kohteita kohtaan ja mitä tuloksia eri valinnoista seurasi esiharjoittelun ja testien aikana. Yksityiskohtien tunnistaminen näissä tutkimuksissa on tärkeää, koska testivaiheisiin sisältyi sekoitus palkitsevia ja ei-palkitsevia toimia. Siksi sekä ärsyke-vaste (v) että ärsykearvot (w) oletettiin muuttuvan testien aikana.

Simulaatioiden mahdollistamiseksi ja realistiseksi tekemiseksi oletettiin, että eläimillä oli näihin tutkimuksiin tullessaan joitakin tarvittavia arkipäivän taitoja. Oletettiin, että eläimet olivat esimerkiksi aiemmin oppineet pitelemään esineitä, liikkumaan huoneiden ja osastojen välillä, tietämään, missä eri asiat sijaitsivat, sekä joitakin perustaitoja koskien vuorovaikutusta kokeilijoiden kanssa. Apinat esimerkiksi ohjattiin ulos koehuoneesta valintojen jälkeen, jotta heidät päästettiin myöhemmin takaisin koehuoneeseen. Kun tällaiset arkipäiväiset taidot jätettiin huomiotta, simulaatioissa ja käyttäytymisen kuvauksissa keskityttiin niihin ainutlaatuisiin käyttäytymisjaksoihin, jotka eläinten oli opittava osana kokeita.

Kahdessa tutkimuksessa on yhteisiä keskeisiä piirteitä. Ennen testien aloittamista eläimille suoritettiin esivalmennusta. Tässä ne oppivat suorittamaan käyttäytymismalleja, jotka myöhemmin pisteytettiin oikeiksi. Oikeiden käyttäytymistapojen esiharjoittelun lisäksi korppitutkimukseen sisältyi myös sukupuuttoharjoittelua. Sammutusharjoittelun aikana korpit saivat oppia, että ei-toiminnalliset esineet eivät tuottaneet palkintoja. Molemmissa tutkimuksissa, joita käytettiin oikeiden ja väärien valintojen pisteyttämiseen, keskeiset tapahtumat olivat pakotettuja valintakokeita. Tässä eläimet pakotettiin valitsemaan yhden esineen, jonka ne olivat aiemmin oppineet voivan johtaa palkkioon, ja muiden esineiden välillä, joita ei voitu käyttää myöhempiin palkkioihin (häiritseviä esineitä). Korpit oppivat sukupuuttoharjoittelun aikana, että nämä häiriökohteet eivät voineet johtaa palkkioihin. Pakotetun valinnan jälkeen molempiin tutkimuksiin sisältyi jonkin aikaa kestävä viive, jonka jälkeen eläimet saivat suorittaa käyttäytymisen käyttäen aiemmin valittua esinettä. Jos eläin teki oikean valinnan ennen viivettä, se saattoi myöhemmin käyttää valitsemaansa esinettä saadakseen palkkion. Jos eläin teki väärän valinnan ennen viivettä, ei viiveen jälkeen ollut mahdollisuuksia palkitsevaan käyttäytymiseen.

Toteutetut simulaatiot seurasivat tutkimusten esiharjoitteluvaihetta ja testivaihetta. Vertailut on tehty molemmissa tutkimuksissa asetettujen oikeiden valintojen sattumanvaraisilla tasoilla. Mulcahy & Call odotti apinoiden valitsevan sattumalta oikean 25 % kerroista (yksi toiminnallinen objekti ja kolme häiritsevää objektia). Kabadayi & Osvath odotti korppien tekevän sattumalta 25 % oikeita valintoja kokeissa 1 ja 2 ja 20 % oikeita valintoja kokeissa 3 ja 4 (yksi toiminnallinen objekti ja kolme häiritsevää objektia kokeissa 1 ja 2 ja yksi toiminnallinen objekti, yksi pieni palkkio ja kolme häiritsevää objektia kokeissa 3 ja 4). Tarkat kuvaukset löytyvät simulointiskripteistä (ks. sähköinen lisämateriaali). Simulaatioiden seuraamisen helpottamiseksi tässä on syvälliset kuvaukset kahdesta tutkimuksesta.

2.3. Kuvaus Mulcahyn ja Callin ihmisapinoilla tekemästä tutkimuksesta

Nämä kokeet tehtiin orankien ja bonobojen kanssa . Tutkimus aloitettiin esivalmennuksella. Tässä tapauksessa eläin sijoitettiin koehuoneeseen ja koulutettiin kahteen eri työkalutehtävään saadakseen palkinnon laitteesta. Näitä toiminnallisia työkaluja kutsutaan toiminnallisiksi esineiksi. Yksi tehtävä oli valita putki ja asettaa tämä putki laitteeseen. Toinen tehtävä oli valita koukku ja käyttää sitä saavuttaakseen pullon, johon ei päässyt ilman koukkua. Esiharjoittelun jälkeen eläimelle tehtiin pakotettu valintakoe toiminnallisten esineiden ja kolmen vastaavan ei-toiminnallisen esineen (joista myöhemmin käytetään nimitystä häiritseviä esineitä) välillä. Pakotetun valinnan aikana pääsy palkinnon sisältävään laitteeseen estettiin. Kun valinta oli tehty, eläin ohjattiin pois koehuoneesta odotushuoneeseen. Esineet, joita eläin ei ollut ottanut, poistettiin nyt koehuoneesta. Tässä vaiheessa tapahtui viive. Viiveen jälkeen eläin päästettiin jälleen koehuoneeseen ja hänelle annettiin pääsy laitteeseen. Jos pakotetun valinnan testissä oli valittu toiminnallinen esine, eläin saattoi nyt käyttää esinettä saadakseen palkkion, jolloin se osoitti esivalmennuksessa oppimaansa käyttäytymistä.

Tässä tutkimuksessa oli neljä testiä, jotka olivat hieman erilaisia. Testit vaihtelivat sen suhteen, mikä väline oli toiminnallinen esine, ja viivytysten keston suhteen. Lisäksi viimeisessä testissä eläinten ei tarvinnut käyttää työkalua saadakseen palkkion. Huomaa, että tässä kokeessa 4 käytettiin kahta uutta yksilöä, jotka eivät osallistuneet kokeisiin 1, 2 tai 3. Viimeksi mainitulla osalla ei ollut tässä yhteydessä juurikaan merkitystä tulososiossa mainituista syistä. Simuloinnit noudattivat tutkimuksen logiikkaa, ja tässä ovat yksityiskohdat simuloinnissa käytetyistä keskeisistä tapahtumista ja viiveistä:

• Harjoittelu: Ennen testejä kaikki koehenkilöt opettelivat käyttämään toiminnallisia työkaluja. Kahdessa vaiheessa putkitehtävää varten sallittiin vähintään kolme plus kahdeksan esiharjoittelukertaa ja koukkutehtävää varten vähintään viisi esiharjoittelukertaa.

• Koe 1, putkitehtävä: (1) Pakotettu valinta toiminnallisella putkella ja häiritsevillä esineillä (16 koetta). (2) Valinnan jälkeen siirtyminen toiseen huoneeseen. (3) Odotettiin 1 h. (4) Palattiin takaisin ja jos toiminnallinen putki oli valittu, tätä voitiin käyttää palkkion saamiseen.

• Koe 2, putkiolosuhde: (1) Pakotettu valinta toiminnallisella putkella ja häiritsevillä esineillä (12 koetta). (2) Valinnan jälkeen siirtyminen toiseen huoneeseen. (3) Odotetaan 14 h. (4) Palataan takaisin ja jos toiminnallinen putki oli valittu, tätä voitiin käyttää palkkion saamiseen.

• Koe 3, koukkuehto: (1) Pakotettu valinta toiminnallisella koukulla ja häiritsevillä esineillä (16 koetta). (2) Valinnan jälkeen siirtyminen toiseen huoneeseen. (3) Odotettiin 1 h. (4) Palattiin takaisin ja jos toiminnallinen koukku oli valittu, tätä voitiin käyttää palkkion saamiseen.

• Koe 4, koukkuehto: (1) Pakotettu valinta toiminnallisella koukulla ja häiritsevillä esineillä (16 koetta). (2) Valinnan jälkeen siirtyminen toiseen huoneeseen. (3) Odotettiin 1 h. (4) Palattiin takaisin ja jos toiminnallinen koukku oli valittu, saatiin palkkio ilman koukun käyttöä.

Opeteltavat käyttäytymisjaksot olivat seuraavat:

• putki-ehto: Stube → Btake-putki → Sapparatus → Buse-putki → Sreward

• Koukkuehto: Stook → Btake-koukku → Sapparatus → Buse-koukku → Sreward

Kummassakaan olosuhteessa apinoita ei koskaan palkittu siitä, että he valitsivat häiritseviä kohteita, tai:

• Distractors: Sdistractor → Btake distractor → Sno reward

2.4. Kuvaus Kabadayi & Osvathin tutkimus korpeilla

Nämä testit tehtiin korpeilla . Tämä tutkimus aloitettiin esivalmennuksella. Tässä eläin sijoitettiin koehuoneeseen ja koulutettiin kahteen eri työkalutehtävään saadakseen palkinnon laitteesta. Kuten edellä, toiminnallisiin työkaluihin viitataan toiminnallisina esineinä. Toinen tehtävä oli laittaa kivi laitteeseen saadakseen palkkion. Toisessa tehtävässä piti ottaa pullonkorkki (ns. merkki) ja antaa se ihmiselle. Toisin kuin apinoilla tehdyssä tutkimuksessa, ennen testien aloittamista korpeille annettiin myös sammutuskokeita. Tässä eläimen annettiin olla vuorovaikutuksessa sellaisten esineiden kanssa, jotka olisivat läsnä pakotettujen valintakokeiden aikana, mutta joita ei koskaan voitu käyttää palkintojen saamiseen (myöhemmin niitä kutsuttiin häiritseviksi esineiksi). Esiharjoittelun jälkeen eläimelle tehtiin pakotettu valintakoe toiminnallisen esineen ja kolmen häiritsevän esineen välillä. Kun valinta oli tehty, eläin ei saanut käyttää toiminnallista esinettä vähään aikaan. Toisin sanoen palkkiota ei voitu kerätä heti valintakokeen jälkeen (lukuun ottamatta koetta 4). Tässä vaiheessa oli viive. Viiveen jälkeen eläin sai käyttää valitsemaansa esinettä. Jos pakotetussa valintakokeessa oli valittu toiminnallinen esine, eläin saattoi nyt käyttää tätä esinettä saadakseen palkkion, jolloin se osoitti esiharjoittelun aikana oppimaansa käyttäytymistä.

Tässä tutkimuksessa oli myös neljä hieman erilaista koetta. Testit vaihtelivat kokeiden lukumäärän ja viiveiden keston suhteen, ja viimeisessä testissä eläinten ei tarvinnut odottaa ennen kuin he käyttivät toiminnallista esinettä palkkion saamiseksi. On huomattava, että tässä tutkimuksessa käytettiin kahta eri palkkiota. Yhtä arvokasta palkkiota käytettiin esiharjoittelussa ja kaikissa kokeissa. Kokeissa 3 ja 4 pakkovalintatilanteessa käytettiin tunnettua, arvoltaan vähäistä palkkiota toiminnallisen välineen ja häiritsevien esineiden rinnalla. Huomaa, että kokeita ei suoritettu samassa järjestyksessä kuin ne oli numeroitu julkaistussa tutkimuksessa. Olen päättänyt esittää kokeet siinä ajallisessa järjestyksessä, jossa ne suoritettiin (1,3,2,4). Simuloinnit noudattivat tutkimuksen logiikkaa, ja tässä ovat yksityiskohdat simuloinnissa käytetyistä avaintapahtumista: Avaintapahtumat ennen kokeita ja kokeiden aikana olivat:

• Harjoittelu: Ennen kokeita kaikki koehenkilöt opettelivat käyttämään toiminnallisia työkaluja. Kahdessa vaiheessa sallittiin vähintään kolme plus viisi esiharjoittelukokeilua työkalutehtävää varten ja 35 esiharjoittelukokeilua merkkitehtävää varten.

• Häivytyskokeet: Tässä vaiheessa koehenkilöt saivat manipuloida häiritseviä esineitä 5 minuutin ajan saamatta mitään palkintoja.

• Koe 1: (1) Pakotettu valinta toiminnallisella esineellä ja häiritsevillä esineillä. 14 koetta työkaluehdossa ja 12 × 3 koetta merkkiehdossa. (2) Odota 15 min. (3) Valittua esinettä voi käyttää uudelleen, ja jos kivi tai merkki oli valittu, sitä voi käyttää palkkion saamiseksi.

• Koe 3: (1) Pakotettu valinta toiminnallisella esineellä, pienellä palkkiolla ja häiritsevillä esineillä. 14 kokeilua työkaluehdossa ja 14 kokeilua token-ehdossa. (2) Odota 15 min. (3) Valittua esinettä voi käyttää uudelleen, ja jos kivi tai merkki oli valittu, sitä voi käyttää palkkion saamiseksi.

• Koe 2: (1) Pakotettu valinta toiminnallisella esineellä ja häiritsevillä esineillä. 6 koetta väline-ehdossa ja 6 koetta merkki-ehdossa. (2) Odotusaika 17 h. (3) Valittua esinettä voi käyttää uudelleen, ja jos kivi tai merkki olisi valittu, sitä voisi käyttää palkkion saamiseksi.

• Koe 4: (1) Pakotettu valinta toiminnallisella esineellä, pienellä palkkiolla ja häiritsevillä esineillä. 14 koetta työkaluehdossa ja 14 koetta merkkiehdossa. (2). Jos kivi tai merkki oli valittu, sen avulla voitiin saada palkkio.

Opeteltavat käyttäytymisjaksot olivat seuraavat:

• Työkaluehto: Jakkara → Btake tool → Sapparatus → Buse tool → Sreward

• Token condition: Stoken → Btake-token → Shuman → Bgive-token → Sreward

Korpit opetettiin myös sukupuuttovaiheen aikana, ettei häiritsevien esineiden valitseminen tai käyttäminen koskaan palkitse. Näin tapahtui myös kaikkien testien aikana eli:

• Distraktorit: Sdistractor → Btake distractor → Sno reward

Tutkimuksen itsekontrollivaiheissa korpit saivat valita pienen palkkion, joka esitettiin toiminnallisen esineen (työkalu tai merkki) ja distraktori-esineiden rinnalla. Näin ollen kokeissa 3 ja 4 myös nämä käyttäytymisjaksot olivat mahdollisia:

• Työkaluehto: Sdog kibble → Btake small reward → Ssmall reward

• Token-ehto: Sdog kibble → Btake small reward → Ssmall reward

2.5. Havainnollistus muistin päivityksistä esiharjoittelun aikana

Vaikuttaaksemme siihen, miten oppiminen vaikuttaa näihin käyttäytymisjaksoihin, seuraavassa on esimerkki muistin päivityksistä esiharjoittelun aikana korppitutkimuksessa. Käyttäytymissekvenssi, joka kehittyi esiharjoittelun aikana, voidaan kuvata seuraavasti: Stool → Btake tool → Sapparatus → Buse tool → Sreward, jossa kiven asettamisen arvo laitteeseen kasvoi niin, että vSapparatus → Buse tool≫0. Koska malli sisältää myös ehdollisen vahvistuksen, itse kiven arvo päivittyy seuraavan ärsykkeen, suuren palkkion, arvon mukaan. Toistuvien kokemusten myötä Srewardin ärsykearvo (w) saa Stoolin ärsykearvon kasvamaan. Kuten tämän mallin kuvauksesta käy ilmi , riittävän monen kokemuksen myötä työkalun arvo lähestyy suuren palkkion arvoa. Sitä vastoin sukupuuttokokeet, joissa on toistuvia palkitsemattomia kokemuksia kolmesta häiriökohteesta, voidaan kuvata seuraavasti: Sdhäiriökohde → Bpick häiriökohde → Sno palkkio. Tämä tapahtumasekvenssi aiheuttaa sekä häiriötekijän valinnan assosiatiivisen voimakkuuden vSdistractor → Bpick distractor että häiriötekijän ehdollistetun vahvistusarvon (wdistractor) vähenemisen. Kun ensimmäinen koe alkaa pakotetulla valinnalla, korppien käyttäytymiseen vaikutti esiharjoittelu sekä kiven että distraktoreiden kanssa.

2.6. Simuloinnin yksityiskohdat

Yllä oleva malli sisällytettiin Python-ohjelmaan, jossa oppiminen tapahtui edellä määriteltyjen kahden tutkimuksen yksityiskohtaisten menettelytapojen mukaisesti, jotta saatiin arvioita eri ärsykkeiden valintatodennäköisyyksistä sekä v- ja w-arvoista koko tutkimuksen ajan. Ohjelmassa suoritettiin kahdenlaisia simulaatioita. Ensin suoritettiin simulaatioita täydellä mallilla ja sitten simulaatioita ilman ärsykkeen arvoja (w), eli sallittiin vain meidän versiomme ärsyke-vaste-oppimisesta käyttäen vain yhtälön (2.1) ensimmäistä riviä yhdessä päätöksenteon kanssa (yhtälö (2.2)). Näin tutkittiin eroja ehdollistetun vahvistuksen sisältävän mallimme ja pelkän ärsyke-vaste-oppimisen version välillä. Tämä versio ärsyke-vaste-oppimisesta on identtinen klassisen Rescorla-Wagnerin oppimissäännön kanssa, mutta tarkastelimme sitä instrumentaalisen eikä pavlovilaisen asetelman kannalta.

Viiveiden huomioimiseksi simulaatioon otettiin mukaan yksi aika-askel minuutissa viiveiden aikana. Näiden aika-askelten aikana koettiin vain taustaärsyke. Tämä ei ole kovin tärkeää muistin päivittämisen kannalta, koska sekä ärsyke-vaste- että ärsykearvomuistot ovat pitkäkestoisia muistoja. Sitä, että eläimet muistavat ärsyke-vaste-assosiaatioita ja ärsykearvoja hyvin pitkään, ei mainittu kummassakaan simulointitutkimuksessa .

Samoja oppimisparametreja käytettiin kaikissa simulaatioissa. Kaikki käyttäytymiset alkoivat alkuperäisellä ärsyke-vaste-arvolla v = 1, sekä v- että w-arvoja päivitettiin oppimisnopeudella α = 0,2, eksploraatio asetettiin β = 1:ksi ja palkkiot asetettiin u = 6:ksi lukuun ottamatta Kabadayi & Osvathin kokeissa 3 ja 4 esiintyneitä matala-arvoisia palkkioita, jotka asetettiin u = 2:ksi. Käyttäytymiskustannukset kaikille käyttäytymismuodoille olivat 0,1 lukuun ottamatta passiivisia reaktioita, joiden arvoksi asetettiin 0 (ks. tiedot kaikista simulaatioihin sisältyvistä käyttäytymismuodoista ja ärsyke-elementeistä sähköisessä lisäaineistossa). Kaikki simulaatiot suoritettiin 500 koehenkilölle, ja kokeiden määrä noudatti suunnilleen kokeiden määrää. Se, että kokeiden määrä ei vastannut täysin empiirisiä tutkimuksia, johtui päätöksentekoyhtälön todennäköisyydestä. Eläinten alkuarvoja koskevien tietojen puuttuminen vaikeuttaa tarkkaa kvantitatiivista vertailua.

Vaikka sekä korpeilla että apinoilla oli rikas tausta, aiemmin opittua käyttäytymistä ei huomioitu, ja alkuarvojen oletettiin olevan samat häiritseville objekteille ja toiminnallisille objekteille. Konservatiivisuuden vuoksi kaikkien käyttäytymisen ja ärsykkeiden välisten assosiaatioiden voimakkuuden oletettiin olevan sama simulaatioiden alussa. Kabadayi & Osvath ei kalibroinut korppien mieltymyksiä kahden eri ruokapalkkion arvon suhteen, joten saatavilla olevien palkkioiden välisistä eroista ei ole määrällistä tietoa. He totesivat menetelmässä, että korkealaatuinen ruokapalkinto oli sekä suurempi että houkuttelevampi. Korppitutkimuksesta puuttui tarkka tieto sammutuksen määrästä, joten oletettiin, että korpeilla oli viisi sammutuskokemusta häiriötekijöiden kanssa.

Simulaatioissa käytetyt käyttäytymismallit ja ärsyke-elementit olivat seuraavat:

2.6.1. Käyttäytyminen ja ärsykkeet. Käyttäytymiset

• Mulcahy & Kutsuputki: ota putki, käytä putkea, ota distraktori, ole passiivinen

• Mulcahy & Kutsukoukku: ota koukku, käytä koukkua, ota distraktori, ole passiivinen

• Kabadayi & Osvath-työkalu: Ota työkalu, käytä työkalua, ota häiriötekijä, ole passiivinen, ota pieni palkkio

• Kabadayi & Osvath Token: ota merkki, käytä merkkiä, ota häiriötekijä, ole passiivinen, ota pieni palkkio

2.6.2. Stimuluselementit

• Mulcahy & Kutsuputki: tausta, putki, putkitehtävä, distraktori, palkkio

• Mulcahy & Kutsukoukku: tausta, koukku, koukkutehtävä, distraktori, palkkio

• Kabadayi & Osvath-työkalu: Tausta, työkalu, laite, häiriötekijä, palkkio, pieni palkkio

• Kabadayi & Osvath Token: tausta, token, ihminen, häiriötekijä, palkkio, pieni palkkio

2.7. Empiirisistä tutkimuksista saadut tiedot

Simulointitulosten vertaamiseksi kahden tutkimuksen empiirisiin tietoihin laskettiin keskiarvot kahdessa kyseisessä tutkimuksessa käytettävissä olleista tiedoista (ks. kuvat kohdassa Tulokset). Näin saatiin oikeiden ja väärien valintojen keskimääräinen osuus pakotettujen valintojen testeissä. Huomattakoon, että apinatutkimuksen kokeeseen 4 ei sisältynyt oikeaa käyttäytymistä työkalun käytössä, kun palattiin laitteeseen viiveen jälkeen, joten tätä koetta on vaikea tulkita. Lisäksi kokeeseen 4 liittyviä valintoja koskevia tietoja ei ollut saatavilla tekstissä, joten kyseiseen tietopisteeseen käytettiin kokeen 4 tietoja. On valitettavaa sekoittaa tietoja tällä tavalla, mutta valitsin tämän sen hyväksi, että jätin kokeen 4 tiedot pois.

Tulokset

Kaiken kaikkiaan simulaatiot vastasivat sekä korppi- että ihmisapinatutkimuksen tuloksia. Simulaatiot osoittavat, miten kaksi tekijää yhdessä voivat vaikuttaa ihmisapinoiden ja korppien tulevaisuuteen suuntautuvaan käyttäytymiseen. Ensinnäkin toiminnallisten kohteiden ehdollistetut vahvistusarvot, jotka muodostettiin esiharjoittelun ja sukupuuttoon kuolemisen avulla, kykenivät ohjaamaan alkuperäisiä oikeita valintoja. Tämä näkyy kuvassa 1, jossa esitetään oikeiden valintojen osuus. Toiseksi, oikeista valinnoista palkittiin kaikissa tutkimuksissa, lukuun ottamatta apinakokeen koetta 4. Se, että funktionaalisten esineiden käyttö oli palkitsevaa koko ajan, riitti ajamaan suorituksen selvästi yli sattumanvaraisen tason (kuva 1). Korppitutkimuksessa kokeen aikana annetut palkkiot selittävät hyvin lähes täydellisen suorituksen kyseisen tutkimuksen kahdessa viimeisessä osassa.

Empiiristen testien (esitetty kuvassa 1 täytettyinä ympyröinä) ja simulaatioiden välillä oli hyvä yhteensopivuus sikäli, että funktionaaliset objektit valittiin todennäköisemmin kuin häiritsevät objektit. Simulaatiot noudattivat myös yleisiä trendejä siinä mielessä, että suorituskyky kasvoi ihmisapinatutkimuksessa kokeiden 1 ja 2 aikana ja että suorituskyky heikkeni kokeessa 3. Vaikka simulaatiot aliarvioivat suorituskykyä korppitutkimuksen työkalutilanteessa, simulaatiot seurasivat tarkasti mallia, jonka mukaan suorituskyky oli korkea kokeessa 1, laski kokeessa 3 ja saavutti lähes täydellisen suorituskyvyn kokeessa 4. Simulaatioiden tulokset olivat kuitenkin hyvin samansuuntaisia. Yksi syy siihen, että simulaatioiden onnistumisprosentti oli alhaisempi työkalutilanteessa, voi olla se, että korpit olivat hyvin koulutettuja ja niillä oli rikas tausta, josta on hyötyä koetilanteissa. Nämä linnut olivat ihmisten kasvattamia ja ovat säännöllisesti vuorovaikutuksessa ihmisten kanssa. Ne tuntevat myös monia erilaisia esineitä, koejärjestelyjä ja palkintoja. Sitä vastoin simulaatioissa lähdettiin liikkeelle olettaen, ettei aiempaa tietämystä ollut. Simulaatioiden ja empiirisen datan välillä oli läheinen yhteneväisyys token-ehdon osalta, mutta suorituksen heikkeneminen kokeen 3 aikana oli suurempi empiirisessä datassa.

Simulaatiot kaappasivat myös sen, että ihmisapinoiden onnistumisprosentti oli kaiken kaikkiaan alhaisempi kuin korppien. Ainakin kaksi tekijää saattoi vaikuttaa tähän eroon. Apinat kokivat vähemmän esivalmennusta kuin korpit, ja toisin kuin korpit, apinat eivät saaneet sammutusharjoittelua häiritsevillä esineillä ennen testausta. Tämä näkyy kuvassa 1, jossa oikean kohteen valinnan todennäköisyys on paljon suurempi kokeen 1 alussa korppitutkimuksessa kuin apinatutkimuksessa. Se, että monet esiharjoittelukokeet (35 merkkikokeessa) yhdistettynä sammutuskokeisiin voivat johtaa korkeaan suorituskykyyn pakotetuissa valinnoissa, näkyy selvimmin korppitutkimuksen merkkikokeessa. Tässä simulaatio seurasi tarkasti havaittua korkeaa onnistumisprosenttia.

Esiharjoittelu ja sukupuuttoharjoittelu eivät ainoastaan vaikuttaneet oikeiden päätösten tekemisen todennäköisyyteen. Simulaatiot paljastavat, miten esiharjoittelu ja sukupuuttoon kuoleminen vaikuttavat myös väärien kohteiden, kuten pienten palkkioiden, valinnan osuuteen (kuva 1). Esiharjoittelun ja sukupuuttoon kuolemisen vaikutus oli selvin korppitutkimuksen merkkitilanteessa, jossa simulaation mukaan todennäköisyys, että korpit valitsisivat pienet palkkiot toiminnallisten esineiden sijaan, oli lähellä nollaa. Toiminnallisista esineistä (työkalu ja merkki) saatujen palkitsevien kokemusten suuri määrä johti suuriin ehdollistettuihin vahvistusarvoihin näille esineille (kuva 2). Simulaatiot vahvistivat mallin, jonka mukaan korpit eivät valinneet pieniä palkkioita toiminnallisten esineiden sijaan, ja että itsekontrollin odotetaan syntyvän assosiatiivisen oppimisen tuloksena.

Kuvion 2 yläpaneelissa on esitetty ärsyke-vastearvojen ja ärsykearvojen kasvu.

Huomaa, että apinatutkimuksen koe 4 vastaa vähiten simulaatioita. Tässä kahden uuden apinan annettiin saada palkkio käyttämättä aiemmin toimivaa työkalua, ja ne palasivat oikean työkalun kanssa 2 kertaa 16:sta, mikä on vähemmän kuin simulaatiossa. Tätä empiirisen testin ja simulaation välistä eroa voitaisiin pienentää lisäämällä käyttäytymisen kustannuksia. Sellaisen käyttäytymisen, joka ei johda palkkioon, kustannusten kasvattaminen johtaa käyttäytymisen suorittamisen vähenemiseen. On kuitenkin epäselvää, mitä eläimiltä voidaan odottaa tässä tilanteessa, kun apinat kohtaavat tilanteen, jossa välineen ja palkkion välinen yhteys ei ole yhtä selvä. Ja kaksi neljästä apinasta ei koskaan yrittänyt ratkaista ongelmaa. Yhteenvetona voidaan todeta, että on vaikea arvioida tuon datapisteen tarkkuutta ja merkitystä (ks. ).

Simulaatiot osoittavat myös eroja eri kompleksisuuden omaavien assosiatiivisten oppimismallien välillä. Meidän versiomme ärsyke-vaste-oppimisen rajoitukset tulevat ilmeisiksi, kun niitä verrataan simulaatioihin, joissa käytetään oppimismalliamme, joka sisältää sekä pavlovilaisen että instrumentaalisen oppimisen . Pelkässä ärsyke-vaste-oppimisessa ei voida oppia käyttäytymissarjoja, joissa käyttäytymistä ei seuraa välittömästi palkkio (kuva 2). Jotta käyttäytymisjaksot kehittyisivät, ärsykkeiden, jotka ovat enemmän kuin yhden askeleen päässä palkkiosta, on tultava palkitseviksi ehdollisen vahvistuksen kautta. Kun aiemmin neutraali ärsyke saa positiivisen w-arvon, eli siitä tulee palkitseva, se voi johtaa positiivisten v-arvojen saamiseen käyttäytymiselle, joka ei johda välittömään palkitsemiseen (kuvan 2 yläpaneeli). Kun verrataan malliamme, joka voi oppia käyttäytymissarjoja, Rescorla-Wagnerin mallin instrumentaaliseen versioon, on selvää, että oikean ärsykkeen valinnan todennäköisyys ei kasva, jos sallitaan vain ärsyke-vaste-oppiminen (kuva 2). Koska v-arvot päivittyvät ärsyke-vaste-oppimisessa vain välittömän vahvistimen mukaan, tästä seuraa myös se, että pieni palkkio valitaan merkin ja työkalun sijasta, koska merkistä ja työkalusta ei voi tulla arvokkaita ärsykkeitä. Tämä näkyy kuviossa 2, sillä pienten palkkioiden virheellinen valinta lisääntyy eri kokeissa, kun vain meidän versiomme ärsyke-vaste-oppimisesta on sallittu (merkitty kuviossa 2 merkinnällä R-W). Pelkkä ärsyke-vaste-oppiminen ei voinut selittää tuloksia sen enempää korppi- kuin apinatutkimuksessakaan.

Keskustelu

Simulaatiot kahdesta suunnittelututkimuksesta korpeilla ja ihmisapinoilla viittaavat siihen, että käyttäytyminen, jonka on aiemmin väitetty johtuvan joustavasta suunnittelusta, voidaan selittää assosiatiivisella oppimisella. Kuten tekoälytutkimuksessa ja eläinten käyttäytymistutkimuksessa on osoitettu, nämä assosiatiivisen oppimisen mallit ovat tehokkaita joustavien käyttäytymissekvenssien tuottamisessa . Näin ollen sekä korppi- että ihmisapinatutkimuksissa tehdylle johtopäätökselle, jonka mukaan korpit ja ihmisapinat ratkaisevat nämä ongelmat erityisellä joustavalla mekanismilla, on vain vähän tukea. Tässä suoritetut simulaatiot tukevat niitä kriitikoita, jotka tulkitsivat nämä tulokset assosiatiivisen oppimisen seurauksiksi . Jos tulevissa tutkimuksissa pyritään erottamaan assosiatiiviset prosessit muunlaisista mentaalisista mekanismeista, ne hyötyisivät paremmasta koesuunnittelusta, mukaan lukien asianmukaiset kontrollit, joissa hyödynnetään uusimpia oppimismalleja.

Olikin mielenkiintoista huomata, että simulaatioiden avulla saatiin selville korppeja ja ihmisapinoita koskevien tutkimusten välinen ero . Tämä viittaa siihen, että simulaatiot vangitsivat hyvin esiharjoittelu-, sammutusvaiheiden ja palkkioiden vaikutukset koko tutkimuksissa. Korkeat ehdollistetut vahvistusarvot (w-arvot) oikeille esineille (työkalu ja merkki) ja alhaiset arvot häiritseville esineille vahvistettiin ennen ensimmäisiä testejä (kuva 2). Tämä oli erityisen ilmeistä korppikokeen merkkiosuudessa, jossa korpeille tehtiin 35 esiharjoittelukokeilua, joissa käyttäytymisjakso Stoken → Btake token → Shuman → Bgive token → Sreward palkittiin johdonmukaisesti (alempi paneeli, kuva 1).

Muuten tärkeä tekijä positiivisiin tuloksiin korppi- ja ihmisapinatutkimuksissa oli se, että oikeiden objektien valinnasta palkittiin koko kokeiden ajan. Tämä säilytti korkeat v- ja w-arvot oikealle käyttäytymiselle ja oikeille esineille. Tämä selittää myös sen, miksi korpit laiminlöivät pienen palkkion, kun se esitettiin yhdessä toiminnallisten esineiden kanssa (kuva 1). Toiminnalliset esineet johtivat palkitsemiseen toistuvasti koko tutkimuksen ajan, joten ne olivat saaneet korkeat ärsykearvot. Niin kauan kuin nämä arvot ovat korkeammat kuin pienen palkkion arvo, nämä toiminnalliset esineet valitaan useimmiten. Kuitenkin, kun käytetään vain ärsyke-vaste-oppimista – sallitaan vain v-arvojen päivittäminen, kuten Rescorla-Wagner-mallissa – pieni palkkio valitaan, koska tästä mallista puuttuu ehdollinen vahvistus (kuva 2). Jos halutaan välttää oppimista testien aikana, on hyötyä testien suorittamisesta sukupuuttoon kuolemalla, kuten esimerkiksi tulosten uudelleenarviointitutkimuksissa (esim. ). Näin testit voivat paljastaa aiempien kokeellisten manipulaatioiden seuraukset.

Tulokset tukevat ajatusta, että itsekontrolli syntyi assosiatiivisen oppimisen kautta. Olemme aiemmin osoittaneet, miten eläimet voivat assosiatiivisen oppimisen kautta hankkia itsehillintää, jos niille annetaan riittävästi tietoa ja kokemuksia . Kabadayi & Osvath ei määritellyt itsehillintää, mutta aiemmassa tutkimuksessa he määrittelivät sen ” välittömien pyrkimysten tukahduttamiseksi viivästyneiden palkkioiden hyväksi” . Tämä toiminnallinen näkemys itsekontrollista sopii moniin käyttäytymisen kuvauksiin eläinten käyttäytymiskirjallisuudessa. Havaintoja eläimistä, jotka oppivat hylkäämään pienet palkkiot, kun ne odottavat suuria palkkioita, tai toisin sanoen hylkäämään kannattamattoman saaliin, kun kannattavaa saalista on runsaasti, on saatu esimerkiksi kaloilta (bluegill-aurinkokala Lepomis macrochirus, ), äyriäisiltä (rantarapu Carcinus maenas, ) ja linnuilta (tiainen Parus major ja punarinta Tringa totanus, ). Tällaiset tutkimukset on suurelta osin jätetty huomiotta tutkimuksissa, joissa itsekontrollia tutkitaan usein erillisenä psyykkisenä mekanismina eikä oppimisen kohteena olevana asiana (esim. ). Sen sijaan näiden simulaatioiden valossa aiemmat tutkimukset itsekontrollista eläinten kognition tutkimuksessa (kuten esim. ) voidaan parhaiten ymmärtää oppimisen aiheuttamina, mukaan lukien ehdollistettu vahvistaminen.

Teoreettisesti itsekontrolli voi kehittyä useammalla kuin yhdellä tavalla. Itsekontrolli voi syntyä hankkimalla korkeat ehdollistetut vahvistusarvot toiminnallisille kohteille. Toiminnallisesta esineestä tulee arvokkaampi kuin pienestä palkkiosta. Mutta itsekontrolli voi syntyä myös, jos esimerkiksi ”odottamista” pidetään käyttäytymisenä sinänsä. Tällöin itsehillintä voi syntyä odottamisen lisääntyneen v-arvon kautta tietyn ärsykkeen läsnä ollessa. Metsästävillä kissoilla itsehillintä voi ilmetä odottamisen korkeana v-arvona, kun saalis on kaukana. Tarvitaan lisätutkimuksia, jotta voidaan ymmärtää paremmin, miten oppimismekanismien eri osatekijät vaikuttavat toisiinsa ja synnyttävät itsehillintää. Geneettisillä taipumuksilla on todennäköisesti suuri merkitys, ja ne ovat vuorovaikutuksessa ärsyke-vaste-assosiaatioiden ja ärsykearvojen kanssa.

Toinen tärkeä tulos oli se, että simulaatioilla saatiin kiinni ero korppien suoritusten välillä kokeessa 3 ja kokeessa 4. Simulaatioiden avulla saatiin selville, miten suuri ero on. Syynä täydelliseen suoritukseen kokeessa 4 sekä korppitutkimuksessa että simulaatiossa oli se, että valinnan ja palkitsemiseen johtavan käyttäytymisen välinen viive jätettiin pois. Sen sijaan oli mahdollisuus käyttää esinettä palkkion keräämiseen heti pakotetun valinnan jälkeen. Tästä syystä jokainen koe johti mahdollisesti suoraan palkkioon, kun taas kokeessa 3 oikean esineen valitseminen palkittiin vasta viiveen jälkeen. Tai toisin sanoen, kokeissa 1-3 korpit saattoivat saada palkkion vain joka toinen kerta, kun ne valitsivat oikean esineen, kun taas kokeessa 4 ne saivat palkkion joka kerta ja välittömästi sen jälkeen, kun ne olivat valinneet ja käyttäneet toiminnallisen esineen.

Yksi samankaltaisuus oppimismallimme ja joidenkin tekoälyn vahvistusoppimismallien välillä on se, että näiden mekanismien avulla agentit ja eläimet pystyvät tunnistamaan arvokkaat maailmantilat ja sen, millaiset käyttäytymismallit ovat näissä arvokkaissa maailmantiloissa tuottavia. Operatiivisessa mielessä nämä oppimismallit tuottavat suunnittelua, kun käyttäytyminen (laita laitteeseen tai anna ihmiselle) ärsykettä (kiveä tai merkkiä) kohtaan tuottaa arvokasta ruokaa myöhemmässä vaiheessa. Tämä tapahtuu siitä huolimatta, että ruoka (tai muu palkitseva ärsyke) puuttuu. Osvath & Kabadayi määritteli vastauksessaan kriitikoille joustavan suunnittelun ”päätöksenteoksi, joka koskee tulevaisuutta oman nykyisen aistipiirinsä ulkopuolella sellaisilla aloilla, joihin hänellä ei ole taipumusta”. Riippumatta siitä, ovatko mallit peräisin tekoälystä vai eläinten käyttäytymisestä , kun oppimismalleihin sisällytetään ehdollinen vahvistus, tämän määritelmän mukaista suunnittelukäyttäytymistä syntyy ärsyke-vaste-arvojen ja ärsykearvojen älykkään vuorovaikutuksen kautta. Keskeistä on se, että tällä hetkellä saatavilla olevat ärsykkeet voivat antaa tietoa siitä, mitä käyttäytymistä pitäisi toteuttaa, jotta päästäisiin tuleviin arvokkaisiin tiloihin. Nämä oppimismallit eivät kuitenkaan pysty simuloimaan erilaisia lopputuloksia mentaalisesti, ne eivät voi matkustaa mentaalisesti ajassa eivätkä järjestää tietoa uudelleen sisäisesti. Robertsia lainatakseni , muut kuin ihmiseläimet voivat olla ”jumissa ajassa” ja silti osoittaa suunnittelukäyttäytymistä.

Mulcahy & Call yritti sulkea pois instrumentaalisen ehdollistumisen selityksenä apinoiden käyttäytymiselle suorittamalla kokeen 4. Tämä vaihe oli samanlainen kuin koe 3, mutta apinoita ei palkittu toiminnallisen työkalun käytöstä. Sen sijaan, että apina olisi astunut huoneeseen funktionaalisen työkalun kanssa, jota voisi käyttää palkkion saamiseksi (kuten kokeessa 3), apina astui huoneeseen ja löysi palkkion, jos se oli kantanut funktionaalisen työkalun koehuoneeseen odotushuoneesta. Väitettiin, että jos apinat suoriutuivat muissa kokeissa paremmin kuin tässä kokeessa, se viittaisi siihen, että apinat suunnittelivat joustavasti. Mulcahy & Call päätteli, että niiden tulokset ”edustavat aitoa tapausta tulevaisuuden suunnittelusta”. Paholaisen asianajaja voisi tunnistaa eroja kokeiden 3 ja 4 välillä, mikä tekisi oppimisesta todennäköisemmän selityksen. Kokeessa 3 apinat palkittiin nimenomaisesti työkalun käytöstä. Tämä johti siihen, että työkalun ehdollistettu vahvistusarvo oli korkea ja ärsyke-vaste-arvo oli korkea, kun työkalua käytettiin laitteessa. Kokeessa 4 Mulcahy & Call huomauttaa kuitenkin, että työkalun poimimisen odotushuoneessa, työkalun kantamisen koehuoneeseen ja sen jälkeen palkkion saamisen välillä oli pidempi aika ilman työkalun käyttöä. Ehkä heikko suorituskyky kokeessa 4 johtui epäselvästä yhteydestä työkalun ja palkkion välillä, koska viive estää työkalun noutamisen hankkimista, jotta myöhemmin saataisiin palkkio. Asianmukaiset kontrolliolosuhteet ovat tärkeitä, jotta hypoteesit voidaan hylätä yksiselitteisesti (esim. viimeaikaiset keskustelut osoitteessa ). Oppimismalliamme voidaan käyttää tulevissa tutkimuksissa tällaisten oppimiskontingenssien vaihtelusta johtuvien käyttäytymiserojen analysointiin.

Simulaatiot osoittavat, että apinatutkimus ja korppitutkimus voidaan ymmärtää assosiatiivisen oppimisen kautta. Kokeiden tulokset kätköilyasiantuntijoista , jotka todennäköisesti ovat riippuvaisia geneettisestä erikoistumisesta , ovat kuitenkin tällä hetkellä oppimismallimme soveltamisalan ulkopuolella. Varastointikäyttäytymiseen ja ruokintakäyttäytymiseen liittyy eläimillä erilaisia motivaatiotiloja. Motivaatiotiloja voidaan pitää sisäisinä ärsykkeinä ja ne voidaan helposti integroida assosiatiiviseen oppimismalliin, mikä lisäisi joustavuutta ruokinta- ja kätköilypäätöksiä tehtäessä. Mallimme ei sisällä erilaisia motivaatiotiloja nykytilassaan, mutta olemme antaneet esimerkkejä siitä, miten geneettiset taipumukset voidaan integroida malliin . Yksi mahdollinen ratkaisu olisi ottaa käyttöön kontekstiriippuvuus niin, että etsintä on erilaista eri ulkoisten ärsykkeiden ja/tai eri sisäisten tilojen yhteydessä. On tärkeää, että kun tehdään oletuksia joustavammista psyykkisistä mekanismeista, on otettava huomioon lisääntyneestä joustavuudesta aiheutuvat korkeammat eksploraatiokustannukset (ks. ). Odotamme, että evoluutio on hienosäätänyt geneettisiä taipumuksia, jotka yhdessä assosiatiivisen oppimisen kanssa tuottavat tuottavaa ja lajispesifistä käyttäytymistä.

Toinen tärkeä seikka tulevia tutkimuksia varten on se, että kun eläimet oppivat käyttäytymisen seurauksista ja ärsyke-vastearvot ja ärsykearvot päivittyvät, nämä ovat pitkäkestoisia muistoja (esim. , ks. myös ). Korppi, joka on koulutettu antamaan merkkejä ihmiselle, ei yksinkertaisesti unohda päivää myöhemmin, miten tämä tehdään. Käyttäytymisen kannalta korppitutkimuksen työkaluehto on identtinen sen kanssa, kun koiranomistajat opettavat karvaisia ystäviään ”siivoamaan” laittamalla lelut niille tarkoitettuun koriin. Sen sijaan, että korppi palkitaan kiven laittamisesta laitteeseen, koira saa palkkion lelun laittamisesta koriin. Tällaiset assosiatiivisen oppimisen kautta päivittyvät pitkäkestoiset muistit eroavat suuresti mielivaltaisten ärsykkeiden lyhytkestoisesta muistista .

Johtopäätöksenä voidaan todeta, että assosiatiivisen oppimisen mallien kehittäminen on vaikuttavaa tekoälytutkimuksessa, ja mallit ovat osoittautuneet tehokkaiksi monimutkaisen käyttäytymisen tuottamisessa. Voidaan kysyä, miksi näitä tehokkaita malleja ei sovelleta laajemmin muiden kuin ihmiseläinten käyttäytymiseen ja miksi näitä malleja aliarvioidaan muiden kuin ihmiseläinten joustavan käyttäytymisen syynä. Tämä on erityisen relevanttia, kun otetaan huomioon, että eläinten kognition tutkimusta, jossa ei-inhimillisillä eläimillä väitetään olevan oivalluksia, osoittavan kausaalista päättelyä ja suunnitelmaa, kritisoidaan säännöllisesti siitä, että ne kärsivät suurista väitteistä, jotka perustuvat heikkoon metodologiaan (esim. ). Yksi tapa ratkaista tämä assosiatiivisen oppimisen paradoksi on integroida tekoälyn, eläinten oppimisen ja eläinten kognition alat. Käyttäytymistä synnyttävien mekanismien ymmärtämiseksi muodolliset alhaalta ylöspäin suuntautuvat assosiatiiviset mallit ovat todennäköisesti valaisevampia kuin verbaaliset ylhäältä alaspäin suuntautuvat ”korkeamman asteen” kognitiiviset mallit. Esimerkiksi siksi, että jälkimmäisiä malleja on vaikeampi hylätä, eikä niitä voida toteuttaa simulaatioissa tai käyttää robotteja rakennettaessa. Yhteenvetona voidaan todeta, että ei voida sulkea pois sitä, että apinoiden ja korpien ja luultavasti monien muidenkin lajien joustava suunnittelu syntyy assosiatiivisen oppimisen kautta.

Aineiston saatavuus

Kuviot ja simulaatioiden aineisto voidaan tuottaa sähköisessä oheismateriaalissa esitetyllä ohjelmistolla ja koodilla.

Tekijöiden panos

J.L. ideoi tutkimuksen, suoritti tietokonesimulaatiot, analysoi tiedot ja kirjoitti käsikirjoituksen.

Kilpailevat etunäkökohdat

Ei ole kilpailevia etunäkökohtia.

Rahoitus

Tätä työtä on tukenut Knut ja Alice Wallenbergin säätiö, KAW 2015.005.

Alaviitteet

Elektroninen lisämateriaali on saatavilla verkossa osoitteessa https://dx.doi.org/10.6084/m9.figshare.c.4302740.