Tästä syystä Apple uskoo olevansa tekoälyn edelläkävijä – ja sanoo kriitikoiden olevan väärässä

Koneoppiminen (ML) ja tekoäly (AI) läpäisevät nykyään lähes jokaisen iPhonen ominaisuuden, mutta Apple ei ole mainostanut näitä tekniikoita niin kuin eräät kilpailijansa ovat. Halusin ymmärtää enemmän Applen lähestymistavasta , joten keskustelin tunnin ajan kahden Applen johtajan kanssa yhtiön strategiasta – ja kaikkien uusien tekoälyyn ja ML:ään perustuvien ominaisuuksien vaikutuksista yksityisyyteen.

Historiallisesti Applella ei ole ollut julkisuudessa mainetta johtavana toimijana tällä alalla. Tämä johtuu osittain siitä, että ihmiset yhdistävät tekoälyn digitaalisiin avustajiin, ja arvostelijat kutsuvat Siriä usein vähemmän hyödylliseksi kuin Google Assistantia tai Amazon Alexaa. ML:n kohdalla monet tekniikan harrastajat sanovat, että enemmän dataa tarkoittaa parempia malleja, mutta Applea ei tunneta datan keräämisestä samalla tavalla kuin esimerkiksi Googlea.

Tästä huolimatta Apple on sisällyttänyt useimpiin toimittamiinsa laitteisiin erityistä laitteistoa koneoppimistehtäviä varten. Koneälyyn perustuvat toiminnot hallitsevat yhä useammin keynote-esityksiä, joissa Applen johtajat nousevat lavalle esittelemään iPhonen, iPadin tai Apple Watchin uusia ominaisuuksia. Myöhemmin tänä vuonna esiteltävät Macit, joissa on Applen pii, tuovat monia samoja koneälykehityksiä myös yhtiön kannettaviin tietokoneisiin ja pöytätietokoneisiin.

Olen puhunut Applen pii-ilmoituksen jälkeen pitkään Applen koneoppimis- ja tekoälystrategiasta vastaavan varatoimitusjohtajan John Giannandrean sekä tuotemarkkinoinnin varatoimitusjohtajan Bob Borchersin kanssa. He kuvailivat Applen tekoälyfilosofiaa, selittivät, miten koneoppiminen ohjaa tiettyjä ominaisuuksia, ja perustelivat intohimoisesti Applen laitteiden tekoäly-/ML-strategiaa.

Millainen on Applen tekoälystrategia?

Kumpikin Giannandrea ja Borchers tulivat Applelle parin viime vuoden aikana; kumpikin heistä on aiemmin työskennellyt Googlella. Borchers itse asiassa palasi Applen palvelukseen oltuaan jonkin aikaa poissa; hän oli iPhonen markkinoinnista vastaavana johtajana vuoteen 2009 asti. Ja Giannandrean loikkauksesta Googlelta Applelle vuonna 2018 uutisoitiin laajalti; hän oli toiminut Googlen tekoälyn ja hakujen johtajana.

Google ja Apple ovat varsin erilaisia yrityksiä. Google on tunnettu siitä, että se osallistuu tekoälytutkimusyhteisöön ja joissain tapauksissa johtaa sitä, kun taas Apple teki aiemmin suurimman osan työstään suljettujen ovien takana. Tämä on muuttunut viime vuosina, kun koneoppiminen on lukuisten ominaisuuksien taustalla Applen laitteissa ja Apple on lisännyt sitoutumistaan tekoäly-yhteisöön.

”Kun tulin Applelle, olin jo iPadin käyttäjä ja rakastin Penciliä”, Giannandrea (kollegoilta J.G.) kertoi. ”Niinpä jäljitin ohjelmistotiimejä ja kysyin: ’Okei, missä on koneoppimisen tiimi, joka työskentelee käsialan parissa?’ Enkä löytänyt sitä.” Kävi ilmi, että tiimiä, jota hän etsi, ei ollut olemassa – mikä oli hänen mukaansa yllätys, kun otetaan huomioon, että koneoppiminen on yksi parhaista työkaluista, joita ominaisuuteen on nykyään saatavilla.

”Tiesin, että Applen pitäisi tehdä niin paljon koneoppimista, että oli yllättävää, että kaikkea ei itse asiassa ollut tehty. Ja se on muuttunut dramaattisesti viimeisten kahden-kolmen vuoden aikana”, hän sanoi. ”Uskon todella rehellisesti, että iOS:ssä tai Applen käyttökokemuksissa ei ole nurkkaa, jota koneoppiminen ei muuttaisi lähivuosina.”

Katso lisää

Kysyin Giannandrealta, miksi hän koki Applen olevan oikea paikka hänelle. Hänen vastauksensa oli samalla ytimekäs yhteenveto yrityksen tekoälystrategiasta:

Minä ajattelen, että Apple on aina edustanut tätä luovuuden ja teknologian risteyskohtaa. Ja uskon, että kun ajatellaan älykkäiden kokemusten rakentamista, vertikaalinen integraatio aina sovelluksista kehyksiin ja piiin asti on todella olennaista…. Uskon, että se on matka, ja uskon, että tämä on tietokonelaitteiden tulevaisuus, että ne ovat älykkäitä ja että älykkyys tavallaan katoaa.”

Myös Borchers puuttui asiaan ja lisäsi: ”Tämä on selkeästi lähestymistapamme kaikessa, mitä teemme, eli keskitytään hyötyyn, ei siihen, miten päädyit sinne”. Ja parhaimmissa tapauksissa siitä tulee automaattista. Se katoaa… ja keskitytään vain siihen, mitä tapahtui, eikä siihen, miten se tapahtui.”

Puhuessaan jälleen käsialaesimerkistä Giannandrea esitti, että Applella on parhaat edellytykset ”johtaa alaa” koneälyyn perustuvien ominaisuuksien ja tuotteiden rakentamisessa:

Me teimme Pencilin, me teimme iPadin, me teimme ohjelmiston molempia varten. Se on vain ainutlaatuisia mahdollisuuksia tehdä todella, todella hyvää työtä. Missä teemme todella, todella hyvää työtä? Annamme jonkun tehdä muistiinpanoja ja olla tuottava luovien ajatustensa kanssa digitaalisella paperilla. Minua kiinnostaa nähdä, miten näitä kokemuksia käytetään laajamittaisesti maailmassa.

Hän vertasi tätä Googleen. ”Google on hämmästyttävä yritys, ja siellä työskentelee todella hienoja teknologeja”, hän sanoi. ”Mutta pohjimmiltaan heidän liiketoimintamallinsa on erilainen, eikä heitä tunneta siitä, että he toimittavat kuluttajakokemuksia, joita käyttävät sadat miljoonat ihmiset.”

Miten Apple käyttää koneoppimista nykyään?

Applella on ollut tapana mainita viimeaikaisissa markkinointiesityksissään, että koneoppiminen on parantanut joitain iPhonen, Apple Watchin tai iPadin ominaisuuksia, mutta se harvoin syventyy yksityiskohtiin – ja suurin osa iPhonen ostavista ihmisistä ei ole koskaan katsonut kyseisiä esityksiä kuitenkaan. Vastakohtana on esimerkiksi Google, joka asettaa tekoälyn keskiöön suuressa osassa kuluttajille suunnattua viestintäänsä.

Koneoppimisen käytöstä Applen ohjelmistoissa ja laitteissa on lukuisia esimerkkejä, joista useimmat ovat tulleet uusina vasta parin viime vuoden aikana.

Koneoppimista käytetään auttamaan iPadin ohjelmistoa erottamaan, painaako käyttäjä vahingossa kämmentään näyttöä vasten piirtäessään Applen kynällä ja painaako hän kämmentä tarkoituksella, jotta hän voisi antaa syötteen. Sitä käytetään seuraamaan käyttäjien käyttötottumuksia, jotta voidaan optimoida laitteen akun kesto ja lataus, jotta voidaan sekä parantaa käyttäjien latausten välistä aikaa että suojella akun pitkäaikaiskestävyyttä. Sitä käytetään sovellussuositusten tekemiseen.

Sitten on vielä Siri, joka on ehkä ainoa asia, jonka kuka tahansa iPhonen käyttäjä mieltää välittömästi tekoälyksi. Koneoppiminen ohjaa useita Sirin osa-alueita, puheentunnistuksesta Sirin yrityksiin tarjota hyödyllisiä vastauksia.

Tietävät iPhonen omistajat saattavat myös huomata, että koneoppiminen on Kuvat-sovelluksen kyvyn takana lajitella kuvat automaattisesti valmiisiin gallerioihin tai antaa sinulle täsmällisesti kuvia Jane-nimisestä ystävästä, kun hänen nimensä syötetään sovelluksen hakukenttään.

Muissa tapauksissa vain harva käyttäjä ehkä tajuaa, että koneoppiminen on töissä. Esimerkiksi iPhone saattaa ottaa useita kuvia nopeasti peräkkäin aina, kun napautat laukaisinta. ML-koulutettu algoritmi analysoi sitten jokaisen kuvan ja voi koota kunkin kuvan parhaiksi katsomansa osat yhdeksi tulokseksi.

Puhelimissa on jo pitkään ollut kuvasignaaliprosessoreita (ISP), joiden avulla valokuvien laatua on voitu parantaa digitaalisesti ja reaaliaikaisesti, mutta Apple nopeutti prosessia vuonna 2018 laittamalla iPhonessa olevan ISP:n toimimaan tiiviisti yhdessä Neural Enginen kanssa, joka on yhtiön hiljattain lisäämä koneoppimiseen keskittyvä prosessori.

Pyysin Giannandrea mainitsemaan joitain tapoja, joiden avulla Apple käyttää koneellista oppimista viimeaikaisissa ohjelmistoissaan ja tuotteissaan. Hän antoi pesulalistan esimerkkejä:

Tässä on koko joukko uusia kokemuksia, jotka perustuvat koneoppimiseen. Ja näitä ovat esimerkiksi kielenkääntäminen, tai laitteessa tapahtuva sanelu, tai uudet ominaisuutemme terveyteen liittyen, kuten uni ja käsienpesu, ja asiat, joita olemme julkaisseet aiemmin sydämen terveyteen liittyen ja sen kaltaisia asioita. Uskon, että iOS:ssä on yhä vähemmän ja vähemmän kohtia, joissa emme käytä koneoppimista.

On vaikea löytää sellaista osaa käyttökokemuksesta, jossa ei käytettäisi jotain ennakoivaa . Kuten sovellusennusteet tai näppäimistöennusteet, tai nykyaikaiset älypuhelinkamerat tekevät kulissien takana paljon koneoppimista selvittääkseen, mitä he kutsuvat ”saliaatioksi”, eli mikä on kuvan tärkein osa? Tai jos kuvittelet sumentavasi taustan, teet muotokuvatilan.

Kaikki nämä asiat hyötyvät keskeisistä koneoppimisominaisuuksista, jotka on sisäänrakennettu keskeiseen Apple-alustaan. Joten se on melkein kuin: ”Etsi minulle jotain, missä emme käytä koneoppimista.”

Borchers nosti esiin myös saavutettavuusominaisuudet tärkeinä esimerkkeinä. ”Ne ovat pohjimmiltaan saatavilla ja mahdollisia tämän takia”, hän sanoi. ”Asiat, kuten äänentunnistusominaisuus, joka on peliä muuttava kyseiselle yhteisölle, ovat mahdollisia ajan myötä tehtyjen investointien ja sisäänrakennettujen ominaisuuksien ansiosta.”

Lisäksi olet ehkä huomannut, että Applen ohjelmisto- ja laitteistopäivitykset parin viime vuoden aikana ovat korostaneet lisätyn todellisuuden ominaisuuksia. Suurin osa näistä ominaisuuksista on tehty mahdolliseksi koneoppimisen ansiosta. Per Giannandrea:

Koneoppimista käytetään paljon lisätyssä todellisuudessa. Vaikea ongelma siellä on niin sanottu SLAM, eli Simultaneous Localization And Mapping. Eli yrittää ymmärtää, jos sinulla on iPad, jossa on lidar-skanneri ja liikut ympäriinsä, mitä se näkee? Ja rakentaa 3D-malli siitä, mitä se itse asiassa näkee.

Tässä käytetään nykyään syväoppimista, ja se on pystyttävä tekemään laitteessa, koska se on pystyttävä tekemään reaaliajassa. Ei olisi järkevää, jos heiluttaisit iPadia ympäriinsä ja sitten ehkä joutuisit tekemään sen datakeskuksessa. Yleisesti ottaen sanoisin, että erityisesti syväoppiminen antaa meille mahdollisuuden siirtyä raa’asta datasta datan semantiikkaan.”

Yhä useammin Apple suorittaa koneoppimistehtäviä paikallisesti laitteessa, laitteistolla, kuten Apple Neural Engine (ANE), tai yhtiön räätälöidyillä grafiikkasuorittimilla (GPU). Giannandrea ja Borchers väittivät, että tämä lähestymistapa tekee Applen strategiasta kilpailijoiden joukosta erottuvan.

Miksi tehdä se laitteessa?

Kumpikin Giannandrea ja Borchers esittivät keskustelussamme kiihkeän väitteen, että äsken käsittelemämme ominaisuudet ovat mahdollisia siksi – ei siitä huolimatta – että kaikki työ tehdään paikallisesti laitteessa.

Yleinen narratiivi kiteyttää koneoppimisen ajatukseen, että enemmän dataa tarkoittaa parempia malleja, mikä puolestaan tarkoittaa parempia käyttäjäkokemuksia ja tuotteita. Se on yksi syy siihen, miksi sivustakatsojat viittaavat usein Googleen, Amazoniin tai Facebookiin tekoälyn todennäköisinä hallitsijoina; nämä yritykset käyttävät massiivisia tiedonkeruukoneistoja osittain siksi, että ne toimivat ja niillä on täydellinen näkyvyys siihen, mistä on tullut keskeinen digitaalinen infrastruktuuri suurelle osalle maailmaa. Tällä mittarilla Applea jotkut pitävät epätodennäköisenä, että se suoriutuisi yhtä hyvin, koska sen liiketoimintamalli on erilainen ja se on julkisesti sitoutunut rajoittamaan tiedonkeruutaan.

Kun esittelin nämä näkökulmat Giannandrealle, hän ei pidättäytynyt:

Kyllä, ymmärrän tämän käsityksen siitä, että isommat mallit datakeskuksissa ovat jotenkin täsmällisempiä, mutta se on itse asiassa väärin. Se on oikeastaan teknisesti väärin. On parempi ajaa malli lähellä dataa, kuin siirtää dataa ympäriinsä. Olipa kyse sitten sijaintitiedoista – kuten mitä teet – liikuntatiedoista – mitä kiihtyvyysmittari tekee puhelimessasi – on vain parempi olla lähellä datan lähdettä, joten se myös suojaa yksityisyyttä.

Borchers ja Giannandrea viittasivat useaan otteeseen yksityisyyden suojaan liittyviin vaikutuksiin, jotka liittyvät siihen, että tämä työ tehdään datakeskuksessa, mutta Giannandrea sanoi, että paikallisessa prosessoinnissa on kyse myös suorituskyvystä.

”Yksi muista suurista seikoista on latenssi”, hän sanoi. ”Jos lähetät jotain datakeskukseen, on todella vaikeaa tehdä jotain kuvataajuudella. Niinpä meillä on sovelluskaupassa paljon sovelluksia, jotka tekevät asioita, kuten poseerauksen arviointia, kuten henkilön liikkumisen selvittämistä ja esimerkiksi sen tunnistamista, missä hänen jalkansa ja kätensä ovat. Se on korkean tason API, jonka tarjoamme. Se on hyödyllistä vain, jos voit tehdä sen periaatteessa kuvanopeudella.”

Hän antoi toisen esimerkin kuluttajakäyttötapauksesta:

Olet ottamassa valokuvaa, ja hetkeä ennen kuin otat kuvan kameralla, kamera näkee kaiken reaaliajassa. Se voi auttaa sinua tekemään päätöksen siitä, milloin otat valokuvan. Jos haluaisit tehdä tämän päätöksen palvelimella, sinun täytyisi lähettää jokainen yksittäinen kuva palvelimelle, jotta voisit tehdä päätöksen siitä, miten valokuva otetaan. Eihän siinä ole mitään järkeä? Joten on vain paljon kokemuksia, joita haluaisit rakentaa ja jotka on parempi tehdä reunalaitteessa.

Kysyttäessä, miten Apple päättää, milloin jotain tehdään laitteessa, Giannandrean vastaus oli suoraviivainen: ”

Lisäksi molemmat Applen johtajat pitivät Applen mukautettua piitä – erityisesti Apple Neural Engine (ANE) -piitä, joka on ollut iPhonessa iPhone 8:sta ja iPhone X:stä lähtien – edellytyksenä tälle laitteessa tapahtuvalle käsittelylle. Neural Engine on okta-ytiminen neuraalinen prosessoriyksikkö (NPU), jonka Apple suunnitteli käsittelemään tietynlaisia koneoppimistehtäviä.

”Kyseessä on monivuotinen matka, koska laitteistoa ei ollut saatavilla tämän tekemiseen reunalla viisi vuotta sitten”, Giannandrea sanoi. ”ANE:n rakenne on täysin skaalautuva. iPadissa on isompi ANE kuin puhelimessa, kuin Apple Watchissa, mutta CoreML:n API-kerros sovelluksiamme ja myös kehittäjäsovelluksia varten on periaatteessa sama koko tuotesarjassa.”

Kun Apple on puhunut julkisesti Neural Enginestä, yhtiö on jakanut suorituskykylukuja, kuten 5 triljoonaa operaatiota sekunnissa vuoden 2018 A12-sirussa. Mutta se ei ole tarkentanut sirun arkkitehtuuria. Se on kirjaimellisesti musta laatikko Applen esitysten dioilla.

Niinpä halusin tietää, valottaisiko Giannandrea tarkemmin, miten Neural Engine toimii konepellin alla, mutta hän kieltäytyi menemästä kovin yksityiskohtaisesti. Sen sijaan hän sanoi, että sovelluskehittäjät voivat saada kaiken tarvitsemansa tiedon CoreML:stä – ohjelmistokehitysliittymästä, joka tarjoaa kehittäjille pääsyn iPhonen koneoppimisominaisuuksiin.

CoreML-kehittäjäliittymässä hahmotellaan hyvin selkeästi, millaisia koneoppimismalleja, ajoaikamalleja tuemme… Meillä on yhä enemmän ytimiä, joita tuemme. Ja CoreML:ää kohdennetaan mistä tahansa suositusta koneoppimisesta, kuten PyTorchista tai TensorFlow’sta, ja sitten lähinnä käännät mallisi ja annat sen CoreML:lle.

CoreML:n tehtävänä on selvittää, missä tuota mallia ajetaan. Saattaa olla, että oikea asia on ajaa malli ANE:lla, mutta voi myös olla oikea asia ajaa malli GPU:lla tai ajaa malli CPU:lla. Ja suorittimessamme on optimointeja myös koneoppimista varten.”

Keskustelumme aikana molemmat johtajat viittasivat yhtä paljon kolmansien osapuolten kehittäjien kuin Applen omiin sovelluksiin. Strategiassa ei ole kyse vain Applen tekemien palveluiden ja ominaisuuksien edistämisestä, vaan ainakin osan näistä kyvyistä avaamisesta suurelle kehittäjäyhteisölle. Apple on luottanut kehittäjien innovaatioihin alustoillaan siitä lähtien, kun App Store avattiin ensimmäisen kerran vuonna 2008. Yhtiö lainaa usein näiden kehittäjien ideoita päivittäessään omia, sisäisesti tehtyjä sovelluksiaan.

Applen laitteet eivät tietenkään ole ainoita, joihin on sisäänrakennettu koneoppimissiruja. Esimerkiksi Samsung, Huawei ja Qualcomm sisällyttävät NPU:t system-on-a-chip-järjestelmiinsä. Ja myös Google tarjoaa koneoppimisen API:ita kehittäjille. Silti Googlen strategia ja liiketoimintamalli eroavat selvästi toisistaan. Android-puhelimet eivät tee paikallisesti läheskään yhtä laajaa valikoimaa koneoppimistehtäviä.

Macs with Apple Silicon

Giannandrean ja Borchersin haastattelussa ei keskitytty yhtiön WWDC-tapahtumassa muutama viikko sitten tekemään suureen ilmoitukseen – Applen piillä varustettujen Macien lähestyvään julkaisuun. Mutta kun spekuloin, että yksi Applen monista syistä suunnitella Macit omien sirujensa ympärille voisi olla Neural Enginen sisällyttäminen, Borchers sanoi:

Meillä on ensimmäistä kertaa yhteinen alusta, piialusta, joka voi tukea sitä, mitä haluamme tehdä ja mitä kehittäjämme haluavat tehdä….. Tämä kyky avaa joitakin mielenkiintoisia asioita, joita voimme ajatella, mutta luultavasti vielä tärkeämpää on se, että se avaa paljon asioita muille kehittäjille heidän edetessään.

Giannandrea antoi yhden konkreettisen esimerkin siitä, miten Applen koneoppimistyökaluja ja -laitteistoa tullaan käyttämään Macissa:

En tiedä, näitkö tuon demon Unionin tilaisuudessa, mutta periaatteessa ideana oli, että kun annat videon, käy videon läpi ruutu kerrallaan tai kuva kerrallaan ja tee objektien tunnistus. Ja se onnistuu yli kertaluokkaa nopeammin meidän piipiirillämme kuin perinteisellä alustalla.

Ja sitten sanot: ”No, se on mielenkiintoista. No, miksi se on hyödyllistä?” Kuvittele videoeditori, jossa sinulla olisi hakukenttä ja voisit sanoa: ”Etsi minulle pöydällä oleva pizza.” Ja se vain pyyhkäisisi tuohon ruutuun… Uskon, että ihmiset tulevat keksimään juuri tällaisia kokemuksia. Haluamme kovasti, että kehittäjät käyttävät näitä kehyksiä ja yllättävät meidät sillä, mitä he pystyvät niillä tekemään.

Apple kertoi kehittäjäkonferenssissaan, että se aikoo toimittaa Macit omalla piipiirillään tämän vuoden loppupuolella.

Miten on yksityisyydensuojan laita?

Suojattu yksityisyydensuoja on ollut etusijalla Applen viestinnässä käyttäjille parin viime vuoden aikana. Se on tuotu esiin kerta toisensa jälkeen keynoteissa ja markkinointimateriaaleissa, siitä on muistutuksia ripoteltu läpi iOS:n, ja se nousee usein esiin haastatteluissa – niin myös tässä haastattelussa.

”Ihmiset ovat huolissaan tekoälystä laajasti, koska he eivät tiedä, mitä se on”, Giannandrea kertoi minulle. ”He luulevat, että se on kyvykkäämpi kuin se on, tai he ajattelevat tätä scifi-näkemystä tekoälystä, ja Bill Gatesin ja Elon Muskin ja muiden kaltaiset vaikutusvaltaiset ihmiset sanovat, että tämä on vaarallista teknologiaa.”

Hän uskoo, että muiden suurten teknologiayritysten tekoälyn ympärillä vallitseva hype on negatiivinen, ei positiivinen asia näiden yritysten markkinointipyrkimyksille, ”koska ihmiset ovat huolissaan tästä teknologiasta.”

Termi ”tekoäly” ei ehkä ole tässä yhteydessä hyödyllinen. Se tuo mieleen popkulttuurin pahansuovat synteettiset pahikset, kuten Skynetin tai HAL 9000:n. Mutta useimmat sovelletun tekoälyn asiantuntijat kertovat, että tämä synkkä lopputulos on kaukana todellisuudesta. Koneoppimisen ohjaamaan tekniikkaan liittyy monia riskejä – esimerkiksi ihmisen ennakkoluulojen periytyminen ja voimistuminen – mutta se, että se ryöstäytyy ja hyökkää väkivaltaisesti ihmiskunnan kimppuun, ei vaikuta todennäköiseltä lähitulevaisuudessa.

Koneoppiminen ei tee koneista älykkäitä samalla tavalla kuin ihmiset. Tästä ja muista syistä monet tekoälyasiantuntijat (Giannandrea mukaan lukien) ovat ehdottaneet vaihtoehtoisia termejä, kuten ”koneäly”, jotka eivät vedä yhtäläisyyksiä ihmisen älykkyyteen.

Olipa nimikkeistö mikä tahansa, koneoppiminen voi tuoda mukanaan hyvin todellisen ja läsnä olevan vaaran: käyttäjien yksityisyyden suojan heikentämisen. Jotkin yritykset keräävät aggressiivisesti henkilökohtaisia tietoja käyttäjistä ja lataavat ne datakeskuksiin käyttäen koneoppimista ja harjoittelua perusteluna.

Kuten edellä todettiin, Apple tekee suuren osan tästä keräämisestä ja käsittelystä paikallisesti käyttäjän laitteessa. Giannandrea sitoi tämän päätöksen nimenomaisesti yksityisyyden suojaan liittyviin huolenaiheisiin. ”Luulen, että meillä on hyvin selkeä kanta tähän, eli aiomme tehdä tätä koneoppimisen kehittynyttä teknologiaa mahdollisimman monessa tapauksessa laitteessasi, eivätkä tiedot poistu laitteestasi”, hän sanoi. ”Meillä on hyvin selkeä kannanotto siitä, miksi ajattelemme, että laitteemme ovat turvallisempia tai parempia tai niihin pitäisi luottaa enemmän.”

Hän käytti tekstistä puheeksi -periaatetta konkreettisena esimerkkinä tästä filosofiasta käytännössä:

Jos sanot jotakin sellaista kuin: ”Lue minulle viestejäni Bobilta.” Tekstin synteesi puheeksi tapahtuu laitteessa, neuraalimoottorissa – neuraalimoottorin ja suorittimen yhdistelmässä. Ja tämän takia emme koskaan nähneet Bobilta saamasi viestin sisältöä, koska puhelimesi lukee sen ääneen – palvelimet eivät lue sitä ääneen. Viestin sisältö ei siis koskaan päässyt palvelimelle…

Se on siis hyvä esimerkki siitä, että kehittynyt teknologia todella parantaa sekä käyttäjän käyttömukavuutta, koska ääni syntetisoidaan laitteessa, joten vaikka yhteys katkeaisi, se toimii silti. Mutta myös yksityisyyden suojan kannalta. Se on itse asiassa todella vaikeaa. Paljon todella kovaa insinöörityötä on tehty, jotta nykyaikainen korkealaatuinen ääni voidaan syntetisoida laitteessa, jonka voi laittaa taskuunsa.

Tietenkin monissa tapauksissa on käytettävä jonkin verran käyttäjätietoja koneellista oppimista varten. Miten Apple siis tarkalleen ottaen käyttää käsittelemäänsä käyttäjädataa? Giannandrea selitti:

Yleisesti ottaen meillä on kaksi tapaa rakentaa malleja. Yksi on se, jossa keräämme ja merkitsemme dataa, mikä on tarkoituksenmukaista monissa, monissa tilanteissa. Ja sitten on tapaus, jossa pyydämme käyttäjiä lahjoittamaan datansa. Merkittävin esimerkki tästä on Siri, jossa iPhonen käyttöönoton yhteydessä kysytään: ”Haluaisitko auttaa tekemään Siristä paremman?”

Tässä tapauksessa meille lahjoitetaan jonkin verran dataa, ja hyvin pientä osaa siitä saatetaan käyttää koulutukseen. Mutta monista, monista asioista, joista tässä on kyse – kuten vaikkapa käsialasta – voimme kerätä tarpeeksi dataa kouluttaaksemme mallin toimimaan periaatteessa kaikkien käsialalla ilman, että meidän tarvitsee käyttää lainkaan kuluttajien dataa.

Osa näistä kehotteista, joissa pyydetään käyttämään tietojasi, on lisätty hiljattain. Viime kesänä raportti osoitti, että Siri nauhoitti, mitä käyttäjät sanoivat vahingossa tapahtuneiden aktivointien jälkeen; Sirin toiminnallisuuden laadunvarmistuksesta vastaavat alihankkijat kuulivat osan näistä nauhoituksista.

Apple reagoi asiaan sitoutumalla tallentamaan Siriin liittyvää ääntä vain sen jälkeen, kun käyttäjät olivat nimenomaisesti valinneet, että he halusivat tehdä Siristä paremman jakamalla nauhoituksia (tämä käytös otettiin käyttöön iOS:n versiossa 13.2), minkä jälkeen se toi kaiken laadunvarmistuksen yrityksensä sisälle. Kysyin, mitä Apple tekee näille tiedoille eri tavalla kuin alihankkijat. Giannandrea vastasi:

Meillä on paljon turvatoimia. Esimerkiksi on olemassa prosessi, jolla tunnistetaan, oliko ääni tarkoitettu assistentille, mikä on täysin erillään prosessista, jolla ääni itse asiassa tarkistetaan. Teemme siis sisäisesti paljon asioita varmistaaksemme, ettemme kaappaa – ja sitten itse asiassa hävitämme – vahingossa syntynyttä ääntä.

Mutta jos et ole halukas itse asiassa varmistamaan ominaisuuden laadunvalvontaa, kuten sanoit, niin et koskaan tee vahingossa tehdyistä tallenteista parempia. Kuten tiedät, koneoppiminen vaatii jatkuvaa parantamista. Joten me itse asiassa uudistimme paljon työnkulkujamme ja prosessejamme samaan aikaan, kun toimme työn talon sisälle. Olen hyvin vakuuttunut siitä, että meillä on yksi parhaista prosesseista, joilla voimme parantaa avustajaa yksityisyyden suojaa kunnioittavalla tavalla.”

On selvää, että Apple pyrkii ajamaan yksityisyyden suojaa laitteidensa keskeisenä ominaisuutena; Giannandreasta tämä kuulosti aidolta vakaumukselta. Mutta se voi myös auttaa Applea markkinoilla, sillä sen suurimmalla kilpailijalla mobiilialalla on paljon huonompi maine yksityisyydensuojan suhteen, ja se jättää aukon, kun käyttäjät ovat yhä huolestuneempia tekoälyn vaikutuksista yksityisyyteen.

Keskustelumme aikana sekä Giannandrea että Borchers palasivat kahteen seikkaan Applen strategiassa: 1) on suorituskykyisempää tehdä koneoppimistehtäviä paikallisesti ja 2) on ”yksityisyydensuojan säilyttämistä” helpompaa – sanamuoto, jonka Giannandrea toisti muutamaan otteeseen keskustelussamme – tehdä niin.

Mustan laatikon sisällä

Pitkään tekoälyominaisuuksien parissa työskenneltyään enimmäkseen pimennossa Applen painotus koneoppimiseen on laajentunut huomattavasti viime vuosina.

Yhtiö julkaisee julkaisuja säännöllisesti, se tekee akateemisia sponsorointeja, sillä on apurahoja, se sponsoroi laboratorioita, se osallistuu tekoäly- ja matematiikkakonferensseihin. Se käynnisti hiljattain uudelleen koneoppimisblogin, jossa se jakaa osan tutkimuksestaan. Se on myös palkannut runsaasti insinöörejä ja muita koneoppimisen parissa työskenteleviä – mukaan lukien Giannandrea itse vain kaksi vuotta sitten.

Se ei johda tutkimusyhteisöä samalla tavalla kuin Google, mutta Apple vakuuttaa olevansa edelläkävijä ainakin siinä, että se tuo koneoppimisen hedelmiä yhä useampien käyttäjien ulottuville.

Muistatko, kun Giannandrea sanoi olevansa yllättynyt siitä, että koneellista oppimista ei käytetä käsinkirjoitukseen Pencilin avulla? Hän jatkoi näkemällä tiimin luomisen, joka sai sen aikaan. Ja yhdessä muiden tiimien kanssa he etenivät eteenpäin koneoppimiseen perustuvassa käsinkirjoituksessa, joka on kulmakivi iPadOS 14:ssä.

”Meillä on Applella paljon uskomattomia koneoppimisen harjoittajia, ja palkkaamme heitä edelleen”, Gianandrea sanoi. ”Minusta on erittäin helppoa houkutella maailmanluokan ihmisiä Applelle, koska tuotteissamme on yhä ilmeisempää, että koneoppiminen on kriittinen osa kokemuksia, joita haluamme rakentaa käyttäjille.”

Lyhyen tauon jälkeen hän lisäsi: ”Suurin ongelmani on kai se, että monet kunnianhimoisimmista tuotteistamme ovat sellaisia, joista emme voi puhua, joten on hieman myynnin kannalta haastavaa sanoa jollekin: ’Tule työskentelemään kaikkien aikojen kunnianhimoisimmassa tuotteessamme, mutta en voi kertoa, mikä se on’.'”

Jos suuria teknologiayrityksiä ja pääomasijoituksia on uskominen, tekoälystä ja koneoppimisesta tulee lähivuosina vain entistä yleisempiä. Oli miten oli, Giannandrea ja Borchers tekivät yhden asian selväksi: koneoppimisella on nyt osansa suuressa osassa Applen tuotteista ja monissa kuluttajien päivittäin käyttämissä ominaisuuksissa. Ja kun Neural Engine on tulossa Mac-tietokoneisiin tänä syksynä, koneoppimisen rooli Applessa todennäköisesti kasvaa entisestään.