Voici pourquoi Apple croit qu’il est un leader de l’IA-et pourquoi il dit que les critiques ont tout faux
L’apprentissage machine (ML) et l’intelligence artificielle (IA) imprègnent maintenant presque toutes les fonctionnalités de l’iPhone, mais Apple n’a pas vanté ces technologies comme certains de ses concurrents. Je voulais en savoir plus sur l’approche d’Apple, alors j’ai passé une heure à discuter avec deux cadres d’Apple de la stratégie de l’entreprise – et des conséquences sur la vie privée de toutes les nouvelles fonctionnalités basées sur l’IA et l’intelligence artificielle.
Historiquement, Apple n’a pas la réputation publique d’être un leader dans ce domaine. C’est en partie parce que les gens associent l’IA aux assistants numériques, et les critiques qualifient fréquemment Siri de moins utile que Google Assistant ou Amazon Alexa. Et avec le ML, de nombreux passionnés de technologie disent que plus de données signifient de meilleurs modèles – mais Apple n’est pas connu pour la collecte de données de la même manière que, par exemple, Google.
Malgré cela, Apple a inclus du matériel dédié aux tâches d’apprentissage automatique dans la plupart des appareils qu’elle expédie. Les fonctionnalités axées sur l’intelligence artificielle dominent de plus en plus les keynotes où les dirigeants d’Apple montent sur scène pour présenter de nouvelles fonctionnalités pour les iPhones, les iPads ou l’Apple Watch. L’introduction de Macs dotés de silicium Apple plus tard cette année apportera bon nombre des mêmes développements d’intelligence machine aux ordinateurs portables et de bureau de la société, également.
Dans le sillage de l’annonce du silicium Apple, je me suis longuement entretenu avec John Giannandrea, vice-président senior d’Apple pour l’apprentissage automatique et la stratégie d’IA, ainsi qu’avec Bob Borchers, vice-président du marketing produit. Ils ont décrit la philosophie d’Apple en matière d’IA, ont expliqué comment l’apprentissage automatique alimente certaines fonctionnalités et ont défendu avec passion la stratégie d’IA/ML d’Apple sur les appareils.
Quelle est la stratégie d’IA d’Apple ?
Giannandrea et Borchers ont tous deux rejoint Apple au cours des deux dernières années ; chacun travaillait auparavant chez Google. Borchers a en fait réintégré Apple après une période d’absence ; il était directeur principal du marketing pour l’iPhone jusqu’en 2009. Et la défection de Giannandrea de Google à Apple en 2018 a été largement rapportée ; il avait été responsable de l’IA et de la recherche chez Google.
Google et Apple sont des entreprises assez différentes. Google a la réputation de participer à la communauté de recherche sur l’IA, et dans certains cas de la diriger, alors qu’Apple avait l’habitude de faire la plupart de ses travaux à huis clos. Cela a changé ces dernières années, car l’apprentissage automatique alimente de nombreuses fonctionnalités des appareils Apple et Apple a accru son engagement dans la communauté de l’IA.
« Lorsque j’ai rejoint Apple, j’étais déjà un utilisateur d’iPad, et j’adorais le Pencil », m’a dit Giannandrea (qui se fait appeler « J.G. » par ses collègues). « Donc, je recherchais les équipes logicielles et je disais : « Ok, où est l’équipe d’apprentissage automatique qui travaille sur l’écriture manuscrite ? ». Et je ne la trouvais pas. » Il s’est avéré que l’équipe qu’il cherchait n’existait pas – une surprise, dit-il, étant donné que l’apprentissage automatique est l’un des meilleurs outils disponibles pour la fonction aujourd’hui.
« Je savais qu’il y avait tellement d’apprentissage automatique qu’Apple devrait faire qu’il était surprenant que tout ne soit pas réellement fait. Et cela a radicalement changé au cours des deux ou trois dernières années », a-t-il déclaré. « Je pense vraiment honnêtement qu’il n’y a pas un coin d’iOS ou d’expériences Apple qui ne sera pas transformé par l’apprentissage automatique au cours des prochaines années. »
J’ai demandé à Giannandrea pourquoi il pensait qu’Apple était le bon endroit pour lui. Sa réponse s’est doublée d’un résumé succinct de la stratégie de l’entreprise en matière d’IA :
Je pense qu’Apple a toujours représenté cette intersection entre la créativité et la technologie. Et je pense que lorsque vous pensez à construire des expériences intelligentes, avoir une intégration verticale, tout en bas, des applications, aux cadres, au silicium, est vraiment essentiel…. Je pense que c’est un voyage, et je pense que c’est l’avenir des appareils informatiques que nous avons, c’est qu’ils soient intelligents, et que, que l’intelligence disparaisse en quelque sorte.
Borchers s’est également mêlé à la discussion, ajoutant : « C’est clairement notre approche, avec tout ce que nous faisons, qui est : ‘Concentrons-nous sur ce qu’est le bénéfice, pas sur la façon dont vous y êtes arrivés’. Et dans les meilleurs cas, cela devient automatique. Il disparaît… et vous vous concentrez simplement sur ce qui s’est passé, par opposition à comment cela s’est passé. »
Parlant à nouveau de l’exemple de l’écriture manuscrite, Giannandrea a fait valoir qu’Apple est le mieux placé pour « diriger l’industrie » dans la construction de fonctionnalités et de produits axés sur l’intelligence de la machine :
Nous avons fait le Pencil, nous avons fait l’iPad, nous avons fait le logiciel pour les deux. Ce sont juste des opportunités uniques de faire un très, très bon travail. Qu’est-ce que nous faisons un très, très bon travail à ? En permettant à quelqu’un de prendre des notes et d’être productif avec ses pensées créatives sur du papier numérique. Ce qui m’intéresse, c’est de voir ces expériences être utilisées à l’échelle dans le monde.
Il a opposé cela à Google. « Google est une entreprise extraordinaire, et il y a de très grands technologues qui y travaillent », a-t-il dit. « Mais fondamentalement, leur modèle économique est différent et ils ne sont pas connus pour expédier des expériences de consommation qui sont utilisées par des centaines de millions de personnes. »
Comment Apple utilise-t-il l’apprentissage automatique aujourd’hui ?
Apple a pris l’habitude de créditer l’apprentissage automatique pour améliorer certaines fonctionnalités de l’iPhone, de l’Apple Watch ou de l’iPad dans ses récentes présentations marketing, mais elle entre rarement dans les détails – et la plupart des gens qui achètent un iPhone n’ont jamais regardé ces présentations, de toute façon. Comparez cela avec Google, par exemple, qui place l’IA au centre d’une grande partie de ses messages aux consommateurs.
Il existe de nombreux exemples d’apprentissage automatique utilisé dans les logiciels et les appareils d’Apple, la plupart d’entre eux étant nouveaux au cours des deux dernières années seulement.
L’apprentissage automatique est utilisé pour aider le logiciel de l’iPad à distinguer entre un utilisateur qui appuie accidentellement sa paume contre l’écran en dessinant avec l’Apple Pencil, et une pression intentionnelle destinée à fournir une entrée. Il est utilisé pour surveiller les habitudes d’utilisation des utilisateurs afin d’optimiser l’autonomie et la charge de la batterie de l’appareil, à la fois pour améliorer le temps que les utilisateurs peuvent passer entre les charges et pour protéger la viabilité à long terme de la batterie. Il est utilisé pour faire des recommandations d’applications.
Puis il y a Siri, qui est peut-être la seule chose que tout utilisateur d’iPhone percevrait immédiatement comme une intelligence artificielle. L’apprentissage automatique pilote plusieurs aspects de Siri, de la reconnaissance vocale aux tentatives de Siri d’offrir des réponses utiles.
Les propriétaires d’iPhone avertis pourraient également remarquer que l’apprentissage automatique est derrière la capacité de l’application Photos à trier automatiquement les photos dans des galeries préétablies, ou à vous donner avec précision les photos d’une amie nommée Jane lorsque son nom est entré dans le champ de recherche de l’application.
Dans d’autres cas, peu d’utilisateurs peuvent réaliser que l’apprentissage automatique est à l’œuvre. Par exemple, votre iPhone peut prendre plusieurs photos en succession rapide chaque fois que vous appuyez sur le bouton de l’obturateur. Un algorithme entraîné par le ML analyse alors chaque image et peut composer ce qu’il juge être les meilleures parties de chaque image en un seul résultat.
Les téléphones comprennent depuis longtemps des processeurs de signal d’image (ISP) pour améliorer la qualité des photos numériquement et en temps réel, mais Apple a accéléré le processus en 2018 en faisant en sorte que l’ISP de l’iPhone travaille en étroite collaboration avec le Neural Engine, le processeur axé sur l’apprentissage automatique récemment ajouté par la société.
J’ai demandé à Giannandrea de citer certaines des façons dont Apple utilise l’apprentissage automatique dans ses logiciels et produits récents. Il a donné une liste d’exemples :
Il y a tout un tas de nouvelles expériences qui sont alimentées par l’apprentissage automatique. Et ce sont des choses comme la traduction de langues, ou la dictée sur l’appareil, ou nos nouvelles fonctionnalités autour de la santé, comme le sommeil et le lavage des mains, et des choses que nous avons publiées dans le passé autour de la santé cardiaque et des choses comme ça. Je pense qu’il y a de moins en moins d’endroits dans iOS où nous n’utilisons pas l’apprentissage automatique.
Il est difficile de trouver une partie de l’expérience où vous ne faites pas de prédiction . Comme, les prédictions de l’application, ou les prédictions du clavier, ou les caméras des smartphones modernes font une tonne d’apprentissage automatique en arrière-plan pour comprendre ce qu’ils appellent la « saillance », qui est comme, quelle est la partie la plus importante de l’image ? Ou, si vous imaginez faire un flou de l’arrière-plan, vous faites le mode portrait.
Toutes ces choses bénéficient des fonctions d’apprentissage automatique de base qui sont intégrées dans la plate-forme de base d’Apple. Donc, c’est presque comme, « Trouvez-moi quelque chose où nous n’utilisons pas l’apprentissage automatique. »
Borchers a également souligné les fonctionnalités d’accessibilité comme des exemples importants. « Ils sont fondamentalement rendus disponibles et possibles grâce à cela », a-t-il dit. « Des choses comme la capacité de détection du son, qui change la donne pour cette communauté particulière, est possible grâce aux investissements au fil du temps et aux capacités qui sont intégrées. »
De plus, vous avez peut-être remarqué que les mises à jour logicielles et matérielles d’Apple au cours des deux dernières années ont mis l’accent sur les fonctionnalités de réalité augmentée. La plupart de ces fonctionnalités sont rendues possibles grâce à l’apprentissage automatique. Per Giannandrea:
L’apprentissage machine est beaucoup utilisé dans la réalité augmentée. Le problème difficile ici est ce qu’on appelle SLAM, c’est-à-dire Simultaneous Localization And Mapping. Il s’agit donc d’essayer de comprendre ce que voit un iPad équipé d’un scanner lidar lorsque vous vous déplacez. Et construire un modèle 3D de ce qu’il voit réellement.
Ceci utilise aujourd’hui l’apprentissage profond et vous devez être capable de le faire sur l’appareil parce que vous voulez être capable de le faire en temps réel. Cela n’aurait pas de sens si vous agitez votre iPad et que vous deviez peut-être le faire au centre de données. Donc, en général, je dirais que la façon dont je pense à cela est que l’apprentissage profond en particulier nous donne la capacité de passer des données brutes à la sémantique sur ces données.
De plus en plus, Apple effectue des tâches d’apprentissage automatique localement sur l’appareil, sur du matériel comme l’Apple Neural Engine (ANE) ou sur les GPU (unités de traitement graphique) conçus sur mesure par la société. Giannandrea et Borchers ont fait valoir que cette approche est ce qui rend la stratégie d’Apple distincte parmi les concurrents.
Pourquoi le faire sur l’appareil ?
Les deux Giannandrea et Borchers ont fait un cas passionné dans notre conversation que les fonctionnalités que nous venons de passer en revue sont possibles en raison – et non en dépit – du fait que tout le travail est effectué localement sur l’appareil.
Il y a un récit commun qui réduit l’apprentissage automatique à l’idée que plus de données signifie de meilleurs modèles, ce qui à son tour signifie de meilleures expériences utilisateur et de meilleurs produits. C’est l’une des raisons pour lesquelles les observateurs désignent souvent Google, Amazon ou Facebook comme les chefs probables du perchoir de l’IA ; ces entreprises exploitent des moteurs de collecte de données massives, en partie parce qu’elles exploitent et ont une visibilité totale sur ce qui est devenu une infrastructure numérique clé pour une grande partie du monde. Selon cette mesure, Apple est jugé par certains peu susceptible d’être aussi performant, parce que son modèle d’affaires est différent et qu’il s’est engagé publiquement à limiter sa collecte de données.
Lorsque j’ai présenté ces perspectives à Giannandrea, il ne s’est pas retenu :
Oui, je comprends cette perception de modèles plus grands dans les centres de données sont en quelque sorte plus précis, mais c’est en fait faux. C’est en fait techniquement faux. Il est préférable d’exécuter le modèle à proximité des données, plutôt que de déplacer les données. Et que ce soit des données de localisation – comme ce que vous faites – des données d’exercice – ce que fait l’accéléromètre de votre téléphone – c’est tout simplement mieux d’être proche de la source des données, et donc c’est aussi la préservation de la vie privée.
Borchers et Giannandrea ont tous deux fait des remarques à plusieurs reprises sur les implications de la vie privée de faire ce travail dans un centre de données, mais Giannandrea a dit que le traitement local est aussi une question de performance.
« Une des autres grandes choses est la latence », a-t-il dit. « Si vous envoyez quelque chose à un centre de données, il est vraiment difficile de faire quelque chose à la fréquence d’images. Nous avons donc beaucoup d’applications dans la boutique d’applications qui font des choses comme l’estimation de la pose, comme comprendre le mouvement de la personne, et identifier où sont ses jambes et ses bras, par exemple. C’est une API de haut niveau que nous offrons. Ce n’est utile que si vous pouvez le faire à la fréquence d’images, essentiellement. »
Il a donné un autre exemple de cas d’utilisation par les consommateurs :
Vous prenez une photo, et les moments avant de prendre une photo avec la caméra, la caméra voit tout en temps réel. Il peut vous aider à prendre une décision sur le moment de prendre une photographie. Si vous vouliez prendre cette décision sur le serveur, vous devriez envoyer chaque image au serveur pour prendre une décision sur la façon de prendre une photo. Cela n’a aucun sens, n’est-ce pas ? Donc, il y a juste beaucoup d’expériences que vous voudriez construire qui sont mieux faites au niveau de l’appareil périphérique.
À la question de savoir comment Apple choisit quand faire quelque chose sur l’appareil, la réponse de Giannandrea a été directe : « Lorsque nous pouvons atteindre, ou battre, la qualité de ce que nous pourrions faire sur le serveur. »
En outre, les deux dirigeants d’Apple ont crédité le silicium personnalisé d’Apple – en particulier le silicium Apple Neural Engine (ANE) inclus dans les iPhones depuis l’iPhone 8 et l’iPhone X – comme une condition préalable à ce traitement sur l’appareil. Le Neural Engine est une unité de traitement neuronal (NPU) octa-core qu’Apple a conçue pour traiter certains types de tâches d’apprentissage automatique.
« C’est un voyage de plusieurs années parce que le matériel n’avait pas été disponible pour faire cela à la périphérie il y a cinq ans », a déclaré Giannandrea. « La conception de l’ANE est entièrement évolutive. Il y a un plus grand ANE dans un iPad qu’il n’y en a dans un téléphone, qu’il n’y en a dans une Apple Watch, mais la couche API CoreML pour nos applications et aussi pour les applications des développeurs est fondamentalement la même sur toute la gamme de produits. »
Quand Apple a parlé publiquement du moteur neuronal, la société a partagé des chiffres de performance, comme 5 trillions d’opérations par seconde dans la puce A12 de 2018. Mais elle n’a pas été plus précise sur l’architecture de la puce. C’est littéralement une boîte noire sur les diapositives dans les présentations d’Apple.
Compte tenu de cela, je voulais savoir si Giannandrea ferait plus de lumière sur la façon dont le moteur neuronal fonctionne sous le capot, mais il a refusé d’entrer dans les détails. Au lieu de cela, il a déclaré que les développeurs d’applications peuvent glaner tout ce dont ils ont besoin de savoir à partir de CoreML – une API de développement logiciel qui fournit aux développeurs un accès aux capacités d’apprentissage automatique de l’iPhone.
L’API de développement CoreML décrit très clairement les types de modèles d’apprentissage automatique, les modèles d’exécution que nous prenons en charge… Nous avons un ensemble croissant de noyaux que nous prenons en charge. Et vous ciblez CoreML à partir de n’importe quelle chose d’apprentissage automatique populaire, comme PyTorch ou TensorFlow, et ensuite vous compilez essentiellement votre modèle et ensuite vous le donnez à CoreML.
Le travail de CoreML est de déterminer où exécuter ce modèle. Il se peut que la bonne chose à faire soit d’exécuter le modèle sur ANE mais il se peut aussi que ce soit la bonne chose d’exécuter le modèle sur le GPU ou d’exécuter le modèle sur le CPU. Et notre CPU a des optimisations pour l’apprentissage automatique aussi.
Tout au long de notre conversation, les deux dirigeants ont pointé autant les applications des développeurs tiers que celles d’Apple. La stratégie ici ne consiste pas seulement à piloter les services et les fonctionnalités créés par Apple ; elle consiste à ouvrir au moins une partie de ces capacités à la grande communauté des développeurs. Apple compte sur les développeurs pour innover sur ses plateformes depuis l’ouverture de l’App Store en 2008. La société emprunte souvent les idées de ces développeurs lorsqu’elle met à jour ses propres applications internes.
Les appareils d’Apple ne sont pas les seuls à intégrer des puces d’apprentissage automatique, bien sûr. Samsung, Huawei et Qualcomm incluent tous des NPU dans leurs systèmes sur puce, par exemple. Et Google, lui aussi, propose des API d’apprentissage automatique aux développeurs. Pourtant, la stratégie et le modèle économique de Google sont sensiblement différents. Les téléphones Android sont loin d’effectuer localement un éventail aussi large de tâches d’apprentissage automatique.
Macs avec silicium Apple
L’objet de mon entretien avec Giannandrea et Borchers n’était pas la grande annonce faite par l’entreprise à la WWDC il y a quelques semaines – le lancement imminent de Macs avec silicium Apple. Mais lorsque j’ai émis l’hypothèse que l’une des nombreuses raisons invoquées par Apple pour concevoir des Macs autour de ses propres puces pourrait être l’inclusion du Neural Engine, Borchers a déclaré :
Nous disposerons pour la première fois d’une plateforme commune, d’une plateforme de silicium capable de prendre en charge ce que nous voulons faire et ce que nos développeurs veulent faire….. Cette capacité débloquera des choses intéressantes auxquelles nous pouvons penser, mais probablement plus important encore, elle débloquera beaucoup de choses pour les autres développeurs au fur et à mesure.
Giannandrea a donné un exemple spécifique de la façon dont les outils et le matériel d’apprentissage automatique d’Apple seront utilisés sur le Mac :
Je ne sais pas si vous avez vu cette démo dans l’État de l’Union, mais fondamentalement, l’idée était : étant donné une vidéo, parcourir la vidéo image par image ou image par image et faire de la détection d’objets. Et vous pouvez le faire plus d’un ordre de grandeur plus rapidement sur notre silicium que sur la plate-forme héritée.
Et ensuite, vous dites, « Eh bien, c’est intéressant. Eh bien, pourquoi est-ce utile ? » Imaginez un éditeur vidéo où vous aviez une boîte de recherche et vous pouviez dire : « Trouvez-moi la pizza sur la table. » Et il serait juste scrub à cette image … C’est le genre d’expériences que les gens vont inventer, je pense. Nous voulons vraiment que les développeurs utilisent ces cadres et nous surprennent par ce qu’ils peuvent réellement faire avec.
Apple a déclaré lors de sa conférence de développeurs qu’elle prévoit de livrer des Macs avec son propre silicium à partir de plus tard cette année.
Qu’en est-il de la vie privée ?
La vie privée a été au premier plan dans les messages d’Apple aux utilisateurs au cours des deux dernières années. Elle est évoquée encore et encore dans les keynotes et les documents marketing, il y a des rappels à ce sujet pimentés dans iOS, et elle revient souvent dans les interviews – ce qui était également le cas avec celui-ci.
« Les gens sont inquiets de l’IA en général parce qu’ils ne savent pas ce que c’est », m’a dit Giannandrea. « Ils pensent qu’elle est plus capable qu’elle ne l’est, ou ils pensent à cette vision de science-fiction de l’IA, et vous avez des personnes influentes comme Bill Gates et Elon Musk et d’autres qui disent que c’est une technologie dangereuse. »
Il croit que le battage médiatique autour de l’IA d’autres grandes entreprises technologiques est un négatif, pas un positif, pour les efforts de marketing de ces entreprises « parce que les gens sont inquiets de cette technologie. »
Le terme « IA » peut ne pas être utile ici. Il évoque des méchants synthétiques malveillants de la culture pop, comme Skynet ou HAL 9000. Mais la plupart des experts en intelligence artificielle appliquée vous diront que cette sombre issue est loin de la réalité. La technologie pilotée par l’apprentissage automatique comporte de nombreux risques – hériter et amplifier les préjugés humains, par exemple – mais se déchaîner et attaquer violemment l’humanité ne semble pas probable dans un avenir immédiat.
L’apprentissage automatique ne rend pas réellement les machines intelligentes de la même manière que les humains. Pour cette raison et pour d’autres, de nombreux experts en IA (dont Giannandrea) ont proposé des termes alternatifs comme « intelligence de la machine » qui ne font pas de parallèle avec l’intelligence humaine.
Quoi que soit la nomenclature, l’apprentissage automatique peut entraîner un danger bien réel et présent : l’atteinte à la vie privée des utilisateurs. Certaines entreprises collectent agressivement les données personnelles des utilisateurs et les téléchargent dans des centres de données, en utilisant l’apprentissage automatique et la formation comme justification.
Comme indiqué ci-dessus, Apple fait une grande partie de cette collecte et de ce traitement localement sur l’appareil de l’utilisateur. Giannandrea a explicitement lié cette décision à des préoccupations de confidentialité. « Je pense que nous avons une position très claire à ce sujet, qui est que nous allons faire cette technologie avancée d’apprentissage automatique dans autant de cas que possible sur votre appareil, et les données ne vont pas quitter votre appareil », a-t-il déclaré. « Nous avons une déclaration très claire sur les raisons pour lesquelles nous pensons que nos appareils sont plus sûrs ou meilleurs ou devraient être plus fiables. »
Il a utilisé la synthèse vocale comme un exemple spécifique de cette philosophie en action:
Si vous dites quelque chose comme « Lis-moi mes messages de Bob ». La synthèse du texte en parole se produit sur le dispositif, sur le moteur neuronal – la combinaison du moteur neuronal et du CPU. Et à cause de cela, nous n’avons jamais vu le contenu de votre message de Bob parce que votre téléphone le lit – ce ne sont pas les serveurs qui le lisent. Donc, le contenu de ce message n’est jamais arrivé au serveur…
C’est donc un excellent exemple de technologie avancée améliorant réellement à la fois l’utilité pour l’utilisateur parce que la voix est synthétisée sur l’appareil, donc même si vous êtes déconnecté, ça fonctionnera toujours. Mais aussi l’histoire de la vie privée. C’est en fait très difficile à faire. Beaucoup d’ingénierie vraiment difficile a été faite pour que la haute qualité moderne soit synthétisée sur un appareil que vous pouvez mettre dans votre poche.
Bien sûr, vous devez utiliser certaines données de l’utilisateur pour l’apprentissage automatique dans de nombreux cas. Alors comment Apple utilise-t-elle exactement les données des utilisateurs qu’elle traite ? Giannandrea explique :
Généralement, nous avons deux façons de construire des modèles. L’une est celle où nous collectons et étiquetons les données, ce qui est approprié dans de très nombreuses circonstances. Et puis il y a le cas où nous demandons aux utilisateurs de faire don de leurs données. L’exemple le plus notable serait Siri où, lorsque vous configurez un iPhone, nous disons : « Voulez-vous aider à améliorer Siri ? »
C’est un cas où une certaine quantité de données nous est donnée, puis un très petit pourcentage de celles-ci peut être utilisé pour la formation. Mais beaucoup, beaucoup de choses dont nous parlons ici – comme disons l’écriture manuscrite – nous pouvons recueillir suffisamment de données pour entraîner ce modèle à fonctionner avec l’écriture manuscrite de pratiquement tout le monde sans avoir à utiliser aucune donnée du consommateur.
Certaines de ces invites demandant d’utiliser vos données ont été ajoutées récemment. L’été dernier, un rapport indiquait que Siri enregistrait ce que les utilisateurs disaient après des activations accidentelles ; les entrepreneurs chargés de l’assurance qualité de la fonctionnalité de Siri entendaient certains de ces enregistrements.
Apple a réagi en s’engageant à ne stocker les données audio liées à Siri qu’après que les utilisateurs aient explicitement choisi d’améliorer Siri en partageant les enregistrements (ce comportement a été déployé dans iOS 13.2) et a ensuite apporté toute l’assurance qualité en interne. J’ai demandé ce qu’Apple fait différemment de ce que faisaient les sous-traitants avec ces données. Giannandrea a répondu :
Nous avons beaucoup de sauvegardes. Par exemple, il y a un processus pour identifier si l’audio était destiné ou non à l’assistant, qui est complètement séparé du processus pour examiner réellement l’audio. Donc, nous faisons beaucoup de choses en interne pour nous assurer que nous ne capturons pas – et ensuite rejetons, en fait – tout audio accidentel.
Mais si vous n’êtes pas prêt à réellement faire l’assurance qualité, à votre point, de la fonctionnalité, alors vous ne ferez jamais mieux les enregistrements accidentels. Comme vous le savez, l’apprentissage automatique exige que vous l’amélioriez continuellement. Nous avons donc remanié une grande partie de nos flux de travail et de nos processus en même temps que nous avons internalisé le travail. Je suis convaincu que nous disposons de l’un des meilleurs processus pour améliorer l’assistant tout en préservant la vie privée.
Il est clair qu’Apple cherche à faire de la protection de la vie privée une caractéristique essentielle de ses appareils ; de la part de Giannandrea, cela est apparu comme une véritable conviction. Mais cela pourrait également aider Apple sur le marché, car son plus grand concurrent dans l’espace mobile a un bilan bien pire en matière de vie privée, et cela laisse une ouverture alors que les utilisateurs deviennent de plus en plus préoccupés par les implications de l’IA en matière de vie privée.
Tout au long de notre conversation, Giannandrea et Borchers sont revenus sur deux points de la stratégie d’Apple : 1) il est plus performant de faire des tâches d’apprentissage automatique localement, et 2) il est plus « préservant la vie privée » – une formulation spécifique que Giannandrea a répétée plusieurs fois dans notre conversation – de le faire.
Inside the black box
Après avoir longtemps travaillé la plupart du temps sur des fonctions d’IA dans l’obscurité, l’accent mis par Apple sur l’apprentissage automatique s’est considérablement développé au cours des dernières années.
L’entreprise publie régulièrement, elle fait des parrainages universitaires, elle a des bourses, elle sponsorise des laboratoires, elle va à des conférences sur l’IA/ML. Elle a récemment relancé un blog sur l’apprentissage automatique où elle partage certaines de ses recherches. Elle a également procédé à un grand nombre d’embauches, en recrutant des ingénieurs et d’autres personnes dans le domaine de l’apprentissage automatique – y compris Giannandrea lui-même il y a seulement deux ans.
Elle n’est pas à la tête de la communauté des chercheurs comme l’est Google, mais Apple fait valoir qu’elle est à la tête, au moins en apportant les fruits de l’apprentissage automatique à un plus grand nombre d’utilisateurs.
Vous vous souvenez quand Giannandrea a déclaré qu’il était surpris que l’apprentissage automatique ne soit pas utilisé pour l’écriture manuscrite avec le Pencil ? Il a ensuite assisté à la création de l’équipe qui a rendu cela possible. Et en tandem avec d’autres équipes, ils sont allés de l’avant avec l’écriture manuscrite axée sur l’apprentissage automatique – une pierre angulaire dans iPadOS 14.
« Nous avons beaucoup de praticiens de l’apprentissage automatique incroyables chez Apple, et nous continuons à les embaucher », a déclaré Gianandrea. « Je trouve qu’il est très facile d’attirer des personnes de classe mondiale chez Apple parce qu’il devient de plus en plus évident dans nos produits que l’apprentissage automatique est essentiel aux expériences que nous voulons construire pour les utilisateurs. »
Après une brève pause, il a ajouté : « Je suppose que le plus gros problème que j’ai est que beaucoup de nos produits les plus ambitieux sont ceux dont nous ne pouvons pas parler, et c’est donc un peu un défi de vente de dire à quelqu’un : ‘Venez travailler sur la chose la plus ambitieuse de tous les temps, mais je ne peux pas vous dire ce que c’est.
Si l’on en croit les grandes entreprises technologiques et les investissements en capital-risque, l’IA et l’apprentissage automatique ne feront que devenir plus omniprésents dans les années à venir. Quelle que soit la tournure des événements, Giannandrea et Borchers ont été clairs : l’apprentissage automatique joue désormais un rôle dans une grande partie de ce qu’Apple fait avec ses produits, et dans de nombreuses fonctionnalités que les consommateurs utilisent quotidiennement. Et avec l’arrivée du Neural Engine sur les Macs à partir de cet automne, le rôle de l’apprentissage automatique chez Apple va probablement continuer à croître.