Apfelbrille

Es wird gemunkelt, dass Apple ein geheimes Team von Hunderten von Mitarbeitern hat, das an Virtual- und Augmented-Reality-Projekten arbeitet.

• Jawohl
• Nein

Apples geheimes Augmented- und Virtual-Reality-Projekt

Inhalt

1. Apples geheimes Augmented- und Virtual-Reality-Projekt
• Mixed-Reality-Headset
• AR-Smart-Brille
• iOS 14 AR-Lecks
• AR in Xcode
• Ventil-Partnerschaft?
• Andere Gerüchte
2. Augmented Reality vs. Virtual Reality
3. Apples VR/AR-Team
• Mieten
• Akquisitionen
4. AR / VR-Patente
5. Erscheinungsdatum
6. Zukünftige AR/VR-Pläne
7. Apple-Brille-Zeitleiste

Apple erforscht seit mehr als 10 Jahren Virtual-Reality- und Augmented-Reality-Technologien basierend auf Patentanmeldungen, aber da Virtual- und Augmented-Reality mit der Einführung von ARKit immer beliebter werden, werden Apples Versuche immer ernster und werden voraussichtlich zu einem AR/ VR-Produkt im Jahr 2022.

Es wird gemunkelt, dass Apple eine geheime Forschungseinheit mit Hunderten von Mitarbeitern hat, die an AR und VR arbeiten und nach Wegen suchen, wie die aufkommenden Technologien in zukünftigen Apple-Produkten verwendet werden könnten. Die Einstellung von VR/AR hat in den letzten Jahren stark zugenommen, und Apple hat mehrere AR/VR-Unternehmen übernommen, um seine Arbeit im AR/VR-Bereich voranzutreiben.

Es wird gemunkelt, dass Apple zumindest daran arbeitet zwei AR-Projekte, die ein Augmented-Reality-Headset beinhalten, das etwa 2022 veröffentlicht werden soll, gefolgt von einer schlankeren Augmented-Reality-Brille, die zu einem späteren Zeitpunkt erhältlich ist. Viele Gerüchte haben sich jedoch ausschließlich auf die Brille konzentriert, was zu einiger Verwirrung über die Pläne von Apple führte, aber es scheint, dass das AR/VR-Headset das erste Produkt sein wird, das auf den Markt kommt.

Apple-Analyst Ming-Chi Kuo glaubt an Apples „Mixed-Reality“-Headset wird rauskommen Ende 2022 oder Anfang 2023, die Apple-Brille soll 2025 folgen, obwohl andere Quellen sagten, dass die Brille 2023 kommen wird. Das Headset ist AR/VR, auch bekannt als Mixed Reality, während Apples Brille Augmented Reality ist.

Mixed-Reality-Headset

Die Information und Bloomberg haben beide gesagt, dass Apple an einer intelligenten Brille UND einem AR/VR-Headset (auch bekannt als Mixed Reality) arbeitet, wobei das Headset zuerst herauskommt, gefolgt von der Brille. Es wird gemunkelt, dass das Headset dem Oculus Quest Virtual-Reality-Headset von Facebook ähnelt, jedoch mit einem schlankeren Design, das Stoffe und leichte Materialien verwendet, um sicherzustellen, dass das Headset bequem ist.

Es soll enthalten sein zwei hochauflösende 8K-Displays und Augenerkennungskameras, die es Benutzern ermöglichen, 'kleine Schriften zu lesen' und 'andere Personen vor und hinter virtuellen Objekten zu sehen'. Das Headset wird in der Lage sein, Oberflächen, Kanten und Abmessungen von Räumen mit 'größerer Genauigkeit als bestehende Geräte auf dem Markt' abzubilden. Es wird ein fortschrittlicheres Display und einen Chip haben, der noch schneller ist als der M1-Prozessor in 2020-Macs.

Die Information im Februar sagte, dass es mit mehr als einem Dutzend Kameras zum Verfolgen von Handbewegungen zusätzlich zu Kameras zum Sehen der Außenwelt ausgestattet sein wird, und das Design blockiert die periphere Sicht, um zu verhindern, dass Licht in das Sichtfeld des Trägers eindringt. Es könnte auch ein nach außen gerichtetes Visier in das Display integriert sein, damit der Träger anderen Grafiken zeigen kann.

Die Elec behauptet, dass Das VR-Headset wird über ein hochauflösendes Micro-OLED-Display mit bis zu 3.000 Pixeln pro Zoll verfügen. Für die Datenbrille wurde bisher ein Micro-OLED-Display gemunkelt, nicht aber für das VR-Headset.

Apple-Analyst Ming-Chi Kuo hat gesagt, dass Apples kommendes Mixed-Reality-Headset wird über 15 optische Kameramodule verfügen in Summe. Acht der 15 Kameramodule werden für durchsichtige Augmented-Reality-Erlebnisse verwendet, sechs Module für „innovative Biometrie“ und ein Kameramodul für die Umgebungserkennung.

Kuo glaubt auch dass Apples Headset mit einem fortschrittlichen Eye-Tracking-System ausgestattet sein wird, das ein intuitives visuelles Erlebnis bietet, das nahtlos mit der äußeren Umgebung interagiert, zusammen mit einer intuitiveren Bedienung, die mit Augenbewegungen gesteuert werden kann, und reduziertem Rechenaufwand in Form einer reduzierten Auflösung, bei der der Benutzer nicht hinschaut.

In Bezug auf das Design wurde das Headset als 'schlankes, gebogenes Visier, das durch ein Netzmaterial am Gesicht befestigt ist, und austauschbare Kopfbänder' beschrieben. Ein Kopfbügel verfügt angeblich über eine räumliche Audiotechnologie wie die AirPods Pro für ein Surround-Sound-ähnliches Erlebnis, während ein anderer für zusätzliche Akkulaufzeit unterwegs sorgt. Apple arbeitet an mehreren Kontrollmethoden, darunter ein 'fingerhutähnliches Gerät, das am Finger einer Person getragen werden kann'. Das Headset könnte auch auf Augenbewegungen und Handgesten des Trägers reagieren, während ein Prototyp des Headsets auch ein physisches Zifferblatt auf der Seite des Visiers aufwies. Apple hat auch die Siri-Eingabe getestet.

Apple will einen App Store erstellen für das Headset, mit Fokus auf Gaming, Streaming von Videoinhalten und Videokonferenzen. Es wurde beschrieben von Bloomberg als 'umfassende digitale 3D-Umgebung', die für Spiele, Videowiedergabe und Kommunikation entwickelt wurde.

Aktuelle Headset-Prototypen sind gesagt 200 bis 300 Gramm auf die Waage bringen, Apple strebt jedoch an, das Endgewicht auf 100 bis 200 Gramm zu reduzieren, wenn technische Probleme gelöst werden können, was das Headset leichter machen würde als bestehende VR-Geräte. Das Headset wird mit unabhängiger Stromversorgung und unabhängigem Speicher tragbar sein, aber nicht „mobil“ wie ein iPhone. Es wird ein „immersives Erlebnis“ bieten, das derzeit verfügbare VR-Produkte übertrifft, und es könnte in Apple TV+ und Apple Arcade integriert werden.

Die Augmented-Reality-Funktionalität für das Headset ist 'eingeschränkter', und während eine Veröffentlichung für 2022 geplant ist, soll Apple mehrere Entwicklungshürden geknackt haben und 'konservative' Verkaufsschätzungen für das Gerät haben. Apple rechnet damit, etwa 180.000 Einheiten zu verkaufen, was mit teureren Geräten wie dem Mac Pro vergleichbar ist. Es wird erwartet, dass das Headset viel teurer ist als Headsets anderer Unternehmen, und Die Information sagt, dass Apple einen Preis für das Headset von rund 3.000 US-Dollar diskutiert hat.

Das ursprüngliche Design beinhaltete einen Lüfter und leistungsstarke Prozessoren, was zu einem zu schweren Gerät führte. Apple hat angeblich beschlossen, das Headset näher an das Gesicht zu bringen, um die Größe zu reduzieren. Benutzer können während der Verwendung des Headsets keine Brille tragen, daher hat Apple ein System entwickelt, bei dem benutzerdefinierte Brillengläser über den VR-Bildschirmen eingesetzt werden können.

Kuo glaubt, dass das Headset wird ein hybrides Fresnel-Linsendesign verwenden , bestehend aus drei gestapelten Linsen pro Auge aus leichtem Kunststoff. Das Design soll ultrakurze Brennweiten und eine verbesserte optische Leistung sowie ein weites Sichtfeld ermöglichen und das Gewicht des Headsets unter 150 Gramm halten.

In Bezug auf die Leistung wird das kommende AR/VR-Headset über ein High-End-Hauptprozessor das ähnelt dem M1-Chip, den Apple letztes Jahr für seine Apple-Silizium-Macs vorgestellt hat, zusammen mit einem unteren Prozessor für die Verwaltung der sensorbezogenen Aspekte des Geräts.

Apple-Analyst Ming-Chi Kuo behauptet, dass es unabhängig von einem Mac oder iPhone arbeiten kann, was eine Abkehr von einem früheren Gerücht ist, das besagte, dass dies der Fall wäre benötigen eine Leine zu einem iPhone. Der Hochleistungschip im Headset wird ein Paar 4K-Micro-OLED-Displays von Sony und sechs bis acht optische Module ansteuern, um AR-basierte Funktionen bereitzustellen. Apple hat abgeschlossene Arbeit auf dem SoC für das AR/VR-Headset und optimiert für die drahtlose Datenübertragung, das Komprimieren und Dekomprimieren von Video und die Energieeffizienz für maximale Akkulaufzeit, und es hat keine neuronale Engine wie einige der anderen Chips von Apple.

Apples kommendes Mixed-Reality-Headset wird bieten WLAN 6E Unterstützung, die die neueste WiFi-Spezifikation ist. Apple soll die Implementierung von WiFi 6E planen, um ein High-End-Erlebnis mit solider drahtloser Konnektivität zu bieten. WiFi 6E bietet alle Vorteile von WiFi 6, fügt aber zusätzlich zu den 2,4-GHz- und 5-GHz-Bändern ein 6-GHz-Spektrum hinzu, um die Bandbreite zu erhöhen und die Interferenzen zwischen den Geräten zu verringern.

Mixed-Reality-Headset-Renderings

Designer Antonio De Rosa hat entwickelte 3D-Renderings basierend auf Details, die von . geteilt wurden Die Information , die uns einen Blick darauf verschafft, wie das Mixed-Reality-Headset von Apple basierend auf aktuellen Gerüchten aussehen könnte.

Die Information hat das Headset als 'schlankes, gebogenes Visier, das durch ein Netzmaterial und austauschbare Kopfbänder am Gesicht befestigt ist', beschrieben, das in mehreren Farben angeboten wird.

Frühe Headset-Prototypen

Frühere Gerüchte von CNET im Jahr 2018 vorgeschlagen, dass Apple an einem leistungsstarken AR/VR-Headset mit einem 8K-Display für jedes Auge arbeitet, das entweder von einem Computer oder einem Smartphone unabhängig ist und sowohl mit Virtual- als auch Augmented-Reality-Anwendungen funktioniert.

Anstatt sich auf eine Verbindung zu einem Smartphone oder Computer zu verlassen, ist das Headset CNET beschrieben, würde eine Verbindung zu einer 'dedizierten Box' herstellen, die eine Hochgeschwindigkeits-Kurzstrecken-Wireless-Technologie namens 60 GHz WiGig verwendet. Die Box würde von einem benutzerdefinierten 5-Nanometer-Apple-Prozessor angetrieben, der 'leistungsstärker ist als alles, was derzeit erhältlich ist'. Die Box ähnelt anscheinend einem PC-Tower, aber es wird 'kein echter Mac-Computer sein'. Dieses schachtelartige Design war Gegenstand früher Gerüchte und könnte ein Prototyp sein, der seitdem für die schlankere Version aufgegeben wurde, die Gerüchte jetzt beschreiben.

Interne Meinungsverschiedenheiten sollen Apples Ziele für sein AR-Headset im Laufe der Zeit geprägt und verändert haben. Apfel war anfangs zielen für ein ultra-leistungsstarkes System, das mit einem Hub geliefert wurde, um den oben beschriebenen Prozessor unterzubringen, aber Jony Ive, der das Unternehmen inzwischen verlassen hat, wollte kein Gerät verkaufen, das für die volle Funktionalität ein separates, stationäres Gerät erfordert.

Ich wollte stattdessen ein Headset mit weniger leistungsstarker Technologie, das direkt in das Gerät eingebettet werden konnte, aber der Leiter des AR/VR-Teams, Mike Rockwell, wollte das leistungsstärkere Gerät. Es war eine Pattsituation, die Monate dauerte, und Tim Cook stellte sich letztendlich auf die Seite von Ive. Ive soll die ebenfalls in Arbeit befindliche AR-Datenbrille bevorzugen.

AR-Smart-Brille

Apple arbeitet an einer Reihe von Augmented-Reality-Brillen, die Leaker Jon Prosser hat vorgeschlagen Apple wird das 'Apple Glass' nennen. Dieser Name wäre eine ungewöhnliche Wahl angesichts der Ähnlichkeit mit dem Namen von Google Glass, einem Produkt, das schon lange existierte, bevor Apples Arbeit an AR-Brillen ans Licht kam, sodass er möglicherweise nicht korrekt ist.

Die Brille soll einer normalen Brille ähnlich sehen, wobei beide Linsen über Displays verfügen, mit denen mit Gesten interagiert werden kann. Es wird eine Option geben, die Brille ohne Korrektionsgläser zu einem möglichen Startpreis von 499 US-Dollar zu erhalten, wobei Korrektionsgläser gegen Aufpreis erhältlich sind.

Entsprechend Bloomberg , die Brille ist da ein frühes Entwicklungsstadium , sogar früher als das AR/VR-Headset, an dem Apple arbeitet. Die Brille wurde als 'in einigen Jahren' beschrieben, obwohl Apple ursprünglich geplant hatte, sie bereits 2023 auf den Markt zu bringen. Der aktuelle Prototyp ähnelt einer High-End-Sonnenbrille mit dickem Rahmen, in der Batterie und Chips untergebracht sind.

Apple ist angeblich planen zu verwenden 'moderne' OLED-Mikrodisplays von Sony für seine angeblichen Augmented-Reality-Brillen. Die OLED-Mikrodisplays von Sony verfügen über eine ultraschnelle Reaktionsrate, einen ultrahohen Kontrast, einen großen Farbraum, eine hohe Luminanz, eine geringe Reflexion und integrierte Treiber für ein dünnes und leichtes Design. Die Brille soll über ein 0,5 Zoll großes Display mit einer Auflösung von 1280 x 960 Pixeln verfügen.

Kuo erwartet, dass die AR-Brille als iPhone-Zubehör vermarktet wird und in erster Linie eine Anzeigefunktion übernehmen wird, um mit der Brille Computer, Vernetzung und Positionierung auf das iPhone zu verlagern Bereitstellung ein mobiles 'optisches durchsichtiges AR-Erlebnis'. Die AR-Brille als iPhone-Zubehör anzubieten, wird es Apple ermöglichen, sie schlank und leicht zu halten. Prosser sagt, dass die Brille Ray-Ban Wayfarers oder der Brille von Tim Cook ähneln wird.

Bloomberg hat gesagt, dass die Apple-Brille 'rOS' oder das Reality-Betriebssystem ausführen wird. rOS soll auf iOS basieren, dem Betriebssystem, das auf dem iPhone läuft. Für das AR-Headset entwickelt Apple einen 'System-on-a-Package'-Chip, ähnlich dem, der in der Apple Watch enthalten ist, obwohl er wie oben erwähnt auf dem iPhone basiert.

Im Zuge der Entwicklung eines AR-Headsets hat Apple Touchpanels, Sprachaktivierung und Kopfgesten als Eingabemethoden berücksichtigt, und eine Reihe von Anwendungen von Mapping bis SMS werden prototypisiert. Virtuelle Besprechungsräume und 360-Grad-Videowiedergabe sind ebenfalls Konzepte, die erforscht werden.

Dachte es gibt erste Gerüchte einer Markteinführung im Jahr 2020 , Bloomberg glaubt AR-Brille könnte kommen sind noch Jahre bis zur Veröffentlichung, das VR-Headset soll 2022 erscheinen. Ein Bericht von DigiTimes schlug vor, dass die AR-Brille von Apple 2021 auf den Markt kommen wird, und Apple-Analyst Ming-Chi Kuo erwartet eine Markteinführung für 2022 frühestens .

Leaker Jon Prosser glaubt, dass Apple seine AR-Brille im März oder Juni 2021 vorstellen wird, aber dies scheint angesichts der Schätzungen von ungenau zu sein Bloomberg und Kuo.

Prosser sagt auch, dass Apple an einer limitierten „Steve Jobs Heritage“-Version der Datenbrille arbeitet, die so gestaltet ist, dass sie wie die runde, rahmenlose Brille aussieht, die Steve Jobs früher trug, aber Bloomberg 's Mark Gurman hat dieses Gerücht als 'komplette Fiktion' bezeichnet.

Apfel ist Arbeiten mit TSMC um „ultra-fortgeschrittene“ Mikro-OLED-Displays zu entwickeln, die in Apples kommenden Augmented-Reality-Geräten wie der Datenbrille verwendet werden. Die Displays sollen weniger als einen Zoll groß sein.

Mikro-OLED-Displays werden direkt auf Chip-Wafern und nicht auf einem Glassubstrat aufgebaut, was zu Displays führt, die dünner, kleiner und energieeffizienter sind. Die Entwicklung von Mikro-OLED-Displays soll sich in der Testproduktionsphase befinden und es wird mehrere Jahre dauern, bis Apple und TSMC für die Massenproduktion bereit sind, was diese Displays für die Apple Glasses geeignet machen würde, die angeblich um 2023 auf den Markt kommen werden.

Ab Anfang 2021 hat Apple wird gesagt, dass in die „zweite Entwicklungsphase“ eines Prototyps einer Augmented-Reality-Brille eintreten. Die Brille soll in wenigen Monaten eine dritte Entwicklungsphase durchlaufen, und nach Abschluss des Prototypenentwurfs durchläuft das Wearable eine sechs- bis neunmonatige technische Verifizierung.

iOS 14 AR-Lecks

Code und Bilder gefunden in iOS 14 bestätigen Apples Arbeit an einem AR- oder VR-Headset mit einem entdeckten Foto, das einen generisch aussehenden Controller für ein Headset zeigt, das im Design dem HTC Vive Focus-Headset ähnelt. Apple verwendet HTC Vive-Hardware für interne Testzwecke.

Apple testet seine AR-Ausrüstung mit einer iOS-14-App namens Gobi zusammen mit QR-Codes, um Augmented-Reality-Erlebnisse zu testen. Eine dieser Augmented-Reality-Erfahrungen ist ein Crosswalk-Bowling-Spiel, das an einem bestimmten Zebrastreifen in Sunnyvale, Kalifornien, ausgelöst wird.

AR in Xcode

Code im Xcode 11 bestätigt Apples Arbeit auf einer Art AR-Headset. Es gibt Verweise auf Testgeräte mit Codenamen sowie Frameworks und eine System-Shell, die sich auf diese Geräte beziehen. Die Referenzen deuten darauf hin, dass Apple Unterstützung für ein gesichtsmontiertes AR-Erlebnis entwickelt, das Googles Daydream ähnelt.

Ventil-Partnerschaft?

Laut taiwanesischer Seite DigiTimes , Apple arbeitet mit Spieleentwickler Valve für sein gemunkeltes AR-Headset. Valve veröffentlichte im April 2019 sein erstes VR-Headset, Valve Index.

Valve hat zuvor mit Apple zusammengearbeitet, um die native VR-Headset-Unterstützung für macOS High Sierra bereitzustellen und die eGPU-Unterstützung mit einer Mac-Version der SteamVR-Software zu nutzen.

Andere Gerüchte

Im November 2017 kaufte Apple Vrvana, ein Unternehmen, das ein Mixed-Reality-Headset namens Totem entwickelt hat. Die Technologie von Vrvana könnte möglicherweise in einem zukünftigen Apple-Headset verwendet werden. Apple folgte dem Kauf von Vrvana mit der Übernahme von Akonia Holographics, einem Unternehmen, das Linsen für AR-Datenbrillen herstellt.

Gerüchte haben auch vorgeschlagen, dass Apple seine Augmented-Reality-Forschung als Teil eines In-Car-Softwaresystems in sein laufendes Autoprojekt einbeziehen könnte, das ein Heads-up-Display oder andere Funktionen umfassen könnte.

Notiz: Sehen Sie einen Fehler in dieser Zusammenfassung oder möchten Sie Feedback geben? .

Augmented Reality vs. Virtual Reality

Augmented Reality (AR) und Virtual Reality (VR) sind ähnliche Technologien, aber es gibt einen großen Unterschied zwischen ihnen und ihre möglichen Anwendungen sind sehr unterschiedlich. Virtual Reality bezieht sich auf ein vollständig immersives Erlebnis in einer virtuellen Welt, während sich Augmented Reality auf eine modifizierte Sicht der realen Welt bezieht.

Der Unterschied lässt sich vielleicht am besten durch einen Vergleich zwischen zwei Produkten zusammenfassen, einem AR und einem VR. Google Brille , die inzwischen nicht mehr existierende Datenbrille von Google, ist ein Beispiel für Augmented Reality. Das am Auge getragene Google Glass ermöglichte es den Benutzern, die Welt so zu sehen, wie sie ist, bot jedoch ein Heads-up-Display, das relevante computergestützte Informationen über diese reale Weltansicht legte, wie lokales Wetter, Karten und Benachrichtigungen.

Dies ist vergleichbar mit dem, woran Apple mit seiner angeblichen 'Smart Glasses' arbeiten soll.

Im Vergleich dazu ist Facebooks Oculus Rift ist ein Virtual-Reality-Headset, das ein immersives visuelles Erlebnis bietet, das die reale Welt nicht um zusätzliche sensorische Informationen erweitert – es ersetzt die reale Welt vollständig durch eine simulierte Welt.

Augmented Reality bietet computergenerierten Kontext und Informationen über die Welt um uns herum und ermöglicht es uns gleichzeitig, mit unserer Umgebung zu interagieren, während virtuelle Realität entwickelt wurde, um uns von unserer Umgebung zu isolieren, damit wir mit fiktiven Welten interagieren können.

Kannst du später Apfelpflege hinzufügen?

Die möglichen Anwendungen für die beiden sind sehr unterschiedlich. Die virtuelle Realität konzentriert sich ausschließlich auf den immersiven Konsum von Inhalten, da der Träger das Gefühl hat, durch visuelles, taktiles und akustisches Feedback tatsächlich zu erleben, was in der simulierten Welt vor sich geht. Virtual Reality ist derzeit weitgehend mit Spielen verbunden, hat aber auch das Potenzial, reale Erfahrungen für Bildungs- oder Schulungszwecke nachzubilden.

Augmented Reality hängt nicht von immersiven Inhalten ab und obwohl sie weniger aufregend ist, weil sie die Realität erweitert, anstatt sie zu ersetzen, hat sie ein breiteres Spektrum potenzieller Anwendungen. Tatsächlich sind Augmented-Reality-Apps und -Spiele leicht verfügbar in iOS 11 dank ARKit.

Mit ARKit ist ein iOS-Gerät in der Lage, eine Oberfläche wie einen Tisch zu identifizieren, und dann können virtuelle Objekte hinzugefügt werden. Aufgrund der Rechenleistung von iPhone und iPad sind die Augmented-Reality-Fähigkeiten von ARKit beeindruckend. ARKit wird bereits verwendet, um eine Vielzahl von Apps und Spielen zu erstellen und digitale Objekte mit der realen Welt zu verschmelzen.

abspielen

Apple strebt möglicherweise nach einem Produkt, das sowohl mit Augmented als auch mit Virtual Reality funktioniert, wie jüngste Gerüchte vermuten lassen, dass an einem AR/VR-Headset gearbeitet wird. Ein solches Produkt könnte sowohl für ernsthafte Virtual-Reality-Anwendungen als auch für Augmented-Reality-Erlebnisse verwendet werden und wäre der Microsoft HoloLens ähnlich.

Apples VR/AR-Team

Apples Arbeit an Virtual und Augmented Reality reicht mehrere Jahre zurück, aber Gerüchte kamen ab März 2015 auf, als bekannt wurde, dass Apple ein kleines Team von Leuten hat, die an Augmented Reality arbeiten. Im Jahr 2015 und Anfang 2016 wuchs das Apple-Team, als das Unternehmen Mitarbeiter mit Erfahrung in der AR/VR-Technologie einstellte und mehrere damit verbundene Akquisitionen tätigte.

Das AR/VR-Team von Apple umfasst mehrere Hundert Ingenieure von ganz Apple, die alle über Erfahrung in Virtual und Augmented Reality verfügen. Das Team arbeitet in Büroparks in Cupertino und Sunnyvale, und Apple untersucht mehrere Hardware- und Softwareprojekte unter dem Codenamen „T288“.

Das Augmented-Reality-Team von Apple kombiniert „die Stärken seiner Hardware- und Software-Veteranen“ und wird von Mike Rockwell geleitet, der von Dolby kam. Ehemalige Mitarbeiter von Unternehmen wie Oculus, HoloLens, Amazon (vom VR-Team), der 3D-Animationsfirma Weta Digital und Lucasfilm arbeiten bei Apple an AR.

Der frühere Apple Hardware Engineering Chef Dan Riccio im Januar 2021 wechselte in eine neue Rolle wo er ist Überwachung der Arbeit von Apple auf einem AR/VR-Headset. Das Projekt stand vor Herausforderungen bei der Entwicklung und Apple-Manager glauben, dass Riccios Fokus helfen könnte.

Mieten

Einer der bekanntesten AR/VR-Mitarbeiter bei Apple war der Informatikprofessor Doug Bowman, der zuvor das Center for Human-Computer Interaction des Virginia Techs leitete. Er ist auf dreidimensionales User Interface Design spezialisiert und hat ein Buch zum Thema 3D Interfaces und die Vorteile immersiver virtueller Umgebungen geschrieben. Er verfügt über Expertise sowohl in der virtuellen als auch in der erweiterten Realität.

Apple hat auch Mitarbeiter eingestellt, die bei Microsoft und Lytro an Virtual- oder Augmented-Reality-Produkten gearbeitet haben. Einige der jüngsten Mitarbeiter sollen aus dem HoloLens-Team von Microsoft stammen, während andere bei Lytro arbeiteten, einem Unternehmen, das an einer Kamera arbeitet, die Live-Action und Computergrafik für ein Live-Action-VR-Erlebnis mischen kann. Mitarbeiter des HoloLens-Teams hätten Erfahrung in der Entwicklung eines fortschrittlichen Augmented-Reality-Headsets.

Die Lytro Immerge 360-Grad-Kamera

Zeyu Li, der als leitender Computer Vision Engineer bei Magic Leap (einem Startup, das ein Head-Mounted AR/VR Display entwickelt) tätig war, arbeitet jetzt bei Apple als 'Senior Computer Vision Algorithm Engineer'.

Yury Petrov, ein ehemaliger Forscher bei Oculus im Besitz von Facebook, ist jetzt als 'Forschungswissenschaftler' bei Apple tätig. Laut seinem LinkedIn-Profil studierte Petrov Virtual-Reality-Erfahrungen, Prototypen von Optiken und entwickelte Computersimulationssoftware.

Augmented-Reality-Experte Jeff Norris kam im April 2017 als Senior Manager zu Apple und arbeitet im Augmented-Reality-Team des Unternehmens. Norris gründete das Mission Operations Innovation Office und das JPL Ops Lab bei der NASA. Er leitete mehrere Projekte, die sich auf die Mensch-System-Interaktion mit Schwerpunkt auf virtueller und erweiterter Realität konzentrierten.

Apple hat im Mai 2018 2018 Sterling Crispin eingestellt, der eine Mal-App für mobile VR-Headsets entwickelt hat. Mit „Cyber ​​Paint“ können VR-Headset-Träger 2D-260-Grad-Bilder auf Oculus Go, Daydream, GearVR und Vive Focus erstellen. Crispins LinkedIn-Seite sagt, er arbeite als 'Prototyping-Forscher', was darauf hindeutet, dass er dem Team beigetreten ist, das angeblich an der VR/AR-Headset-Technologie arbeitet.

Apple hat im Dezember 2018 den ehemaligen leitenden Tesla- und Microsoft HoloLens-Designer Andrew Kim eingestellt, und angesichts seiner Geschichte könnte er an Apples gemunkeltem AR-Brillenprojekt oder dem kommenden Apple-Auto arbeiten, das sich angeblich in der Entwicklung befindet.

Der Gründer von Jaunt VR, Arthur van Hoff, kam im April 2019 als leitender Architekt zu Apple. Bevor er bei Apple arbeitete, war sein Unternehmen erstellte VR-Hardware , darunter eine 3D-VR-Kamera für 100.000 US-Dollar namens Jaunt One. Bevor van Hoff das Unternehmen verließ, scheiterte Jaunt und wandte sich den AR-Erfahrungen zu.

Da das Apple-Team Hunderte von Mitarbeitern umfasst, gibt es viele andere Einstellungen von Virtual-Reality-Experten, die unter dem Radar verschwunden sind. Auf LinkedIn gibt es mehrere Software-Ingenieure mit Virtual-Reality-Erfahrung, die bei Apple angestellt sind, aber es ist unklar, ob sie im geheimen AR/VR-Team arbeiten.

Apple hat im Juli 2019 Kim Vorrath, einen seiner Software-Manager, zu das Augmented-Reality-Headset Division, um 'Ordnung' in das Team zu bringen. Vorrath leitet seit 15 Jahren das Programmmanagement im Softwareentwicklungsteam und wird als „mächtige Kraft“ beschrieben, die dafür sorgt, dass die Mitarbeiter Termine einhalten und gleichzeitig Fehler aufspüren.

Akquisitionen

Viele Mitglieder des AR/VR-Teams von Apple sind möglicherweise durch Akquisitionen zum Unternehmen gekommen. Seit 2015 hat Apple mehrere Unternehmen gekauft, die AR/VR-bezogene Produkte entwickelt haben, und einige seiner AR/VR-Übernahmen liegen sogar mehrere Jahre zurück.

Apple hat im August 2018 Akonia Holographics gekauft, ein Startup, das Linsen für Augmented-Reality-Brillen herstellt. Akonia Holographics bewirbt die 'weltweit erste kommerziell erhältliche volumenholographische Reflektions- und Wellenleiteroptik für transparente Anzeigeelemente in Datenbrillen'.

Die von ihm hergestellten Displays sollen die HoloMirror-Technologie des Unternehmens für 'ultra-klare, vollfarbige Leistung' verwenden, um die 'dünnsten und leichtesten am Kopf getragenen Displays der Welt' zu ermöglichen.

Im November 2017 kaufte Apple Vrvana, ein Unternehmen, das ein Mixed-Reality-Headset namens Totem entwickelt hat. Totem, das nie der Öffentlichkeit zugänglich gemacht wurde, wurde entwickelt, um sowohl Augmented- als auch Virtual-Reality-Technologien in einem einzigen Headset zu kombinieren und die vollständigen VR-Funktionen mit Pass-Through-Kameras zu verschmelzen, um bildschirmbasierte Augmented-Reality-Funktionen zu ermöglichen.

Totem verwendet im Wesentlichen eine Reihe von Kameras, um Bilder der realen Welt in sein eingebautes 1440p-OLED-Display zu projizieren, ein etwas einzigartiger Ansatz, der es von Konkurrenzprodukten wie Microsofts HoloLens unterscheidet, das ein transparentes Display verwendet, um virtuelle und erweiterte Realität zu kombinieren. Apple könnte planen, einen Teil der Technologie von Totem in einem zukünftigen Produkt zu verwenden.

Apple kaufte 2013 das in Israel ansässige 3D-Body-Sensing-Unternehmen PrimeSense, was Spekulationen darüber entfachte, dass bewegungsbasierte Funktionen in das Apple TV implementiert werden würden. Die 3D-Tiefentechnologie und die Bewegungserkennungsfunktionen von PrimeSense wurden in der ersten Kinect-Plattform von Microsoft verwendet.

PrimeSense verwendet Nah-IR-Licht, um ein unsichtbares Licht in einen Raum oder eine Szene zu projizieren, das dann von einem CMOS-Bildsensor gelesen wird, um ein virtuelles Bild eines Objekts oder einer Person zu erstellen. Dies ermöglicht bewegungsbasierte Steuerungen für Softwareschnittstellen, kann aber auch Dinge wie das Messen virtueller Objekte und die Bereitstellung relativer Entfernungen oder Größen durchführen, was für Augmented-Reality-Anwendungen wie interaktive Spiele, Indoor-Mapping und mehr nützlich ist. Die PrimeSense-Technologie kann auch hochpräzise 360-Grad-Scans von Personen und Objekten erstellen, die möglicherweise für Virtual-Reality-Anwendungen nützlich sind.

Apple hat im Mai 2015 das Augmented-Reality-Startup Metaio übernommen. Metaio hat ein Produkt namens Metaio Creator entwickelt, mit dem sich in wenigen Minuten Augmented-Reality-Szenarien erstellen lassen. Vor dem Kauf durch Apple wurde die Software von Metaio von Unternehmen wie Ferrari verwendet, die einen Augmented-Reality-Showroom erstellten.

Auch in Berlin kam die Metaio-Technologie zum Einsatz, um es den Besuchern der Mauer zu ermöglichen, per Smartphone oder Tablet zu sehen, wie die Gegend aussah, als die Berliner Mauer noch stand. Die Technologie von Metaio könnte möglicherweise verwendet werden, um Augmented-Reality-Funktionen in Apple-Apps wie Maps zu implementieren.

Apple erwarb Faceshift im August 2015 und markierte damit seinen zweiten Augmented-Reality-Kauf im Jahr 2015. Vor der Übernahme durch Apple arbeitete Faceshift mit Spiele- und Animationsstudios an einer Technologie, die entwickelt wurde, um Gesichtsausdrücke mit 3D-Sensoren schnell und präzise zu erfassen und sie in animierte Gesichter zu verwandeln Echtzeit. Faceshift arbeitete auch an einem verbraucherorientierten Produkt, das es Menschen ermöglichen würde, ihre Gesichter in Echtzeit in Skype in Cartoon- oder Monstergesichter zu verwandeln.

Die Technologie von Faceshift hat eine breite Palette möglicher Anwendungsfälle, und Apple scheint die Funktion zu verwenden, um Animoji im iPhone X zu betreiben.

Emotient, ein Unternehmen, das Tools zur Analyse von Gesichtsausdrücken entwickelt hat, wurde im Januar 2016 von Apple übernommen. Die Technologie von Emotient verwendet künstliche Intelligenz und maschinelles Lernen, um menschliche Emotionen zu lesen, Funktionen, die in der realen Welt von Werbetreibenden verwendet wurden, um emotionale Reaktionen auf Anzeige.

Es gibt Dutzende von Dingen, die Apple mit Emotient tun könnte, von einer besseren Gesichtserkennung in der Fotos-App über die Analyse von Kundengefühlen in Apple-Einzelhandelsgeschäften bis hin zum Entsperren von iOS-Geräten, aber es hat auch potenzielle AR/VR-Anwendungen. Wie Faceshift könnte die Technologie von Emotient verwendet werden, um Gesichtsausdrücke zu analysieren und zu transformieren, um virtuelle Avatare zu erstellen, die für Social Media-Zwecke und Spiele nützlich sind. Emotient-Technologie wurde wahrscheinlich für Animoji verwendet.

Flyby Media wurde Anfang 2016 gekauft und ist ein weiteres Unternehmen, das an Augmented Reality gearbeitet hat. Fliegen durch eine App erstellt die mit dem mit 3D-Sensoren ausgestatteten Smartphone 'Project Tango' von Google funktionierte und es ermöglichte, Nachrichten an reale Objekte anzuhängen und von anderen mit einem der Google-Geräte anzuzeigen.

Zum Beispiel könnte eine Person eine Sehenswürdigkeit wie die Golden Gate Bridge in San Francisco „scannen“ und eine Nachricht daran anhängen. Eine Person, die die Brücke später besucht, könnte die Brücke dann mit der Flyby-App scannen, um die Nachricht zu sehen. Die Flyby-App hat wahrscheinlich die Aufmerksamkeit von Apple auf sich gezogen, weil sie verschiedene gescannte Objekte erkennen und verstehen konnte, eine Technologie, die von Apple auf verschiedene Weise in Apps wie Fotos und Karten verwendet werden könnte.

Im Februar 2017 kaufte Apple RealFace, ein Unternehmen für Cybersicherheit und maschinelles Lernen, das sich auf Gesichtserkennungstechnologie spezialisiert hat, die möglicherweise für zukünftige Augmented-Reality-Funktionen verwendet werden könnte.

RealFace hat eine Gesichtserkennungstechnologie entwickelt, die künstliche Intelligenz für eine reibungslose Gesichtserkennung integriert. Realface-Technologie wurde wahrscheinlich verwendet im iPhone X , Apples erstes Smartphone mit Gesichtserkennungsfunktionen in Form von Face ID.

Apfel im Mai 2020 erworbene NextVR , ein in Kalifornien ansässiges Unternehmen, das Virtual Reality mit Sport, Musik und Unterhaltung kombiniert und VR-Erlebnisse zum Ansehen von Live-Events auf VR-Headsets von PlayStation, HTC, Oculus, Google, Microsoft und anderen Herstellern bietet.

Apfel im August 2020 gekaufte VR-Startup-Spaces , ein Unternehmen, das Virtual-Reality-Erlebnisse entwickelt hat, die Menschen in Einkaufszentren und an anderen Orten erleben können, wie beispielsweise 'Terminator Salvation: Fight for the Future'. Spaces hat auch Virtual-Reality-Erlebnisse für Videokommunikations-Apps wie Zoom geschaffen, die Apple möglicherweise in ein zukünftiges AR/VR-Produkt integrieren könnte.

AR / VR-Patente

Apple hat mehrere Patente angemeldet, die sich direkt auf ein Virtual-Reality-Headset beziehen, die alle mehrere Jahre alt sind. Obwohl die Technologie wahrscheinlich etwas darüber hinaus fortgeschritten ist, bieten sie einen interessanten Einblick in die Ideen, die Apple in der Vergangenheit untersucht hat.

Eine Patentanmeldung aus dem Jahr 2008 betraf ein ziemlich einfaches „persönliches Anzeigesystem“, das die Erfahrung eines Kinos beim Anschauen von Videos nachahmen soll.

Ein zweites Patent beschrieb ein „Head Mounted Display System“ mit einer „Laser-Engine“, die Bilder auf ein klares Glasdisplay projizierte, das über den Augen getragen wurde, ähnlich einer Brille. In dieser Konfiguration ist das Headset mit einem tragbaren Videoplayer wie einem iPod verbunden, um Rechenleistung bereitzustellen.

Ein drittes Patent, das ursprünglich im Jahr 2008 angemeldet wurde, hatte ein ähnliches Design und umfasste ein brillenähnliches Video-Headset, mit dem Benutzer Filme und andere Inhalte ansehen können. Es skizzierte zwei einstellbare optische Module, die mit dem Auge des Benutzers ausgerichtet sind, die eine Sehkorrektur bieten und die Anzeige von 3D-Inhalten ermöglichen könnten. Apple beschrieb dies als ein persönliches Medienerlebnis.

ZU viertes Patent von 2008 bedeckte einen Video-Headset-Rahmen ähnlich dem Google Glass, der es einem Benutzer ermöglichen würde, sein iPhone oder iPod in das Headset zu schieben, um Videos bereitzustellen. Das Headset wurde als Augmented-Reality-Produkt beschrieben, mit dem Benutzer beispielsweise ein Video ansehen oder E-Mails abrufen können, während sie ihre Umgebung im Auge behalten.

Neben den Headset-bezogenen Patenten hat Apple auch Patente angemeldet, die andere Möglichkeiten beschreiben, wie Virtual- und Augmented-Reality-Funktionen in seine Geräte implementiert werden könnten. Eine Patentanmeldung aus dem Jahr 2009 betraf beispielsweise mit Kameras ausgestattete 3D-Displays, deren Perspektive sich basierend auf der relativen Position eines Benutzers verschieben würde.

Eine solche Anzeige würde eine Kopfbewegung erkennen, was es einem Benutzer ermöglicht, seinen Kopf zu bewegen, um ein 3D-Bild aus verschiedenen Winkeln zu betrachten, während gleichzeitig Elemente der Umgebung eines Benutzers integriert werden.

In den Patenten von 2010 und 2012 wurde die Verwendung von Bewegungssensoren beschrieben, um eine 3D-Schnittstelle für iOS-Geräte mithilfe von Augmented-Reality-Techniken zu erstellen. Apple beschrieb die Benutzeroberfläche als „virtuellen Raum“, der durch Manipulation der Ausrichtung des Geräts durch eingebaute Sensoren oder durch Gesten navigiert wird.

Im Jahr 2011 meldete Apple ein Patent für eine Augmented-Reality-Funktion in der Maps-App an, die sich auf die Kartierung der Entfernung zu bemerkenswerten Sehenswürdigkeiten bezieht. Mit der Kamera könnte ein Benutzer die Umgebung um sich herum betrachten und Echtzeitschätzungen der Entfernung zwischen zwei Punkten zusammen mit Überlagerungen relevanter Informationen erhalten.

Ein 2014 angemeldetes und 2017 erteiltes Patent betrifft ein mobiles Augmented-Reality-System, das in der Lage ist, Objekte in der Umgebung zu erkennen und sie mithilfe von Kameras, einem Bildschirm und einer Benutzeroberfläche mit virtuellen Informationen zu überlagern. Apple beschreibt das System als ideal für ein Head-Mounted-Display, zeigt aber auch seinen Einsatz in Smartphones.

Apple hat an einer Virtual-Reality-Technologie gearbeitet, die sein könnte in autonomen Fahrzeugen verwendet . Mehrere Apple-Patente beschreiben ein System, das ein Virtual-Reality-System im Auto mit einem VR-Headset umfasst, das getragen wird, um Unterhaltung zu bieten und Autokrankheit durch Aufgaben wie Lesen und Arbeiten während der Fahrt zu mildern.

ZU Juli 2020 Patentanmeldung behandelt mögliche Eingabemethoden mit Apple Glasses und beschreibt ein System, bei dem die Brille Infrarot-Wärmesensor verwendet, um zu erkennen, wenn jemand ein Objekt der realen Welt berührt, sodass die Brille dann Steuerelemente auf eine reale Oberfläche projizieren kann.

Mit dieser Methode könnte die Apple Glasses in der AR-Steuerungsschnittstelle auf jedes tatsächliche Objekt in der realen Welt projizieren, um einen Mixed-Reality-Overlay-Effekt zu erzielen.

Apple im Februar 2021 mehrere Patente angemeldet im Zusammenhang mit seiner Arbeit an einem angeblichen Mixed-Reality-Headset, dessen Patente Designelemente, Linsenanpassung, Eye-Tracking-Technologie und Software umfassen.

Apple hat mehrere Methoden entwickelt, um den Tragekomfort eines Headsets zu erhöhen und es gleichzeitig sicher zu halten und Licht zu blockieren. Außerdem gibt es ein detailliertes Linseneinstellsystem, das die Linsen mit Flüssigkeit nahtlos verschiebt, um die Passform für jeden Benutzer anzupassen.

Apple beschreibt auch ein Eye-Tracking-System, das Infrarotlicht verwendet, um die Position zu erkennen, und es gibt auch ein Patent dafür, wie Dokumente in einem virtuellen 3D-Raum mit dem Headset und der Gestenerkennung bearbeitet werden können.

Apple hat patentierte Systeme zum Aufnehmen von Videos von einem Headset, bei dem eingebaute Blickverfolgungssensoren anzeigen könnten, wohin eine Person gerade schaut, die eine eingebaute Kamera anweisen könnten, die Szene aufzuzeichnen, in der sich die Augen des Benutzers befinden, anstatt einfach aufzuzeichnen was vor dem Benutzer steht.

Eine weitere Patentanmeldung Das im Februar 2021 eingereichte Projekt hat gezeigt, dass Apple an einem am Finger befestigten Gerät mit einer Reihe von Sensoren und haptischem Feedback forscht, das als Steuergerät für ein Mixed-Reality-Headset verwendet werden soll.

Das Steuergerät hat eine Form, die es dem Benutzer ermöglicht, Objekte in seiner Umgebung natürlich zu erfühlen und die Art und Weise, wie der Benutzer seinen Finger bewegt und mit Oberflächen interagiert, genau zu erfassen. Das System soll so genau sein, dass es erkennen kann, wie stark ein Benutzer auf eine Oberfläche drückt und die genaue Richtung dieser Kraft und als Reaktion darauf ein haptisches Feedback liefert.

In Verbindung mit einem AR- oder VR-Headset sagt Apple, dass dieses fingermontierte Gerät 'einem Benutzer das Gefühl vermitteln könnte, auf einer physischen Tastatur zu interagieren, wenn der Benutzer mit dem Finger auf eine Tischoberfläche tippt' oder 'einem Benutzer ermöglichen könnte, einen Joystick bereitzustellen'. -type input' für Spiele, die nur die Bewegung der Fingerspitzen des Benutzers verwenden.

Erscheinungsdatum

Apple-Analyst Ming-Chi Kuo sagte im Oktober 2021, dass das kommende Mixed-Reality-Headset wurde verspätet bis frühestens Ende 2022, die Produktion soll im vierten Quartal 2022 beginnen.

Bloomberg glaubt auch, dass das AR/VR-Headset, an dem Apple arbeitet, im Jahr 2022 erscheinen wird, während die AR-Brille, die sich in der Entwicklung befindet, zu einem späteren Zeitpunkt erscheinen wird. Die Information hat vorgeschlagen, dass ein AR/VR-Headset im Jahr 2022 auf den Markt kommen wird, gefolgt von einer Smart Glasses im Jahr 2023, aber dies ist ein früherer Zeitplan als andere Quellen für das Brillenprodukt angegeben haben.

Apple ist angeblich bei Tests für die in Arbeit befindlichen Datenbrillen im Rückstand, was möglicherweise zu Verzögerungen führen könnte. Apple sollte Anfang 2021 in die zweite Entwicklungsphase der Brille eintreten, aber die Testphase zwei hat noch nicht begonnen, so dass die Serienproduktion im ersten Quartal 2022 ist unerwartet .

Analysten von Morgan Stanley sagten kürzlich, dass sich das AR-Headset auf der Grundlage der Anzahl der Patente Apple hat veröffentlicht. Die Analysten glauben, dass das Patentportfolio von Apple für sein AR/VR-Headset dem Patentportfolio ähnelt, das es vor der Einführung der Apple Watch aufgebaut hat.

Zukünftige AR/VR-Pläne

Apple-Analyst Ming-Chi Kuo glaubt, dass Apple Augmented-Reality-'Kontaktlinsen' planen könnte könnte starten irgendwann in den 2030er Jahren.

Laut Kuo werden die Objektive die Elektronik aus der Ära des „Visible Computing“ zum „Invisible Computing“ bringen. Die Kontaktlinsen sind derzeit nicht sichtbar und es handelt sich nicht um ein garantiertes Produkt, das Apple entwickeln wird.