Die auf natürliche Sprachsteuerung spezialisierte Mac-App Sky wird künftig unter dem Dach von OpenAI weiterentwickelt. Das US-Unternehmen hat die hinter Sky stehende Software Applications Incorporated übernommen und plant, die Funktionen der App in ChatGPT zu integrieren.
Die Anwendung wurde ursprünglich von den Machern der Kurzbefehle-App entwickelt, die bereits 2017 von Apple übernommen wurde. Sky ermöglicht eine kontextbezogene Steuerung des Macs, bei der Anwender in normaler Sprache beschreiben, was sie tun möchten. Die App erkennt eigenständig, welche Anwendung im Vordergrund aktiv ist, und schlägt passende Aktionen vor.
Im Hintergrund arbeitet Sky mit großen Sprachmodellen wie GPT-4.1 oder Claude. Diese analysieren Bildschirminhalte, verarbeiten Benutzeranfragen und führen mehrschrittige Aufgaben automatisiert aus. Der Nutzer erhält dabei stets eine Vorschau der geplanten Aktionen und muss diese vorab bestätigen. Die App bietet Werkzeuge für alltägliche Anwendungen wie Kalender, Finder, Mail und Webbrowser und lässt sich über eigene Kurzbefehle und Skripte erweitern.
Integration in ChatGPT geplant
Mit der Übernahme durch OpenAI sollen die bestehenden Funktionen von Sky künftig direkt in ChatGPT einfließen. Ziel ist eine tiefergehende Integration von Sprachmodellen in das tägliche Arbeiten am Mac. In der Ankündigung hebt OpenAI insbesondere die präzise Bildschirm-Analyse und das adaptive Verhalten der App hervor. Die neue Integration soll es ermöglichen, dass ChatGPT nicht nur auf Befehle reagiert, sondern proaktiv bei der Umsetzung von Aufgaben hilft.
Ein Beispiel dafür ist die sogenannte „Skyshot“-Funktion, bei der Bildschirminhalte analysiert und weiterverarbeitet werden können. So lassen sich etwa Inhalte aus Webseiten extrahieren, automatisch kategorisieren und an Lese-Apps übergeben. Die Funktion kombiniert die visuelle Erfassung von Fenstern mit einer Texterkennung, um genaue Anweisungen abzuleiten.
OpenAI zufolge wird das bestehende Team von Software Applications Incorporated vollständig übernommen. Auch der bisherige Fokus auf den Mac soll erhalten bleiben, künftig jedoch enger mit der Entwicklung von ChatGPT verzahnt werden. Eine Basisversion von Sky war ursprünglich für den Sommer angekündigt, nähere Details zum weiteren Zeitplan stehen noch aus.