0953e8d44a
- raw: post + stt-transkript + 9 frames, belegtabelle kernaussage - wiki neu: concepts/agents/jev-sprachsteuerung-computer-use, people/andy-gao - wiki update: concepts/llm/jev-praxis-demos (zeile + crossref) - index 224. update + log
4.4 KiB
| type | source_url | retrieved | author | is_thread | tags | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| xpost | https://x.com/instantricecook/status/2100814590300889426 | 2026-09-18 | @instantricecook | false |
|
Andy Gao: sprachgesteuerter Mac-Computer-Use mit Jev (18.09.2026)
Post (Wortlaut)
I built a voice controlled computer-use for my mac using @typesafeai's Jev and it's INSANE how fast it is!
I can dictate "open the notes app and create..." and the app opens before I even finish my sentence.
Metadaten
- URL: https://x.com/instantricecook/status/2100814590300889426 (von Pit Weber in OME Topic „JEV" geteilt, 18.09.2026 22:45 UTC)
- Autor: Andy Gao (@instantricecook, 563 Follower, verifiziert, Konto seit 26.07.2020; Bio „simplicity is the ultimate sophistication / working on something new"; Website http://gao.haus)
- Erstellt: 18.09.2026 05:10:04 UTC
- Engagement (Abruf 18.09.2026 ~22:45 UTC, ~17,6 h nach Veröffentlichung): 139.442 Views · 2.038 Likes · 79 Retweets
- Medium: ein Video, 48,083 s, 1920×1080
- Typ: Einzelpost, keine Thread-Fortsetzung
Das Video (lokal ausgewertet)
Heruntergeladen (6.580.959 Byte) und ausgewertet: STT-Transkript (xAI Grok STT, en, 428 Zeichen) plus neun Standbilder (imageio-ffmpeg, Sekunden 1/6/12/18/24/30/36/42/47).
Gesprochene Befehle (vollständiges Transkript):
Alright, can you open up the Notes app for me? And once you're there, can you create a new note? And inside this new note, let's make the title say "Hello." Great, great. Okay. let's move on and can you open up the Arc browser? And once you're there, can you Google search Norbert Wiener? now, can you open up x.com? Nice, nice. Okay. Now can you open up the photo booth and let's take a picture of me? Cool, awesome, thank you.
Beobachtungen aus den Standbildern:
- Überlagerung: Am oberen Bildschirmrand liegt eine schwarze Pille mit dem live transkribierten Sprechtext — abgeschnitten jeweils am aktuellen Sprechfortschritt.
- Ablauf: Notes (mit Ordner „testing") → neue Notiz mit Titel „hello" → Arc-Browser → Google-Suche „Norbert Wiener" → x.com → Photo Booth mit Drei-Sekunden-Countdown und Auslösung.
- Kein Code, kein Terminal, keine Zahlen: In keinem der neun Bilder ist ein Jev-Aufruf, ein Schema, ein Log, eine Latenzangabe oder ein Modellname sichtbar. Das Video zeigt ausschließlich den Desktop-Ablauf mit Sprech-Überlagerung.
- Sichtbare Systemuhr: 12:46 AM (18.09.2026). Die Notizen-Liste zeigt ältere Einträge mit 12:42 und 12:43 AM — die Aufnahme fand also nach vorherigen Testläufen statt.
Beleg zur Kernaussage des Posts
Der Post behauptet, die App öffne sich, bevor der Satz beendet ist. Dafür gibt es im Videomaterial einen Beleg:
- Bild bei Sekunde 6 zeigt den abgeschnittenen Sprechtext „…en up the Notes app for me? And, um," — bei bereits geöffnetem Notes-Fenster.
- Bild bei Sekunde 12 zeigt „…ew node, let's make the title say hello." — bei bereits angelegter Notiz mit Titel „hello".
Die Zielzustände sind also sichtbar, während der zugehörige Satz im Transkript-Overlay noch unvollständig ist. Das stützt die Aussage „before I even finish my sentence" innerhalb des gezeigten Ablaufs.
Was das Video nicht zeigt
- Keine Messung: keine Latenzwerte, keine Token-Zahlen, keine Kosten, kein Vergleich gegen eine Alternative.
- Kein Nachweis des Anteils von Jev: ob Jev hier Intent und Parameter entscheidet oder ob Teilergebnisse der Spracherkennung direkt vorgefertigte App-Aktionen auslösen, ist aus dem Material nicht ableitbar.
- Kein Code, kein Repo, kein Aufbau: Der Autor nennt keine Implementierung; „working on something new" ist die einzige Andeutung eines Projekts.
- Eng begrenzte Aufgabentypen: Notes, Arc, Google, x.com, Photo Booth — sämtlich lokal skriptbare Standard-Applikationen mit eindeutigen Verben und Objekten. Keine mehrstufige, zustandsabhängige Aufgabe (Dialoge, Fehlerfälle, Formulare, Anmeldungen).
Offene Punkte
- ⚠️ Selbstveröffentlichung eines einzelnen Entwicklers; keine Reproduktion, kein Vergleichslauf.
- ⚠️ Der Autor steht in keiner erkennbaren Beziehung zu TypeSafe; ob er Tester, Nutzer oder Partner ist, ist nicht angegeben.
- Ob die Demo mit mehreren aufeinanderfolgenden Befehlen unter Zustandsänderungen stabil bleibt, ist nicht gezeigt (die Kette ist sequenziell und vorhersehbar).