
OpenAI 的 Jason Liu 讲他怎么用 Codex 过一天:把置顶线程当「员工」养上百天,双击 Command 的 AppShots 抓取界面和无障碍树,骑车时用手机遥控电脑导出视频
一句话结论
OpenAI 开发者体验团队的 Jason Liu 演示了他用 Codex 桌面版与手机端处理几乎所有工作的方式:每天早上一个置顶线程汇总邮件、Slack 和项目动态,他用语音十分钟口述完全部分拣;因为上下文压缩已经可靠,他把置顶线程当员工来用,有的连续跑了约 100 天,再配上每 30 分钟到几小时自动唤醒的「心跳」任务;双击 Command 的 AppShots 会同时抓截图和应用的无障碍树;手机远程控制让他骑车时让电脑打开 Premiere 导出四种画幅的视频并发回 Slack;他还建议用「抽到 100% 就说明太简单」的困难评测来决定模型在成本、性能和延迟之间的取舍。
背景与理念
Jason Liu 在 OpenAI 的开发者体验团队工作,他说自己的工作变化很快:有时做原型和演示,有时写评测脚本、录制剪辑视频,有时做外部合作和课程,还有大量运营工作,而这些现在几乎都在 Codex 应用里完成。他说应用里有 Codex 模式和 ChatGPT Work 模式,背后是同一套东西,区别只是 Codex 会显示终端、代码行数和 PR 审查;他自己基本只用 Work 模式,因为已经不太需要审代码或用终端,「每条 git 提交信息都是它写的」。
他认为工作主要是两件事:管理一个不断增长的项目组合,以及把 Slack 消息、网站、代码、表格等上下文连接起来。他的核心观点是:输入给智能体的上下文质量决定了输出质量。说明:这场分享上传于 9 月 16 日,主持人提到的报名优惠截止日期显示录制时间可能在 8 月下旬。
具体做法
一天的样子
他早上打开电脑,一个置顶线程里已经有过去一天错过内容的简报:哪些邮件要回、Slack 上发生了什么、哪些项目需要更新。他按下听写键把整张清单口述一遍,比如「这个讲座邀请接受,接受后把明天的幻灯片更新好,再分享给 Dominic」,大约十分钟就完成了一早上的分拣;然后出门散步买咖啡,路上有新的 Slack 或短信,就用 ChatGPT iOS 应用的远程控制操纵电脑:给某人发 Slack、搜索 Slack 和 Google Docs 回答问题、回复邮件。
把上下文从脑子里和电脑里搬出来
第一是语音。他说三年前手部受伤得了腱鞘炎,没法打字,从此爱上语音输入;说话比打字快约三倍,更重要的是口述时会说得更具体,而打字时往往只写一句「修一下,看着不对」。除了按住说话的听写,新的语音模式是全双工的,可以边听边回应、在你含糊时打断你,还能把任务派到后台子智能体,比如「顺便查一下 Slack 上这件事有没有人在做」,查完再回来告诉你;他说可以设定「保持安静,除非很重要或有澄清问题」。语音输入支持约 20 种语言。
第二是插件。他说 OpenAI 是一家很依赖 Slack 的公司,接上 Slack 后可以读消息、写草稿、跟进、建 canvas;前一天刚上线了连接多个 Gmail 账户的功能,还有日历、Linear、Notion 等;重复做的事可以做成自己的插件,比如他的开发者体验插件能读取用户在 Twitter 上的抱怨,判断哪个功能归谁负责、反馈该发到哪里、怎样给用户补发额度。他建议大家争取成为公司里的「插件英雄」:一周烧掉十亿 token 不算什么,做一个全公司都在用、替大家省掉繁琐工作的插件才是高杠杆。
第三是 AppShots。他说截图看不到折叠以下的内容,也不知道应用是否开着;按下空格键旁边的两个 Command 键,AppShots 会同时抓取屏幕截图和该应用的无障碍树,并打开 Codex,你只需说「请调查一下发生了什么」;因为它知道打开的是哪个应用、哪个标签页,后续做计算机使用或浏览器操作时就知道去哪里找上下文。他说自己一半的时间用 AppShots 填表、回 Slack、管理 Twitter。
把线程当员工
他说半年到一年前,大家被告知每个问题都要开新任务,因为上下文不够、模型在长上下文里找不到信息;现在上下文压缩已经可靠了,可以置顶一个线程、给它命名,把它当成员工而不是任务。他有「幕僚长」线程、管理文档的线程、准备这场讲座的线程、维护开源项目的线程、监控 Twitter 反馈的线程,其中一些已经跑了约 100 天,性能没有明显下降。
他建议第一步就建一个幕僚长线程:让它查看邮件、日历、Slack 和进行中的项目,排出优先级,再用预装的 visualize 技能把简报改写成 HTML 页面,然后设成每天早上 8 点自动重跑。他说不需要用定时任务界面,直接告诉模型「每天早上 9 点做这件事」「每三小时做那件事」就行;模型还能自己置顶任务、给自己改名。例子包括:出差时让它每天 9 点整理并可视化行程,附上所有订单号,后来又让它遇到航班时用计算机使用帮他值机,再把登机牌发到他的私人手机号。
他把定时唤醒的任务称为「心跳」:有的任务专门照看 PR,有的每三小时查一次 Twitter 或 Slack 上的反馈,他的「经理」线程每 30 分钟唤醒一次审查其他线程的工作。他说这已经很进阶了,不建议一开始就这么做,先从幕僚长线程开始。更进一步,线程可以创建、命名、置顶其他线程并与之通信:Twitter 监控线程发现三个不同问题时,会新建两个任务分别跟踪,他说「我的虚拟员工成了经理,可以招人了」。
远程控制与计算机使用
他说相比在云端跑任务,他更喜欢遥控自己的电脑,因为大部分账号都在本机登录着,文件系统里也有云端没有的上下文。一次骑车途中有人要一段发布视频的另一种画幅,他在手机上让电脑打开 Premiere、找到文件、导出 4:5 和 16:9 版本、上传 Google Drive、在 Slack 上回复对方,并每 30 分钟查看一次反馈;两小时骑完回家,四个版本都导出好了,而且每个文件都按「某某要的另一种画幅」规范命名。
他说自从 5.6 以来,模型的计算机使用能力和处理 Excel、Google Sheets、Google Slides 这类文件的能力都好了很多。他每天早上醒来时大部分 Slack 消息已经预先起草好;他让 Codex 每周读一遍他的 Slack 消息,更新一个「像我一样写」的技能,信任增加后再允许它直接发送简单消息、长消息仍然先留着。新推出的 Sites 功能可以直接把做好的应用部署到 Cloudflare 自己的用户名下,他用它在 20 分钟内为一份活动嘉宾表格生成了一个展示每个人头像、领英、Instagram、Twitter、简介和 GitHub 截图的网站。私人生活里,他让它在客服排队 45 分钟时每三分钟查看一次并跟客服机器人沟通退款,也曾在结账页用 AppShots 找优惠码省下 100 美元。他还提到 WebMCP,让网站本身暴露 MCP 工具,智能体可以直接调用而不必点按钮。
问答里的几个要点
被问到智能体从演示走向生产时最常见的错误,他说一是没有记录和收集反馈来建立评测,二是评测太简单。他说 Codex 不会记录所有对话,但用户运行 /feedback 就是授权他们查看;拿到一百个反馈后,找出真正值得分析的十几个,归纳出「用户这样问时模型会用错工具」,加入测试集。他说如果 5.6 在评测上拿到 100%,那不是好事,就像在幼儿园数学测试拿满分说明不了数学能力;评测要足够难,才能判断新模型「好 1% 但贵 100 倍」或「Luna 便宜 10 倍但差 2%」值不值得换。
被问到运行上百天的任务会不会幻觉增多,他说一般不会,因为模型现在很善于反复核对:发 Slack 前会先读频道里的历史消息,发邮件会给每个事实附上链接,所有事实都写在磁盘上的笔记里,「这是一个会不停记笔记、开口前认真复习笔记的 AI」。关于成本,他坦言自己有无限额度,属于特殊情况,但他会做实验:幕僚长线程其实一天只需跑两次,换成 Luna 这类便宜模型,成本可以降到十分之一到二十分之一,除了计算机使用之外效果通常不错;他说模型每隔几个月就好十倍、便宜十倍。
关键数据/例子
早上用语音口述约十分钟完成全部分拣。
部分置顶线程连续运行了约 100 天,性能没有明显下降。
心跳任务:每 3 小时查 Twitter 和 Slack 反馈,经理线程每 30 分钟审查一次。
骑车两小时,远程让电脑导出四个画幅版本的视频并回复 Slack。
用 Sites 在约 20 分钟内生成活动嘉宾信息网站;语音输入支持约 20 种语言。
成本:把模型换成 Luna、降低运行频率,成本可降到十分之一到二十分之一。
创新点
第一,把长时间置顶的线程当员工。这依赖可靠的上下文压缩,让一个线程长期负责一类工作,而不是一次性任务。
第二,AppShots 把截图和无障碍树一起交给智能体。智能体不只看到画面,还知道是哪个应用、哪个标签页,后续可以直接接手操作。
第三,线程可以创建和管理其他线程。监控线程发现新问题时自己开新任务分头跟踪,形成一个小型组织。
第四,用逐步放权的方式建立信任。先只起草 Slack 消息,信任积累后再允许直接发送简单消息。
可否复用
- 建一个「幕僚长」线程:让它每天早上汇总邮件、日历、IM 和项目动态,按优先级排序,并生成可视化简报。
- 用语音给智能体下指令:口述时会自然地补充背景、约束和例外情况,比打字更具体。
- 把反复做的流程做成插件或技能:例如反馈分拣、按个人风格起草消息,并分享给团队。
- 为长期任务准备磁盘笔记:让智能体把事实和决定写进文件,每次行动前先复习,减少幻觉。
- 评测集要难到拿不了满分:从真实反馈中挑出失败案例,用来比较不同模型的成本、效果和延迟。
- 按需选择模型和频率:低风险的例行任务用便宜模型、低频率运行,只在紧急情况下用最快最贵的配置。