视频可以在高级语音模式中打开,在视频通话过程中,现场4个嘉宾分别做了自我介绍,而ChatGPT可以记住每个人的名字以及他们对应的样貌特点。
比如ChatGPT可以迅速回答出戴着驯鹿角的是谁,或者戴着圣诞老人帽子的人是谁,这种“实时视觉上下文”能力还是比较惊艳的。
整个视频通话沟通的过程还是相当流畅的,工作人员介绍,这一功能背后是原生多模态大模型GPT-4o。
后续高级语音功能的对话都会有更自然的对话节奏、更丰富的情感和50多种语言的支持。
除了普通聊天,ChatGPT还可以一边视频一边教你怎么泡咖啡,通过摄像头,它可以识别出面前的物体,并进行指导。
比如第一步要做什么、第二步要做什么,什么时候拿起杯子倒水,以及每个步骤是在做什么、有什么效果、有哪些步骤可以做得更好。
另一个新功能是屏幕共享,这个功能也是在高级语音模式中开启,开启后,ChatGPT会看到我们屏幕上正在显示的内容。
能做什么?比如当你收到一个消息不知道该怎么回复,就可以让ChatGPT帮你想想对策,它可以识别到你正在使用消息App并分析对方发来的信息,然后给出一个合理的回复。