TellerU 官方课 · 核心原理 · 零基础
多模态 AI：能看、能听、能说的模型
一个模型同时理解文字图片声音，会带来什么
你将从零基础的生活化类比出发，掌握多模态 AI 的核心概念、对齐思想与典型应用，产出 1 份《多模态 AI 生活应用手册》。
- 📚 3 个单元 · 9 节课
- ⏱ 约 4 小时
- 🧑🏫 AI 老师白板讲解 + 随堂练习
多模态前沿AIAI应用多模态AI零基础科普
免费开始学这门课 →
适合谁学
零基础学习者，无需编程或数学背景
课程目录
第 1 单元：认识多模态：AI 如何像人一样看和听
学习目标：本单元用生活化类比帮你理解“模态”与多模态 AI 的含义，明白 AI 如何把文字、图像、声音变成可比较的数字表示。这是后续所有应用的基础，并为项目产出第一个生活场景案例。
感官类比：AI 的“眼睛”“耳朵”和“嘴巴”是什么？
用人的五感类比 AI 的输入输出，建立对模态的直觉，并识别生活中多模态 AI 的 3 个例子。
- 模态：为什么说 AI 也有“五官”？（约 26 分钟）
- 多模态 AI：一个模型如何同时处理文字、图片和声音？（约 27 分钟）
数字翻译：文字、图片、声音怎样变成 AI 能懂的数字？
用生活化例子解释文字分词、图像像素、声音采样如何变成数字，为理解对齐做铺垫。
- 文字和图片：AI 眼中的世界为什么是一堆数字？（约 27 分钟）
- 声音：为什么 AI 听歌先要“采样”和“画频谱”？（约 28 分钟）
第 2 单元：对齐的魔法：让文字和图像“说同一种语言”
学习目标：本单元用 CLIP 的直觉例子解释如何把文字和图像对齐到同一表示空间，让你理解“看图问答”背后的匹配逻辑。这是多模态 AI 的核心思想，并为项目产出 CLIP 对齐的类比图解。
匹配游戏：CLIP 如何判断图和文是不是一对？
用“相亲配对”类比 CLIP 的图文匹配，理解表示空间和对齐的直觉含义。
- 表示空间：为什么图和文可以放在同一个“地图”上？（约 26 分钟）
- CLIP：它怎样学会给图片和文字“牵红线”？（约 27 分钟）
看图问答：AI 如何根据图片回答你的问题？
用生活场景解释看图问答的流程：先对齐图文，再根据问题生成答案，并体验 2 个真实例子。
- 看图问答：AI 怎么做到“看图说话”？（约 27 分钟）
第 3 单元：能听会说：语音对话与多模态应用边界
学习目标：本单元用生活场景解释语音对话和视频理解等应用如何工作，并讨论多模态 AI 的局限与风险。这帮你完整理解多模态 AI 的能力圈，并为项目产出能力与局限清单。
语音助手：从“听到”到“听懂”再到“回答”要几步？
用点歌场景拆解语音对话的 3 个步骤：语音转文字、理解意图、生成回答，并体验 1 个语音助手案例。
- 语音对话：为什么 AI 能听懂你的话并回答？（约 27 分钟）
能力边界：多模态 AI 现在还做不到什么？
用生活例子说明多模态 AI 在噪音、歧义、隐私等方面的局限，并讨论如何安全使用。
- 局限：多模态 AI 为什么也会“听错”和“看走眼”？（约 26 分钟）
在 TellerU 怎么学这门课
- AI 老师在白板上边讲边画，一节课讲透 3 个知识点；
- 讲到的结论都标注出处，点一下就能核对原文；
- 每节有随堂快测和练习，系统按你的掌握度安排复习；
- 听不懂随时提问，老师按你的进度换个讲法再讲一遍。