《A Path Towards Autonomous Machine Intelligence Version 》
"A JEPA will learn abstract representations that make the world predictable."
本文试图回答两个相互关联的问题：机器如何通过观察形成对物理世界的内部模型，以及如何利用这个模型进行推理、规划和行动。
如果我们去观察大模型以及具身智能与人类智能的差别，我们会发现前者需要大量的数据大量的试错，效果却可能仍然不尽人意；而人类却可以通过极少的样本，极少的试错就可以学习一个新的技能。
关于智能，Yann LeCun 认为需要在物理世界中获得。比如一个婴儿在观察世界的过程中认识到了远近深度、认识到了对象，从而发现可以运动，从而认识到各种物理规律，认识到各种生物体，从而认识各种因果关系……由此类推。这里有两个核心的要点，第一，世界知识主要来自预测感知变化；第二抽象概念是层级产生的。
虽然 Yann LeCun 对大语言模型不停地“诋毁”，但是我觉得不得不说，语言作为一个抽象的工具，对人类智慧的发展有着不可磨灭的作用（比如哲学）。
若要论生物学/心理学证据的话，倒是有挺多，比如动物或人内在地可以预测世界下一个状态的“世界模型”，再比如最近 MIT 发现人脑进行逻辑推理的时候负责语言的脑区并不会激活等等。
这些形而上的哲学讨论，我目前并不太理解，等了解了更多再去做评价吧。
按照李飞飞的分类，World Model 应当包含三个部分：渲染，仿真，行动。但在本文中，只对后面两个能力进行了讨论。
World Model 架构
架构包含六个核心模块：
- Perception：从传感器输入中估计当前世界状态。
- World Model：补全缺失信息，并预测自然演化或行动导致的未来状态。
- Actor：提出和优化行动序列。
- Cost：评价当前或预测状态的好坏。
- Short-term Memory：保存过去、当前和预测状态及其代价。
- Configurator：根据当前任务配置感知、世界模型、cost 和 actor。
感知模块形成当前状态；actor 提出行动；world model 模拟行动后果；cost 判断这些后果好不好；actor 再调整行动；最后实际执行代价最低方案的第一步。
这也是 LeCun 对“推理”的定义：推理不是必然以语言或符号链的形式出现，而可以表现为 在内部世界模型中进行模拟，并通过能量最小化寻找满足约束的行动或解释。
Cost：模型如何评价当前状态
文章中将 Cost 分为两个部分：IC + TC. Intrinsic Cost 给出最基础、不可训练的偏好，例如避免疼痛、危险和能量耗尽。Critic 则根据经验学习长期后果，判断一个当前看似无害的状态，未来是否可能导致高代价。
总而言之，IC 定义最终价值，Critic 把这种即时价值向未来传播。
Cost 本身并不直接判断一个动作好不好，而是评价动作可能导致的状态。Actor 通过 World Model 预测不同动作的后果，再选择通向低 Cost 状态的动作。
模型如何认识世界？
在这里，世界模型做的是：如果现在这样、采取某个行动，未来会发生什么？JEPA、VICReg、H-JEPA、latent variable，其实都只是围绕“怎样学好这个世界模型”展开的不同机制，不需要在总结构里并列成四大块。
它们可以统一成一个直觉：
世界模型不应该记住并预测世界的一切，而应该学习一个让世界尽可能可预测的抽象表示。
- JEPA 负责在 representation space 预测未来，而不是生成所有像素。
- VICReg 负责防止这个 representation 为了“好预测”而塌缩成空信息。
- H-JEPA 负责让不同抽象层级处理不同时间尺度：低层预测短期细节，高层预测长期结构。
- latent variable 负责承接那些无法从当前状态确定、但又不能忽略的未来分支。
所以这几部分是在共同解决一个核心矛盾：表征既要保留足够的世界信息，又要足够可预测。
可以把信息分成三类：可预测且重要的信息，保留在世界状态表征中；不可预测且不重要的细节，由 encoder 抽象掉；不可预测但重要的未来分支，由 latent variable 表示。
模型如何行动？
有了价值标准和世界模型，才进入行动层。它解决模型在各种可能未来中应该选择哪条行动路径？
Mode-2 是完整规划：Actor 提出动作，World Model 模拟未来，Cost 评价未来，再搜索或优化动作序列。
Mode-1 是快速反应：不再展开完整未来，policy 直接根据当前状态输出动作。
（其实二者有点像那个快思考和慢思考）
两者的关系是：
Mode-2 负责解决新问题，Mode-1 负责执行已经学会的问题。
Mode-2 得到的好动作会训练 Mode-1 policy，相当于把慢速规划编译成快速技能。
Hierarchical Planning 也属于这一层。它不是另一套机制，而是 Mode-2 在多层世界模型上的自然延伸：高层规划长期抽象目标，低层负责把抽象目标落实成具体动作。也就是说，高层 action 不是现实中的真实动作，而是下层需要满足的子目标。比如高层决定“到达车站”，低层再决定走哪条路、怎样开门、怎样控制身体。
这份笔记只是一个简单的、直观的总结，还需要进行更多的学习进行补充。