微软与MIT携手，引领AI推理新时代：精炼6700万参数模型，挑战GPT-4顶尖地位

近日，在这个信息爆炸的时代，智能设备如何理解“因为下雨，所以要带伞”这类因果关系，实际上涉及到人工智能领域的一个重要分支——因果推理（Causal Inference）。

一群来自微软和麻省理工学院等知名学术机构的研究人员，共同开发了一种突破性的机器学习训练策略。这项策略不仅克服了大型机器学习模型在逻辑推理方面的不足，还通过以下步骤实现了显著的进步：

独特的训练方法：研究人员采用了一种新颖的训练方法，这可能与常规的机器学习训练技术有所区别。

逻辑推理的改进：他们的方法显著提升了大型模型的逻辑推理能力，解决了先前存在的挑战。

利用因果关系构建训练集：研究团队利用因果关系模型来构建训练数据集，这种模型能够揭示变量间的因果联系，有助于训练出能够理解数据背后因果逻辑的模型。

教授模型基础公理：他们直接向模型传授逻辑和数学中的基础前提，帮助模型更好地进行逻辑推理。

小型Transformer模型的惊人表现:尽管模型参数仅有6700万，但通过这种方法训练出的Transformer模型，在推理能力上竟能与GPT-4相媲美。

因果推理，听起来像是哲学家的专利，但其实它早已渗透到我们生活的方方面面。对于人工智能来说，掌握因果推理，就像是学会了用“因为...所以...”来解释世界。但AI不是天生就会这个的，它们需要学习，而这学习的过程，就是这篇论文要说的故事。

公理训练方法：

想象一下，你有一个非常聪明的学生，但它对世界的因果关系一无所知。你要怎么教它呢?研究人员就想出了一个办法——公理训练。这就像是给AI一本“因果关系手册”，让它通过这本手册，学会如何识别和应用因果规则。

研究人员用变换器模型做了实验，结果发现，这种训练方法真的有效!AI不仅学会了在小规模的图上识别因果关系，而且还能把这些知识应用到更大的图上，即使它以前没见过这么大的图。

这项研究的贡献在于，它提供了一种新的方法，让AI能够从被动数据中学习因果推理。这就像是给了AI一种新的“思考”方式，让它能够更好地理解和解释世界。

这项研究不仅让我们看到了AI学习因果推理的可能性，也为我们打开了一扇门，让我们看到了AI在未来可能的应用场景。也许在不久的将来，我们的智能助手不仅能回答问题，还能告诉我们为什么会这样。

微软Q-Sparse模型革新成效：8B参数效率比肩7B模型，训练与微调更加高效

近期，Q-Sparse方法作为近期研究的亮点，通过引入量化和稀疏化技术，有效缓解了这一挑战，旨在提升模型效率的同时保持其性能表现，这为LLMs的实际应用开辟了新的可能性，是迈向更广泛、成本效益更高的人工智能解决方案的重要一步。

Q-Sparse是一种简单但有效的方法，它通过在激活中应用top-K稀疏化和训练中的直通估计器，实现了LLMs的完全稀疏激活。这意味着在推理时可以显著提高效率。关键的研究成果包括:

Q-Sparse在保持与基线LLMs相当的结果的同时，推理效率更高。

提出了一种适用于稀疏激活LLMs的推理最优扩展法则。

Q-Sparse在不同设置中均有效，包括从头开始训练、现成LLMs的继续训练和微调。

Q-Sparse适用于全精度和1位LLMs（例如BitNet b1.58）。

稀疏激活的优势

稀疏性通过两种方式提高LLMs的效率:首先，稀疏性可以减少矩阵乘法的计算量，因为零元素不会被计算;其次，稀疏性可以减少输入/输出（I/O）的传输量，这是LLMs推理阶段的主要瓶颈。

Q-Sparse通过在每个线性投影中应用top-K稀疏化函数来实现激活的全稀疏性。对于反向传播，使用直通估计器计算激活的梯度。此外，还引入了平方ReLU函数来进一步提高激活的稀疏性。

实验验证

研究人员通过一系列扩展实验研究了稀疏激活LLMs的扩展法则，并得出了一些有趣的发现:

稀疏激活模型的性能随着模型大小和稀疏比率的增加而提高。

给定固定的稀疏比率S，稀疏激活模型的性能与模型大小N呈幂律扩展法则。给定固定的参数N，稀疏激活模型的性能与稀疏比率S呈指数律扩展法则。

Q-Sparse不仅可以用于从头开始训练，还可以用于现成LLMs的继续训练和微调。在继续训练和微调设置中，研究人员使用与从头开始训练相同的架构和训练过程，唯一的区别是使用预训练权重初始化模型，并启用稀疏函数继续训练。

研究人员正在探索将Q-Sparse与1位LLMs（如BitNet b1.58）和混合专家(MoE)结合使用，以进一步提高LLMs的效率。此外，他们还在努力使Q-Sparse与批量模式兼容，这将为LLMs的训练和推理提供更多的灵活性。

微软正式发布使用Rust语言重写的开发工具，安装体积缩小1/100

在之前的消息中，微软在 2017 年发布了 Azure Quantum 开发工具（QDK），主要用于 Azure 量子开发。到了 2023 年微软宣布使用 Rust 语言重写相关工具，目前官方发布新闻稿，声称已经完成相关重写工作。

据悉，官方宣称使用 Rust 重写的 Azure Quantum 开发工具 1.0 版本“速度提升超过 100 倍、安装体积缩小 1/100”，整体安装和开发流程更简便，甚至相关工具在浏览器中都可以适用。

旧版开发工具基于 .NET，开发者使用该工具时，需要先学习 .NET，这增加了额外的学习成本，除此之外，旧版开发工具不完全兼容 Apple Silicon 和 ARM64 版 Windows，因此安装使用成本较为复杂。

因此微软决定通过重新设计开发工具降低开发门槛，主要简化“安装、学习、开发、维护”等任务，并尽可能利用 Rust 语言重写整个项目，这是因为“Rust 语言相对更普适化，并允许相关应用可以在浏览器中工作”。

新版开发工具改进成果相当显著，号称“体积缩小超过 100 倍”，微软同时提到，“原本的开发工具会在本地产生超过 180 MB 的占用，现在新的 VS Code 扩充套件的 VSIX 只有约为 700KB，其中包含开发所需要的所有内容，而安装也仅需要几秒钟”。

在效率方面，新版开发工具也有大幅提升，微软宣称，过去编译需要以分钟计时，而现在编译只要“毫秒时间”，甚至“在浏览器中也能获得这样的高效体验”。

微软官方发布教程：轻松切换至本地账户登录Windows及设置USB磁盘安全密钥

7月8日消息，微软官方近日在其支持页面上发布了一项重要更新，专门针对用户在Windows PC上进行账户类型的切换提供了详细的指导教程。起初，这篇指南着重介绍了如何从本地账户平滑过渡至微软账户，以享受更多云端服务和跨设备同步的便利性。

您可以使用设置应用程序将您的微软账号切换到本地账号：

重要信息：微软建议在登录 Windows 时使用微软账号，而不是本地账号。与本地账号不同，在 Windows 中使用微软账号可以无缝集成微软服务，增强安全性，同时能够获得跨设备同步特性。

您可以在在 Windows 设备上的设置应用程序中选择“账号 > 您的信息”，之后即可看到“选择使用本地账号登录”选项，只有当您使用微软账号时，您才会看到相关按钮。

之后，您可以键入用户名、密码和密码提示。用户名必须与设备上的任何其他用户名不同；接着选择下一步，然后选择注销并完成，便可以使用您的新本地账号重新登录。

除此之外，微软还发布了一篇新指南，指导用户如何使用 USB 恢复密钥重置微软账号及本地帐户密码。该指南简单易懂，整理具体内容如下：

您可以使用 USB 闪存驱动器创建一个恢复密钥，以作为恢复工具重置 Windows 本地账号密码，以防您忘记它。

以下是创建密码重置磁盘的步骤：

确保您已使用本地账号登录。此选项不适用于微软账号

将 USB 闪存驱动器插入您的设备

在任务栏的搜索框中，键入控制面板，然后从结果列表中选择它

在控制面板搜索框中，键入创建密码重置

选择创建密码重置磁盘，然后按照其余说明操作

完成后，取下 USB 闪存驱动器，并将其保存在安全的地方