Google Chrome 的内置人工智能将改变游戏规则。

如何在 Google Chrome 中本地运行 Gemini Nano

设备上的 Gemini Nano 现已在 Chrome Canary 上可用

我们都喜欢使用 ChatGPT、Claude、Gemini 和其他 AI 工具来问各种问题，从无聊的问题到可能影响数百人的严肃问题。尽管有大量的 AI 工具可用，但由于频繁的服务器问题或当您的互联网服务提供商决定休息时可怕的延迟，体验可能并不顺畅。这就是设备上 AI 成为真正福音的地方。

自从 Google 推出 Gemini 系列模型以来，Gemini Pro 因其能力而备受关注，例如更连贯的响应、更好的理解能力和较大的上下文窗口。然而，能力越大，责任越大 — 资源消耗。Gemini Pro 对资源的需求相当高，这就是为什么您无法在本地运行它。

为了解决这个问题，Google 现在正在 Chrome Canary 上实验 Gemini Nano ，它将在您的机器上本地运行语言模型。

那么什么是 Chrome Canary？

对于那些不太了解的人，Chrome Canary 是 Google Chrome 的一个实验版本，旨在为开发者和技术爱好者提供测试最新功能和 API 的机会，这些功能在广泛发布之前可供他们使用。

为了测试设备上的 AI，我们需要使用 Chrome Canary，因为该功能仍处于测试阶段，可能不稳定。

为什么我们需要设备端AI？

1. 增强的安全性和隐私
2. 提升的性能
3. 更快的响应时间
4. 成本效率

我个人认为，设备端AI也是更可持续的，因为这些模型轻量且使用本地资源，间接导致更小的碳足迹。虽然这可能不会立即产生显著的影响，但我们应该承认这种潜力为更好的未来前景。

如何在 Chrome Canary 上开始使用 Gemini Nano？

1. 安装 Chrome Canary （显然）。
2. 在地址栏中输入 chrome://flags
3. 将“在设备上启用优化指南”更改为 Enabled BypassPerfRequirement
4. 将“Gemini Nano 的提示 API”设置为 Enabled
5. 重启浏览器，等待其将 Gemini Nano 下载到本地计算机（需要 22GB 的可用空间，尽管模型本身不超过 3GB）
6. 要检查状态，请导航到 chrome://components，确保 Optimization Guide On Device Model 显示版本 2024.6.5.2205 或更高。如果没有，请点击“检查更新”。
7. 完成！

使用 Gemini Nano 生成响应

要验证 Gemini Nano 是否成功安装并准备生成响应，请在 Chrome 的开发者工具中使用以下命令：await window.ai.canCreateTextSession()，它应该返回 ‘readily’。

让我们在一些基本查询上进行测试：

演示

为了保持整体应用的简单性，我们将在控制台内构建一个用于所选文本的摘要工具。

我们可以使用以下函数来检索文本选择：

function getSelectedText() {
    var selectedText = window.getSelection().toString();
    return selectedText;
}

document.addEventListener('mouseup', function() {
    var selectedText = getSelectedText();
    if (selectedText) {
        console.log(selectedText);
        // 对选中的文本执行进一步操作
    }
});

下一步是将这些数据注入到 Gemini Nano。这可以通过稍微重构和修改上述函数来实现。

function getSelectedText() {
    return window.getSelection().toString();
}

async function handleSelection() {
    const selectedText = getSelectedText();
    if (selectedText) {
        const canCreate = await window.ai.canCreateTextSession();
        console.log("正在总结数据...");
        if (canCreate !== "no") {
            try {
                const session = await window.ai.createTextSession();
                const result = await session.prompt("请将以下文本总结为要点: " + selectedText);
                
                console.log(result);
            } catch (error) {
                console.error("创建会话或提示时出错:", error);
            }
        }
    }
}

document.addEventListener('mouseup', handleSelection);

根据您机器的硬件，响应通常应在几秒钟内生成。

这对我们意味着什么？

好吧，这意味着构建 GenAI 应用和包装器（我们不要对它们过于苛刻，好吗？）变得简单多了。一旦这个功能在 Google Chrome 上公开可用，开发的扩展和网站数量可能会令人震惊。

对开发者来说，最好的部分是它不需要任何资本投资，并消除了超出 API 配额和破产的担忧。

我希望您喜欢阅读这篇有趣的文章，并觉得它信息丰富。请关注我，以获取更多此类文章，及时了解科技领域的激动人心的发展。人们已经开始尝试 Gemini Nano，并构建令人印象深刻的项目，如 Gmail 插件，如这条推文所示：