DSPy 与 Conva.AI构建最佳 AI 助手

我决定记录一下我在两个出色的 AI 助手构建平台上的经验：DSPy 和 Conva.AI 。这两个平台在创建强大的 AI 助手方面都展现了其价值。我决定通过为 三个 特定用例构建助手来对它们进行测试：在像 Tata Neu 这样的网站上购物，通过像 Google Pay 这样的应用管理在线支付，以及通过像 Playo 这样的平台处理场地预订。以下是我与这些强大工具的经验以及它们在每种场景中的表现。

以下是每个工具的快速概述：

Conva.AI：Conva.AI 提供了一个用户友好的界面，用于构建 AI 助手，优化过程在后台自动处理。Conva.AI 通过直接从 App Store 或 Play Store URL 中提取细节，自动使用应用的上下文，使得这个过程无缝（这不是强制性的；如果你愿意，也可以灵活地描述你自己的应用）。对于下面的用例，我使用了 GPay 和 Playo 的 Play Store URL。

DSPy：DSPy 专注于编程基础模型，允许进行自定义优化、指标和示例，需要一定程度的编程专业知识，这正是它如此强大的原因。它为你提供了超越简单配置的方式来微调和优化模型的工具。尽管 DSPy 并不是为了自动从 URL 中提取信息或提供基本的编程输入方法而构建的，但它的优势在于让你完全控制编程过程。

使用 Conva.AI 构建助手：

在 Conva.AI 上，该平台提供了直观的用户界面和预构建的助手供试用。我通过简单地输入有关我的网站（如 Tata Neu、GPay、Playo）的详细信息并添加搜索功能来创建自己的助手。该平台自动处理大部分配置，使设置过程快速。构建功能时有轻微延迟，可能是由于后端编译。与我的应用程序集成很简单，只需使用 Conva.AI Library 添加一行代码。

使用 DSPy 构建助手：

我探索了 DSPy 文档，以了解签名、模块和优化器。利用这些知识，我构建了我的助手，您可以在这些笔记本中查看结果：Notebook1 和 Notebook2 。对于 DSPy 的初始设置非常简单，推理过程也很快。然而，使用像 COPRO 这样的优化器，需要通过示例进行训练并为您的用例构建指标，这需要重新编译，并花费了更多时间。

用例 1：产品发现 — 在在线购物中帮助寻找产品

我测试了这两个助手，以评估它们在在线购物中如何促进产品发现，通过在现有的电子商务应用程序（如 Tata Neu ）上启用 AI 驱动的搜索体验。这涉及评估它们在帮助用户找到相关产品、应用过滤器和根据搜索查询有效排序结果方面的表现。目标是确定哪个助手为用户提供了更直观和准确的搜索体验。

使用的提示： 您的任务是帮助用户在在线购物中高效地搜索、过滤和排序产品，输出应为 JSON 格式。

请注意，在 Conva.AI 的情况下，我不需要提到，“输出应为 JSON 格式。”因为 Conva.AI 旨在始终生成可靠的 JSON 输出。

DSPy 助手对购物相关查询的响应令人满意。然而，Conva.AI 助手提供了更精细和相关的输出，使其在集成任务中更可靠，因为其表现一致。相比之下，DSPy 的参数不一致， raising reliability concerns about its suitability for integration.

用例 2：支付管理 — 支持在线处理交易

我通过关注这些工具在处理在线支付应用程序（如 GPay ）中的交易处理能力来评估它们在此用例中的表现。这涉及评估它们在高效和准确地管理和执行支付流程方面的能力。

使用的提示： 您的任务是帮助用户进行在线交易。生成的输出应为 JSON 格式。

请注意，在 Conva.AI 的情况下，我不需要提到“输出应为 JSON 格式。”因为 Conva.AI 旨在始终生成可靠的 JSON 输出。

根据输出结果，这两种工具都有效地满足了单行提示的要求。然而，Conva.AI 通过将“transaction_type”分类为“转账”、“账单支付”、“黄金交易”和“手机充值”等不同类别，展示了其增强的能力。然而，它们都成功地完成了任务。

用例 3：场地预订 — 在线预订场地的帮助

现在，我正在评估另一个用例的工具：预订场地，例如 Playo 提供的场地。这涉及评估助手在场地选择、预订流程和相关任务方面的表现，确保它们为希望预订活动空间或设施的用户提供准确和有帮助的支持。

使用的提示： 您的任务是协助用户预订各种场地。生成的输出应为 JSON 格式。

请注意，在 Conva.AI 的情况下，我不需要提到“输出应为 JSON 格式。”因为 Conva.AI 被设计为始终生成可靠的 JSON 输出。

在测试场景中，DSPy 在将“明天”和“后天”等术语映射到其输出中的具体日期时遇到了困难。虽然 DSPy 能够在其第一次响应中生成多个字段，例如“位置”，但在后续响应中显示出不一致性，这些字段要么发生了变化，要么被省略。

另一方面，Conva.AI 一直能够准确映射日期，尽管它没有在当前提示中生成“位置”等额外字段。观察到的关键区别在于 一致性： Conva.AI 提供了稳定的输出，而 DSPy 的响应结构则有所不同。由于 DSPy 在响应结构上的不一致性，集成它可能会面临挑战，这可能需要额外的处理以确保可靠的输出。

结论

以下是基于我的经验对这两种工具的总结：

在 DSPy 中，使用像 COPRO 这样的工具进行少量示例和训练的签名优化时，用户可以直接控制优化过程。相比之下，Conva.AI 根据用户的输入自动管理这些优化，处理过程在后台进行。 DSPy 和 Conva.AI 的编译时间相似，以确保其功能能够高效管理指定任务。

在推理方面，一旦在 Conva.AI 中编译了能力，用户查询将相应处理。DSPy 的基本签名允许稍微更快的推理。

对于没有编码经验并寻求更简单解决方案的用户，Conva.AI 是一个很好的选择，因为它具有用户友好的界面和自动配置功能。它简化了构建 AI 助手的过程，无需编程技能。另一方面，DSPy 则针对那些具有编码专业知识并希望对其 AI 模型有更大控制权的用户。它需要针对特定用例的编码和优化，为高级用户提供更多的定制和灵活性。

基于上述结果，我会给 Conva.AI 评分 8/10，给 DSPy 评分 6/10。这个评估特别基于我的使用案例和需求，我更看重每个工具所需的努力和集成能力。Conva.AI 在无缝集成方面表现出色，满足我的需求所需的努力较少，而 DSPy 虽然强大，但需要更多的努力，并且与我的集成目标不太一致。不要讨厌我——我不是想针对任何人！ 如果您有任何更正或额外见解，请随时分享！

免责声明： 我目前在 Slang Labs 担任实习生，该公司是 Conva.AI 的背后公司。然而，这一评估是在强烈承诺客观和公正的情况下进行的。我被明确要求提供对所讨论工具的无偏见评估，确保在评估过程中没有特别偏向任何工具。为了进一步确保没有偏见，我被选中进行此任务，因为我之前没有使用过这两种工具，必须以全新的视角接触它们，从头开始学习。