扣子罗盘是什么
扣子罗盘是专为个人开发者及创业团队设计的工具平台，支持开发者快速搭建 AI Agent。扣子罗盘提供从开发、调试、评估到监控的全生命周期管理能力，涵盖 Prompt 开发、评测、观测等功能。基于可视化工具和智能调优，帮助开发者高效构建高质量 AI Agent，降低试错成本。扣子罗盘支持团队协作共享资源，提升开发效率。
扣子罗盘的主要功能
- Prompt智能中枢：支持Prompt调试、版本管理及多版本对比，提升开发效率。实现Prompt的服务化，便于集成和复用。
- 实时观测预警：通过Trace数据追踪和性能统计，实时监控系统运行状态。实时告警异常情况，智能打标数据，快速定位问题。
- 全链路评测体系：在AI Agent生命周期内沉淀评测集，覆盖端到端测试。精准评估AI Agent效果，确保性能和稳定性。
如何使用扣子罗盘
- 注册与登录：访问的官方网站，按照提示完成注册和登录。
- 进入演示空间：登录后，找到扣子罗盘入口进入体验。
- 体验 Prompt 开发：登录后，默认进入 Prompt 开发页面。查看平台预设的 Prompt，单击“详情”了解 Prompt 的详细设计。
- 使用评测模块：
- 创建评测集：
- 在左侧导航栏，选择 评测 > 评测集。
- 在评测集列表页面，单击“详情”查看已创建的评测集数据。
- 示例测试数据由输入数据（input 列）和理想的预期输出数据（reference_output 列）两部分构成。输入数据作为评测对象的输入信息，预期输出数据作为评测标准参考。
- 单击“关联实验”页签，查看这个评测集关联的实验结果。
- 准备评估器：
- 在左侧导航栏，选择 评测 > 评估器。
- 在评估器列表页面，查看已创建的评估器。评估器支持版本管理，在发起评测实验时选择不同的评估器版本进行优化迭代。
- 单击“详情”，查看评估器配置。在评估器配置页面，单击“调试”，输入构造的输入数据和标准输出数据，测试评估器效果。
- 发起评测实验：
- 在左侧导航栏，选择 评测 > 实验。
- 在实验列表页面，查看已发起的评测实验。
- 选择一个评测实验，单击“详情”查看评测结果。扣子罗盘支持对评测结果进行人工校准。选择要校准的目标数据，然后单击人工校准的编辑图标。
- 单击“指标统计”查看实验报告。扣子罗盘根据实验结果自动生成可视化看板，方便对测试结果进行分析和决策。
- 创建评测集：
- 使用观测功能：
- 观测功能支持：
- 平台提示词（Prompt）开发。
- 扣子智能体。
- 扣子 AI 应用的数据自动上报。
- 集成 SDK 上报其他框架（如 Eino/Langchain）开发的 AI 应用。
- 在 观测 > Trace 页面，选择时间范围、任务节点范围和观测对象，查看已上报的 Trace 数据。扣子罗盘提供不同维度的统计指标看板，能直观了解观测对象的运行情况和成本消耗。
- 观测功能支持：
扣子罗盘的应用场景
- 智能客服系统：开发智能客服对话模板，评测和观测优化客户咨询体验。
- 内容创作工具：辅助生成创意内容，评测质量并提升创作效率。
- 教育辅导系统：开发个性化学习工具，评测学生进度并优化教学内容。
- 医疗咨询系统：提供初步健康建议，确保咨询结果科学合理。
- 企业知识管理系统：快速回答内部问题，优化知识库提升信息获取效率。
