先确定样本,再比较变化
| 要约定的条件 | 例子或说明 |
|---|---|
| 用户任务 | 了解品类、比较产品、查规格或寻找供应商 |
| 平台与模式 | 记录可识别的平台、模型和是否使用搜索 |
| 地区与语言 | 面向具体市场,避免混合不同语言结果 |
| 测试频率 | 约定周期与重复次数,保留未成功回答 |
| 品牌与竞争名单 | 统一拼写,区分同名品牌与真实目标 |
指标分开记录
| 指标 | 计算或判断方式 |
|---|---|
| 品牌提及率 | 出现品牌的有效回答数除以有效回答总数 |
| 来源引用率 | 出现目标网站链接的回答数除以有效回答总数 |
| 事实准确性 | 逐项核对名称、产品、规格和服务信息 |
| 引用页面 | 保存实际URL及其对应回答内容 |
一个简单的计算示例
示例:20次有效回答中,5次提到品牌,2次引用官网。该样本的提及率是25%,官网引用率是10%;两者可能重叠,不能相加成35%。这只是说明口径的假设数据。测试失败的次数和原因也要单独列出。
报告怎样用于后续工作
先区分资料错误、信息缺失和回答波动。对可以改正的官网事实安排修订,对来源不明的输出保留记录。样本改善不能证明单个改动就是原因,更不能直接推算客户总量或成交。
测试失败,不能填成“没有提及”
超时、访问限制、没有生成有效回答等单列失败状态,不进入提及率的有效分母。每期同时报告有效回答数与失败数;问题池或模式改变时说明断点,不能把不同样本直接画成同一趋势。
