2021 年超过 40% 的网站流量甚至都不是人类。
这听起来可能令人担忧，但这不一定是坏事。机器人是互联网运行的核心。它们以并不总是显而易见的方式让我们的生活更轻松，例如获取有关促销和折扣的推送通知。但是，当然，也有坏机器人，它们感染了近 28% 的网站流量。从垃圾邮件、帐户接管、个人信息和恶意软件的抓取，人们通常如何部署机器人来区分好坏。
随着 ChatGPT 等可访问的生成式 AI 的释放，辨别机器人的终点和人类的起点将变得更加困难。这些系统随着推理变得越来越好：GPT-4 在前10%的应试者中通过了司法考试，而机器人甚至击败了CAPTCHA 测试。
在许多方面，我们可能处于互联网上大量机器人程序的最前沿，这对消费者数据来说可能是一个可怕的问题。
生存威胁
公司每年 花费约900 亿美元进行市场研究，以解读趋势、客户行为和人口统计数据。但是，即使有这条直达消费者的线路，创新的失败率也很可怕。Catalina 预计，包装消费品 (CPG) 的失败率高达惊人的80%，而多伦多大学发现 75% 的新杂货产品失败了。
如果这些创作者所依赖的数据充斥着 AI 生成的响应，并且实际上并不代表消费者的想法和感受，那该怎么办？我们将生活在一个企业缺乏基本资源来告知、验证和激发他们最好的想法的世界，导致失败率飙升，这是他们现在无法承受的危机。
机器人已经存在很长时间了，在大多数情况下，市场研究依赖于人工流程和直觉来分析、解释和剔除这些低质量的受访者。
但是，尽管人类在为数据提供理由方面表现出色，但我们无法大规模破译来自人类的机器人。消费者数据的现实是，大型语言模型(LLM)的新生威胁将很快取代我们能够识别不良机器人的手动流程。
坏机器人，遇见好机器人
在机器人可能成为问题的地方，它们也可能是答案。通过使用 AI（包括深度学习或机器学习 (ML) 模型）创建分层方法，研究人员可以创建系统来分离低质量数据并依靠优秀的机器人来执行它们。该技术非常适合检测人类很容易错过或不理解的细微模式。如果管理得当，这些流程可以为 ML 算法提供支持，以不断评估和清理数据，以确保质量不受 AI 的影响。
就是这样：
创建质量度量
团队可以通过创建一个评分系统来确定常见的机器人策略，而不是仅仅依靠人工干预来确保质量。建立质量衡量标准需要主观性来完成。研究人员可以为跨因素的反应设置护栏。例如：
垃圾邮件概率：响应是由插入的还是剪切和粘贴的内容组成的？
胡言乱语：人类的反应将包含品牌名称、专有名词或拼写错误，但通常会朝着有说服力的反应发展。
跳过回忆问题：虽然人工智能可以充分预测序列中的下一个单词，但它们无法复制个人记忆。
这些数据检查可能是主观的——这就是重点。现在，我们比以往任何时候都更需要对数据持怀疑态度，并建立系统来标准化质量。通过对这些特征应用评分系统，研究人员可以编制综合评分并在进入下一层检查之前剔除低质量数据。看数据背后的质量
随着类人人工智能的兴起，机器人可以仅凭质量得分就可以从裂缝中溜走。这就是为什么必须将这些信号与输出本身周围的数据分层的原因。真实的人在回应之前会花时间阅读、重新阅读和分析；坏人通常不会，这就是为什么查看响应级别以了解坏人的趋势很重要。响应时间、重复次数和洞察力等因素可以超越表面层面，深入分析响应的本质。如果响应太快，或者在一项（或多项）调查中记录了几乎相同的响应，则可能是低质量数据的明显迹象。最后，超越无意义的回答来确定做出有洞察力的回答的因素——通过批判性地查看回答的长度和形容词的字符串或数量——可以剔除质量最低的回答。
通过超越明显的数据，我们可以建立趋势并构建一致的高质量数据模型。
让 AI 帮你打扫卫生
确保高质量数据不是一个“一劳永逸”的过程；它需要持续调节和吸收好的和坏的数据，以达到数据质量这一移动目标。人类在这个飞轮中扮演着不可或缺的角色，他们在那里设置系统，然后坐在数据之上以发现影响标准的模式，然后将这些特征反馈到模型中，包括被拒绝的项目。您现有的数据也不能幸免。现有数据不应一成不变，而应遵守与新数据相同的严格标准。通过定期清理规范数据库和历史基准，您可以确保每条新数据都根据高质量比较点进行衡量，从而实现更敏捷、更自信的大规模决策。
一旦掌握了这些分数，就可以跨地区扩展该方法，以识别可能需要人工干预的高风险市场。
用优秀的 AI 对抗邪恶的 AI
市场研究行业正处于十字路口；数据质量正在恶化，机器人将很快在互联网流量中占据更大的份额。时间不会太长，研究人员应该迅速采取行动。但解决方案是用好的 AI 来对抗邪恶的 AI。这将使良性飞轮旋转；随着模型吸收更多数据，系统变得更加智能。结果是数据质量不断提高。更重要的是，这意味着公司可以对他们的市场研究充满信心，从而做出更好的战略决策。
暂无评论内容