智能算法评测系统实践

智能算法评测系统实践

随着人工智能的发展，我们现在各个产品线中都融入大量的智能算法，方便了用户的同时也给我们评价产品的具体效果带来了很大的困难。

这里就简单介绍一些我们在智能算法评测实践过程中的一些心得，主要会从评测系统的设计、评测任务的执行以及评测结果的分析三个方面展开。

1、评测系统的设计

概览

在系统的设计过程中，我们目前的经验主要有评测指标、评测数据以及评测场景三个方面需要着重考虑。

评测指标

评测指标决定了我们要评什么，通常算法的指标有准确率、召回率、覆盖率、多样性、实时性等等。

具体的需要因产品的特性而定，比如一般推荐系统都会比较多样性，但如果是个输入法，你不给用户经常用的词而且多样性地给用户各种没用过甚至是没见过的，那就是花样作死。