数据分析之使用爬虫获取数据

数据分析之使用爬虫获取数据

要对数据进行分析和使用，首先要获取数据。可以通过调用第三方开源或者付费的接口获取，也可以自己爬取。爬虫是获取数据的重要方式之一，常见的爬虫有两类，离线爬虫和实时爬虫。

实时爬虫是有请求触发后再去爬取的爬虫，实时爬虫根据是否需要授权又分授权爬虫和非授权爬虫。授权爬虫是指需要登录才可以获取的，如运营商数据、网银账单、淘宝记录等。授权爬虫的数据采集和解析对风控有非常重要的作用。这种爬虫需要谨慎处理。授权爬虫需要关注数据的解析、入库和计算，并且测试范围尽可能覆盖较多场景。授权爬虫的要求较高，技术难度较大，目前市面上有很多授权爬虫产品服务。

非授权爬虫是不需要登录但是需要其它请求条件的爬虫，适用于数据使用范围较窄、实时性要求高的情况，比如舆情爬虫，需要查找某关键字时再进行实时爬取。