聊天机器人训练语料获取之colly爬虫

方法名称说明UserAgent设置ua参数MaxDepth设置循环访问深度，0表示循环访问AllowedDomains字符串，准许抓取的域名DisallowedDomains字符串，不允许抓取的域名DisallowedURLFilters正则表达式，不允许抓取的连接格式URLFi