java 反爬虫 文章目录 反爬虫 反爬虫 今天使用httpclient+jsoup爬取某网站的数据时,一直获取不到网页中动态生成的那部分数据.尝试后发现只需在请求头中加入该网站的Reffer即可! 思路:服务端判断请求,要么是请求参数,要么是header.所以我们要做的就是拿到浏览器的全部请求头和参数,模拟一下. httpGet.addHeader("Referer", "https://xxx");