以Java项目举例说明反爬虫常用方法-Java-CodeUp Hub

反爬虫操作概述

反爬虫是一系列用于防止网络爬虫（自动化程序）过度访问网站、获取数据的措施。主要操作包括以下几个方面：

识别爬虫：通过分析访问请求的特征来区分正常用户和爬虫。例如，监测请求频率、请求头信息（如User - Agent）、IP地址访问模式等。正常用户的访问通常具有一定的时间间隔、多样化的请求头，而爬虫可能会在短时间内发起大量请求，并且请求头可能比较固定或者不符合正常浏览器的特征。
限制访问：当识别出可能是爬虫的访问时，采取限制措施。这可以包括限制IP访问频率，如每分钟或每小时允许的请求次数；或者根据用户的行为模式进行限制，如检测到异常频繁地访问某些敏感页面（如价格数据页面）时进行限制。
验证码验证：要求用户（可能是爬虫）进行验证码验证。验证码可以是图片验证码（如识别扭曲的字符、数字）、滑动验证码（通过滑动滑块完成拼图验证）或短信验证码等。这增加了自动化访问的难度，因为爬虫很难自动识别和完成验证码的验证过程。
数据加密和混淆：对关键数据（如价格、库存等敏感信息）进行加密或者混淆处理。这样即使爬虫获取到了数据，也很难解析出真实有用的信息。例如，采用简单的加密算法对价格数据进行加密，或者通过添加噪声、随机偏移等方式混淆数据。
动态页面加载：采用动态加载技术，如Ajax（异步JavaScript和XML）。页面的部分内容（特别是重要数据）通过JavaScript动态加载，而不是直接在HTML页面中呈现。这样，爬虫如果只是简单地解析HTML，将无法获取完整的数据，需要能够执行JavaScript才能获取全部信息，但这对于很多简单的爬虫来说是比较困难的。

Java中的反爬虫方案

检查请求头（User - Agent）：

import javax.servlet.http.HttpServletRequest;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class AntiCrawlerController {
    @RequestMapping("/")
    public String checkUserAgent(HttpServletRequest request) {
        String userAgent = request.getHeader("User - Agent");
        if (userAgent == null ||!userAgent.contains("Chrome") &&!userAgent.contains("Firefox")) {
            return "可能是爬虫访问";
        }
        return "正常访问";
    }
}

在Java的Web应用中，可以通过获取请求头中的User - Agent字段来判断访问来源。正常的浏览器会有特定的User - Agent标识，如Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36。可以在Java的Servlet或者Spring MVC的控制器中获取请求头信息，如下：

限制IP访问频率：

import com.google.common.cache.Cache;
import com.google.common.cache.CacheBuilder;
import javax.servlet.http.HttpServletRequest;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.concurrent.TimeUnit;
@RestController
public class AntiCrawlerController {
    private static final Cache<String, Integer> ipAccessCache = CacheBuilder.newBuilder()
          .expireAfterWrite(1, TimeUnit.MINUTES)
          .build();
    @RequestMapping("/")
    public String checkIPAccess(HttpServletRequest request) {
        String ipAddress = request.getRemoteAddr();
        Integer accessCount = ipAccessCache.getIfPresent(ipAddress);
        if (accessCount == null) {
            ipAccessCache.put(ipAddress, 1);
        } else if (accessCount >= 10) {
            return "访问过于频繁，可能是爬虫";
        } else {
            ipAccessCache.put(ipAddress, accessCount + 1);
        }
        return "正常访问";
    }
}

可以使用缓存（如Guava Cache）来记录每个IP地址的访问次数和时间。例如，在一个基于Spring Boot的应用中：

使用验证码（以简单的文本验证码为例）：

import javax.imageio.ImageIO;
import java.awt.*;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.util.Random;
public class CaptchaGenerator {
    public static void main(String[] args) {
        int width = 120;
        int height = 40;
        BufferedImage image = new BufferedImage(width, height, BufferedImage.TYPE_INT_RGB);
        Graphics2D g2d = image.createGraphics();
        g2d.setColor(Color.WHITE);
        g2d.fillRect(0, 0, width, height);
        g2d.setColor(Color.BLACK);
        Font font = new Font("Arial", Font.BOLD, 30);
        g2d.setFont(font);
        Random random = new Random();
        StringBuilder captchaText = new StringBuilder();
        for (int i = 0; i < 4; i++) {
            int digit = random.nextInt(10);
            captchaText.append(digit);
            g2d.drawString(digit + "", 20 + i * 20, 30);
        }
        g2d.dispose();
        try {
            ImageIO.write(image, "png", new File("captcha.png"));
        } catch (IOException e) {
            e.printStackTrace();
        }
        System.out.println("验证码: " + captchaText.toString());
    }
}

然后在Web应用中，将生成的验证码图片返回给用户，并在用户提交验证码后进行验证。
可以使用Java的图形处理库（如Java AWT或JavaFX）来生成简单的文本验证码。以下是一个简单的示例，生成包含4个数字的验证码：

OTA平台反爬虫设计

用户行为分析模块：

建立用户行为分析系统，记录每个用户（通过IP和用户账号等标识）的访问路径、访问频率、停留时间等行为数据。可以使用大数据存储和分析技术，如Hadoop、Spark等，对海量的用户行为数据进行存储和分析。
例如，通过分析发现一个用户在短时间内频繁访问不同酒店的价格页面，且没有任何其他正常的浏览行为（如查看酒店设施、位置等），这可能是一个爬虫行为。

多层防护策略：

在应用程序内部（如Java后端代码），采用上述提到的检查请求头、限制IP访问频率、使用验证码等反爬虫措施。同时，对于一些高价值的数据接口（如预订接口），可以采用Token认证、数字签名等更严格的安全措施。
例如，为每个合法用户生成一个带有有效期的Token，在用户访问预订接口时，必须携带有效的Token，并且后端对Token进行验证，这样可以防止未经授权的爬虫访问预订接口。
在服务器端设置反向代理（如Nginx），可以在反向代理层对访问请求进行初步筛选。例如，检查请求头的合法性、限制单个IP的连接数等。对于疑似爬虫的请求，可以直接返回错误信息或者重定向到验证码验证页面。
与网络安全厂商合作，采用一些网络安全防护产品，如WAF（Web Application Firewall），对常见的爬虫攻击模式（如SQL注入式爬虫、XSS攻击式爬虫）进行防范。
在前端页面（如HTML、JavaScript）中采用混淆技术，对于重要的价格和库存信息，通过JavaScript函数进行动态加载和渲染，并且对这些函数进行代码混淆，增加爬虫解析的难度。例如，使用Webpack等工具对JavaScript代码进行压缩和混淆。
采用前端加密技术，对部分数据进行加密后再传输。例如，使用JavaScript的加密库（如Crypto - JS）对酒店价格数据进行简单加密，然后在后端进行解密。
第一层：前端防护：
第二层：网络层防护：
第三层：应用层防护：