先说个真事:五千个IP跑出三百条结果
去年帮朋友看他那个采集脚本,日志翻出来一看,五千个IP丢进队列,跑完只拿回来三百多条数据,剩下全是 SocketTimeoutException 和 407。他第一反应是"代码写错了",其实代码没错,问题在于他压根没筛过IP——从供应商那里提取出来就直接往线程池里塞。
这就是大多数人在Java里处理代理IP时的真实起点:不是不会用,是不知道哪些还能用。所以今天就把"怎么判断一个代理IP还活着"这件事拆开讲,三种做法都给你代码,也告诉你什么时候该用哪一种。
方式一:Socket 捅一下端口,最快但也最粗
最直白的思路——我连得上你的端口,你就是活的。Java 里几行代码的事:
public class TcpCheck {
public static boolean isAlive(String ip, int port, int timeoutMs) {
try (Socket socket = new Socket()) {
socket.connect(new InetSocketAddress(ip, port), timeoutMs);
return true;
} catch (IOException e) {
// 连不上就是死的,别往外抛,批量检测最怕异常刷屏
return false;
}
}
public static void main(String[] args) {
long start = System.currentTimeMillis();
boolean ok = isAlive("112.xx.xx.xx", 8080, 2000);
System.out.println(ok + ",耗时 " + (System.currentTimeMillis() - start) + "ms");
}
}
用 try-with-resources 把 Socket 包起来,这点别省,后面会讲为什么。超时给 2000ms 就够,正常的代理服务器同城响应通常在几十毫秒,超过两秒基本可以判死。
但它有个绕不过去的硬伤:端口开着,不等于它愿意给你当代理。很多机器 8080 端口确实在监听,那是人家自己的业务服务;还有的代理需要账号密码,端口连得上但一请求就 407。所以 Socket 检测只适合干一件事——粗筛。手上有几万个IP,先用它快速砍掉一半明显挂掉的,给后面的精细检测省时间。
方式二:HttpURLConnection 发个真请求
想确认"它能不能替我访问网页",就得真的让它去访问一次。JDK 自带的 HttpURLConnection 支持直接挂代理,不用引第三方包:
public static boolean checkByHttp(String proxyIp, int proxyPort, String targetUrl) {
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyIp, proxyPort));
HttpURLConnection conn = null;
try {
conn = (HttpURLConnection) new URL(targetUrl).openConnection(proxy);
conn.setConnectTimeout(3000); // 连代理的超时
conn.setReadTimeout(5000); // 读响应的超时
conn.setRequestMethod("HEAD"); // 只要响应头,省流量
conn.setInstanceFollowRedirects(false);
conn.setRequestProperty("User-Agent", "Mozilla/5.0");
int code = conn.getResponseCode();
return code >= 200 && code < 400;
} catch (IOException e) {
return false;
} finally {
if (conn != null) {
conn.disconnect();
}
}
}
两个细节值得说一下。第一,用 HEAD 而不是 GET,只取响应头,速度快、流量小,尤其是按流量计费的IP池,这个习惯能省不少。第二,407 和 403 一定要当成"不可用"处理——407 是代理要认证你没给,403 是目标站把你拒了,这两种情况IP虽然"活着",但对你没有任何价值。
如果代理需要账号密码,加一段全局认证就行:
Authenticator.setDefault(new Authenticator() {
@Override
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("你的账号", "你的密码".toCharArray());
}
});
方式三:OkHttp 走完整请求,连返回内容一起看
到了正式上线前的那一轮终检,光看状态码也不够了。有些IP返回 200,内容却是验证页或者一行空的 JSON,这种"假活"最难缠——检测脚本说它好,业务跑起来全是垃圾数据。
这时候用 OkHttp 或者 Apache HttpClient 更顺手,能加认证头、能读 body、连接复用也做得更好:
OkHttpClient client = new OkHttpClient.Builder()
.proxy(new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyIp, proxyPort)))
.proxyAuthenticator((route, response) -> {
String credential = Credentials.basic("你的账号", "你的密码");
return response.request().newBuilder()
.header("Proxy-Authorization", credential)
.build();
})
.connectTimeout(3, TimeUnit.SECONDS)
.readTimeout(5, TimeUnit.SECONDS)
.build();
Request request = new Request.Builder().url("https://目标页面地址").get().build();
try (Response response = client.newCall(request).execute()) {
String body = response.body() == null ? "" : response.body().string();
boolean usable = response.isSuccessful()
&& body.length() > 200
&& body.contains("你预期的关键词");
System.out.println("可用:" + usable);
}
关键在最后那个 body.contains(...)。换成你目标页面里必然出现的某个词,比如一个固定标题、一个字段名,命中不了就判死。多这一行判断,能挡掉大部分"状态码漂亮但内容不对"的IP。
三种方式摆在一起,怎么选
实测下来的数据大致是这样,注意耗时受网络和IP质量影响很大,只能当参考量级:
| 检测方式 | 单次耗时 | 能发现的问题 | 误判情况 | 建议用在 |
|---|---|---|---|---|
| Socket 端口连通 | 50~300ms | 机器挂了、端口不通 | 高:端口通≠能代理 | 几万个IP的粗筛第一轮 |
| HttpURLConnection | 300ms~2s | 连不通、407、403、超时 | 中:会放过内容异常的IP | 日常巡检、定时任务 |
| OkHttp 完整请求 | 0.5~3s | 以上全部 + 认证失败、内容不对 | 低 | 正式跑业务前的终检 |
我自己的习惯是两级过滤:先用 Socket 用 500 个线程快速扫一遍,把明显死的剔掉;再用 OkHttp 对剩下的做内容校验。整体耗时比全量跑 OkHttp 少一半以上,准确率也够用。
批量检测怎么写才不把机器拖死
单个IP检测很简单,难的是"几千个一起测"。这里说几个直接照做就行的设置。
线程池别开太大。有人上来就 2000 个线程,结果本地临时端口被耗光,报 BindException: Address already in use。一般 200~500 就足够,配合每个请求 3 秒超时,5000 个IP大概两三分钟能跑完。
超时给短不给长。这个坑最多人踩:超时设成默认的 30 秒,又碰上 3000 个死IP,算一下——就算并发 300,一轮也得跑五分钟以上,还什么都拿不到。连接超时 3 秒、读取超时 5 秒,是很稳的组合。
结果要落盘。可用的IP写到一个列表,不可用的单独记一份,附上失败原因(超时/407/内容不符)。跑一段时间你就能看出规律:某批IP是整体挂掉还是零星失效,下次提取的时候心里有数。
几个用血换来的小经验
别只用一个目标地址检测。所有检测请求都打同一个站点,频率一高就会被对端限流,返回 403,你会误以为一大批IP都死了。准备两三个检测地址轮换着用,问题就没了。
检测通过 ≠ 十分钟后还能用。短效动态IP本身就有寿命,可能你检测的时候它还剩 30 秒。所以检测和使用之间的间隔要尽量短,或者干脆"用完即弃",别攒着。
HTML 页面判断内容时,别拿空格和换行去匹配。有些代理会压缩内容,你 contains("张三") 可能因为中间插了个换行就匹配不上。挑关键词时选连续的、短的。
连接一定要关。Socket 用 try-with-resources,HttpURLConnection 记得 disconnect(),OkHttp 用 try-with-resources 关 Response。跑一天下来不关连接,句柄泄漏是迟早的事,表现就是跑到一半突然全部超时。
检测做得再好,也顶不住IP源头不稳
写到这里得说句实在话:上面这些代码能帮你筛出"此刻能用"的IP,但如果提取出来的一百个里九十个是死的,检测脚本写得再优雅也只是在给别人擦屁股。真正决定效率的,是IP池本身的质量。
我们后来把检测流程简化了一大半,是因为换了IP来源。神龙HTTP 这边的池子是 3000万+ 正规授权代理IP,可用率标称 99.9%,实测提取一百个能用的通常有九十八九个,前面那轮 Socket 粗筛基本可以省掉。它的短效动态IP和长效静态IP是按场景分的,跑短周期采集用短效,需要会话稳定的就换长效静态,不用自己在代码里纠结存活时长。
另外个人中心那个可视化用量统计挺实用,能看到实时使用情况和趋势,哪个时间段失败率高一眼就看得出来,比自己在日志里 grep 强。API 也兼容主流语言,把上面那段 OkHttp 检测代码接进去,基本不用改结构。
常见问题
Q:Socket 检测明明通过了,为什么一请求就失败?
最常见的是端口在监听但不是代理服务,或者代理需要认证返回 407。还有一种情况是目标站点把这个IP封了,代理本身没问题,请求被对端拒绝。所以连通性检测只能当粗筛,最终还是要发一次真实请求。
Q:多久检测一次比较合适?
看IP类型。长效静态IP一天一次就够,短效动态IP建议在使用前几分钟内检测,别提前一晚上扫完存着——扫完到用上这段时间,IP可能已经换人了。原则是:检测结果越新鲜越好。
Q:本地跑得好好的,放到服务器上就大面积失败,什么原因?
先查两处:一是服务器出网策略,有些机房对高频外连有限制;二是并发数,本地几十个线程没问题,服务器上直接开到上千,本地端口会被耗光。把线程池压到 300 以内,再看看是不是 DNS 解析慢导致的超时。
Q:IP检测通过,但用一会儿就失效了怎么办?
这就是IP寿命的问题,检测本身解决不了。两个办法:缩短"检测到使用"的间隔,或者换可用率更稳的IP来源。像神龙HTTP这种支持300+城市级精准定位、可用率有保障的池子,配合个人中心的实时监控,能明显减少这种"刚测完就废"的情况。







