帮助中心 > 新闻资讯 > 如何判断代理IP是否使用成功?-神龙HTTP
如何判断代理IP是否使用成功?-神龙HTTP
发布时间: 2021-01-25

很多初次用代理IP的小伙伴都会有这样的疑惑:在爬虫程序或采集软件上配置代理后,该如何判断代理IP是否使用成功了呢?神龙HTTP代理告诉你!

其实可以借助查询IP地址的这类网站,使用代理IP后,再去浏览器搜索百度IP或者访问https://www.ip138.com。这类网站会将HTTP请求的来源IP获取并通过HTTP内容返回,如果代理IP转发成功,目标网站返回的内容就应该是代理IP地址。一般会有下面几种情况:

1、代理直接转发

只要将返回的IP地址复制进入百度IP或者https://www.ip138.com进行检查,如果是爬虫服务器的IP地址表示代理IP转发失败,否则就表示代理IP转发成功。

2、代理多次转发

查询IP地址网站返回的内容,既不是爬虫服务器的IP地址,也不是爬虫程序或采集软件直接使用的代理IP地址,而是经过代理IP多次转发后,最后请求IP地址网站的代理IP地址。

3、代理自动转发

部分代理IP产品,会根据爬虫程序或采集软件的每个HTTP请求,自动分配不同的代理IP进行转发,出现每一次查询获取的IP地址都不一样,这样就能在数据采集的过程中,突破目标网站的IP限制行为。要注意这其中又会出现更复杂的情况是,部分IP查询网站会按照cookie等信息直接缓存返回内容,即使代理IP每次请求都会转发不同IP,这类IP查询网站也会返回重复的IP地址,造成代理IP自动转发失败的假象,下面提供demo 示例如下:

package main

import (

"net/url"

"net/http"

"bytes"

"fmt"

"io/ioutil"

)

// 代理服务器(产品官网 h.shenlongip.com)

const ProxyServer = "t.16yun.cn:31111"

type ProxyAuth struct {

Username string

Password string

}

func (p ProxyAuth) ProxyClient() http.Client {

var proxyURL *url.URL

if p.Username != ""&& p.Password!="" {

proxyURL, _ = url.Parse("http://" + p.Username + ":" + p.Password + "@" + ProxyServer)

}else{

proxyURL, _ = url.Parse("http://" + ProxyServer)

}

return http.Client{Transport: &http.Transport{Proxy:http.ProxyURL(proxyURL)}}

}

func main() {

targetURI := "https://httpbin.org/ip"

// 初始化 proxy http client

client := ProxyAuth{"username", "password"}.ProxyClient()

request, _ := http.NewRequest("GET", targetURI, bytes.NewBuffer([] byte(``)))

// 设置Proxy-Tunnel

// rand.Seed(time.Now().UnixNano())

// tunnel := rand.Intn(10000)

// request.Header.Set("Proxy-Tunnel", strconv.Itoa(tunnel) )

response, err := client.Do(request)

if err != nil {

panic("failed to connect: " + err.Error())

} else {

bodyByte, err := ioutil.ReadAll(response.Body)

if err != nil {

fmt.Println("读取 Body 时出错", err)

return

}

response.Body.Close()

body := string(bodyByte)

fmt.Println("Response Status:", response.Status)

fmt.Println("Response Header:", response.Header)

fmt.Println("Response Body:\n", body)

}

}

客户经理

神龙HTTP

13260755008

13260755016

神龙HTTP 神龙HTTP

微信二维码

神龙HTTP

定制IP

神龙HTTP

关注获取更多优惠

神龙HTTP

公众号

神龙HTTP

回到顶部