推广返现如何在 Got 中设置代理
集蜂云是一个可以让开发者在上面构建、部署、运行、发布采集器的数据采集云平台。加入到数百名开发者中，将你的采集器发布到市场，从而给你带来被动收入吧！
Got 是一个流行的 JavaScript 库，用于 NodeJS 中的 HTTP 请求，也是一款出色的网页抓取工具。但尽管它具有所有有用的功能，但它却无法解决最重大的网页抓取挑战之一：被网站的反机器人保护系统拦截。
在本文中，您将了解如何通过设置 Got 代理来克服这一障碍。您将逐步了解使用代理进行网页抓取的过程，并了解哪些代理可以带来最佳效果。
步骤 1：使用 Got 设置代理
在使用 Got 设置代理之前，让我们先从一个要添加代理配置的基本脚本开始。
该脚本向 Web 服务发出直接的 HTTP 请求https://httpbin.io/ip，该 Web 服务返回请求客户端的 IP 地址。
import got from 'got';
try {
// make HTTP request
const {body} = await got('https://httpbin.io/ip');
// log the response
console.log(body);
} catch (error) {
console.error(error);
}
一旦完成所有设置，您就可以配置代理了。
但是，Got 并不支持开箱即用的代理。您必须与为 NodeJS 应用程序中的 HTTP 请求提供代理支持的代理进行集成。
有不同的 NodeJS 代理，但在本教程中，我们将使用hpagent最可靠的选项。hpagent采用与 Node.js 核心的 HTTP(s) 代理相同的参数和选项proxy，允许您指定代理 URL。
要使用 Got 设置代理，请配置hpagent必要的参数（代理 URL）并使用配置的代理发出请求。
首先hpagent使用以下命令进行安装。
npm install hpagent
之后，导入所需的库。然后，使用 定义代理配置选项hpagent。它涉及创建 HttpsProxyAgent 实例并指定代理 URL 和其他所需设置。
您可以从免费代理列表中获取免费代理，并使用以下格式构建 URL：。protocol:host:port您还应该使用 HTTPS 代理，因为它们适用于 HTTPS 和 HTTP 网站。
// import the required modules
import got from 'got';
import {HttpsProxyAgent} from 'hpagent';
const proxyOptions = {
agent: {
// create a new HttpsProxyAgent instance
https: new HttpsProxyAgent({
// add proxy settings
keepAlive: true,
keepAliveMsecs: 1000,
maxSockets: 256,
maxFreeSockets: 256,
scheduling: 'lifo',
// specify proxy URL.
proxy: 'http://20.219.180.149:3129'
})
}
};
最后，使用配置的选项提出您的请求。
//...
try {
// make HTTP request
const {body} = await got('https://httpbin.io/ip', proxyOptions);
// log the response
console.log(body);
} catch (error) {
console.error(error);
}
把所有东西结合起来。你的完整代码应该如下所示：
// import the required modules
import got from 'got';
import {HttpsProxyAgent} from 'hpagent';
const proxyOptions = {
agent: {
// create a new HttpsProxyAgent instance
https: new HttpsProxyAgent({
// add proxy settings
keepAlive: true,
keepAliveMsecs: 1000,
maxSockets: 256,
maxFreeSockets: 256,
scheduling: 'lifo',
// specify proxy URL.
proxy: 'http://20.219.180.149:3129'
})
}
};
try {
// make HTTP request
const {body} = await got('https://httpbin.io/ip', proxyOptions);
// log the response
console.log(body);
} catch (error) {
console.error(error);
}
运行它，结果应该是您的代理的 IP 地址。
{
"origin": "20.219.180.149:45310"
}
代理身份验证 要验证已获得的代理，请使用以下格式指定您的代理protocol://username:password@IP:PORTURL ：。
以下是如何修改上面的代码以进行验证的方法。
// import the required modules
import got from 'got';
import {HttpsProxyAgent} from 'hpagent';
const proxyOptions = {
agent: {
// create a new HttpsProxyAgent instance
https: new HttpsProxyAgent({
// add proxy settings
keepAlive: true,
keepAliveMsecs: 1000,
maxSockets: 256,
maxFreeSockets: 256,
scheduling: 'lifo',
// specify proxy URL.
proxy: 'http://username:password@20.219.180.149:3129'
})
}
};
try {
// make HTTP request
const {body} = await got('https://httpbin.io/ip', proxyOptions);
// log the response
console.log(body);
} catch (error) {
console.error(error);
}
第 2 步：使用 Got 旋转代理
网站通常会将“过多请求”标记为可疑活动，并可能阻止您的代理。为了避免此问题，您必须在多个代理之间轮换。这样，您的请求看起来会来自不同的用户或设备，从而增加您避免被检测到的机会。
让我们看看如何。
从免费代理列表中轮换 IP 要使用 Got 轮换代理，请指定代理池并为每个请求随机选择不同的代理。请按照以下步骤实现此目的。
将您的单个代理更改为代理列表，如下所示。
// import the required modules
import got from 'got';
import {HttpsProxyAgent} from 'hpagent';
// define a list of proxy URLs
const proxyList = [
'http://20.219.180.149:3129',
'http://198.199.70.20:31028',
'http://8.219.97.248:80',
// add more proxy URLs as needed
];
接下来，创建一个使用从列表中随机选择代理的函数Math.random()。
scraper.js
//...
// function to select a random proxy from the list
function getRandomProxy() {
const randomIndex = Math.floor(Math.random() * proxyList.length);
return proxyList[randomIndex];
}
在您的hpagent配置中，将proxy选项设置为getRandomProxy()功能。这将从列表中指定一个随机代理。
scraper.js
//...
const proxyOptions = {
agent: {
// create a new HttpsProxyAgent instance
https: new HttpsProxyAgent({
// add proxy settings
keepAlive: true,
keepAliveMsecs: 1000,
maxSockets: 256,
maxFreeSockets: 256,
scheduling: 'lifo',
// specify proxy URL.
proxy: getRandomProxy()
})
}
};
最后，使用配置的选项提出请求，就像在初始代理脚本中一样。
你的最终代码看起来应该是这样的：
scraper.js
// import the required modules
import got from 'got';
import {HttpsProxyAgent} from 'hpagent';
// define a list of proxy URLs
const proxyList = [
'http://20.219.180.149:3129',
'http://198.199.70.20:31028',
'http://8.219.97.248:80',
// add more proxy URLs as needed
];
// function to select a random proxy from the list
function getRandomProxy() {
const randomIndex = Math.floor(Math.random() * proxyList.length);
return proxyList[randomIndex];
}
const proxyOptions = {
agent: {
// create a new HttpsProxyAgent instance
https: new HttpsProxyAgent({
// add proxy settings
keepAlive: true,
keepAliveMsecs: 1000,
maxSockets: 256,
maxFreeSockets: 256,
scheduling: 'lifo',
// specify proxy URL.
proxy: getRandomProxy()
})
}
};
try {
// make HTTP request
const {body} = await got('https://httpbin.io/ip', proxyOptions);
// log the response
console.log(body);
} catch (error) {
console.error(error);
}
要验证它是否有效，请发出多个请求。每次都应该获得不同的 IP 地址。以下是两个请求的结果：
{
"origin": "8.219.64.236:1416"
}
{
"origin": "20.219.180.149:45310"
}
然而，虽然这种方法可能在教程中有效，但它可能会在大多数实际用例中失败，特别是当您计划大规模抓取时。
亲自看看。尝试使用 Got 代理脚本抓取下面的G2 评论页面。
// import the required modules
import got from 'got';
import {HttpsProxyAgent} from 'hpagent';
// define a list of proxy URLs
const proxyList = [
'http://20.219.180.149:3129',
'http://198.199.70.20:31028',
'http://8.219.97.248:80',
// add more proxy URLs as needed
];
// function to select a random proxy from the list
function getRandomProxy() {
const randomIndex = Math.floor(Math.random() * proxyList.length);
return proxyList[randomIndex];
}
const proxyOptions = {
agent: {
// create a new HttpsProxyAgent instance
https: new HttpsProxyAgent({
// add proxy settings
keepAlive: true,
keepAliveMsecs: 1000,
maxSockets: 256,
maxFreeSockets: 256,
scheduling: 'lifo',
// specify proxy URL.
proxy: getRandomProxy()
})
}
};
try {
// make HTTP request
const {body} = await got('https://www.g2.com/products/visual-studio/reviews', proxyOptions);
// log the response
console.log(body);
} catch (error) {
console.error(error);
}
您将收到类似以下的错误消息。
HTTPError: Response code 403 (Forbidden)
如您所见，免费代理无法帮助您避免被高级反机器人措施阻止。为了解决这个问题，让我们探索高级代理。
集蜂云是一个可以让开发者在上面构建、部署、运行、发布采集器的数据采集云平台。平台提供了海量任务调度、三方应用集成、数据存储、监控告警、运行日志查看等功能，能够提供稳定的数据采集环境。平台提供丰富的采集模板，简单配置就可以直接运行，快来试一下吧。