Golang爬虫效率出众，且仅靠标准库就能实现。直接用真实IP爬取易被目标网站封禁，还会泄露自身隐私，配置HTTP代理可解决该问题——相当于让“中间人”代为发送请求，既掩盖真实IP，又降低被封风险。
第一步：无代理基础爬虫
核心功能：爬取百度首页HTML并打印到控制台，代码可直接运行。
Go
package main
import (
"fmt"
"io/ioutil"
"net/http"
)
func main() {
targetUrl := "https://www.baidu.com"
// 发送GET请求
resp, err := http.Get(targetUrl)
if err != nil {
fmt.Println("请求失败：", err)
return
}
defer resp.Body.Close() // 防止资源泄露，必写
// 读取并打印响应内容
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Println("读取内容失败：", err)
return
}
fmt.Println(string(body))
}
核心说明：
1.依赖Go标准库，无需额外安装包，go run 文件名.go即可运行。
2.defer resp.Body.Close()必须写，避免内存泄露。
3.运行成功后，控制台输出百度首页HTML代码。
第二步：添加HTTP代理
核心思路：通过http.Transport配置代理，传给http.Client，用自定义客户端发送请求。
Go
package main
import (
"fmt"
"io/ioutil"
"net/http"
"net/url"
)
func main() {
targetUrl := "https://www.baidu.com"
// 代理格式：带验证"http://用户名:密码@代理IP:端口"，不带验证"http://代理IP:端口"
proxyStr := "http://username:password@proxyserver:port"
// 1. 解析代理地址
proxyURL, err := url.Parse(proxyStr)
if err != nil {
fmt.Println("解析代理失败：", err)
return
}
// 2. 配置带代理的传输对象
transport := &http.Transport{Proxy: http.ProxyURL(proxyURL)}
// 3. 创建自定义客户端（走代理）
client := &http.Client{Transport: transport}
// 4. 发送请求并读取内容
req, _ := http.NewRequest("GET", targetUrl, nil)
resp, err := client.Do(req)
if err != nil {
fmt.Println("代理请求失败：", err)
return
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
fmt.Println(string(body))
}
核心说明：
1.需替换proxyStr为有效代理地址才能正常运行。
2.自定义http.Client是实现代理的关键，替代了默认的http.Get()。
3.Go 1.16+版本中，ioutil.ReadAll()可替换为os.ReadAll()（需导入"os"包）。
