根本原因是未控制并发数且http.Client缺少超时设置,导致goroutine无限等待或资源耗尽;需用带缓冲channel限流、显式设Timeout、避免循环变量捕获、独立错误处理。
goroutine 启动并发 HTTP 请求时,为什么请求全卡住或 panic?根本原因通常是没控制并发数,或没正确处理 http.Client 的超时与连接复用。Go 的 http.DefaultClient 默认没有设置超时,一旦后端响应慢或失败,goroutine 就会无限等待;同时大量无限制的 goroutine 会耗尽文件描述符或内存。
http.Client:比如 &http.Client{Timeout: 5 * time.Second}
semaphore(信号量)或带缓冲的 channel 控制最大并发数,例如 make(chan struct{}, 10) 限制最多 10 个并发go func(url string) { ... }(u)
核心是封装请求逻辑、并发控制、结果收集三部分,不依赖全局状态,方便单元测试和压测复用。
func ConcurrentGet(urls []string, maxConcurrent int) ([]int, []error) {
sem := make(chan struct{}, maxConcurrent)
results := make([]int, len(urls))
errors := make([]error, len(urls))
client := &http.Client{Timeout: 3 * time.Second}
var wg sync.WaitGroup
for i, url := range urls {
wg.Add(1)
go func(idx int, u string) {
defer wg.Done()
sem <- struct{}{}
defer func() { <-sem }()
resp, err := client.Get(u)
if err != nil {
errors[idx] = err
results[idx] = 0
return
}
defer resp.Body.Close()
results[idx] = resp.StatusCode
}(i, url)
}
wg.Wait()
return results, errors}
在 testing 包中做并发 HTTP 测试要注意什么?
Go 的测试框架本身不阻塞 goroutine,但若没等所有请求完成就结束测试,会导致 panic: test executed after test has completed 或漏掉断言。
sync.WaitGroup 或 context.WithTimeout 确保所有请求完成再退出httptest.NewServer 而非真实服务,避免网络抖动干扰测试稳定性Test 函数里 sleep 等待,而是用 WaitGroup 或 channel 同步t.Parallel() 的使用场景:仅适用于互不依赖的子测试,主测试函数本身不
支持并行httptest.Server 模拟服务比 mock HTTP client 更可靠?因为真正走通了 Go 的 HTTP 栈:包括连接建立、TLS 握手(如果启用)、header 解析、body 读取等环节。mock http.Client 只能验证调用参数,无法暴露如 keep-alive 复用异常、chunked 编码解析错误等问题。
func TestConcurrentGet(t *testing.T) {
ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
w.WriteHeader(http.StatusOK)
w.Write([]byte("ok"))
}))
defer ts.Close()
urls := make([]string, 100)
for i := range urls {
urls[i] = ts.URL
}
status, errs := ConcurrentGet(urls, 20)
for _, err := range errs {
if err != nil {
t.Fatal(err)
}
}
for _, s := range status {
if s != http.StatusOK {
t.Fatalf("expected 200, got %d", s)
}
}}
实际压测时,maxConcurrent 和 client.Timeout 这两个参数稍调就可能让结果从“全成功”变成“大量 timeout”,得反复试。别只看平均耗时,重点查 p95/p99 和失败率。