colly 여러 옵션들 (golang)
케이 (3)2025년 1월 16일
Tags #go#golang#colly#gocolly

image

프록시 사용

c.SetProxy("http://proxy-server:8080")

헤더 커스터마이징

c.OnRequest(func(r *colly.Request) {
   r.Headers.Set("Accept-Language", "ko-KR,ko;q=0.9")
   r.Headers.Set("Accept",
    "text/html,application/xhtml+xml,application/xml")
})

캐싱

c := colly.NewCollector(
   colly.CacheDir("./cache"),
)

요청 간 자동 지연 설정

c.Limit(&colly.LimitRule{
   DomainGlob:  "*",
   RandomDelay: 5 * time.Second,
})

User-Agent 설정

c := colly.NewCollector(
   colly.UserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..."),
)

0개의 댓글