목록웹스크래핑 (1)

번개애비의 라이프스톼일

Cloudflare Workers를 통해 크롤링(스크래핑)할 때 SmartProxy로 아이피를 매번 변경하기

요즘 Cloudflare를 통해 자동 수집을 처리하는 기능을 만들고 있다.Cloudflare의 FaaS는 간단한 Javascript만으로도 손쉽게 Functional 한 기능을 만들 수 있으면서, 넉넉한 무료사용량 덕분에 접근성이 좋은 편이라고 생각한다. Workers 무료 사용량D1 데이터베이스 무료 사용량R2 스토리지 무료 사용량 Workers의 경우 하루에 100,000 request 까지 무료이다.이를 트리거로 사용한다면 1분당 1회씩 실행한다고 했을 때 하루에 1,400 request만 소진하게 된다. D1 데이터베이스는 SQLite기반이라 다른 관계형데이터베이스에 비해 엄청나게 강력하진 않지만, 간단한 SQL 쿼리를 빠르게 수행할 수 있다. 이 제품도 하루에 5백만 rows를 읽고 10만 ro..
IT 2026. 8. 7. 10:17
Prev 1 Next