急招2名 - 爬虫工程师

薪资待遇：30K-55K（不含项目奖金，能力优异者面谈）

上班时间：10休4 （12:00-24:00 有2小时休息，吃饭时间）

试用期：1个月

公司项目：IM开发经验

工作地点：先远程后到岗（泰国/曼谷 居家办公）

1.负责重点业务方向的网页数据抓取开发与维护

2.设计并优化稳定高效的爬虫程序，处理反爬策略（如验证码、JS混淆、IP封锁等）

3.搭建并维护分布式爬虫系统，实现大规模并发数据采集

4.对采集到的数据进行清洗、去重、结构化处理，保证数据质量

5.监控系统运行状态，及时处理异常，提升数据获取效率与稳定性

6.协助数据团队完成数据整合和标签提取工作

1.本科及以上学历，计算机、软件工程或相关专业，2-3年及以上实际爬虫开发经验

2.精通 Python，熟悉 Scrapy、Requests、Selenium、Playwright 等主流爬虫框架

3.掌握 HTML / XPath / CSS Selector / 正则表达式等页面解析技术

4.熟悉常见反爬机制及其应对策略，如代理池、UA池、验证码识别、JS解密、动态加载页面等

5.有 Redis、MongoDB、MySQL 等数据存储使用经验

6.熟悉多线程/异步编程，具备良好的代码结构和开发习惯

7.有一定的 Linux 操作能力，能够独立部署和维护采集脚本

8.有责任心，逻辑清晰，抗压能力强，有良好的团队合作精神

️️优先条件:

1.有 Scrapy-Redis 分布式爬虫项目经验

2.熟悉 Kafka/Celery 等异步任务框架

3.有处理图像验证码或滑动验证码经验者优先

4.熟悉常用反作弊策略及应对方案

5.有色站爬虫项目经验