职位要求
1、计算机相关专业,本科及以上学历,3年以上爬虫相关工作经验;
2、对爬虫编程有强烈爱好,熟练精通掌握至少1种语言java、python,在需要的情况下能快速上手新语言切换;
3、深入理解tpc/ip、http、以及web登录认证的机制,有成功破解复杂验证码的经验;
4、有通用分布式爬虫系统架构和开发经验,能快速部署新的爬虫应用;
5、已有2年以上网络爬虫或搜索引擎工作经验,参与过大规模数据爬虫优先考虑;
6、有app安全、逆向等领域的经验;
7、具有良好的沟通、团队协作、计划能力,有过1—2人的团队管理经验。
岗位职责
1、建设完善分布式爬虫系统;
2、建立通用的爬虫框架,能够快速适应新的爬虫需求;
3、快速完成对目标资源的数据抓取、处理。
因篇幅问题不能全部显示,请点此查看更多更全内容