您的当前位置:首页需求分析工程师的工作职责

需求分析工程师的工作职责

2020-10-05 来源:爱问旅游网

  职位要求

  1、计算机相关专业,本科及以上学历,3年以上爬虫相关工作经验;

  2、对爬虫编程有强烈爱好,熟练精通掌握至少1种语言java、python,在需要的情况下能快速上手新语言切换;

  3、深入理解tpc/ip、http、以及web登录认证的机制,有成功破解复杂验证码的经验;

  4、有通用分布式爬虫系统架构和开发经验,能快速部署新的爬虫应用;

  5、已有2年以上网络爬虫或搜索引擎工作经验,参与过大规模数据爬虫优先考虑;

  6、有app安全、逆向等领域的经验;

  7、具有良好的沟通、团队协作、计划能力,有过1—2人的团队管理经验。

  岗位职责

  1、建设完善分布式爬虫系统;

  2、建立通用的爬虫框架,能够快速适应新的爬虫需求;

  3、快速完成对目标资源的数据抓取、处理。

因篇幅问题不能全部显示,请点此查看更多更全内容