外包通缉令

视频网站数据抓取及地址解析

抓取视频站点数据,提取播放地址,并且组织存储在数据库中。

项目状态

成功完成

预算金额

4000 - 8000 人民币

项目周期

1 个月

需求描述

需要实现功能如下:

  1. 抓取腾讯、爱奇艺、优酷、搜狐、乐视、美拍、Bilibili 等网站特定关键字数据(可2-3人分担完成)
  2. 抓取字段:来源 url 上传时间 播放量(浏览量)下载量 点赞数 评论数 收藏数 分享数 网络指数 订阅数等(具体各个网站可能稍有不同)
  3. 需要视频网站下载真实地址,方便下载

联系方式

外包招募流程已经结束,联系信息已被隐藏

官方观点

整个来说,其实就是一个爬虫程序,需要留意数据存储和爬虫鲁棒性。建议使用脚本语言和 NoSql 数据库进行开发。

整个外包部分,难点在  需求3,需要解析真实地址,供给下载,可以参考开源项目 you-get。后期会有维护成本,毕竟第三方网站的视频解析总是在变化的,在和发包方协商时需要讨论清楚后期维护问题。

整体难度:适中