设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 移民签证 › 基于Scrapy如何写一个爬虫抓取艺龙、携程等网站的机票价 ...
回复 发帖
12下一页
返回列表 发新帖
开启左侧

[问答] 基于Scrapy如何写一个爬虫抓取艺龙、携程等网站的机票价格进行分析并做机票价格预测？

[复制链接]
12101 10
告别壹号 发表于 2021-3-23 10:57:31 | 只看该作者 打印 上一主题 下一主题
 
基于Scrapy如何写一个爬虫抓取艺龙、携程等网站的机票价格进行分析并做机票价格预测？


上一篇：如果给你移民的机会 你会选择移民吗？（说出原因）？
下一篇：你想象中的留学是怎样的？是快乐的，还是辛苦的？
标签：价格预测机票价格票价价格分析
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报

关联主题
回复

使用道具 举报

 

精彩评论10

正序浏览
跳转到指定楼层
沙发
eaglezgh888 发表于 2021-3-23 10:58:21 | 只看该作者
 
1. 通过wireshark，模拟请求，最好能找到直接的api，建议从app出发
2. 参见http://decide.com 现在是amzon的一部分
回复 支持 反对

使用道具 举报

 
板凳
摇曳的梦 发表于 2021-3-23 10:59:19 | 只看该作者
 
第一个问题题主已经弄明白了，对于第二个问题有一篇大概是2003年的论文《To buy or not to buy: mining airfare data to minimize ticket purchase price》（它是《大数据时代》中的一个案例），这篇文章把机票价格预测的方法写的很详细了。
回复 支持 反对

使用道具 举报

 
地板
格子铺的木格子 发表于 2021-3-23 11:00:09 | 只看该作者
 
Scrapy不是很好用啦，直接用requests来抓取，请参考我的几篇文章：
再看API设计--从黑客的角度 · APRIL 1985
维护爬虫倒是非常麻烦的事情。还好技术过硬最后拿到了坚持了一年的机票。做成了爱飞狗旅行这个小程序，实现机票历史价格和预测：爱飞狗旅行 | 知晓程序
第1张图片
回复 支持 反对

使用道具 举报

 
5#
小飞123 发表于 2021-3-23 11:00:38 | 只看该作者
 
如果请求链路太复杂，直接用浏览器内核吧，phantomjs之类的，渲染页面，模拟点击来实现
回复 支持 反对

使用道具 举报

 
6#
江南小女子 发表于 2021-3-23 11:01:28 | 只看该作者
 
酒店价格等信息采集爬虫（携程）
回复 支持 反对

使用道具 举报

 
7#
小羊羊81 发表于 2021-3-23 11:01:53 | 只看该作者
 
对于有js或者Ajax请求的，建议配合selenium！
回复 支持 反对

使用道具 举报

 
8#
LBQQQ 发表于 2021-3-23 11:01:59 | 只看该作者
 
楼主，我也在找抓取携程国际机票数据的办法。你如果已经研究出来了，请不吝赐教，，发个demo 给我
回复 支持 反对

使用道具 举报

 
9#
无月千寻花落 发表于 2021-3-23 11:02:14 | 只看该作者
 
题主您好~我的毕设也是和爬虫相关的，遇到了和您类似的问题，可以麻烦您稍微指点一下思路嘛？也是对于Ajax请求的数据不知道如何处理= =多谢题主了~我的qq是1263108183，真心求助=_=
回复 支持 反对

使用道具 举报

 
10#
沙子先生 发表于 2021-3-23 11:02:29 | 只看该作者
 
你好，看到你提的问题，很感兴趣，最近在筹划创业，10年前毕业那会也曾经设计了一个基于专家推荐的智能原型系统，目前准备做相对智能的机票预订网站，依据历史数据提供机票价格预测和抓取即期查询价格提供预订，我的qq:7663354 微信：title-zhu，欢迎加我，面聊，谢谢
！
回复 支持 反对

使用道具 举报

 
下一页 »
12下一页
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

告别壹号白金会员

0关注

6粉丝

412帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-5-13 22:52