查看: 1109|回复: 20
|
CURL抓取数据放进Database
[复制链接]
|
|
请问,有人知道如何把抓取到的网页数据。转化成database吗?
谢谢。
|
|
|
|
|
|
|
|
发表于 19-1-2018 10:25 AM
|
显示全部楼层
就用 curl 来抓。然后找你要的字眼。之后在放进db里面咯 |
|
|
|
|
|
|
|
楼主 |
发表于 19-1-2018 10:27 AM
|
显示全部楼层
|
|
|
|
|
|
|
发表于 27-1-2018 08:10 PM
来自手机
|
显示全部楼层
小弟说说php与mysql做法。
curl 抓取数据后,过滤出特定字段preg_match() ,转化成数组array(),再来操作存入数据表。
preg_match 正则表达式可能会比较花时间,主要看抓什么内容。如果对应的数据是API类型的JSON 或XML 就更简单,解析与存入便搞定。 |
|
|
|
|
|
|
|
发表于 29-1-2018 11:13 PM
来自手机
|
显示全部楼层
有没有更详细的叙述你的问题?
或者一小段关键的 code ?
最基本的做法上面已经说了。
把捉到的资料经过处理后 update / insert 到 database.
|
|
|
|
|
|
|
|
发表于 30-1-2018 11:45 AM
|
显示全部楼层
如果是api 的最简单的就是打开chrome debugger get respone 就好了 |
|
|
|
|
|
|
|
发表于 30-1-2018 06:01 PM
|
显示全部楼层
|
|
|
|
|
|
|
发表于 30-1-2018 06:09 PM
|
显示全部楼层
|
|
|
|
|
|
|
发表于 31-1-2018 09:34 AM
|
显示全部楼层
我也是用 postman 的, 因为都是自己写的,有时也有用 fiddler, charles 还是第一次知,谢分享~~ 等下试下 |
|
|
|
|
|
|
|
发表于 1-2-2018 07:48 AM
|
显示全部楼层
charles 多数用户都是Mac下环境使用。
Proxy https 分析ios流量不错。。
|
|
|
|
|
|
|
|
楼主 |
发表于 5-2-2018 01:51 PM
|
显示全部楼层
slaythia 发表于 27-1-2018 08:10 PM
小弟说说php与mysql做法。
curl 抓取数据后,过滤出特定字段preg_match() ,转化成数组array(),再来操作存入数据表。
preg_match 正则表达式可能会比较花时间,主要看抓什么内容。如果对应的数据是API类型的JSON 或 ...
请问,sql的table要怎么样设计? |
|
|
|
|
|
|
|
楼主 |
发表于 5-2-2018 01:52 PM
|
显示全部楼层
请问,sql的table要怎么样设计?
还有就是这样抓取数据。
若抓取的网页,关闭了。
数据还有效吗?
|
|
|
|
|
|
|
|
发表于 5-2-2018 02:58 PM
|
显示全部楼层
麻烦你做详细的叙述到底要做什么样的功能。
如果只是这个
有人知道如何把抓取到的网页数据。转化成database吗?
table 应该会有 url 和 data.
|
|
|
|
|
|
|
|
楼主 |
发表于 5-2-2018 05:17 PM
|
显示全部楼层
我想要抓取某网页的分类。
然后,把link存进database.
再link去自己设计的网页。
|
|
|
|
|
|
|
|
发表于 5-2-2018 05:37 PM
来自手机
|
显示全部楼层
加峻 发表于 5-2-2018 05:17 PM
我想要抓取某网页的分类。
然后,把link存进database.
再link去自己设计的网页。
那么 table 就会有 category, link.
根据捉到的资料,做了分析/分类。
储存到 table.
|
|
|
|
|
|
|
|
楼主 |
发表于 6-2-2018 03:50 PM
|
显示全部楼层
我是不懂那个database table要怎么做出来?
|
|
|
|
|
|
|
|
楼主 |
发表于 6-2-2018 04:04 PM
|
显示全部楼层
我现在用curl抓取到数据了。
可是,我没idea。怎么样继续下一步。
|
|
|
|
|
|
|
|
发表于 6-2-2018 05:19 PM
来自手机
|
显示全部楼层
加峻 发表于 6-2-2018 03:50 PM
我是不懂那个database table要怎么做出来?
create table ?
insert table ?
这些都可以用工具或者 php 做。
|
|
|
|
|
|
|
|
发表于 7-2-2018 09:56 AM
|
显示全部楼层
这样的问法。。。会不会处理 database ?
如果不熟悉,可以考虑去找 php mysql tutorial 来看看。
|
|
|
|
|
|
|
|
楼主 |
发表于 7-2-2018 09:17 PM
|
显示全部楼层
不会。我不清楚link是算什么type的database.
|
|
|
|
|
|
|
| |
本周最热论坛帖子
|