CURL抓取数据放进Database

加峻

请问，有人知道如何把抓取到的网页数据。转化成database吗？

谢谢。

小陈陈

就用 curl 来抓。然后找你要的字眼。之后在放进db里面咯

加峻

小陈陈 发表于 19-1-2018 10:25 AM
就用 curl 来抓。然后找你要的字眼。之后在放进db里面咯

你要的字眼是怎么说呢？

放进db里面改怎么做？

slaythia

小弟说说php与mysql做法。
curl 抓取数据后，过滤出特定字段preg_match() ,转化成数组array(),再来操作存入数据表。
preg_match 正则表达式可能会比较花时间，主要看抓什么内容。如果对应的数据是API类型的JSON 或XML 就更简单，解析与存入便搞定。

flashang

有没有更详细的叙述你的问题？
或者一小段关键的 code ?
最基本的做法上面已经说了。
把捉到的资料经过处理后 update / insert 到 database.

Mr.[N]

如果是api 的最简单的就是打开chrome debugger get respone 就好了

slaythia

处理数据的过程最主要还是对应好字段以便在业务中调用，

如果连数据处理流程都没想好，建议楼主查阅初级的教程。
http://www.runoob.com/php/php-tutorial.html

PHP是很容易上手的语言，也正因为容易上手，解决问题的办法也多也容易入坑。。

slaythia

Mr.[N] 发表于 30-1-2018 11:45 AM
如果是api 的最简单的就是打开chrome debugger get respone 就好了

额。。那个是浏览器的交互过程。。。
API调试嘛。。。
推荐用Postman, Fiddler, Charles 等等。。。

Postman
https://www.getpostman.com/

Fiddler
https://www.telerik.com/fiddler

Charles
https://www.charlesproxy.com/

Mr.[N]

slaythia 发表于 30-1-2018 06:09 PM
额。。那个是浏览器的交互过程。。。
API调试嘛。。。
推荐用Postman, Fiddler, Charles 等等。。。

Postman
https://www.getpostman.com/

Fiddler
https://www.telerik.com/fiddler

Charles
https ...

我也是用 postman 的, 因为都是自己写的，有时也有用 fiddler， charles 还是第一次知，谢分享~~ 等下试下

slaythia

charles 多数用户都是Mac下环境使用。
Proxy https 分析ios流量不错。。

加峻

slaythia 发表于 27-1-2018 08:10 PM
小弟说说php与mysql做法。
curl 抓取数据后，过滤出特定字段preg_match() ,转化成数组array(),再来操作存入数据表。
preg_match 正则表达式可能会比较花时间，主要看抓什么内容。如果对应的数据是API类型的JSON 或 ...

请问，sql的table要怎么样设计？

加峻

flashang 发表于 29-1-2018 11:13 PM
有没有更详细的叙述你的问题？
或者一小段关键的 code ?
最基本的做法上面已经说了。
把捉到的资料经过处理后 update / insert 到 database.

请问，sql的table要怎么样设计？


还有就是这样抓取数据。
若抓取的网页，关闭了。
数据还有效吗？

flashang

加峻 发表于 5-2-2018 01:52 PM
请问，sql的table要怎么样设计？


还有就是这样抓取数据。
若抓取的网页，关闭了。
数据还有效吗？

麻烦你做详细的叙述到底要做什么样的功能。

如果只是这个

有人知道如何把抓取到的网页数据。转化成database吗？

table 应该会有 url 和 data.

加峻

flashang 发表于 5-2-2018 02:58 PM
麻烦你做详细的叙述到底要做什么样的功能。

如果只是这个

table 应该会有 url 和 data.

我想要抓取某网页的分类。
然后，把link存进database.
再link去自己设计的网页。

flashang

加峻 发表于 5-2-2018 05:17 PM
我想要抓取某网页的分类。
然后，把link存进database.
再link去自己设计的网页。

那么 table 就会有 category, link.
根据捉到的资料，做了分析/分类。
储存到 table.

加峻

flashang 发表于 5-2-2018 05:37 PM
那么 table 就会有 category, link.
根据捉到的资料，做了分析/分类。
储存到 table.

我是不懂那个database table要怎么做出来？

加峻

flashang 发表于 5-2-2018 05:37 PM
那么 table 就会有 category, link.
根据捉到的资料，做了分析/分类。
储存到 table.

我现在用curl抓取到数据了。
可是，我没idea。怎么样继续下一步。

flashang

加峻 发表于 6-2-2018 03:50 PM
我是不懂那个database table要怎么做出来？

create table ?
insert table ?

这些都可以用工具或者 php 做。

flashang

加峻 发表于 6-2-2018 04:04 PM
我现在用curl抓取到数据了。
可是，我没idea。怎么样继续下一步。

这样的问法。。。会不会处理 database ?
如果不熟悉，可以考虑去找 php mysql tutorial 来看看。

加峻

flashang 发表于 7-2-2018 09:56 AM
这样的问法。。。会不会处理 database ?
如果不熟悉，可以考虑去找 php mysql tutorial 来看看。

不会。我不清楚link是算什么type的database.