使用scraperwiki帮助将网页转换为可用数据
scraper是一个从网页或其他数据源中提取内容并将其转换为某种可用格式的程序，通常是RSS提要或直接将其输入数据库。设计一个scraper可能很棘手，因为每个站点都是不同的，ScraperWiki旨在通过创建这些脚本的存储库来解决这个问题，目的是减轻设计它们的痛苦。
scraper的一个示例用法：假设一个**实体发布有关财务的每日信息，并且您希望以图形或其他方式跟踪这些数据以供个人或企业使用。每天访问网站并手动输入数据当然是一种劳动密集型的方式，但正如任何优秀的黑客都会告诉你的那样——如果你必须不止一次地做任何事情，最好将其自动化。
ScraperWiki是这些定制scraper的集中位置。您可以搜索他们的数据库，查看是否已经为源代码编写了scraper，而不是从头开始编写自己的scraper。
ScraperWiki的职能之一是支持开放的**举措。这次大扫除活动实际上是在今天举行的，目的是借助刮板和数据处理器开放地方**数据。
scraper是按语言（PHP、Python和Ruby）分类的，该网站目前处于beta测试阶段。
斯克勒维基
- 发表于 2021-07-25 02:06
- 阅读 ( 60 )
- 分类：互联网
你可能感兴趣的文章
4个简单的信息散列torrent磁铁转换器
... 使用torrents:警告 ...
如何用wget将多个网页转换成pdf
...浏览器扩展和桌面插件可以将网页转换为PDF。如果您经常使用这些工具，可能会遇到需要一次性转换多个链接的情况。一个接一个地做是浪费时间和乏味的。 ...
6个易于学习和记忆的谷歌电子表格技巧
... 1在电子表格中使用国际货币 ...
每种格式5个高质量在线电子书转换器
... 你可以使用Calibre来转换电子书的格式，但它有点臃肿和笨重。有很多很好的在线工具同样可以很好地完成这项工作。这里有五个在线电子书转换器供您查看。 ...
为什么要从onenote 2016切换到onenote for windows 10
... 相反，Microsoft将使用OneNote 2016的功能以及新功能更新OneNote for Windows 10（也称为OneNote）。因此，Microsoft鼓励所有人开始使用OneNote For Windows 10，这样您就可以始终通过Microsoft应用商店使用最...
3种将网页转换为PDF的简单方法
... 如果您使用的是Google Chrome，请打开要转换的网站。然后，单击Chrome的菜单按钮。它在浏览器窗口的右上角，看起来像三条水平线。 ...
使用静态站点生成器快速构建网站
... 欢迎使用MakeUseOf指南来使用静态站点生成器。在本指南中，我们将介绍什么是静态站点生成器（SSG），为什么要使用它，以及如何使用它构建一个全新的站点。我们将探讨的一...
如何使用pdfbear简化pdf工作流和转换
当您创建一个包含任何类型数据的PDF文档时，无论您使用哪种设备，它都会以完全相同的方式显示数据。现代浏览器拥有所有基本的PDF技术，可以轻松地显示和浏览PDF。 ...
最有用的书签，以提高您的浏览体验
...的，有助于使浏览器中的重复任务更快、更容易执行。 使用bookmarklet为浏览器添加功能，例如修改网页外观、从网页中提取数据以及在搜索引擎或在线百科全书中搜索突出显示的文本。 我们收集了一些有用的bookmarklet链接，以增...
最好的文本到语音（tts）软件程序和在线工具
...文本，允许程序读取网页和电子邮件中的文本。您还可以使用Ultra HAL TTS Reader将文档转换为WAV音频文件，该文件可以刻录到CD或转换为MP3文件。 读取剪辑 ReadClip是一个TTS阅读器，它还提供了一个富文本编辑器，可以读取和拼写检...
0 篇文章
