用很少的编程技巧构建一个下载调度程序

我们都喜欢从互联网上下载东西,而且有很多很棒的下载管理工具可以用来安排下载。使用下载管理器可能更简单,但是探索我们的Ubuntu已经提供的工具并充分利用它是没有坏处的。...

我们都喜欢从互联网上下载东西,而且有很多很棒的下载管理工具可以用来安排下载。使用下载管理器可能更简单,但是探索我们的Ubuntu已经提供的工具并充分利用它是没有坏处的。

在本文中,我们将向您展示一个内置的软件在Ubuntu中,我们可以使用wget从互联网下载东西。除此之外,我们将向您展示如何使用Cron安排下载。

使用wget下载

Wget是一个使用HTTP、HTTPS和FTP(最广泛使用的互联网协议)检索文件的免费软件包。它是一个非交互式命令行工具,因此可以很容易地从脚本、cron作业、不支持X-Windows的终端等调用它。

打开你的终端,让我们探索如何使用wget从网上下载东西。使用wget下载的基本语法如下:

wget[选项]…[网址]…

此命令将wget手册下载到本地驱动器中

wget公司http://www.gnu.org/software/wget/manual/wget.pdf

linux cron

Ubuntu附带了一个cron守护进程,用于调度在特定时间执行的任务。Crontab允许您指定应该执行的操作和时间。这就是通常使用命令行工具安排任务的方式。

打开一个终端窗口并输入crontab-e。

crontab中的每个部分都用一个空格隔开,最后一个部分中有一个或多个空格。cron条目由分钟(0-59)、小时(0-23,0=午夜)、日(1-31)、月(1-12)、工作日(0-6,0=周日)和命令组成。上面crontab中的第三个条目下载wget.pdf文件凌晨两点。第一个条目(0)和第二个条目(2)表示2:00。第三项至第五项(*)是指一天、一个月或一周中的任何时间。最后一项是wget命令,用于下载wget.pdf文件从指定的URL。

这是wget和Cron工作原理的基础。让我们以一个关于如何安排下载的真实例子为例。

计划下载

我们将在2点下载Firefox3.6是的,自从我们的ISP只提供有限的数据量,我们需要在早上8点停止下载。这就是设置的样子。

忽略上面crontab中的前2个条目。第三个和第四个命令是您只需要的两个命令。第三个命令设置一个将在凌晨2点下载Firefox的任务:

[代码]0 2***wget-chttp://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB[/code]

c选项表示wget应该恢复现有的下载,如果它还没有完成的话。

第四个命令将在上午8点停止wget。“Killall”是一个unix命令,它按名称终止进程。

[代码]0 8***killall wget[/code]

killall wget告诉Ubuntu在上午8点停止wget下载文件。

其他有用的wget命令

1指定下载文件的目录

[代码]wget–输出文档=/home/zainul/Downloads/wget手册.pdfhttp://www.gnu.org/software/wget/manual/wget.pdf[/代码]

选项–output document允许您指定下载文件的目录和名称

2下载网站

wget还可以下载一个网站。

[代码]wget-mhttp://www.google.com/profiles/zainul.franciscus[/代码]

上面的命令将下载我的整个谷歌个人资料网页。选项'-m'告诉wget下载指定URL的镜像。

另一个重要的选择是告诉wget下载网站时应该遵循多少链接。

[代码]wget-r-l1http://www.google.com/profiles/zainul.franciscus[/代码]

上面的wget命令使用两个选项。第一个选项'-r'告诉wget递归地下载指定的网站。第二个选项'-l1'告诉wget只从指定网站获取第一级链接。我们可以设置三个级别的'-l2'和'-l3'。

三。忽略robot条目

网站管理员维护一个名为机器人.txt. ‘机器人.txt'维护网页爬虫(如wget)不应爬网的URL列表。我们可以告诉wget忽略机器人.txt“带“-erobots=off”选项。下面的命令告诉wget下载我的google配置文件的第一页并忽略'机器人.txt.

[代码]wget-erobots=关闭http://www.google.com/profiles/zainul.franciscus[/代码]

另一个有用的选项是-U。此选项将wget屏蔽为浏览器。请注意,将应用程序屏蔽为其他应用程序可能会违反web服务提供商的条款和服务。

[代码]wget-erobots=off-U Mozillahttp://www.google.com/profiles/zainul.franciscus[/代码]

结论

Wget是一个非常老派但可黑客攻击的GNU软件包,我们可以用来下载文件。Wget是一个交互式命令行工具,这意味着我们可以让它在后台运行在我们的计算机上,而不必启动任何应用程序。查看wget手册页

[代码]$man wget[/code]

了解我们可以使用wget的其他选项。

链接

Wget手册当Wget中途失败时如何合并两个下载的文件linux QuickTip:一步下载和卸载

  • 发表于 2021-04-13 08:53
  • 阅读 ( 147 )
  • 分类:互联网

你可能感兴趣的文章

xcode代码(xcode)和敏捷的(swift)的区别

...。Xcode和Swift的关键区别在于,Xcode是苹果公司开发的用于构建Mac的集成开发环境(IDE),而IOS应用程序和Swift是苹果公司开发的功能强大的编程语言,具有安全的编程模式来开发IOS和Mac应用程序。Swift提供安全的内存管理,用Swift...

  • 发布于 2020-10-16 12:12
  • 阅读 ( 839 )

红宝石(ruby)和python(python)的区别

...象编程。因此,开发人员更容易对复杂的软件进行建模和构建。程序可以在运行时修改自己的结构和行为。因此,它具有反射性。 Ruby语法易于学习和阅读。没有太多复杂的语法、命名和行为。Ruby语法与英语语言相似,程序员容...

  • 发布于 2020-10-19 17:41
  • 阅读 ( 344 )

4个最好的tiktok时间表安排您的tiktok视频

在TikTok上培养和维持一个忠实的追随者通常是要付出巨大代价的。时间是主要的取舍之一。然而,使用TikTok调度程序应用程序可以让你提前安排TikTok视频,从而让你找回一些宝贵的空闲时间。 ...

  • 发布于 2021-03-10 18:52
  • 阅读 ( 376 )

macports为您的mac带来了最好的开源软件

... 考虑到苹果的做法,你认为免费开源软件(FOSS)在Mac上很少见是可以原谅的。实际上,Mac是社区中许多最好的免费工具的优秀宿主。 ...

  • 发布于 2021-03-13 05:02
  • 阅读 ( 351 )

7个免费的windows工具来自动执行重复的任务

使用电脑最糟糕的一个部分就是它的无意识重复性:在数百个文件夹中搜索一个文件,或者日复一日地键入相同的文本,或者清理和组织上千个不同的文件。。。 ...

  • 发布于 2021-03-14 01:07
  • 阅读 ( 265 )

编程与web开发:有什么区别?

...软件。在网站设计方面,当一家公司想要一个新网站时,很少会通过外科手术添加新的部分。对于网站来说,从头开始更有效率。 ...

  • 发布于 2021-03-15 15:29
  • 阅读 ( 406 )

所以你想制作iphone应用程序?10个初学者项目

...于下面列出的教程,有一些基本编程知识是很好的,但是很少必要。如果你想在开始之前先把基本知识弄清楚,你可以阅读苹果对Swift的介绍。但你也可以直接跳进去,你不应该有太多麻烦。 ...

  • 发布于 2021-03-16 13:41
  • 阅读 ( 268 )

11款高级mac应用,让setapp订阅变得值得

... 在你的电脑上做任何严肃的工作很少只涉及一个应用程序。不管你是在写代码,还是在做设计工作,你都有可能打开一些窗口。你可能也会把它们移到熟悉的地方,让它们保持在容易接触的地方。工作区...

  • 发布于 2021-03-19 20:14
  • 阅读 ( 280 )

编写你的第一个应用程序的9个最好的免费代码编辑器

... 编辑器非常轻量级,只需要很少的运行时内存。这使得它成为一个快速和灵活的应用程序,适用于不同的操作系统平台,包括Linux、Windows和Mac。 ...

  • 发布于 2021-03-30 00:13
  • 阅读 ( 258 )

如何使用synology nas下载文件(避免在夜间打开电脑)

如果你有一个Synology的NAS,你可以很容易地配置它为你下载大文件,让你关闭你的电脑,让NAS在后台嗡嗡作响。现在让我们看看如何开始和安排这些下载。 为什么要使用NAS下载文件?它可以释放你的电脑,这样你就可以关闭它...

  • 发布于 2021-04-07 06:05
  • 阅读 ( 167 )

相关推荐