curl

curl 参数

curl命令 是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载，所以是综合传输工具，但按传统，习惯称curl为下载工具。作为一款强力工具，curl支持包括HTTP、HTTPS、ftp等众多协议，还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化，curl可以祝一臂之力。

通过http协议来解析解析，这个doh.pub是dnspod的域名

curl -s 'https://doh.pub/dns-query?name=www.baidu.com&type=A' |jq '.Answer[].data'
"www.a.shifen.com."
"180.101.49.12"
"180.101.49.11"

将内容保存到本地/文件下载

curl命令可以用来执行下载、发送各种HTTP请求，指定HTTP头部等操作。如果系统没有curl可以使用yum install curl安装，也可以下载安装。curl是将下载文件输出到stdout，将进度信息输出到stderr，不显示进度信息使用--silent选项。

curl URL --silent

这条命令是将下载文件输出到终端，所有下载的数据都被写入到stdout。

使用选项-O将下载的数据写入到文件，必须使用文件的绝对地址：

curl http://man.linuxde.net/text.iso --silent -O

选项-o将下载数据写入到指定名称的文件中，并使用--progress显示进度条：

curl http://man.linuxde.net/test.iso -o filename.iso --progress
######################################### 100.0%

curl -o 1.css http://114.67.59.203/css/promotion/promotion.min.css?1208 -H 'host:image.meilele.com'

关于超时的参数

wget

--timeout=seconds #一次读取数据的超时时间

--waitretry=seconds # 两次重试之间的等待间隔
--tries=seconds # 重试次数

--dns-timeout # dns 解析的时间

--connect-timeout #链接的时间

--read-timeout # 读取一次数据的时间

切记，这里的timeout是wget下载过程中一次读取数据的超时时间，并不是整个下载任务的超时时间

获取url的头部信息

使用head方式发送http请求/只打印响应头部信息

-I

指定请求头部/使用curl设置参照页字符串

参照页是位于HTTP头部中的一个字符串，用来表示用户是从哪个页面到达当前页面的，如果用户点击网页A中的某个连接，那么用户就会跳转到B网页，网页B头部的参照页字符串就包含网页A的URL。

使用--referer选项指定参照页字符串

referer

$curl -I --referer http://1.sina.com/ http://img.jiemian.com/101/original/20161229/148300375266728000_a580x330.jpg 2>/dev/null|grep 'HTTP'
---------------------------------------------------------------
HTTP/1.0 403 Forbidden #表示内容不存在或者被拒绝访问

$curl -I --referer http://1.qq.com/ http://img.jiemian.com/101/original/20161229/148300375266728000_a580x330.jpg 2>/dev/null|grep 'HTTP'
---------------------------------------------------------------
HTTP/1.1 200 OK #表示Referer白名单跳转请求允许访问到资源

获取状态码

curl -I -m 10 -o /dev/null -s -w %{http_code} www.baidu.com

上传

http://vchat.file.vivo.xyz:6019/module-file/v1/pc/upload

POST请求

curl -d 'appa_status@0' -X POST http://collect.yzdx.szdsp.haplat.net:80/file

设置代理

curl --haproxy-protocol --connect-to api.xxslyhg.com:443:114.199.67.132:10443 https://api.xxslyhg.com/capi/1.0/utils/geoiploc

{"countrycode":"TW","geoiploc":"TW","ip":"1.34.194.57","status":"ok"}

curl -x

$ curl -I 'http://devtools.qiniu.com/qiniu.png' -x 'iovip.qbox.me:80' #代理域名+端口
$ curl -I 'http://devtools.qiniu.com/qiniu.png' -x '183.131.7.23:80' #IP+端口

host重写

适用：http，https

安装最新版本的Curl，否则不支持--resolve命令

$ wget https://curl.haxx.se/download/curl-7.51.0.tar.gz
$ tar zxvf curl-7.51.0.tar.gz
$ cd curl-7.51.0
$ ./configure --prefix=/usr/local/curl
$ make;make install
$ export PATH=/usr/local/curl/bin:$PATH
$ source /etc/profile
$ curl -V
curl 7.51.0 (x86_64-pc-linux-gnu) libcurl/7.51.0 OpenSSL/1.0.1e zlib/1.2.3 #提示版本信息

-resolve host:port:address

# 测试到源站
# curl --resolve vchat.file.vivo.xyz:6019:120.197.175.244 http://vchat.file.vivo.xyz:6019/nUpload7/2021/110916/09f6287feae03e0ab02f85e21acb2335.jpg -voa

# curl --resolve vchat-work.vivo.xyz:443:120.86.185.110 https://vchat-work.vivo.xyz/nUpload7/2021/110916/09f6287feae03e0ab02f85e21acb2335.jpg -voa

# 测试过加速
# curl --resolve vchat-work.vivo.xyz:443:138.113.33.84 https://vchat-work.vivo.xyz/nUpload7/2021/110916/09f6287feae03e0ab02f85e21acb2335.jpg -voa

curl https://datapixxxx.cn/ --resolve *:443:1.1.1.1

curl -IL https://fdh5imgcdn.oz1997.com/lp/img/head/t011.jpg -H 'referer:http://csdn.kmtyjz.com' --resolve fdh5imgcdn.oz1997.com:443:58.216.109.182 2>/dev/null|grep 'HTTP'

# ipv6指定IP测试，本机需要有v6的地址，加上-6参数，ipv6地址不携带[]
curl -6 --resolve example.com:80:2001:db8::1 http://example.com

查看证书情况

curl --resolve 'www.abc.com:127.0.0.1' https://www.abc.com/ -vvv

构造SNI

curl "https://www.2dfire.com/check_health" -voa --resolve www.2dfire.com:443:220.242.137.126  

设置最大请求时间

--connect-timeout   <seconds>

设置最大传输时间

-m /--max-time <seconds>

curl --connect-timeout 100 -m 300  -o /dev/null -s -w %{http_code}http://reportdownload.cnki.net/amlcdownload/df824907-eb5f-41f0-aebd-bf13acd7ae5f.rar

验证点播平台拖拽功能

start参数后是mp4的起始时间，改变START后的参数查看下载内容是否随之改变

$ curl -o /dev/null http://vodxuanw.sobeycache.com/vod/2016/07/04/0739e865fba446faa7fdd128b27369ef/h264_256k_mp4_001.mp4?start=50
 % Total % Received
 1 6271k 1 69556 #从50秒开始下载，总共有6271k的资源可下载

$ curl -o /dev/null http://vodxuanw.sobeycache.com/vod/2016/07/04/0739e865fba446faa7fdd128b27369ef/h264_256k_mp4_001.mp4?start=100
 % Total % Received 
 23 3626k 23 839k #从100秒开始下载，总共有3626k的资源可下载

原文链接：https://blog.csdn.net/lipengshiwo/article/details/54378176

断点续传

curl能够从特定的文件偏移处继续下载，它可以通过指定一个便宜量来下载部分文件：

curl URL/File -C 偏移量

#偏移量是以字节为单位的整数，如果让curl自动推断出正确的续传位置使用-C -：
curl -C -URL

curl的带宽控制和下载配额

使用--limit-rate限制curl的下载速度：

curl URL --limit-rate 50k

命令中用k（千字节）和m（兆字节）指定下载速度限制。

使用--max-filesize指定可下载的最大文件大小：

curl URL --max-filesize bytes

如果文件大小超出限制，命令则返回一个非0退出码，如果命令正常则返回0。

用curl进行认证

使用curl选项 -u 可以完成HTTP或者FTP的认证，可以指定密码，也可以不指定密码在后续操作中输入密码：

curl -u user:pwd http://man.linuxde.net
curl -u user http://man.linuxde.net

用curl设置用户代理字符串

有些网站访问会提示只能使用IE浏览器来访问，这是因为这些网站设置了检查用户代理，可以使用curl把用户代理设置为IE，这样就可以访问了。使用--user-agent或者-A选项：

curl URL --user-agent "Mozilla/5.0"
curl URL -A "Mozilla/5.0"

其他HTTP头部信息也可以使用curl来发送，使用-H“头部信息” 传递多个头部信息，例如：

curl -H "Host:man.linuxde.net" -H "accept-language:zh-cn" URL

用curl设置cookies

使用--cookie "COKKIES"选项来指定cookie，多个cookie使用分号分隔：

curl http://man.linuxde.net --cookie "user=root;pass=123456"

将cookie另存为一个文件，使用--cookie-jar选项：

curl URL --cookie-jar cookie_file

客户测试命令

curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" --location --request GET -G --data-urlencode user_info['user_id']=1495070 --data-urlencode data['page']=1 --data-urlencode data['limit']=10 --data-urlencode data['user_id']=1495070 --data-urlencode user_inf['app_id']=1 https://oneplay-wsappa.xiaoyezi.com/app/user/inviteRecord