所以我有一个小的 bash 脚本:
for store in {4..80}
do
for page in {1..200}
do
curl 'https://website.com/shop.php?store_id='$store'&page='$page'&PHPSESSID=sessionID' -O
done
done
该脚本可以运行,但会依次下载 4-80 个商店的所有 200 个商店页面,这需要花费大量时间。 (注意 curl URL 中的 bash 变量存储和页面)
我的目标是为每个商店/页面同时运行尽可能多的 curl 请求,而不是一个接一个地运行,以节省时间。
这可能吗?
最佳答案
curl
可以自己运行循环。这将 curl
限制为 100 个同时 session :
curl 'https://website.com/shop.php?store_id=[4-80]&page=[1-200]&PHPSESSID=sessionID' -O --parallel --parallel-max 100
https://stackoverflow.com/questions/69816743/
相关文章:
python - 仅当 Pandas 中的所有值均为 0 时,才将 0 替换为选定列的 NaN
java - Spring Boot 服务层 : Unit or Integration tests
ios - react native ,ITMS-90078 : Missing Push Noti
reactjs - Stripe react native : Merchant display n
f# - Dapper F# - A Parameterless default 一个无参数的默认构
javascript - React Native Button onPress 函数示例
java - 如何在 Java 中为 5x5 二维数组正确使用制表符空间?
reactjs - Next.js 应用程序是 SPA 还是单页应用程序?