参考：
https://www.cnblogs.com/Formulate0303/p/11170824.html
http://www.nndssk.com/xtwt/202057pvaGrC.html

系统命令：wc -l filename #统计大文件实在是太慢了
grep方法：grep -c "" filename #表示找出文本文件中所有的行，并输出行数。-c选项用于数目计数，可以统计文本文件中每行符合指定模式的行数，并输出总和。
grep -n "" | awk -F : 'END{print $1}' #迅速。解压打开文件，文件每行前标出行号并用冒号连接，以冒号为分隔符输出最后一行的第一列
sed方法：sed -n '$=' filename #迅速。直接打印出多少行。-n 取消默认的输出,使用安静(silent)模式。'$='输出最后一行行号,'='输出行号
awk方法：awk 'END{print NR}' filename #迅速。解压打开文件，输出文件最后一行行号

测试文件

生成测试所需文件：

# awk 'BEGIN{for(i=0;i<10000000;i++)print i}' >> test.txt
# ll -h test.txt 
-rw-r----- 1 root root 79M May  5 15:58 test.txt

测试压缩文件

测试压缩文件+过滤关键词

测试压缩文件+过滤关键词+占比

注：if方式取决于匹配到的数据量为准，如果数据量较大，处理时长会相对长点。

测试多个压缩文件+过滤关键词+占比

批量测试多个压缩文件+过滤关键词+占比

# cat scan.sh
#!/bin/bash
logdir="/root/test_route"
zxdir="/root"
gzfile="${zxdir}/route_inquire_log"
inquire_date="2023-05-05-11-20-5"
ls ${logdir}/${inquire_date}*_appa_route_appa_*.gz > ${gzfile}

function check(){
	tmp_fifofile="/tmp/$$.fifo"	#以进程ID号命名管道文件
	mkfifo $tmp_fifofile		#创建临时管道文件
	exec 6<>$tmp_fifofile		#以读写方式打开tmp_fifo_file管道文件,文件描述符为6，也可以取3-9任意描述符
	rm $tmp_fifofile		#删除临时管道文件，也可不删除
	for ((i=0;i<$thead_num;i++));do 
		echo
	done >&6			#输出重导向到定义的文件描述符4上

	for gz_file in `cat ${gzfile}`;do
		read -u6
		{
			ret=`zcat ${gz_file} | awk -F '\\\\|\\\\|' 'BEGIN {ms1=0}{if($11=="-") ms1++; }END{printf ("%d\t%d\t%.2f\n",ms1,NR,ms1/NR*100)}'`
			echo -e "${gz_file}\t${ret}" |tee -a $LOG
			sleep 1
			echo >&6	#再写入一个空行，使挂起的循环继续执行
		} &			#放入后台执行
	done
	wait				#等待所有后台进程执行完成
	exec 6>&-			#删除文件描述符
}

LOG="ret.txt"
>$LOG
thead_num=5
check

分开执行结果：

# time sh scan.sh
/root/test_route/2023-05-05-11-20-57__test__1004.gz	10822	410543	2.64
/root/test_route/2023-05-05-11-20-57__test__1001.gz	38736	1468845	2.64
/root/test_route/2023-05-05-11-20-57__test__1002.gz	38836	1472938	2.64
/root/test_route/2023-05-05-11-20-57__test__1003.gz	38894	1474999	2.64
/root/test_route/2023-05-05-11-20-57__test__1000.gz	38831	1472882	2.64
/root/test_route/2023-05-05-11-20-57__test__1005.gz	25356	1101200	2.30
/root/test_route/2023-05-05-11-20-57__test__2001.gz	0	66280	0.00
/root/test_route/2023-05-05-11-20-57__test__2000.gz	0	188654	0.00
/root/test_route/2023-05-05-11-20-57__test__1000.gz	8636	127493	6.77
/root/test_route/2023-05-05-11-20-57__test__3001.gz	8851	977688	0.91
/root/test_route/2023-05-05-11-20-57__test__1001.gz	960	29085	3.30
/root/test_route/2023-05-05-11-20-57__test__2000.gz	0	3036	0.00
/root/test_route/2023-05-05-11-20-57__test__3000.gz	11659	1492287	0.78
/root/test_route/2023-05-05-11-20-57__test__4001.gz	8851	976172	0.91
/root/test_route/2023-05-05-11-20-57__test__2001.gz	0	1285	0.00
/root/test_route/2023-05-05-11-20-57__test__4000.gz	11659	1491284	0.78
/root/test_route/2023-05-05-11-20-57__test__3001.gz	8399	979872	0.86
/root/test_route/2023-05-05-11-20-57__test__4001.gz	8399	978450	0.86
/root/test_route/2023-05-05-11-20-57__test__3000.gz	10647	1497706	0.71
/root/test_route/2023-05-05-11-20-57__test__4000.gz	10647	1497228	0.71

real	0m14.017s
user	1m4.579s
sys	0m1.833s

# time cat ret.txt | awk -F'\t' '{sum1+=$2; sum2+=$3; }END{printf ("%d,%d,%.2f%%\n", sum1,sum2,sum1/sum2*100)}'
280183,17707927,1.58%

real	0m0.002s
user	0m0.002s
sys	0m0.000s

合并执行结果：

# time sh scan.sh | awk -F'\t' '{sum1+=$2; sum2+=$3; }END{printf ("%d,%d,%.2f%%\n", sum1,sum2,sum1/sum2*100)}'
280183,17707927,1.58%

real	0m15.465s
user	1m5.948s
sys	0m1.825s

# time sh scan.sh | awk -F'\t' '{sum1+=$2; sum2+=$3; }END{printf ("%d,%d,%.2f%%\n", sum1,sum2,sum1/sum2*100)}'
280183,17707927,1.58%

real	0m9.427s
user	1m4.480s
sys	0m2.000s

修改项，
1，2种方法，执行前检测是否还有进程在执行，有的话需要先kill掉原有的进程。

2，方法1，执行为n+m+1，可以尝试优输出count；方法2，当前方案执行为0.05n+m+1，0.05为符合if的数据。