Чтобы разбить большой файл на меньшие, можно воспользоваться командой split
Например, если у вас есть большой файл big_log_file.log с миллионами строк (размером в несколько гигабайт) и нужно поделить его на меньшие файлы по 1000000 строк каждый, то это можно сделать такой командой:
split -l 1000000 big_log_file.log split_log_prefix_
Где -l количество строк в каждом файле, big_log_file.log — имя лог файла, а split_log_prefix_ — префикс имени для разбиваемых файлов.
В результате разбиение вы получите несколько меньших по размеру файлов с именами split_log_prefix_aa, split_log_prefix_ab и split_log_prefix_ac по 1000000 строк каждый.
