Создать большой набор данных путем дублирования записей

Для этой цели я сделал небольшой скрипт python:

# mulcsv.py 
import sys

def main(fname_in, fname_out, N):
    header = None
    content = []
    with open(fname_in, "r") as fin:
        for linenr, line in enumerate(fin,1):
            # remove NL? line = line.strip()
            if linenr==1:
                header = line
            else:
                content.append(line)

    with open(fname_out, "w") as fout:
        fout.write(header)
        for nr in range(N):
            fout.write("".join(content))
    print("Output in %s" % fname_out)

if __name__=="__main__":
    if len(sys.argv)!=4:
        print("Usage: %s <fname-in>.csv <fname-out>.csv N" % (sys.argv[0],))
        sys.exit(0)
    # TODO: check and parse arguments (in file existing, N is positive integer) - use argsparse?
    main(fname_in = sys.argv[1], fname_out = sys.argv[2], N = int(sys.argv[3]))
    # TESTING: main(fname_in = "r.csv", fname_out = "r2.csv", N = 5)

И назовите это:

python mulcsv.py input.csv output.csv 5

Для правильной проверки аргументов/синтаксического анализа используйте argsparse.

Поскольку вы не указали, с какой RDBMS вы планируете выполнить свой SQL, я дам вам решение для PostgreSQL.

Во-первых, вы можете скопировать данные CSV в PostgreSQL с помощью команды COPY.

Затем вы можете использовать функцию generate_series для расширения ваших данных, как это (CTE csv предназначен только для тестирования):

with srs as (
    select a
    from generate_series(0,99) a
),
csv as (
    select *
    from mycsv
)
select *
from csv
join srs on true

Отрегулируйте в соответствии с вашими потребностями. Это генерирует в 99 раз больше, чем в CTE csv.