How to split text files into small subsets with Python?

This is how you do it:

lines_per_file = 500
smallfile = None
with open('processedTotal.txt') as bigfile:
   for lineno, line in enumerate(bigfile):
      if lineno % lines_per_file == 0:
         if smallfile:
            smallfile.close()
         small_filename = 'set_{}.txt'.format(lineno + lines_per_file)
         smallfile = open(small_filename, "w")
      smallfile.write(line)
   if smallfile:
      smallfile.close()

Yorum bırakın

Filed under Python

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Connecting to %s