Как разбить pandas на файл данных, где строка содержит </ s> </ s> в python

Пример того, что возможно:

код:

$ more replace.py 
import re

input = """column A                            column B  
(('<s>', '<s>'),  'abc')            0.043025210084033615
(('<s>', 'abc'),  'abc')            0.65234375
(('abc', 'abc'),  'abc')            0.04259501965923984
(('abc', 'abc'),  'abc')            0.18604651162790697
(('abc', 'abc'),  '</s>')           0.41317365269461076
(('abc', '</s>'), '</s>')           0.011148272017837236
(('<s>', '<s>'),  'def')            0.09090909090909091
(('def', 'def'),  'def')            0.008287292817679558
(('def', 'def'),  'def')            0.13506493506493505
(('def', 'def'),  '</s>')           0.007653061224489796
(('def', '</s>'), '</s>')           0.08333333333333333
(('<s>', '<s>'),  'ghi')            0.5
(('ghi', 'ghi'),  'ghi')            0.125
(('ghi', 'ghi'),  'ghi')            0.033766233766233764
(('ghi', 'ghi'),  '</s>')           0.0694980694980695
(('ghi','</s>'),  '</s>')           0.16666666666666666"""

print re.sub(r"(\(\('[^']*', '</s>'\), '</s>'\)\s+[0-9\.]+\s+)","\1\ncolumn A                            column B\n", input)

выход:

$ python replace.py 
column A                            column B  
(('<s>', '<s>'),  'abc')            0.043025210084033615
(('<s>', 'abc'),  'abc')            0.65234375
(('abc', 'abc'),  'abc')            0.04259501965923984
(('abc', 'abc'),  'abc')            0.18604651162790697
(('abc', 'abc'),  '</s>')           0.41317365269461076

column A                            column B
(('<s>', '<s>'),  'def')            0.09090909090909091
(('def', 'def'),  'def')            0.008287292817679558
(('def', 'def'),  'def')            0.13506493506493505
(('def', 'def'),  '</s>')           0.007653061224489796

column A                            column B
(('<s>', '<s>'),  'ghi')            0.5
(('ghi', 'ghi'),  'ghi')            0.125
(('ghi', 'ghi'),  'ghi')            0.033766233766233764
(('ghi', 'ghi'),  '</s>')           0.0694980694980695
(('ghi','</s>'),  '</s>')           0.16666666666666666

Пояснения:

• демонстрация регулярного выражения
• для получения информации о регулярном выражении: http://www.rexegg.com/regex-quickstart.html
• Объяснение кода: вы заменяете каждую строку, которая соответствует регулярному выражению, в точности, что содержит строка (используя обратную ссылку), и вы добавляете новую строку с заголовками из двух столбцов (проверьте https://docs.python.org/2/library/re.html)