не надо выкладывать простыни, файл можно прикрепить
не совсем понятень исходный to do, но вот может и не красивое решение, после строки
if line.startswith('http://'):
line = line.replace('|User-Agent=samsunghas-agent%2F1', '').replace('\r', '').replace('\n', '')