Чем открыть лог файл большого размера

Как открыть большие текстовые файлы в Windows

Если вы пытаетесь загрузить большой текстовый файл размером, например, больше 10 Гб в Windows, то у вас ничего не получится. Классический Блокнот и Wordpad поддерживают только небольшие документы. И даже такие хорошие сторонние альтернативы, как Notepad ++, имеют ограничения в размере файлов.

Многогибайтные документы, конечно, редкость. За всю мою практику мне всего лишь несколько раз приходилось искать софт, чтобы открыть какие-то огромные текстовые файлы с логами. К очередному такому случаю и захотелось написать заметку на память.

Программы для открытия больших текстовых файлов в Windows:

Итак, здесь только бесплатный софт. Покупать программу ради открытия одного файла совершенно не рационально.

Спасибо, что читаете! Подписывайтесь на мои каналы в Telegram, Яндекс.Мессенджере и Яндекс.Дзен. Только там последние обновления блога и новости мира информационных технологий.

Респект за пост! Спасибо за работу!

Хотите больше постов? Узнавать новости технологий? Читать обзоры на гаджеты? Для всего этого, а также для продвижения сайта, покупки нового дизайна и оплаты хостинга, мне необходима помощь от вас, преданные и благодарные читатели. Подробнее о донатах читайте на специальной странице.

Заранее спасибо! Все собранные средства будут пущены на развитие сайта. Поддержка проекта является подарком владельцу сайта.

Источник

Чем открыть лог файл большого размера

Сообщения: 4432
Благодарности: 993

——-
— Я не разрешаю тебе быть плохой! Потому что плохие люди совершают плохие поступки. А это нехорошо!
(Из наставлений 5 летней девочки своей младшей сестре)

zod1, логи не надо открывать по той простой причине, что прочитать 950 Мегабайт человек не в состоянии. Тривиальная осуществляется командой findstr. »

Мне нужно не открыть его, а отфильтровать и залить на специальный сервис который его отпарсит в красивые таблички.
В данном случае задача просто отсечь данные за последние месяца 3, или хотяб за месяц

человек то прочитает. за много-много лет. а вот компутер начинает задумываться. что по идее странно. »

Office начнет считать кол-во букв, слов и страниц. И конечно же на этом зависнет. Вобще такие объемы обрабатывать надо в каким либо скриптом. Perl, Awk? А на более мелкие блоки разбить нельзя? »

Можно и нужно разбить. Перлом не владею, видимо придется свести шапочное знакомство) Думаю смотреть в сторону Lua

» width=»100%» style=»BORDER-RIGHT: #719bd9 1px solid; BORDER-LEFT: #719bd9 1px solid; BORDER-BOTTOM: #719bd9 1px solid» cellpadding=»6″ cellspacing=»0″ border=»0″>

Сообщения: 27565
Благодарности: 8060

Источник

Чем открыть лог файл большого размера

Господа,
проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.

Посоветуйте счастливое исключение.

Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.

	От:	Ромашка
	Дата:	27.01.11 15:37
Оценка:	1 (1) +1

27.01.2011 17:33, Здравствуйте, SteeLHeaD:
> FAR не умеет не резать строки.

F2 не пробовал нажать? Или что значит «не резать строк»?

Всё, что нас не убивает, ещё горько об этом пожалеет.

	От:	GarryIV
	Дата:	27.01.11 15:41
Оценка:	5 (2) +3

Здравствуйте, SteeLHeaD, Вы писали:

SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.

SLH>Посоветуйте счастливое исключение.

А цель то какая? М. б. сразу tail\grep?

	От:	MT-Wizard
	Дата:	27.01.11 15:43
Оценка:

Здравствуйте, SteeLHeaD, Вы писали:

SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.

SLH>Посоветуйте счастливое исключение.

SLH>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.

	От:	blackhearted
	Дата:	27.01.11 15:45
Оценка:

Здравствуйте, SteeLHeaD, Вы писали:

SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.

SLH>Посоветуйте счастливое исключение.

SLH>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.

отлично notepad++ открывал файлы порядка 3 Гб. Не быстро, но надёжно. И word wrap работал.

	От:	Ромашка
	Дата:	27.01.11 15:49
Оценка:

27.01.2011 17:41, Здравствуйте, GarryIV:
> А цель то какая? М. б. сразу tail\grep?

Для винды рекомендую LogParser — убойная программа.

Всё, что нас не убивает, ещё горько об этом пожалеет.

	От:	CaptainFlint	http://flint-inc.ru/
	Дата:	27.01.11 16:10
Оценка:

Здравствуйте, SteeLHeaD, Вы писали:

SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.

SLH>Посоветуйте счастливое исключение.

Если речь о текстовом редакторе общего назначения, то с огромными файлами отлично справляется EmEditor. Но, разумеется, он не заточен на просмотр именно логов, так что (в зависимости от задач), возможно, тут лучше подойдут специализированные утилиты.

	От:	Were
	Дата:	27.01.11 17:26
Оценка:

Здравствуйте, SteeLHeaD, Вы писали:

SLH>Господа,
SLH>проблема известная, но просто я уже заколебался. я полдня потратил на тестирование разных текстовых редакторов, и очень не хочу писать свой.
SLH>Задача. Есть лог файл довольно большого размера (несколько гигабайт, обычно — 1.8 — 2.5 ). В нем не только много текстовых строк, но они еще и длинные (более 1000 символов).
SLH>ВСЕ текстовые редакторы пытаются 1)грузить файл целиком в память (а это невозможно, у меня на машине её просто столько нет) 2)обрезать строки по 255 символов в строке, что делает файл совершенно нечитаемым.

SLH>Посоветуйте счастливое исключение.

SLH>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.

Если только для чтения — F3 у Total Commander справится, он читает кусками.

	От:	CaptainFlint	http://flint-inc.ru/
	Дата:	27.01.11 18:57
Оценка:

Здравствуйте, Were, Вы писали:

W>Если только для чтения — F3 у Total Commander справится, он читает кусками.

У него максимальная длина строки ограничена 1024 символами (если без плагинов; а с плагинами ещё поискать надо такой, который не читает всё в память).

	От:	watchyourinfo
	Дата:	27.01.11 19:07
Оценка:

GIV>А цель то какая? М. б. сразу tail\grep?

на древнем солярисе его родные утилиты крэшились на длинных строках (ну, собственно и posix гарантирует нормальную работу только при вполне ограниченной длине строк).

	От:	SteeLHeaD
	Дата:	28.01.11 09:32
Оценка:

Здравствуйте, watchyourinfo, Вы писали:

LESS под Windows существует?

	От:	Тот кто сидит в пруду
	Дата:	28.01.11 09:34
Оценка:

Существует, но у него большие проблемы с кодировками.

	От:	SteeLHeaD
	Дата:	28.01.11 09:36
Оценка:

Здравствуйте, blackhearted, Вы писали:

SLH>>Notepad++ просто говорит, что файл для него слишком велик, FAR не умеет не резать строки. Их — не предлагать.

B>отлично notepad++ открывал файлы порядка 3 Гб. Не быстро, но надёжно. И word wrap работал.

	От:	SteeLHeaD
	Дата:	28.01.11 09:37
Оценка:

Здравствуйте, GarryIV, Вы писали:

GIV>А цель то какая? М. б. сразу tail\grep?

Цель — посмотреть на него глазами, чтобы понимать, как писать парсер

	От:	SteeLHeaD
	Дата:	28.01.11 09:40
Оценка:

Здравствуйте, Were, Вы писали:

W>Если только для чтения — F3 у Total Commander справится, он читает кусками.

Нажимал F3 у тотал коммандера.
Как выяснилось, TC не умеет читать длинные строки. По умолчанию он переносит их на следующую строку по границе экрана,
а при нажатиии F2 начинает переносить по некой виртуальной границе (по моему, 255 символов).
А мне нужно увидеть лог так, чтобы одна строка располагалась под другой

Здравствуйте, Ромашка, Вы писали:

Р>27.01.2011 17:33, Здравствуйте, SteeLHeaD:
>> FAR не умеет не резать строки.

Р>F2 не пробовал нажать? Или что значит «не резать строк»?

Как выяснилось, TC не умеет читать длинные строки. По умолчанию он переносит их на следующую строку по границе экрана,
а при нажатиии F2 начинает переносить по некой виртуальной границе (по моему, 255 символов).
А мне нужно увидеть лог так, чтобы одна строка располагалась под другой

	От:	Baudolino
	Дата:	28.01.11 09:43
Оценка:

	От:	Finder_b
	Дата:	28.01.11 09:47
Оценка:

	От:	SteeLHeaD
	Дата:	28.01.11 09:53
Оценка:

Здравствуйте, Finder_b, Вы писали:

F_>Здравствуйте, SteeLHeaD, Вы писали:

SLH>>Здравствуйте, GarryIV, Вы писали:

GIV>>>А цель то какая? М. б. сразу tail\grep?

SLH>>Цель — посмотреть на него глазами, чтобы понимать, как писать парсер
F_>А такой вариант: вырезать какой-нибудь файловой утилитой несколько кусков по метров по десять, из начала, конца, и середины. Эти фрагменты уже и смотреть. А потом уже по ошибкам парсера разбирать конкретные строки. Notepad++ нормально справляется с 10 меговыми файлами, если их не редактировать.

Спасибо.
я думаю, вполне разумное предложение.
все равно дальнейший анализ можно делать только программой.
Думаю, что так и сделаю.

	От:	SteeLHeaD
	Дата:	28.01.11 09:55
Оценка:

Спасибо.
Хороший список редакторов, купил еще 8 гб памяти и тестирую редакторы на своей проапгрейженой машине.
Сейчас вот AkelPad пытается загружать один из файлов — как выяснилось, он его все же читает целиком в память.

Источник

Гигабайт и больше: чем открыть очень большой текстовый файл на Windows-ПК

Если вы уже хотя бы раз путались открыть на Windows-компе текстовый файл объемом от 1 гигабайта и больше (да, бывают и такие), то наверняка уже знаете, что текстовые редакторы из стандартного комплекта ОС Windows 10 для этого не годятся.

Ни «Блокнот«, ни «Wordpad» очень большие текстовые файлы не открывают.

И даже многие так называемые сторонние редакторы, в частности популярный Notepad++ работают только с файлами определенного и сравнительно небольшого размера.

Что это за текст такой аж на целый гиг? Разумеется, это не книжки. К примеру, это могут быть логи, файлы паролей и прочие сугубо специальные (и не очень) «произведения», которые тем не менее открывать приходится именно в текстовом формате. В этой связи, вкратце о том.

чем можно открыть очень большой текстовый файл на Windows-ПК

Ниже мы публикуем небольшую подборку программных инструментов. Все они бесплатные. Платные редакторы тоже есть (например, Ultra Edit тоже позволяет открывать очень объемные файлы), однако мы исходили из того, что решить обозначенную задачку можно и без денег.

Благо, возможность такая пока есть:

Вот как-то так. Как видим, программы в основном рассчитаны только на просмотр больших файлов без возможности их редактирования.

Потому если редактировать действительно надо, то можно предварительно разделить текстовый массив на несколько частей и потом вносить исправления в каждую по отдельности в том же Notepad++, к примеру. Но это только в тех ситуациях, если такая возможность есть и не нужно, скажем, производить поиск по всему файлу.

Источник

Блог о работе за компьютером

Как работать эффективнее в интернете, в программах, в реале…

Чем открыть текстовый файл большого размера

В данной статье посмотрим на малоизвестный текстовый редактор с отличным функционалом, от других его отличает отсутствие лишних нагромождений, а так же он способен открывать файлы огромных размеров.

Не многие текстовые редакторы способны открывать и редактировать объёмные текстовые файлы.
Рассмотрим пример редактирования такого лог-файла с помощью редактора TextPad.

Где скачать редактор TextPad?

Скачать его можно на официальном сайте — http://www.textpad.com/download/index.html.

Кстати, этот редактор поддерживается и живёт с конца 90-х годов. Пожалуй, единственный минус — он на английском языке (может где-то есть русификаторы, но я не заморачивался, ибо редактор прост как 5 копеек).

При первом запуске, будет показана подсказка. Чтобы такие подсказки не появлялись при каждом запуске программы, просто снимите галочку (Show tips on startup).

Для отображения номеров строк, зайдите в меню View и нажмите Line Numbers.

Как открыть и редактировать большие текстовые файлы?

Перед началом редактирования файлов, рекомендую сделать их резервные копии.

В данном примере будем редактировать лог-файл access_log, весом 83 МБ.

Допустим, нам нужно выделить 30 строк, которые идут друг за другом и содержат нужные нам ip-адреса, по которым посетители заходили на сайт в определенный день. Строки находятся где-то в середине файла.

Итак, запускаем TextPad и открываем наш файл. Находим нужные нам строки по номеру или по нужной дате, можно воспользоваться командой поиска (F5). Теперь ставим указатель мыши в начало нужной строки, заходим в меню Search и выполняем команду Go To…(Ctrl+G).

В появившемся окошке нужно указать Line(строка), поставить галочку Extend selection и ввести номер строки, до которой нужно выполнить выделение, в нашем случае 81.

Результат:

Получившееся выделение можно стереть или копировать и сохранить в другой файл, в зависимости от Ваших целей.

Как получить список ip-адресов из лог-файла?

Можно сделать список ip-адресов, которые нужно достать из лог-файла, но помимо ip-адресов в лог-файл записывается и другая информация. Давайте очистим и отфильтруем ip-адреса от лишнего.

Для начала нужно определить максимальную длину нужных нам адресов, просто просмотрев файл, а также определить максимальную длину ненужной нам информации.

В нашем случае, самый длинный ip-адрес заканчивается на 16 колонке, можно смело выделять весь файл начиная с 17 колонки. Максимальную длину можно смело указать 600-800.

Теперь нам нужно выбрать режим блокового выделения. Для этого кликаем два раза левой кнопкой мышки на слове Block в самом низу окна редактора.

Далее, не снимая выделения, пролистаем файл до конца, чтобы узнать на какой строке он заканчивается и проделываем тоже самое, что и раньше. Вызываем команду Go To…(Ctrl+G), выбираем строки (Line), указываем последнюю строку и не забываем ставить галочку на Extend selection.

Результат:

Полученное выделение текста можно удалить.

В файле остались лишние тире, которые можно удалить командой Replace(замена), аналогично «поиску и замены» в других редакторах.

Для того чтобы убрать повторяющиеся ip-адреса, можно применить сортировку. В меню Tools, выбираем Sort…(F9).

В появившемся окошке ставим галочку на Delete duplicate lines(удалять дубликаты строк). Цифры обозначают диапазон(колон), в котором нужно сортировать информацию.

В итоге у нас получился чистый, отсортированный список.

Вот и всё на сегодня.

Если данная статья оказалась вам полезной, то не забывайте оставлять комментарии.

Источник