Bash sed примеры. Продвинутый sed: управление текстовыми потоками в Linux. Выбор нужных элементов редактируемого текста

Привет всем!
По роду деятельности я программист на Java. Последние месяцы работы заставили меня познакомиться с разработкой под Android NDK и соответственно написание нативных приложений на С. Тут я столкнулся с проблемой оптимизации Linux библиотек. Многие оказались абсолютно не оптимизированы под ARM и сильно нагружали процессор. Ранее я практически не программировал на ассемблере, поэтому сначала было сложно начать изучать этот язык, но все же я решил попробовать. Эта статья написана, так сказать, от новичка для новичков. Я постараюсь описать те основы, которые уже изучил, надеюсь кого-то это заинтересует. Кроме того, буду рад конструктивной критике со стороны профессионалов.

Введение

Итак, для начала разберёмся что же такое ARM. Википедия дает такое определение:

Архитектура ARM (Advanced RISC Machine, Acorn RISC Machine, усовершенствованная RISC-машина) - семейство лицензируемых 32-битных и 64-битных микропроцессорных ядер разработки компании ARM Limited. Компания занимается исключительно разработкой ядер и инструментов для них (компиляторы, средства отладки и т. п.), зарабатывая на лицензировании архитектуры сторонним производителям.

Если кто не знает, сейчас большая часть мобильных устройств, планшетов разработаны именно на этой архитектуре процессоров. Основным преимуществом данного семейства является низкое энергопотребление, благодаря чему он часто используется в различных встроенных системах. Архитектура развивалась с течением времени, и начиная с ARMv7 были определены 3 профиля: ‘A’(application) - приложения, ‘R’(real time) - в реальном времени,’M’(microcontroller) - микроконтроллер. Историю разработки этой технологии и другие интересный данные вы можете прочитать в Википедии или погуглив в интернете. ARM поддерживает разные режимы работы (Thumb и ARM, кроме того в последние время появился Thumb-2, являющийся смесью ARM и Thumb). В данной статье рассмотрим собственно режим ARM, в котором исполняется 32-битный набор команд.

Каждый ARM процессор создан из следующих блоков:

37 регистров (из которых видимых при разработке только 17)
Арифметико-логи́ческое устройство (АЛУ) - выполняет арифметические и логические задачи
Barrel shifter - устройство, созданное для перемещения блоков данных на определенное количество бит
The CP15 - специальная система, контроллирующая ARM сопроцессоры
Декодер инструкций - занимается преобразованием инструкции в последовательность микроопераций

Это не все составляющие ARM, но углубление в дебри построения процессоров не входит в тему данной статьи.

Конвейерное исполнение (Pipeline execution)

В ARM процессорах используется 3-стадийный конвейер (начиная с ARM8 был реализова 5-стадийный конвейер). Рассмотрим простой конвейер на примере процессора ARM7TDMI. Исполнение каждой инструкции состоит из трёх ступеней:

1. Этап выборки (F)
На этом этапе инструкции поступают из ОЗУ в конвейер процессора.
2. Этап декодирования (D)
Инструкции декодируются и распознаётся их тип.
3. Этап исполнения (E)
Данные поступают в ALU и исполняются и полученное значение записывается в заданный регистр.

Но при разработке надо учитывать, что, есть инструкции, которые используют несколько циклов исполнения, например, load(LDR) или store. В таком случае этап исполнения (E) разделяется на этапы (E1, E2, E3...).

Условное выполнение

Одна из важнейших функций ARM ассемблера - условное выполнение. Каждая инструкция может исполняться условно и для этого используются суффиксы. Если суффикс добавляется к названию инструкции, то прежде чем выполнить ее, происходит проверка параметров. Если параметры не соответствуют условию, то инструкция не выполняется. Суффиксы:
MI - отрицательное число
PL - положительное или ноль
AL - выполнять инструкцию всегда
Суффиксов условного выполнения намного больше. Остальные суффиксы и примеры прочитать в официальной документации: ARM документация
А теперь пришло время рассмотреть…

Основы синтаксиса ARM ассемблера

Тем, кто раньше работал с ассемблером этот пункт можно фактически пропустить. Для всех остальных опишу основы работы с этим языком. Итак, каждая программа на ассемблере состоит из инструкций. Инструкция создаётся таким образом:
{метка} {инструкция|операнды} {@ комментарий}
Метка - необязательный параметр. Инструкция - непосредственно мнемоника инструкции процессору. Основные инструкции и их использование будет разобрано далее. Операнды - константы, адреса регистров, адреса в оперативной памяти. Комментарий - необязательный параметр, который не влияет на исполнение программы.

Имена регистров

Разрешены следующие имена регистров:
1.r0-r15

3.v1-v8 (переменные регистры, с r4 по r11)

4.sb and SB (статический регистр, r9)

5.sl and SL (r10)

6.fp and FP (r11)

7.ip and IP (r12)

8.sp and SP (r13)

9.lr and LR (r14)

10.pc and PC (программный счетчик, r15).

Переменные и костанты

В ARM ассемблере, как и любом (практически) другом языке программирования могут использоваться переменные и константы. Они разделяются на такие типы:

Числовые
Логические
Строковые

Числовые переменные инициализируются так:
a SETA 100; создается числовая переменная «a» с значением 100.
Строковые переменные:
improb SETS «literal»; создается переменная improb с значение «literal». ВНИМАНИЕ! Значение переменной не может превышать 5120 символов.
В логических переменных соответственно используются значения TRUE и FALSE.

Примеры инструкций ARM ассемблера

В данной таблице я собрал основные инструкции, которая потребуется для дальнейшей разработки (на самом базовом этапе:):

Чтобы закрепить использование основных инструкций давайте напишем несколько простых примеров, но сначала нам понадобится arm toolchain. Я работаю в Linux поэтому выбрал: frank.harvard.edu/~coldwell/toolchain (arm-unknown-linux-gnu toolchain). Ставится он проще простого, как и любая другая программа на Linux. В моем случае (Russian Fedora) понадобилось только установить rpm пакеты с сайта.
Теперь пришло время написать простейший пример. Программа будет абсолютно бесполезной, но главное, что будет работать:) Вот код, который я вам предлагаю:
start: @ Необязательная строка, обозначающая начало программы mov r0, #3 @ Грузим в регистр r0 значение 3 mov r1, #2 @ Делаем тоже самое с регистром r1, только теперь с значением 2 add r2, r1, r0 @ Складываем значения r0 и r1, ответ записываем в r2 mul r3, r1, r0 @ Умножаем значение регистра r1 на значение регистра r0, ответ записываем в r3 stop: b stop @ Строка завершения программы
Компилируем программу до получения.bin файла:
/usr/arm/bin/arm-unknown-linux-gnu-as -o arm.o arm.s /usr/arm/bin/arm-unknown-linux-gnu-ld -Ttext=0x0 -o arm.elf arm.o /usr/arm/bin/arm-unknown-linux-gnu-objcopy -O binary arm.elf arm.bin
(код в файле arm.s, а toolchain в моем случае лежит в директории /usr/arm/bin/)
Если все прошло успешно, у вас будет 3 файла: arm.s (собственно код), arm.o, arm.elf, arm.bin (собственно исполняемая программа). Для того, чтобы проверить работу программы не обязательно иметь собственное arm устройство. Достаточно установить QEMU. Для справки:

QEMU - свободная программа с открытым исходным кодом для эмуляции аппаратного обеспечения различных платформ.
Включает в себя эмуляцию процессоров Intel x86 и устройств ввода-вывода. Может эмулировать 80386, 80486, Pentium, Pentium Pro, AMD64 и другие x86-совместимые процессоры; PowerPC, ARM, MIPS, SPARC, SPARC64, m68k - лишь частично.
Работает на Syllable, FreeBSD, FreeDOS, Linux, Windows 9x, Windows 2000, Mac OS X, QNX, Android и др.

Итак, для эмуляции arm понадобится qemu-system-arm. Этот пакет есть в yum, так что тем, у кого Fedora, можно не заморачиваться и просто выполнить комманду:
yum install qemu-system-arm

Далее надо запустить эмулятор ARM, так, чтобы он выполнил нашу программу arm.bin. Для этого создадим файл flash.bin, который будет флэш памятью для QEMU. Сделать это очень просто:
dd if=/dev/zero of=flash.bin bs=4096 count=4096 dd if=arm.bin of=flash.bin bs=4096 conv=notrunc
Теперь грузим QEMU с полученой flash памятью:
qemu-system-arm -M connex -pflash flash.bin -nographic -serial /dev/null
На выходе вы получите что-то вроде этого:

$ qemu-system-arm -M connex -pflash flash.bin -nographic -serial /dev/null
QEMU 0.15.1 monitor - type "help" for more information
(qemu)

Наша программа arm.bin должна была изменить значения четырех регистров, следовательно для проверки правильности работы давайте посмотрим на эти самые регистры. Делается это очень простой коммандой: info registers
На выходе вы увидите все 15 ARM регистров, при чем у четырех из них будут измененные значения. Проверьте:) Значения регистров совпадают с теми, которые можно ожидать после исполнения программы:
(qemu) info registers R00=00000003 R01=00000002 R02=00000005 R03=00000006 R04=00000000 R05=00000000 R06=00000000 R07=00000000 R08=00000000 R09=00000000 R10=00000000 R11=00000000 R12=00000000 R13=00000000 R14=00000000 R15=00000010 PSR=400001d3 -Z-- A svc32

P.S. В этой статье я постарался описать основы программирования на ARM ассемблер. Надеюсь вам понравилось! Этого хватит для того, чтобы далее углубляться в дебри этого языка и писать на нем программы. Если все получится, буду писать дальше о том, что узнаю сам. Если есть ошибки, прошу не пинать, так как я новичок в ассемблере.

В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема - весьма полезный инструмент для обработки строковых данных - утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.

Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это - очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.

Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.

Основы работы с sed

Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил. Вот как выглядит схема вызова этой команды:

$ sed options file
По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.

Например, так:

$ echo "This is a test" | sed "s/test/another test/"
Вот что получится при выполнении этой команды.

Простой пример вызова sed

В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» - это сокращение слова «substitute», то есть - перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том - какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .

Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например - для работы с файлами.

Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:

$ sed "s/test/another test" ./myfile

Текстовый файл и результаты его обработки

Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.

Sed не меняет данные в обрабатываемом файле. Редактор читает файл, обрабатывает прочитанное, и отправляет то, что получилось, в STDOUT . Для того, чтобы убедиться в том, что исходный файл не изменился, достаточно, после того, как он был передан sed, открыть его. При необходимости вывод sed можно перенаправить в файл, возможно - перезаписать старый файл. Если вы знакомы с одним из предыдущих материалов этой серии, где речь идёт о перенаправлении потоков ввода и вывода, вы вполне сможете это сделать.

Выполнение наборов команд при вызове sed

Для выполнения нескольких действий с данными, используйте ключ -e при вызове sed. Например, вот как организовать замену двух фрагментов текста:

$ sed -e "s/This/That/; s/test/another test/" ./myfile

Использование ключа -e при вызове sed

К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:

$ sed -e " > s/This/That/ > s/test/another test/" ./myfile
Вот что получится после того, как команда, представленная в таком виде, будет выполнена.

Другой способ работы с sed

Чтение команд из файла

Если имеется множество команд sed, с помощью которых надо обработать текст, обычно удобнее всего предварительно записать их в файл. Для того, чтобы указать sed файл, содержащий команды, используют ключ -f:

Вот содержимое файла mycommands:

S/This/That/ s/test/another test/
Вызовем sed, передав редактору файл с командами и файл для обработки:

$ sed -f mycommands myfile
Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.

Использование файла с командами при вызове sed

Флаги команды замены

Внимательно посмотрите на следующий пример.

$ sed "s/test/another test/" myfile
Вот что содержится в файле, и что будет получено после его обработки sed.

Исходный файл и результаты его обработки

Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.

Схема записи команды замены при использовании флагов выглядит так:

S/pattern/replacement/flags
Выполнение этой команды можно модифицировать несколькими способами.

При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
Флаг p указывает на то, что нужно вывести содержимое исходной строки.
Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.

Рассмотрим использование первого варианта команды замены, с указанием позиции заменяемого вхождения искомого фрагмента:

$ sed "s/test/another test/2" myfile

Вызов команды замены с указанием позиции заменяемого фрагмента

Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены - g:

$ sed "s/test/another test/g" myfile
Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.

Глобальная замена

Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:

$ sed -n "s/test/another test/p" myfile
Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае - одна строка), в которых найден заданный фрагмент текста.

Использование флага команды замены p

Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:

$ sed "s/test/another test/w output" myfile

Сохранение результатов обработки текста в файл

Хорошо видно, что в ходе работы команды данные выводятся в STDOUT , при этом обработанные строки записываются в файл, имя которого указано после w .

Символы-разделители

Представьте, что нужно заменить /bin/bash на /bin/csh в файле /etc/passwd . Задача не такая уж и сложная:

$ sed "s/\/bin\/bash/\/bin\/csh/" /etc/passwd
Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.

К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s:

$ sed "s!/bin/bash!/bin/csh!" /etc/passwd
В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.

Выбор фрагментов текста для обработки

До сих пор мы вызывали sed для обработки всего переданного редактору потока данных. В некоторых случаях с помощью sed надо обработать лишь какую-то часть текста - некую конкретную строку или группу строк. Для достижения такой цели можно воспользоваться двумя подходами:

Задать ограничение на номера обрабатываемых строк.
Указать фильтр, соответствующие которому строки нужно обработать.

Рассмотрим первый подход. Тут допустимо два варианта. Первый, рассмотренный ниже, предусматривает указание номера одной строки, которую нужно обработать:

$ sed "2s/test/another test/" myfile

Обработка только одной строки, номер который задан при вызове sed

Второй вариант - диапазон строк:

$ sed "2,3s/test/another test/" myfile

Обработка диапазона строк

Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:

$ sed "2,$s/test/another test/" myfile

Обработка файла начиная со второй строки и до конца

Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:

$ sed "/likegeeks/s/bash/csh/" /etc/passwd
По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .

Обработка строк, соответствующих фильтру

Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.

Удаление строк

Утилита sed годится не только для замены одних последовательностей символов в строках на другие. С её помощью, а именно, используя команду d , можно удалять строки из текстового потока.

Вызов команды выглядит так:

$ sed "3d" myfile
Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.

Удаление третьей строки

Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.

Вот как применить команду d к диапазону строк:

$ sed "2,3d" myfile

Удаление диапазона строк

А вот как удалить строки, начиная с заданной - и до конца файла:

$ sed "3,$d" myfile

Удаление строк до конца файла

Строки можно удалять и по шаблону:

$ sed "/test/d" myfile

Удаление строк по шаблону

При вызове d можно указывать пару шаблонов - будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:

$ sed "/second/,/fourth/d" myfile

Удаление диапазона строк с использованием шаблонов

Вставка текста в поток

С помощью sed можно вставлять данные в текстовый поток, используя команды i и a:

Команда i добавляет новую строку перед заданной.
Команда a добавляет новую строку после заданной.

Рассмотрим пример использования команды i:

$ echo "Another test" | sed "i\First test "

Команда i

Теперь взглянем на команду a:

$ echo "Another test" | sed "a\First test "

Команда a

Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?

Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:

$ sed "2i\This is the inserted line." myfile

Команда i с указанием номера опорной строки

Проделаем то же самое с командой a:

$ sed "2a\This is the appended line." myfile

Команда a с указанием номера опорной строки

Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая - после.

Замена строк

Команда c позволяет изменить содержимое целой строки текста в потоке данных. При её вызове нужно указать номер строки, вместо которой в поток надо добавить новые данные:

$ sed "3c\This is a modified line." myfile

Замена строки целиком

Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:

$ sed "/This is/c This is a changed line of text." myfile

Замена строк по шаблону

Замена символов

Команда y работает с отдельными символами, заменяя их в соответствии с переданными ей при вызове данными:

$ sed "y/123/567/" myfile

Замена символов

Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.

Вывод номеров строк

Если вызвать sed, использовав команду = , утилита выведет номера строк в потоке данных:

$ sed "=" myfile

Вывод номеров строк

Потоковый редактор вывел номера строк перед их содержимым.

Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:

$ sed -n "/test/=" myfile

Вывод номеров строк, соответствующих шаблону

Чтение данных для вставки из файла

Выше мы рассматривали приёмы вставки данных в поток, указывая то, что надо вставить, прямо при вызове sed. В качестве источника данных можно воспользоваться и файлом. Для этого служит команда r , которая позволяет вставлять в поток данные из указанного файла. При её вызове можно указать номер строки, после которой надо вставить содержимое файла, или шаблон.

Рассмотрим пример:

$ sed "3r newfile" myfile

Вставка в поток содержимого файла

Тут содержимое файла newfile было вставлено после третьей строки файла myfile .

Вот что произойдёт, если применить при вызове команды r шаблон:

$ sed "/test/r newfile" myfile

Использование шаблона при вызове команды r

Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.

Пример

Представим себе такую задачу. Есть файл, в котором имеется некая последовательность символов, сама по себе бессмысленная, которую надо заменить на данные, взятые из другого файла. А именно, пусть это будет файл newfile , в котором роль указателя места заполнения играет последовательность символов DATA . Данные, которые нужно подставить вместо DATA , хранятся в файле data .

Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:

$ Sed "/DATA>/ { r newfile d}" myfile

Замена указателя места заполнения на реальные данные

Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .

Итоги

Сегодня мы рассмотрели основы работы с потоковым редактором sed. На самом деле, sed - это огромнейшая тема. Его изучение вполне можно сравнить с изучением нового языка программирования, однако, поняв основы, вы сможете освоить sed на любом необходимом вам уровне. В результате ваши возможности по обработке с его помощью текстов будет ограничивать лишь воображение.

На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.

Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да - поделитесь пожалуйста опытом.

Основы работы с sed

Например, так:

$ echo "This is a test" | sed "s/test/another test/"
Вот что получится при выполнении этой команды.

Простой пример вызова sed

Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:

$ sed "s/test/another test" ./myfile

Текстовый файл и результаты его обработки

Выполнение наборов команд при вызове sed

$ sed -e "s/This/That/; s/test/another test/" ./myfile

Использование ключа -e при вызове sed

Другой способ работы с sed

Чтение команд из файла

Вот содержимое файла mycommands:

S/This/That/ s/test/another test/
Вызовем sed, передав редактору файл с командами и файл для обработки:

$ sed -f mycommands myfile
Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.

Использование файла с командами при вызове sed

Флаги команды замены

Внимательно посмотрите на следующий пример.

$ sed "s/test/another test/" myfile
Вот что содержится в файле, и что будет получено после его обработки sed.

Исходный файл и результаты его обработки

Схема записи команды замены при использовании флагов выглядит так:

S/pattern/replacement/flags
Выполнение этой команды можно модифицировать несколькими способами.

При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
Флаг p указывает на то, что нужно вывести содержимое исходной строки.
Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.

$ sed "s/test/another test/2" myfile

Вызов команды замены с указанием позиции заменяемого фрагмента

$ sed "s/test/another test/g" myfile
Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.

Глобальная замена

Использование флага команды замены p

Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:

$ sed "s/test/another test/w output" myfile

Сохранение результатов обработки текста в файл

Символы-разделители

Представьте, что нужно заменить /bin/bash на /bin/csh в файле /etc/passwd . Задача не такая уж и сложная:

Выбор фрагментов текста для обработки

Задать ограничение на номера обрабатываемых строк.
Указать фильтр, соответствующие которому строки нужно обработать.

$ sed "2s/test/another test/" myfile

Обработка только одной строки, номер который задан при вызове sed

Второй вариант - диапазон строк:

$ sed "2,3s/test/another test/" myfile

Обработка диапазона строк

Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:

$ sed "2,$s/test/another test/" myfile

Обработка файла начиная со второй строки и до конца

Обработка строк, соответствующих фильтру

Удаление строк

Вызов команды выглядит так:

Удаление третьей строки

Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.

Вот как применить команду d к диапазону строк:

$ sed "2,3d" myfile

Удаление диапазона строк

А вот как удалить строки, начиная с заданной - и до конца файла:

$ sed "3,$d" myfile

Удаление строк до конца файла

Строки можно удалять и по шаблону:

$ sed "/test/d" myfile

Удаление строк по шаблону

$ sed "/second/,/fourth/d" myfile

Удаление диапазона строк с использованием шаблонов

Вставка текста в поток

С помощью sed можно вставлять данные в текстовый поток, используя команды i и a:

Команда i добавляет новую строку перед заданной.
Команда a добавляет новую строку после заданной.

Рассмотрим пример использования команды i:

$ echo "Another test" | sed "i\First test "

Команда i

Теперь взглянем на команду a:

$ echo "Another test" | sed "a\First test "

Команда a

$ sed "2i\This is the inserted line." myfile

Команда i с указанием номера опорной строки

Проделаем то же самое с командой a:

$ sed "2a\This is the appended line." myfile

Команда a с указанием номера опорной строки

Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая - после.

Замена строк

$ sed "3c\This is a modified line." myfile

Замена строки целиком

$ sed "/This is/c This is a changed line of text." myfile

Замена строк по шаблону

Замена символов

Команда y работает с отдельными символами, заменяя их в соответствии с переданными ей при вызове данными:

$ sed "y/123/567/" myfile

Замена символов

Вывод номеров строк

Если вызвать sed, использовав команду = , утилита выведет номера строк в потоке данных:

$ sed "=" myfile

Вывод номеров строк

Потоковый редактор вывел номера строк перед их содержимым.

$ sed -n "/test/=" myfile

Вывод номеров строк, соответствующих шаблону

Чтение данных для вставки из файла

Рассмотрим пример:

$ sed "3r newfile" myfile

Вставка в поток содержимого файла

Тут содержимое файла newfile было вставлено после третьей строки файла myfile .

Вот что произойдёт, если применить при вызове команды r шаблон:

$ sed "/test/r newfile" myfile

Использование шаблона при вызове команды r

Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.

Пример

Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:

$ Sed "/DATA>/ { r newfile d}" myfile

Замена указателя места заполнения на реальные данные

Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .

Итоги

На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.

Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да - поделитесь пожалуйста опытом.

Автор: Rares Aioanei
Дата публикации: 19 ноября 2011 года
Перевод: А. Кривошей
Дата перевода: июль 2012 г.

1. Введение

Добро пожаловать во вторую часть нашей серии, которая посвящена sed, версии GNU. Существует несколько версий sed, которые доступны на разных платформах, но мы сфокусируемся на GNU sed версии 4.x. Многие из вас слышали о sed, или уже использовали его, скорее всего в качестве инструмента замены. Но это только одно из предназначений sed, и мы постараемся показать вам все аспекты использования этой утилиты. Его название расшифровывается как "Stream EDitor" и слово "stream" (поток) в данном случае может означать файл, канал, или просто stdin. Мы надеемся, что у вас уже есть базовые знания о Linux, а если вы уже работали с регулярными выражениями, или по крайней мере знаете, что это такое, то все для вас будет намного проще. Объем статьи не позволяет включить в нее полное руководство по регулярным выражениям, вместо этого мы озвучим базовые концепции и дадим большое количество примеров использования sed.

2. Установка

Здесь не нужно много рассказывать. Скорее все sed у вас уже установлен, так как он используется различными системными скриптами, а также пользователями Linux, которые хотят повысить эффективность своей работы. Вы можете узнать, какая версия sed у вас установлена, с помощью команды:

$ sed --version

В моей системе эта команда показывает, что у меня установлен GNU sed 4.2.1 плюс дает ссылку на домашнюю страницу программы и другие полезные сведения. Пакет называется "sed" независимо от дистрибутива, кроме Gentoo, где он присутствует неявно.

3. Концепции

Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает "sed", так как словосочетание "потоковый редактор" мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст. Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.

4. Регулярные выражения

Так как команды (скрипты) sed для многих остаются загадкой, мы чувствуем, что наши читатели должны понимать базовые концепции, а не слепо копировать и вставлять команды, значения которых они не понимают. Когда человек хочет понять, что представляют собой регулярные выражения, ключевым словом является "соответствие", или, точнее, "шаблон соответствия". Например, в отчете для своего департамента вы написали имя Nick, обращаясь к сетевому архитектору. Но Nick ушел, а на его место пришел John, поэтому теперь вы должны заменить слово Nick на John. Если файл с отчетом называется report.txt, вы должны выполнить следующую команду:

$ cat report.txt / sed "s/Nick/John/g" > report_new.txt

По умолчанию sed использует stdout, вы можете использовать оператор перенаправления вывода, как показано в примере выше. Это очень простой пример, но мы проиллюстрировали несколько моментов: мы ищем все соответствия шаблону "Nick" и заменяем во всех случаях на "John". Отметим, что sed призводит поиск с учетом регистра, поэтому будьте внимательны и проверьте выходной файл, чтобы убедиться, что все замены были выполнены. Приведенный выше пример можно было записать и так:

$ sed "s/Nick/John/g" report.txt > report_new.txt

Хорошо, скажете вы, но где же здесь регулярные выражения? Да, мы хотели сначала показать пример, а теперь начинается самая интересная часть.
Если вы не уверены, написали ли вы "nick" или "Nick", и хотите предусмотреть оба случая, необходимо использовать команду sed "s/Nick/nick/John/g". Вертикальная черта имеет значение, которое вы должны знать, если изучали C, то есть ваше выражение будет соответствовать "nick" или "Nick". Как вы увидите ниже, канал может использоваться и другими способами, но смысл остается тот же самый. Другие операторы, широко использующиеся в регулярных выражениях - это "?", который соответствует повторению предшествующего символа ноль или один раз (то есть flavou?r будет соответствовать flavor и flavour), "*" - ноль или более раз, "+" - один или более раз. "^" соответствует началу строки, а "$" - наоборот. Если вы - пользователь vi или vim, многие вещи покажутся вам знакомыми. В конце концов, эти утилиты, вместе с awk и С уходят корнями в ранние дни UNIX. Мы не будем больше говорить на эту тему, так как проще понять значение этих символов на примерах, но вы должны знать, что существуют различные реализации регулярных выражений: POSIX, POSIX Extended, Perl, а также различные реализации нечетких регулярных выражений, гарантирующие вам головную боль.

5. Примеры использования sed

Синтаксис команды	Описание
sed "s/Nick/John/g" report.txt	Заменяет каждое вхождение Nick на John в файле report.txt
sed "s/Nick/nick/John/g" report.txt	Заменяет каждое вхождение Nick или nick на John.
sed "s/^/ /" file.txt >file_new.txt	Добавляет 8 пробелов слева от текста для улучшения качества печати.
sed -n "/Of course/,/attention you \ pay/p" myfile	Выводит один абзац, начинающийся с "Of course" и заканчивающийся на "attention you pay"
sed -n 12,18p file.txt	Выводит только строки 12-18 файла file.txt
sed 12,18d file.txt	Выводит весь файл file.txt за исключением строк с 12 по 18
sed G file.txt	Удваивает пробелы в file.txt
sed -f script.sed file.txt	Записывает все команды в script.sed и выполняет их.
sed "5!s/ham/cheese/" file.txt	Заменяет ham на cheese в file.txt за исключением 5-й строки
sed "$d" file.txt	Удаляет последнюю строку
sed "/\{3\}/p" file.txt	Печатает только строки с тремя последовательными цифрами
sed "/boom/!s/aaa/bb/" file.txt	Если найден "boom", заменить aaa на bb
sed "17,/disk/d" file.txt	Удаляет все строки, начиная с 17-й, до "disk"
echo ONE TWO / sed "s/one/unos/I"	Заменяет one на unos независимо от регистра, поэтому будет напечатано "unos TWO"
sed "G;G" file.txt	Утраивает пробелы в файле
sed "s/.$//" file.txt	Способ замены dos2unix:)
sed "s/^[ ^t]*//" file.txt	Удаляет все пробелы перед каждой строкой в file.txt
sed "s/[ ^t]*$//" file.txt	Удаляет все пробелы в конце каждой строки в file.txt
sed "s/^[ ^t]//;s/[ ^]$//" file.txt	Удаляет все пробелы в начале и в конце каждой строки в file.txt
sed "s/foo/bar/" file.txt	Заменяет foo на bar только в первом вхождении в строке.
sed "s/foo/bar/4" file.txt	Заменяет foo на bar только в четвертом вхождении в строке.
sed "s/foo/bar/g" file.txt	Заменяет foo на bar для всех вхождений в строке.
sed "/baz/s/foo/bar/g" file.txt	Заменить foo на bar только если строка содержит baz.
sed "/./,/^$/!d" file.txt	Удалить все последовательные пустые строки за исключением EOF
sed "/^$/N;/\n$/D" file.txt	Удалить все последовательные пустые строки, но оставить верхнюю пустую строку.
sed "/./,$!d" file.txt	Удалить все начальные пустые строки
sed -e:a -e "/^\n*$/{$d;N;};/\n$/ba" \ file.txt	Удалить все замыкающие пустые строки
sed -e:a -e "/\\$/N; s/\\\n//; ta" \ file.txt	Если файл заканчивается обратным сплешем, соединить его со следующим (полезно для скриптов оболочки)
sed "/regex/,+5/expr/"	Соответствует regex плюс 5 следующих строк
sed "1~3d" file.txt	Удалить каждую третью строку, начиная с первой.
sed -n "2~5p" file.txt	Печатать каждую пятую строку, начиная со второй.
sed "s/ick/John/g" report.txt	Другой способ записи некоторых приведенных выше примеров. Вы можете предложить свой?
sed -n "/RE/{p;q;}" file.txt	Печатает только первое соответствие RE (регулярного выражения)
sed "0,/RE/{//d;}" file.txt	Удаляет только первое соответствие
sed "0,/RE/s//to_that/" file.txt	Изменяет только первое соответствие
sed "s/^[^,]*,/9999,/" file.csv	Заменяет первое поле на 9999 в CSV-файле
s/^ $.[^ ]$ $//\1//; s/" , /"//g; : loop s// $[^",/][^,/]$ , //\1//g; s// , //\1//g; t loop s/ ////g; s// ///g; s/^/$.$/$/\1/;	Скрипт sed для конвертирования CSV-файла в файл с вертикальной чертой в качестве разделителя (работает только с некоторыми типами CSV, со встроенными кавычками и запятыми).
sed ":a;s/$^\/[^0-9.]$$\+$$\{3\}$/\1\2,\3/g;ta" file.txt	Меняет формат чисел в file.txt с 1234.56 на 1.234.56
sed -r "s/\<(reg/exp)+/\U&/g"	Переводит любое слово, начинающееся с reg или exp в верхний регистр.
sed "1,20 s/Johnson/White/g" file.txt	Производит замену Johnson на White только в строках 1 - 20.
sed "1,20 !s/Johnson/White/g" file.txt	Предыдущий пример наоборот (заменяет везде, кроме строк 1-20)
sed "/from/,/until/ { s/\ /magenta/g; \ s/\ /cyan/g; }" file.txt	Заменяет только между "from" и "until"
sed "/ENDNOTES:/,$ { s/Schaff/Herzog/g; \ s/Kraft/Ebbing/g; }" file.txt	Заменяет только со слова "ENDNOTES:" и до EOF
sed "/./{H;$!d;};x;/regex/!d" file.txt	Печатает абзац только если он содержит regex
sed -e "/./{H;$!d;}" -e "x;/RE1/!d;/RE2/!d;/RE3/!d" file.txt	Печатает абзацы только если они содержат RE1, RE2 и RE3
sed "s/14"/fourteen inches/g" file.txt	Так вы сможете использовать двойные кавычки
sed "s/\/some\/UNIX\/path/\/a\/new\/path/g" file.txt	Работа с путями Unix
sed "s///g" file.txt	Удаляет все символы, начиная с a и заканчивая g из файла file.txt
sed "s/$.*$foo/\1bar/" file.txt	Заменяет только последнее соответствие foo на bar
sed "1!G;h;$!d"	Замена команды tac
sed "/\n/!G;s/$.$$.*\n$/&\2\1/;//D;s/.//"	Замена команды rev
sed 10q file.txt	Замена команды head
sed -e:a -e "$q;N;11,$D;ba" \ file.txt	Замена команды tail
sed "$!N; /^$.*$\n\1$/!P; D" \ file.txt	Замена команды uniq
sed "$!N; s/^$.*$\n\1$/\1/;\ t; D" file.txt	Обратная команда (что эквивалентно uniq -d)
sed "$!N;$!D" file.txt	Эквивалент tail -n 2
sed -n "$p" file.txt	... tail -n 1 (или tail -1)
sed "/regexp/!d" file.txt	Эквивалент grep
sed -n "/regexp/{g;1!p;};h" file.txt	Печатает строку, находящуюся перед первым соответствием регулярному выражению, но не включающую само соответствие
sed -n "/regexp/{n;p;}" file.txt	Печатает строку, находящуюся после первого соответствия регулярному выражению, но не включающую само соответствие
sed "/pattern/d" file.txt	Удаляет строки, соответствующие шаблону pattern
sed "/./!d" file.txt	Удаляет все пустые строки из файла
sed "/^$/N;/\n$/N;//D" file.txt	Удаляет все следующие друг за другом пустые строки, за исключением первых двух
sed -n "/^$/{p;h;};/./{x;/./p;}"\ file.txt	Удаляет последнюю строку каждого абзаца
sed "/^$/q"	Получает заголовок письма
sed "1,/^$/d"	Получает тело письма
sed "/^Subject: */!d; s///;q"	Получает тему письма
sed "s/^/> /"	Цитирует сообщение, вставляя "> " перед каждой строкой
sed "s/^> //"	Обратная команда (убирает цитирование из сообщения)
sed -e:a -e "s/<[^>]*>//g;/	Удаляет HTML-теги
sed "/./{H;d;};x;s/\n/={NL}=/g" file.txt / sort \ / sed "1s/={NL}=//;s/={NL}=/\n/g"	Сортирует абзацы в file.txt в алфавитном порядке
sed "s@/usr/bin@&/local@g" path.txt	Заменяет /usr/bin на /usr/bin/local в path.txt
sed "s@^.*$@<<<&>>>@g" path.txt	Попробуйте и увидите:)
sed "s/$\/[^:]$./\1/g" path.txt	При условии, что path.txt содержит $PATH, выводит только первый путь в каждой строке
sed "s/$[^:]$./\1/" /etc/passwd	Замена awk - показывает только пользователей из файла passwd
echo "Welcome To The Geek Stuff" / sed \ "s/$\b$/$\1$/g" (W)elcome (T)o (T)he (G)eek (S)tuff	Понятно без объяснений
sed -e "/^$/,/^END/s/hills/\ mountains/g" file.txt	Заменяет "hills" на "mountains", но только в блоках текста, начинающихся с пустой строки и заканчивающихся строкой с тремя символами "END", включительно.
sed -e "/^#/d" /etc/services / more	Показывает файл services без закомментированных строк
sed "$s@$[^:]$:$[^:]$:$[^:]*$@\3:\2:\1@g" path.txt	Меняет порядок элементов в последней строке файла path.txt на обратный
sed "/regex/{x;p;x;}" file.txt	Вставляет новую строку выше каждой строки, соответствующей регулярному выражению
sed "/AAA/!d; /BBB/!d; /CCC/!d" file.txt	Ищет соответствие AAA, BBB и CCC в любом порядке
sed "/AAA.BBB.CCC/!d" file.txt	Ищет соответствие AAA, BBB и CCC в заданном порядке
sed -n "/^.\{65\}/p" file.txt	Печатает строки длиной 65 символов и более
sed -n "/^.\{65\}/!p" file.txt	Печатает строки длиной 65 символов и менее
sed "/regex/G" file.txt	Вставляет пустую строку под каждой строкой
sed "/regex/{x;p;x;G;}" file.txt	Вставляет пустую строку над и под каждой строкой
sed = file.txt / sed "N;s/\n/\t/"	Нумерует строки в file.txt
sed -e:a -e "s/^.\{1,78\}$/ &/;ta" file.txt	Выровнять текст по правому краю
sed -e:a -e "s/^.\{1,77\}$/ &/;ta" -e "s/$*$\1/\1/" file.txt	Выровнять текст по центру

6. Заключение

Это только часть того, что можно бы было рассказать о sed, но данная серия статей представляет собой скорее практическое руководство, которое, как мы надеемся, поможет вам оценить всю мощь утилит Unix и сделает вашу работу более эффективной.