New Note 62 sed 스트림 편집기 ed명령어와 grep명령어 기능의 일부를 합친 것이 sed(stream editor)명령어이다.
sed명령어도 grep명령어와 같은 필터이지만 이 명령어는 화일을 수정할 수 있게 하는 반면 ed처럼 대화식 처리는 불가능하다. sed 명령어는 1개 라인씩 입력 라인을 읽어들여 표준 출력에 출력한다. sed는 각 라인을 읽을 때마다 ed에서 사용하던 형식의 대치작업을 실행한다. 일치하는 문자열이 있으면 그 문자열을 대치한 후 출력하고 일치하는 문자열이 없으면 그 라인은 수정되지 않고 그대로 출력된다. 이 sed 명령어가 ed보다 좋은 점은 라인들을 하나씩 읽고 , 수정하고, 출력하기 때문에 기억장치 안의 버퍼를 사용하지 않는다는 것이다. 버퍼를 사용하지 않으면 화일의 크기에 제한 없이 작업을 할 수 있다.

sed와 같이 버퍼를 사용하는 경우는 버퍼의 크기보다 큰 화일은 처리할 수 없으며 대개 버퍼의 크기는 1MB정도이다. 따라서 sed는 아주 큰 화일을 처리할 때 주로 사용된다. sed 명령어를 호출하는 형식은 grep명령어와 같지만 완전한 형식의 대치 연산자를 사용한다는 점만이 다르다.

# sed "s/hello/goodbye" in.file

위의 명령어는 in.file이라는 화일에 있는 각 라인에서 첫번째 등장하는 hello라는 문자열을 goodbye로 교체한 후 그 라인을 표준 출력에 출력한다.

# echo "1234hello5678" | sed "s/hello/goodbye/"

대치 명령어를 따옴표로 둘러싸야 올바로 사용할 수 있다. 여기서 문자열은 정규식으로 표현될수 도 있다. 그외에도 sed명령어에는 여러 가지 연산자를 사용할 수 있다. 다음의 명령어를 사용하면 hello라는 문자열을 포함하고 있는 모든 문자열을 삭제할 수 있다.

# sed "/hello/d" in.file

위 명령어의 의미는 “hello라는 문자열을 포함하고 있는 라인을 찾아 그 라인을 삭제하라”는 것이다. 이 sed 명령어는 다음 명령어와 같은 의미이다.

# grep -v hello in.file

라인을 전부 삭제하지 않고 hello라는 문자열만을 삭제하려면 다음 명령어를 사용하다.

# sed "s/hello//" in.file

sed와 같이 sed에서도 화일의 일부만을 대상으로 작업하는 경우는 라인의 범위를 지정할 수 있다.

# sed "3,7s/hello//" in.file

위의 명령어는 in.file이라는 화일의 라인3에서 7까지만을 대상으로 첫번째 hello를 삭제하고 화일의 그 외의 부분은 변경시키지 않는다. 또한 다음과 같이 사용하면 라인 번호 대신 문맥을 범위로 지정할 수 있다.

# sed "/hello/,/goodbye/s/bad/good/g" in.file

위의 명령어는 hello라는 단어를 포함하고 있는 첫번째 라인부터 goodbye라는 단어를 포함하고 있는 라인까지 검색하면서 bad라는 문자열을 모두 good으로 변경한다. 또한 문자열 goodbye를 만난 이후에도 다시 다른 hello가 등장하면 다음 goodbye가 나올 때까지 대치 작업은 반복된다. sed명령어의 기능은 지금까지 우리가 살펴본 것보다 더 강력하다. sed명령어의 -f(file)선택자를 사용하면 명령어를 일일이 키보드에서 입력하지 않고 하나의 화일에 기억시켜 놓고 사용할 수도 있다.

# sed "/hello/,/goodbye/s/bad/good/g" in.file
# sed -f command.file in.file

여러 개의 명령어를 연속적으로 자주 사용할 때 이 명령어 화일이 유용하게 사용된다. 예를 들어 다음과 같은복수 개의 명령어가 화일에 기억되어 있는 경우는

# vi command.file
s/hello/goodbye
s/good/bad

다음과 같은 명령어를 입력하면

# echo "1234hello5678" | sed -f command.file 

다음과 같이 출력된다.

# echo "1234hello5678" | sed -f command.file
1234badbye5678

sed 기본

# sed '' ljs --> cat ljs 와 동일

sed 편집 명령어

일상적인 sed 명령
—————————————————————————————
a 다음 라인(들)을 적용될 라인들에 부가한다 (라인뒤)
c 적용될 라인들을 다음 라인(들)로 변경한다 (라인 대체)
d 적용될 라인들을 삭제한다
g 단지 첫번째의 것만이 아니라 라인의 모든 부합 패턴 대체가 적용 되게 한다
i 다음 라인(들)을 적용될 라인들 위에 삽입한다 (라인앞)
p – n 옵션하에 있을지라도, 라인을 프린트한다
q 명시된 라인에 도달할 때 중지한다
r filename filename을 판독한다. 내용을 출력에 부가한다
s/old/new/ “old”를 “new”로 대체한다
= 라인 번호를 프린트한다
!command 라인이 선택되지 않는 경우 command를 적용한다.
————————————————————————————–

라인 명시

sed명령은 두가지 방법을 사용한다. 첫 번째는 번지를 번호로 명시하는것이다. 여러분은 특정한 라인을 가리키기 위해 단일 번호를 사용할 수 있다.

# sed '3d' ljs  --> 세번째 라인을 삭제

또는, 라인들의 범위를 가리키기 위해 콤마(,)로 분리된 두 번호들을 사용할 수 있다.

# sed '2,4 s/e/#/' ljs

대체 명령은 단지 2-4 라인들에만 적용된다. (단순 대체 명령은 라인에서 첫번째 어커런스에만 적용된다는 점을 기억하라. 따라서 각 적용 라인의 첫 번째 e만이 #로 대체된다)

# sed -n '/kingdom/p' ljs  --> kingdom이 들어있는 line만 프린트
# sed '/kingdom/p' ljs  --> 모든 line이 나타나고 그와 동시에 kingdom line이 중복해서 나타남
# sed '[Pp]rincess/d' ljs  --> princess 또는 Princess를 포함하고 있는 라인들을 삭제함
# sed '1,/fragrant/d' ljs  --> 라인 1로부터 fragrant를 포함하고 있는 첫번째 라인까지의 모든라인들을 삭제함

sed 명령 하이라이트

# more ljs
I am a boy
You are a girk
He is a doctor

# sed 'a\
Hey la la! Doo de dah!' ljs  --> 각 라인뒤에다 Hey la la!를 입력
I am a boy
Hey !
You are a girk
Hey !
He is a doctor
Hey !

# sed 'a\
Oh! good\  --> \을 사용함으로써 하나 이상의 라인들을 부가할 수 있다
yeh' ljs 

# sed '3a\
Good Morning' ljs  --> 3 line뒤에다 내용 삽입

# sed 'c\
Oh marvelous delight! sing to me! ' ljs  --> 기존의 라인들을 이것으로 대체시킴
Oh marvelous delight! sing to me!
Oh marvelous delight! sing to me!
Oh marvelous delight! sing to me!

# sed '2q' ljs  = sed 2q ljs --> q명령은 편집기로 하여금 그것이 명시된 라인에 도착한 뒤 중지하게 한다. 즉 2라인만 보여줌
# sed -n '1s/a/#/gp' ljs  --> 전체적으로 바꿔줌

sed의 패턴-부합

패턴-부합에 대한 sed메타 문자
——————————————————————-
메타 문자 작 용
——————————————————————-
다음 문자의 특수한 의미를 부정한다
^ 라인의 시작과 부합한다
$ 라인의 끝과 부합한다
. 어떠한 단일 문자와도 부합한다
[ ] 둘러싸인 문자들 중의 어느 하나와 부합한다
[^…] …리스트에 없는 어떠한 문자와도 부합한다
pat* 0 또는 그 이상의 pat 어커런스들과 부합한다
여기에서 pat는 단일문자 또는 [ ]패턴이다
& s 명령의 newpattern부분에서 사용되어 oldpattern 부분의 재 산출을 나타낸다
——————————————————————-

간략한 예
—————————————————————————————-
명 령 결 과
—————————————————————————————-
/Second/ Second를 포함하고 있는 어떠한 라인과도 부합한다.
/^Second/ Second로 시작하는 어떠한 라인과도 부합한다.
/^$/ 공백라인, 즉 라인의 시작과 끝 사이에 아무것도 없는 라인과 부합한다. 이것은 공백 스페이스들로 된 라인과는 부합하지 않는바, 스페이스 자체가 문자이기 때문이다.
/c.t/ cat, cot, 기타 등을 포함하고 있는 라인들과 부합한다. 이 패턴은 단어의 일부일 수 있음에 유의하라. 예를 들어, apricot와 acute도 부합된다.
/./ 적어도 한 문자를 포함하고 있는 라인들과 부합한다.
/./ 피리어드를 포함하고 있는 라인들과 부합한다. 는 .의 특수한 의미를 부정
/s[oa]p/ sop또는 sap와는 부합하지만 sip 또는 sup와는 부합하지 않는다.
/s[ ^oa]p/ sip또는 sup와는 부합하지만 sop또는 sap와는 부합하지 않는다.
s/cow/s&s/ cow를 scows로 대체한다.
/co*t/ * –> 어떠한 수
—————————————————————————————-

간단한 sed 해법
# sed ‘/^$/d’ ljs –> 모든 공백 라인 제거
# sed ‘/^ *$/d’ –> space로 만들어진 공백까지 제거 (조심! ^와 *사이에 공백이 있어야 한다)
# sed ‘a\
‘ ljs –> 각 line마다 공백라인 추가
# sed ‘/^#/d’ ljs –> 첫번째 열에 #을 가진 라인 제거
# sed ‘s/^/ /’ ljs –> 각 line의 시작을 5 space로 대체

다중 명령
# sed ‘s/Bob/Robert/g
s/Pat/Patricia/g’ ljs –> sh을 사용하는 경우에는 을 생략하라
# sed ‘s/cat/dog/g
s/dog/pigs/g’ ljs –> 먼저 모든 cats를 dogs로 변환한 다음에 모든 dogs를 pigs로 변환한다.
# sed ‘s/Bob/Robert/g
s/Pat[^a-z]/Patricia/g’ ljs –> ^a-z은 a에서 z까지의 문자들이 아닌 모든 문자를 의미한다는 점을 상기하라

태그
위에서 Pat!와 같은 것이 발견될때 !를 포함한 전체 문자열이 Patricia로 대체되므로 !가 소실된다. 우리는 !를 유지하면서 Pat를 대체하는 방법을 필요로 한다. 우리는 이것을 태그(tag)를 사용하여 수행할 수 있다. 패턴의 일부를 “태그”하려면, 그것을 좌측에는 (로 우측에는 )로 둘러싸라. 그 다음에, 명령의 newpattern부분에서, 여러분은 그렇게 둘러싸인 패턴의 첫 번째 것은 1로, 두번째 것은 2 등으로 인용할 수 있다. 이 방법을 사용하면 다음의 명령이 부여된다.
# sed ‘s/(Pat)([^a-z])/1ricia2/g’ ljs

쉘 스크립트와 sed
# vi twospace
sed ‘a\
‘ $* –> $*은 모든 인자들을 나타냄

# twospace ljs | pr | lpr
위 예는 sed가 어떻게 하여 UNIX 프로그래밍과 쉘 스크립트에 적합한가를 나타낸다.

sed [-e script][-f script-file][file…]

기본적인 기능은 ed에서 따 왔으며, 이 기능들은 모두 sed에 적용이 된다. 다만 ed는 대화형 편집기이며,
sed는 스트리밍 편집기이다. 대화형 편집기와 스트리밍 편집기의 차이점은 대화형 편집기는 입력 및 출력이
하나로 이루어지며, 스트리밍 편집기는 하나의 입력이 하나의 출력을 낸다는 것이다.
n 을 개행문자로 사용하는 스트리밍 에디터이다.

옵션 알림 :

-n : 개행문자 무시
-e : 스크립트 파일을 추가한다.
-i : 파일을 수정한다.
-r : 확장-정규표현 사용
-s : 파일 단위로 분리한다.

찾기(search), 출력(print),

sed -n ‘/abd/p’ list.txt : list.txt 파일을 한줄씩 읽으면서(-n : 읽은 것을 출력하지 않음) abd 문자를 찾으면 그 줄을 출력(p)한다.

치환(substitute),

sed ‘s/addrass/address/’ list.txt : addrass를 address로 바꾼다. 단, 원본파일을 바꾸지 않고 출력을 바꿔서 한다.
sed ‘s/addrass/address/’ list.txt > list2.txt
sed ‘s/t/ /’ list.txt : 탭문자를 엔터로 변환
sed ‘s/□□*/□/’ list.txt : ( *표시: □ 는 공백 문자를 표시한다. ) 위의 구문은 한개이상의 공백문자열을 하나의 공백으로 바꾼다.

추가(insert)
scriptfile – s/ 로 나타내는 각 텍스트로부터의 모든 라인들을 프린트