Egloos | Log-in
결론에 가보기
결론에 가보기
[잡생각] 사건은 점점 미궁속으로~


IT쪽에서 밥을 먹고 살면서 종종 시스템 이라는 놈이 단순한 기계가 아니라
살아있는게  아닐까 하는 생각을 하곤 한다.

어제 Solr를 이용해서 검색서비스를 확장해서 오픈을 하였다.
그전에는 5만건정도뿐이라서 부담도 안되었는데
셋팅도 조금 변경하고 검색도 강화하고 데이터도 100만건이상 ..
이제 검색이라는 단어를 쓸만한 수준으로의 확장이었다.

그래도 크게 걱정하지는 않았다. 1억건정도까지 벤츠마킹 해본적이 있어서
그렇게 문제가 되지 않을꺼라는 생각에 신경을 좀 덜 썼는데
오픈하지마자 문제가 속속 발생하고 있었다.

기본적으로 heap size가 부족해서 out of memory 가 발생하면서
Solr 내부에서의 Exception도 발생을 하였다.
CPU도 100%가까이 먹고 Memory도 80~90%를 왔다갔다 하면서
불안불안한 상태를 유지하고 있었다.

Master/Slave로 만들어진 구조를 Master 단독으로 바꾸고
이것저것 튜닝 포인트를 체크해가면서 변경하였는데 쉽게 잡히지 않았다.

단순한 변경으로 처리가 불가능하다는 것을 인지하고 
에러가 발생하지만 죽지 않는 Solr를 믿고 버티기로 결정하고
개발서버, slave 서버,  BMT를 위한 서버등 있는 서버 모두에서 stress 테스트를
다시 하기로 결정하고 준비를 하였다.

이것저것 옵션을 바꾸고, Master와 동일한 형태로 셋팅을 맞추고
Master의 10배, 20배이상의 스트레스 테스트를 주는데도 에러가 발생하지 않는다.
뿐만 아니라 Master의 서버에서도 해당 에러의 발생빈도가 줄어들더니
이제 거의 발생하지 않는다. 설정이나 기타 변경사항이 한개도 없는데...

사람으로 표현하지만.. 막 시합을 시작하였는데.. 몸이 덜풀린 상태에서
대충 뛰어보고 분위기 파악해서.. 이제 본격적인 가동을 하는 운동선수와 같다고 할까..
처음팀에 들어와서 손발이 잘 안맞다가 몇번의 실수끝에 본격적인 팀워크를
발휘하는 스포츠팀의 모습이라는 생각을 크게 하게 된다.

변경사항이 없는데 시간이 지나서 점차 제모습을 찾는 시스템을 무엇이라고 해야 할까
정확히 얘기하면 말이 안되는 얘기인데.. 이런  상황을 몇번 겪어보고나면
시스템이라는 것도 살아있는 유기체라는 느낌이 든다..

덕분에 듀얼모니터에 잔뜩 로그화면을 띄워두고 오류가 발생하는지 죽어라 쳐다보다가
머리가 띵해져서 힘들기도 하고 앞으로 무엇을 더 해야 할지 막막하기도 하다..

by 제우스 | 2007/10/24 16:59 | 컴퓨터 | 트랙백 | 덧글(2)
트랙백 주소 : http://zeous.egloos.com/tb/1550707
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Commented by 제우스 at 2007/10/24 17:59
그냥 이렇게 손을 놓지는 않는다 ^^
아주 처음부터 모든 것들을 다시 다 뒤져보고있다.. 휴..
Commented by Gony at 2007/10/26 10:35
미궁 속의 사건을 해결할 사람을 딱 두명 알고 있다.

1. 명탐정소년 '김전일'
2. 소년탐정 '코난'

연락처는 방송국에 전화해서 물어보렴~ 도움이 되었길~

아참 가끔 '코난'은 어른으로 다시 변하니까 놀래진 말구~ ^^

:         :

:

비공개 덧글

◀ 이전 페이지 다음 페이지 ▶

카테고리
영화나 책
말말말
컴퓨터
게임이야기
태그
공연 똑바로일하라 나꼽살 ror 개발 서버개발 라이프사이클 직업 기타코드 개발자 화성학 helloworld 재태크 오픈세미나 마이너코드 디아블로3 ngrinder 메이저코드 웹개발자 2nd밴드 스테가노그래피 게임 파워코드 하이코드 보험 슬럼프 vanish 제이슨프라이드 원리
전체보기
최근 등록된 덧글
엄지척 바짝 올립니다. 궁금했던..
by 초보 at 10/11
다자가이든 소작이든 닭이 천 마리..
by yada at 09/20
나는 팔라독 헬 깸.
by 남영찬 at 06/17
^안녕.하세요^;; 골드팟 생기개..
by 전설의레전드소설책 at 03/25
이왕이면---- A7 등등 '7' 이 붙는..
by papagoat at 04/12
매우 감사합니다 ! 아주 쉽게 키..
by papagoat at 04/12
자꾸 F를 라로 표기하시네요 ㅎㅎ
by 안녕하세요 at 12/21
시 클라식 기타 코드표 도 보여..
by 강초보 at 06/08
sp를 싫어하는 개발자들은 유지..
by 나도개발자 at 04/23
여자친구와의 금연약속을 어겨서..
by 구사일생 at 11/13
라이프로그
똑바로 일하라
똑바로 일하라

펜트하우스 코끼리
펜트하우스 코끼리

화폐전쟁
화폐전쟁

10억
10억

거북이 달린다
거북이 달린다

용의자 X의 헌신
용의자 X의 헌신

마더
마더

터미네이터 : 미래전쟁의 시작
터미네이터 : 미래전쟁의 시작

스타트렉 더 비기닝
스타트렉 더 비기닝

천사와 악마
천사와 악마

노잉
노잉

7급 공무원
7급 공무원

박쥐
박쥐

인사동 스캔들
인사동 스캔들

와이키키 브라더스
와이키키 브라더스

매란방
매란방

건투를 빈다
건투를 빈다

코끼리는 생각하지 마
코끼리는 생각하지 마

배려
배려

벤자민 버튼의 시간은 거꾸로 간다
벤자민 버튼의 시간은 거꾸로 간다

작전
작전

워낭소리
워낭소리

작전명 발키리
작전명 발키리

적벽대전 2 : 최후의 결전
적벽대전 2 : 최후의 결전

트랜스포터 - 라스트미션
트랜스포터 - 라스트미션

디파이언스
디파이언스

사랑하지 않으면 떠나라!
사랑하지 않으면 떠나라!

촐라체
촐라체

쌍화점
쌍화점

황후화
황후화

크리스마스 별장
크리스마스 별장

눈먼 자들의 도시
눈먼 자들의 도시

예스맨
예스맨

순정만화
순정만화

펀치 레이디
펀치 레이디

눈에는 눈 이에는 이
눈에는 눈 이에는 이

전략적 책읽기
전략적 책읽기

돈, 뜨겁게 사랑하고 차갑게 다루어라
돈, 뜨겁게 사랑하고 차갑게 다루어라

좋은 놈, 나쁜 놈, 이상한 놈
좋은 놈, 나쁜 놈, 이상한 놈

다크 나이트
다크 나이트

H2 1
H2 1

그림으로 읽는 생생 심리학
그림으로 읽는 생생 심리학

호모 코레아니쿠스
호모 코레아니쿠스

강철중: 공공의 적 1-1
강철중: 공공의 적 1-1

이채원의 가치투자
이채원의 가치투자

쿵푸 팬더
쿵푸 팬더

카불의 사진사
카불의 사진사

인디아나 존스 4 - 크리스탈 해골의 왕국
인디아나 존스 4 - 크리스탈 해골의 왕국

시골의사의 부자경제학
시골의사의 부자경제학

종자돈 700만 원으로 부동산 투자 200억 만들기
종자돈 700만 원으로 부동산 투자 200억 만들기

우리동네
우리동네

디지로그 digilog
디지로그 digilog

대하소설 주역 4
대하소설 주역 4

읽지 않은 책에 대해 말하는 법
읽지 않은 책에 대해 말하는 법

Stick 스틱!
Stick 스틱!

색즉시공 시즌 2
색즉시공 시즌 2

바르게 살자
바르게 살자

20대는 통장을, 40대는 인생을 채워라
20대는 통장을, 40대는 인생을 채워라

점퍼
점퍼

생로병사의 비밀
생로병사의 비밀

추격자
추격자

오늘의 거짓말
오늘의 거짓말

주식시장을 이기는 작은책
주식시장을 이기는 작은책

대한민국 진화론
대한민국 진화론

무방비 도시
무방비 도시

피라니아 이야기
피라니아 이야기

우아한 세계
우아한 세계

경제를 읽는 기술
경제를 읽는 기술

실용주의 프로그래머
실용주의 프로그래머

블로그 비즈니스
블로그 비즈니스

어거스트 러쉬
어거스트 러쉬

세븐데이즈
세븐데이즈

뷰티풀 선데이
뷰티풀 선데이

괴물 1
괴물 1

킹덤
킹덤

당신과 일하기 힘들어 죽겠어
당신과 일하기 힘들어 죽겠어

뉴욕의 프로그래머
뉴욕의 프로그래머

나를 바꾸는 데는 단 하루도 걸리지 않는다
나를 바꾸는 데는 단 하루도 걸리지 않는다

벽오 금학도
벽오 금학도

해바라기
해바라기

펀드투자가 미래의 부를 결정한다
펀드투자가 미래의 부를 결정한다

상식이 통하는 웹사이트가 성공한다
상식이 통하는 웹사이트가 성공한다

아버지의 가계부
아버지의 가계부

본 얼티메이텀
본 얼티메이텀

최강 로맨스
최강 로맨스

여자도 여자를 모른다
여자도 여자를 모른다

부동산 10년 대폭락 시나리오
부동산 10년 대폭락 시나리오

아키텍트 이야기
아키텍트 이야기

보물지도
보물지도

오션스 13
오션스 13

게임회사 이야기
게임회사 이야기

바람피기 좋은 날
바람피기 좋은 날

조폭 마누라 3
조폭 마누라 3

삼미 슈퍼스타즈의 마지막 팬클럽
삼미 슈퍼스타즈의 마지막 팬클럽

광기와 우연의 역사
광기와 우연의 역사

런어웨이
런어웨이

회사가 당신에게 알려주지 않는 50가지 비밀
회사가 당신에게 알려주지 않는 50가지 비밀

롱테일 법칙
롱테일 법칙

해리 포터와 불사조 기사단
해리 포터와 불사조 기사단

사소한 것에 목숨 걸지 마라 - 습관 바꾸기 편
사소한 것에 목숨 걸지 마라 - 습관 바꾸기 편

우리가 미처 알지 못한 소프트웨어 공학의 사실과 오해
우리가 미처 알지 못한 소프트웨어 공학의 사실과 오해

트랜스포머
트랜스포머

20대부터 시작하는 스트레스 제로기술
20대부터 시작하는 스트레스 제로기술

미운오리새끼의 출근
미운오리새끼의 출근

캐리비안의 해적 : 세상의 끝에서
캐리비안의 해적 : 세상의 끝에서

미녀는 괴로워
미녀는 괴로워

유태우 교수의 내몸개혁 6개월 프로젝트
유태우 교수의 내몸개혁 6개월 프로젝트

브레이크 업 : 이별후애(愛)
브레이크 업 : 이별후애(愛)

인사이드 맨
인사이드 맨

마키아벨리, 회사에 가다
마키아벨리, 회사에 가다

웹 2.0 경제학
웹 2.0 경제학

한반도
한반도

연애, 그 참을 수 없는...
연애, 그 참을 수 없는...

구미호 가족
구미호 가족

럭키 넘버 슬레븐
럭키 넘버 슬레븐

찰리와 초콜릿 공장
찰리와 초콜릿 공장

아파트
아파트

레전드 오브 조로
레전드 오브 조로

rss

skin by jiinny
X