Egloos | Log-in
결론에 가보기
결론에 가보기
solr 와 함께 좌절중..


어제가 오픈일이었다. 새로운 검색서비스가... 

solr 1.2로 1600만건정도를 잘 색인하고 검색서비스를 제공하고 있었다.
다른쪽에 추가적인 검색서비스가 필요하다고 해서 몇번의 회의를 하였었다.
이미 기존의 서비스를 같이 해본 사람들이었고 스펙도 크게 다르지 않아서 방심을 하였다 ㅠㅜ

사실 방심보다는 다른쪽으로 짜증이 조금 나 있었다.
같이 일하는 사람들이 너무나도 도움을 안주는 것이었다. 지금 잘 동작하지 않는 검색서버를 
교체해준다는 것이었는데.. 샘플데이터를 보고 싶다라고 하니 그냥 테이블 이름 알려주면서 보란다.

투덜투털 되면서 친한 DBA한테 가서 사정사정 해서 데이터를 요청하였는데..
점점 일이 커지기 시작한다. 데이터가 2600만건으로 기존 서비스보다 더 크다..  
윽.. 사이즈가 작은지 알고 편하게 될줄 알았는데.. 큰일이다.. 서버의 스트레스 테스트도 다시 해봐야 하네.

analyzer를 바꿀 예정이었는데.. 이것은 취소하고..(어짜피 게시판이니 효과는 별로일듯)
solr 1.3으로 색인을 시작하였다. solr 1.3의 색인속도가 조금 빨라진것이 체감상 느껴진다. 
한참 색인을 하였는데.. 왠지 데이터가 모자른다는 느낌이다..

확인해보니 유니크 키가 이상하다.. 한창 담당팀과 DBA와 논쟁이다. 중복이다 아니다. 
언제부터는 중복이고 중복이 아니다.. 왔다리 갔다리..  결국 db 필드 3개로 키를 만들었다. 
key의 사이즈가 커지니.. 색인속도와 검색속도가 현저하게 떨어진다.. 
거의 3배이상 커졌으니.. 그것도 일정한 자리수가 아니라 변동성의 폭이 크다.. 제길.. 

key를 조정하고 다시 색인을 완료하여서 오픈준비를 하고 있는데.. 그래도!! 데이터의 사이즈가 부족하다.
확인하여보니 solr1.3의 색인 xml 이 조금 바뀐거 같다.. solr1.2에서는 괜찮았는데.. 1.3에선 에러를 튕겨낸다.
물론 그 데이터가 한글이 아니고 유니코드로 변경하였을때 이상한 값들이긴 하였지만... 
2500만건중에서 1500만건뿐이 색인이 안되었다..  이상태로는 안될듯 하여서 solr1.3에서 1.2로 버전을 다운하기로 결정
부랴부랴 다시 색인을 하여서 간단한 테스트로 되는 것을 확인하고 오픈준비를 완료하였다.

오픈날 마지막 1일치 데이터를 색인하려고 하는데.. 윽.. 데이터의 건수가 1.2만건이다.
이것도 복병이었다.. 하루 증감분이 1.2만건이라.. 제길.. 초당 몇건이란 이야기인가.. 
휴.. 제대로 확인하지 않은 사실들이 너무나도 많다. ㅠㅜ
그놈이랑 신경전하느라고 제대로 못챙겼네.. 아띠.. ㅠㅜ

오픈을 하였다.
예상대로 색인요청건수가 너무나 많다.. 근데 색인의 피드백 타임이 너무 오래 걸린다.. 
검색결과의 시간도 너무 오래걸린다. 메모리를 최대한으로 했는데도.. 
GC overhead limit exceeded , Heap 메모리 부족 에러가 발생한다.. 제길
commit을 요청하면 서버가 먹통이 되어 버린다.. 쩝쩝.. 

결국 롤백결정 ㅜㅡ 

길슨.. 제대로 풀 테스트하지 않은것이 화근이다..
근데.. 참 오픈소스라는 것이 힘들다.. 이런 블랙박스의 형태이니 에러발생시 조절할수 있는 부분이 너무 작다
휴.. 어쩌겠냐.. 풀테스트 시나리오를 작성하고 있다... 다시 해봐야지..

원인이 무엇인지 어떻게 해결해야 하는것인지.
키의 사이즈가 문제인지, 데이터의 양이 문제인지, 색인과 삭제 요청의 빈도수에 대한 한계가 있는지..
solr의 서버한계가 이정도인지.. 결론이 나겠지 ^^

난 개발자인가? 테스터인가? 
by 제우스 | 2008/11/26 16:14 | 컴퓨터 | 트랙백 | 핑백(1) | 덧글(0)
트랙백 주소 : http://zeous.egloos.com/tb/2151182
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Linked at 결론에 가보기 : solr를 .. at 2009/02/25 11:06

... solr와 함께 좌절중 이란 글이 작년 11월 이었으니 3개월후인 어제 무사히 오픈을 마무리 하였다. 참 힘들고 우여곡절도 많고 ^^ 이런것이 나름 노하우가 쌓인다고 하는것인가? 저번 ... more

:         :

:

비공개 덧글

◀ 이전 페이지 다음 페이지 ▶

카테고리
영화나 책
말말말
컴퓨터
게임이야기
태그
vanish ngrinder 개발 똑바로일하라 공연 하이코드 라이프사이클 ror 슬럼프 개발자 직업 제이슨프라이드 게임 디아블로3 나꼽살 원리 helloworld 서버개발 웹개발자 보험 메이저코드 기타코드 스테가노그래피 재태크 화성학 2nd밴드 오픈세미나 마이너코드 파워코드
전체보기
최근 등록된 덧글
PLAY CASINO GAMES ONLINE: ..
by SCXD at 04/04
PLAY CASINO GAMES ONLINE: ..
by SCXD at 04/04
엄지척 바짝 올립니다. 궁금했던..
by 초보 at 10/11
다자가이든 소작이든 닭이 천 마리..
by yada at 09/20
나는 팔라독 헬 깸.
by 남영찬 at 06/17
^안녕.하세요^;; 골드팟 생기개..
by 전설의레전드소설책 at 03/25
이왕이면---- A7 등등 '7' 이 붙는..
by papagoat at 04/12
매우 감사합니다 ! 아주 쉽게 키..
by papagoat at 04/12
자꾸 F를 라로 표기하시네요 ㅎㅎ
by 안녕하세요 at 12/21
시 클라식 기타 코드표 도 보여..
by 강초보 at 06/08
라이프로그
똑바로 일하라
똑바로 일하라

펜트하우스 코끼리
펜트하우스 코끼리

화폐전쟁
화폐전쟁

10억
10억

거북이 달린다
거북이 달린다

용의자 X의 헌신
용의자 X의 헌신

마더
마더

터미네이터 : 미래전쟁의 시작
터미네이터 : 미래전쟁의 시작

스타트렉 더 비기닝
스타트렉 더 비기닝

천사와 악마
천사와 악마

노잉
노잉

7급 공무원
7급 공무원

박쥐
박쥐

인사동 스캔들
인사동 스캔들

와이키키 브라더스
와이키키 브라더스

매란방
매란방

건투를 빈다
건투를 빈다

코끼리는 생각하지 마
코끼리는 생각하지 마

배려
배려

벤자민 버튼의 시간은 거꾸로 간다
벤자민 버튼의 시간은 거꾸로 간다

작전
작전

워낭소리
워낭소리

작전명 발키리
작전명 발키리

적벽대전 2 : 최후의 결전
적벽대전 2 : 최후의 결전

트랜스포터 - 라스트미션
트랜스포터 - 라스트미션

디파이언스
디파이언스

사랑하지 않으면 떠나라!
사랑하지 않으면 떠나라!

촐라체
촐라체

쌍화점
쌍화점

황후화
황후화

크리스마스 별장
크리스마스 별장

눈먼 자들의 도시
눈먼 자들의 도시

예스맨
예스맨

순정만화
순정만화

펀치 레이디
펀치 레이디

눈에는 눈 이에는 이
눈에는 눈 이에는 이

전략적 책읽기
전략적 책읽기

돈, 뜨겁게 사랑하고 차갑게 다루어라
돈, 뜨겁게 사랑하고 차갑게 다루어라

좋은 놈, 나쁜 놈, 이상한 놈
좋은 놈, 나쁜 놈, 이상한 놈

다크 나이트
다크 나이트

H2 1
H2 1

그림으로 읽는 생생 심리학
그림으로 읽는 생생 심리학

호모 코레아니쿠스
호모 코레아니쿠스

강철중: 공공의 적 1-1
강철중: 공공의 적 1-1

이채원의 가치투자
이채원의 가치투자

쿵푸 팬더
쿵푸 팬더

카불의 사진사
카불의 사진사

인디아나 존스 4 - 크리스탈 해골의 왕국
인디아나 존스 4 - 크리스탈 해골의 왕국

시골의사의 부자경제학
시골의사의 부자경제학

종자돈 700만 원으로 부동산 투자 200억 만들기
종자돈 700만 원으로 부동산 투자 200억 만들기

우리동네
우리동네

디지로그 digilog
디지로그 digilog

대하소설 주역 4
대하소설 주역 4

읽지 않은 책에 대해 말하는 법
읽지 않은 책에 대해 말하는 법

Stick 스틱!
Stick 스틱!

색즉시공 시즌 2
색즉시공 시즌 2

바르게 살자
바르게 살자

20대는 통장을, 40대는 인생을 채워라
20대는 통장을, 40대는 인생을 채워라

점퍼
점퍼

생로병사의 비밀
생로병사의 비밀

추격자
추격자

오늘의 거짓말
오늘의 거짓말

주식시장을 이기는 작은책
주식시장을 이기는 작은책

대한민국 진화론
대한민국 진화론

무방비 도시
무방비 도시

피라니아 이야기
피라니아 이야기

우아한 세계
우아한 세계

경제를 읽는 기술
경제를 읽는 기술

실용주의 프로그래머
실용주의 프로그래머

블로그 비즈니스
블로그 비즈니스

어거스트 러쉬
어거스트 러쉬

세븐데이즈
세븐데이즈

뷰티풀 선데이
뷰티풀 선데이

괴물 1
괴물 1

킹덤
킹덤

당신과 일하기 힘들어 죽겠어
당신과 일하기 힘들어 죽겠어

뉴욕의 프로그래머
뉴욕의 프로그래머

나를 바꾸는 데는 단 하루도 걸리지 않는다
나를 바꾸는 데는 단 하루도 걸리지 않는다

벽오 금학도
벽오 금학도

해바라기
해바라기

펀드투자가 미래의 부를 결정한다
펀드투자가 미래의 부를 결정한다

상식이 통하는 웹사이트가 성공한다
상식이 통하는 웹사이트가 성공한다

아버지의 가계부
아버지의 가계부

본 얼티메이텀
본 얼티메이텀

최강 로맨스
최강 로맨스

여자도 여자를 모른다
여자도 여자를 모른다

부동산 10년 대폭락 시나리오
부동산 10년 대폭락 시나리오

아키텍트 이야기
아키텍트 이야기

보물지도
보물지도

오션스 13
오션스 13

게임회사 이야기
게임회사 이야기

바람피기 좋은 날
바람피기 좋은 날

조폭 마누라 3
조폭 마누라 3

삼미 슈퍼스타즈의 마지막 팬클럽
삼미 슈퍼스타즈의 마지막 팬클럽

광기와 우연의 역사
광기와 우연의 역사

런어웨이
런어웨이

회사가 당신에게 알려주지 않는 50가지 비밀
회사가 당신에게 알려주지 않는 50가지 비밀

롱테일 법칙
롱테일 법칙

해리 포터와 불사조 기사단
해리 포터와 불사조 기사단

사소한 것에 목숨 걸지 마라 - 습관 바꾸기 편
사소한 것에 목숨 걸지 마라 - 습관 바꾸기 편

우리가 미처 알지 못한 소프트웨어 공학의 사실과 오해
우리가 미처 알지 못한 소프트웨어 공학의 사실과 오해

트랜스포머
트랜스포머

20대부터 시작하는 스트레스 제로기술
20대부터 시작하는 스트레스 제로기술

미운오리새끼의 출근
미운오리새끼의 출근

캐리비안의 해적 : 세상의 끝에서
캐리비안의 해적 : 세상의 끝에서

미녀는 괴로워
미녀는 괴로워

유태우 교수의 내몸개혁 6개월 프로젝트
유태우 교수의 내몸개혁 6개월 프로젝트

브레이크 업 : 이별후애(愛)
브레이크 업 : 이별후애(愛)

인사이드 맨
인사이드 맨

마키아벨리, 회사에 가다
마키아벨리, 회사에 가다

웹 2.0 경제학
웹 2.0 경제학

한반도
한반도

연애, 그 참을 수 없는...
연애, 그 참을 수 없는...

구미호 가족
구미호 가족

럭키 넘버 슬레븐
럭키 넘버 슬레븐

찰리와 초콜릿 공장
찰리와 초콜릿 공장

아파트
아파트

레전드 오브 조로
레전드 오브 조로

rss

skin by jiinny
X