Egloos | Log-in
결론에 가보기
결론에 가보기
solr를 이용한 또다른 ^^ 검색서비스 오픈



solr와 함께 좌절중 이란 글이 작년 11월 이었으니 3개월후인 어제 무사히 오픈을 마무리 하였다.
참 힘들고 우여곡절도 많고 ^^ 이런것이 나름 노하우가 쌓인다고 하는것인가?

저번에 실패로 깨달은 것은 검색서버의 한계치가 있다는 것이었고
그 수치에 이미 회사의 서비스가 많이 근접해있다는 것이었다.

테스트할때는 1억건까지 데이터를 만들어서 조회테스트를 해보았었는데
조회만을 돌려서 성능을 측정하는것은 실서비스의 운영과 다르기에 의미가 없었다.
조회, 추가, 삭제, commit을 모두 합친 형태로 스트레스 테스트를 했어야만 정확한 수치를 알수 있었다.

solr의 위키에 있는 master/slave 구조도 마찬가지이다.
slave에 commit을 하는 순간 고통스러워하는 서버의 로그를 볼수 있을것이다

이런 저런 테스트를 해보니
이번 서비스의 데이터 구조에서는 서버당 1200만건 이상이 되면 서비스를 하기에 힘들것이라는 판단이다.
이미 1600만건이상으로 서비스하고 있는 서버도 있지만 두개가 유니크키의 사이즈가 다르다.

한쪽은 7자리 이하의 숫자이고 다른 한쪽은 최대 30자리의 숫자+영문조합인데
단순 이런 키사이즈의 차이로 성능이 30%정도 차이가 난다.

결국 4대의 서버를 이용해서 데이터를 분산하여서 2700만건의 검색서비스를 시작하였다.
3대로도 가능하지만 스토리지 구조와 맞추기 위해서 ^^ 조금더 안정적인 4대로 오픈하였다.


휴.... 그래도 한고비 넘겼다. ^^
by 제우스 | 2009/02/25 11:06 | 컴퓨터 | 트랙백 | 덧글(6)
트랙백 주소 : http://zeous.egloos.com/tb/2245025
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Commented at 2009/08/20 23:00
비공개 덧글입니다.
Commented by 김도영 at 2009/08/26 09:16
안녕하세요... Lucene을 이용해서 검색서비스를 개발/서비스 하고있는 개발자 1人입니다...
제가 개발한 검색서버가 인덱싱 데이터 reload시에 GC에 관련된 문제로 Searcher가 죽어버리는 현상이 있어서...
튜닝을 고려하고 있다가 Solr라는걸 보게되었고 검색하다가 들어오게 되었네요...^^; (너츠도 봤지만 그닥... 안땡기더군요 ㅎㅎ)
혹시 Solr를 쓰면서 느낀 장, 단점에 대한 내용을 한번 포스팅 해주실수 있을까요? (노하우를 전수받고 싶어요 ^^;)
제우스님의 경험을 들어보고 싶습니다
Commented by 제우스 at 2009/08/27 17:15
solr는 lucene의 엔진을 이용하고 웹서버를 통해서 조회, 색인 .. 등등을 하는 것입니다.
따라서 solr를 쓴다고 하더라도 lucene에서 commit 후 autowarm을 할때 GC가 발생한다고 하면 solr에서도 마찬가지 일것입니다.
엔진자체의 버그라고 하기보단 (물론 버그도 있습니다) 데이터 자체의 규모나 검색방법을 바꾸는 것을 추천해드립니다.

http://zeous.egloos.com/1910281
1년전의 데이터이고 지금은 이것보다 저장된 건수가 높습니다만은 잘 버티고 있습니다.

solr의 장점이라고 하면 웹쪽에서 검색결과를 보여주고 처리해야 한다고 하면 아주 간단하죠..
lucene을 쓴다고 하면 socket 서버나 기타 통신을 위한 부분을 웹서버를 통해서 가능하도록 해주는 것이죠
Commented by red98hw at 2013/11/17 19:53
안녕하세요. 저는 Solr 1.4 버전을 가지고 개발중인 개발자입니다.

서버당 1200만건 이라고 하셨는데 이게 어떠한 수치를 말씀 하시는건지 알 수 있을까요?

현재저는 Alfresco + Solr을 사용해서 테스트를 하고 있는데,

데이터 마이그레이션 중인데 title, keyword 등을 인덱싱 하고있습니다.

인덱싱 전체 정보 : http://kldp.org/files/1_9.PNG
TITLE 인덱싱 정보 : http://kldp.org/files/%20TITLE.PNG
KEYWORD 인덱싱 정보 : http://kldp.org/files/%20KEYWORD.PNG

검색속도가 결과가 많을수록 너무 늦는 경향이 있고 , 빨라도 3~5초 정도 걸리는 상황입니다.

JVM 메모리 세팅도 충분히 한것같은데...

Master/Slave를 구축해야할까요? 조언 부탁드리겠습니다 ㅠㅠ
Commented by 제우스 at 2013/11/29 17:41
1.4로 하시나요?
요즘 4.X대의 버전이 나온것 같은데...
1200만건이라는것은 NUMDOCS의 수를 의미하는것입니다.

글을 보셔서 아시겠지만 2009년도 자료입니다.
계속 solr를 하고 잇는것이 아니아서 최신의 자료에 대해서는 제가 무지하네요 ^^
Commented by red98hw at 2014/01/10 17:29
답변 감사합니다~!.

solr 을 사용할까 elasticSearch를 사용할까 고민하다가

elasticSearch를 사용하여서속도적인 측면은 해결하였네요.

:         :

:

비공개 덧글

◀ 이전 페이지 다음 페이지 ▶

카테고리
영화나 책
말말말
컴퓨터
게임이야기
태그
나꼽살 원리 재태크 공연 오픈세미나 2nd밴드 슬럼프 서버개발 개발 똑바로일하라 helloworld 하이코드 ror 기타코드 vanish 화성학 개발자 직업 제이슨프라이드 라이프사이클 게임 스테가노그래피 보험 마이너코드 파워코드 메이저코드 웹개발자 디아블로3 ngrinder
전체보기
최근 등록된 덧글
엄지척 바짝 올립니다. 궁금했던..
by 초보 at 10/11
다자가이든 소작이든 닭이 천 마리..
by yada at 09/20
나는 팔라독 헬 깸.
by 남영찬 at 06/17
^안녕.하세요^;; 골드팟 생기개..
by 전설의레전드소설책 at 03/25
이왕이면---- A7 등등 '7' 이 붙는..
by papagoat at 04/12
매우 감사합니다 ! 아주 쉽게 키..
by papagoat at 04/12
자꾸 F를 라로 표기하시네요 ㅎㅎ
by 안녕하세요 at 12/21
시 클라식 기타 코드표 도 보여..
by 강초보 at 06/08
sp를 싫어하는 개발자들은 유지..
by 나도개발자 at 04/23
여자친구와의 금연약속을 어겨서..
by 구사일생 at 11/13
라이프로그
똑바로 일하라
똑바로 일하라

펜트하우스 코끼리
펜트하우스 코끼리

화폐전쟁
화폐전쟁

10억
10억

거북이 달린다
거북이 달린다

용의자 X의 헌신
용의자 X의 헌신

마더
마더

터미네이터 : 미래전쟁의 시작
터미네이터 : 미래전쟁의 시작

스타트렉 더 비기닝
스타트렉 더 비기닝

천사와 악마
천사와 악마

노잉
노잉

7급 공무원
7급 공무원

박쥐
박쥐

인사동 스캔들
인사동 스캔들

와이키키 브라더스
와이키키 브라더스

매란방
매란방

건투를 빈다
건투를 빈다

코끼리는 생각하지 마
코끼리는 생각하지 마

배려
배려

벤자민 버튼의 시간은 거꾸로 간다
벤자민 버튼의 시간은 거꾸로 간다

작전
작전

워낭소리
워낭소리

작전명 발키리
작전명 발키리

적벽대전 2 : 최후의 결전
적벽대전 2 : 최후의 결전

트랜스포터 - 라스트미션
트랜스포터 - 라스트미션

디파이언스
디파이언스

사랑하지 않으면 떠나라!
사랑하지 않으면 떠나라!

촐라체
촐라체

쌍화점
쌍화점

황후화
황후화

크리스마스 별장
크리스마스 별장

눈먼 자들의 도시
눈먼 자들의 도시

예스맨
예스맨

순정만화
순정만화

펀치 레이디
펀치 레이디

눈에는 눈 이에는 이
눈에는 눈 이에는 이

전략적 책읽기
전략적 책읽기

돈, 뜨겁게 사랑하고 차갑게 다루어라
돈, 뜨겁게 사랑하고 차갑게 다루어라

좋은 놈, 나쁜 놈, 이상한 놈
좋은 놈, 나쁜 놈, 이상한 놈

다크 나이트
다크 나이트

H2 1
H2 1

그림으로 읽는 생생 심리학
그림으로 읽는 생생 심리학

호모 코레아니쿠스
호모 코레아니쿠스

강철중: 공공의 적 1-1
강철중: 공공의 적 1-1

이채원의 가치투자
이채원의 가치투자

쿵푸 팬더
쿵푸 팬더

카불의 사진사
카불의 사진사

인디아나 존스 4 - 크리스탈 해골의 왕국
인디아나 존스 4 - 크리스탈 해골의 왕국

시골의사의 부자경제학
시골의사의 부자경제학

종자돈 700만 원으로 부동산 투자 200억 만들기
종자돈 700만 원으로 부동산 투자 200억 만들기

우리동네
우리동네

디지로그 digilog
디지로그 digilog

대하소설 주역 4
대하소설 주역 4

읽지 않은 책에 대해 말하는 법
읽지 않은 책에 대해 말하는 법

Stick 스틱!
Stick 스틱!

색즉시공 시즌 2
색즉시공 시즌 2

바르게 살자
바르게 살자

20대는 통장을, 40대는 인생을 채워라
20대는 통장을, 40대는 인생을 채워라

점퍼
점퍼

생로병사의 비밀
생로병사의 비밀

추격자
추격자

오늘의 거짓말
오늘의 거짓말

주식시장을 이기는 작은책
주식시장을 이기는 작은책

대한민국 진화론
대한민국 진화론

무방비 도시
무방비 도시

피라니아 이야기
피라니아 이야기

우아한 세계
우아한 세계

경제를 읽는 기술
경제를 읽는 기술

실용주의 프로그래머
실용주의 프로그래머

블로그 비즈니스
블로그 비즈니스

어거스트 러쉬
어거스트 러쉬

세븐데이즈
세븐데이즈

뷰티풀 선데이
뷰티풀 선데이

괴물 1
괴물 1

킹덤
킹덤

당신과 일하기 힘들어 죽겠어
당신과 일하기 힘들어 죽겠어

뉴욕의 프로그래머
뉴욕의 프로그래머

나를 바꾸는 데는 단 하루도 걸리지 않는다
나를 바꾸는 데는 단 하루도 걸리지 않는다

벽오 금학도
벽오 금학도

해바라기
해바라기

펀드투자가 미래의 부를 결정한다
펀드투자가 미래의 부를 결정한다

상식이 통하는 웹사이트가 성공한다
상식이 통하는 웹사이트가 성공한다

아버지의 가계부
아버지의 가계부

본 얼티메이텀
본 얼티메이텀

최강 로맨스
최강 로맨스

여자도 여자를 모른다
여자도 여자를 모른다

부동산 10년 대폭락 시나리오
부동산 10년 대폭락 시나리오

아키텍트 이야기
아키텍트 이야기

보물지도
보물지도

오션스 13
오션스 13

게임회사 이야기
게임회사 이야기

바람피기 좋은 날
바람피기 좋은 날

조폭 마누라 3
조폭 마누라 3

삼미 슈퍼스타즈의 마지막 팬클럽
삼미 슈퍼스타즈의 마지막 팬클럽

광기와 우연의 역사
광기와 우연의 역사

런어웨이
런어웨이

회사가 당신에게 알려주지 않는 50가지 비밀
회사가 당신에게 알려주지 않는 50가지 비밀

롱테일 법칙
롱테일 법칙

해리 포터와 불사조 기사단
해리 포터와 불사조 기사단

사소한 것에 목숨 걸지 마라 - 습관 바꾸기 편
사소한 것에 목숨 걸지 마라 - 습관 바꾸기 편

우리가 미처 알지 못한 소프트웨어 공학의 사실과 오해
우리가 미처 알지 못한 소프트웨어 공학의 사실과 오해

트랜스포머
트랜스포머

20대부터 시작하는 스트레스 제로기술
20대부터 시작하는 스트레스 제로기술

미운오리새끼의 출근
미운오리새끼의 출근

캐리비안의 해적 : 세상의 끝에서
캐리비안의 해적 : 세상의 끝에서

미녀는 괴로워
미녀는 괴로워

유태우 교수의 내몸개혁 6개월 프로젝트
유태우 교수의 내몸개혁 6개월 프로젝트

브레이크 업 : 이별후애(愛)
브레이크 업 : 이별후애(愛)

인사이드 맨
인사이드 맨

마키아벨리, 회사에 가다
마키아벨리, 회사에 가다

웹 2.0 경제학
웹 2.0 경제학

한반도
한반도

연애, 그 참을 수 없는...
연애, 그 참을 수 없는...

구미호 가족
구미호 가족

럭키 넘버 슬레븐
럭키 넘버 슬레븐

찰리와 초콜릿 공장
찰리와 초콜릿 공장

아파트
아파트

레전드 오브 조로
레전드 오브 조로

rss

skin by jiinny
X