Private LLM (Solar) for 제니퍼 인사이트

본 문서는 제니퍼 인사이트 기능을 폐쇄망 환경의 Solar Pro2 모델과 연결하는 방법을 안내합니다.

제니퍼 AI 기능 사용에 대한 약관은 제니퍼 AI 데이터 보안 정책 안내서를 참고해주세요.

설치 파일 구성

제니퍼 인사이트 기능은 5.6.5 버전 이후 부터 사용할 수 있습니다. 1) 데이터 서버, 2) 뷰 서버를 업데이트 후, 3) 프록시 서버를 추가 설치해야 합니다.
제니퍼 서버와 마찬가지로 JDK 17 이상이 필요합니다.

설치 사양

항목

권장사양

CPU

2 core

메모리

2 GB 이상의 물리 메모리

하드디스크

30 GB 이상

OS

Linux, Windows (Linux를 권장)

설치 디렉토리 구성

프록시 서버의 압축 파일을 해제하면 server.llm 디렉토리가 생성되고, 아래와 같은 하위 디렉토리가 생성됩니다.

디렉토리명

설명

bin

실행파일들을 포함하고 있는 디렉토리

conf

설정파일들을 포함하고 있는 디렉토리

webapp

프록시 서버 애플리케이션을 포함한 디렉토리

db_data

인사이트 챗의 대화 기록이 저장되는 디렉토리

logs

프록시 서버의 로그를 저장하는 디렉토리

프록시 서버 설정 (server.llm/conf/server_llm.conf)

server_llm.conf 파일을 열고 아래의 설정값을 활성화합니다.

설정 이름

설명

llm_proxy_listen_port

프록시 서버 포트. 뷰서버에서 접속 가능해야 함

llm_proxy_db_filename

인사이트 챗 기록 저장 DB 파일 이름

llm_proxy_db_username

인사이트 챗 기록 저장 DB 사용자 이름

llm_proxy_db_password

인사이트 챗 기록 저장 DB 패스워드

llm_proxy_model_name

모델명. 고정값 ‘solar-pro2’

llm_proxy_model_provider

모델제공자. 고정값 ‘private_solar’

llm_proxy_model_private_solar_apiurl

모델 URL. 내부 solar-pro2 URL

프록시 서버 실행과 중지

프록시 서버는 아래와 같이 server.llm 디렉토리에서 스크립트를 통해 실행, 중지할 수 있습니다.

# 실행
server.llm$ bin/startup_llm.sh

# 중지
server.llm$ bin/shutdown_llm.sh
서버 실행 후에는 llm.log 파일을 통해 로그를 확인할 수 있습니다.

뷰 서버 설정 (server.view/conf/server_view.conf)

프록시 서버가 실행되면, 프록시 서버와 연결하기 위해 뷰 서버의 설정 파일을 수정해야 합니다. 다음은 뷰 서버 설정에 대한 설명입니다.

설정 이름

설명

llm_proxy_host

프록시 서버 호스트와 포트 (예: localhost:8080)

llm_proxy_uuid

프록시 서버에 등록할 뷰서버 ID (임의의 UUID)

llm_proxy_org

프록시 서버에 등록할 뷰서버 이름 (임의의 문자열)

llm_proxy_connection_timeout_seconds

연결 타임아웃 설정 (기본 10초)

llm_proxy_inactivity_timeout_seconds

응답 타임아웃 설정 (기본 10초)

뷰 서버 설정을 수정한 후 뷰 서버를 재시작해야합니다.

설치 확인

설치가 완료되면 설정 > 인사이트 챗 메뉴에서 아래와 같이 연결 상태를 확인할 수 있습니다.