본 문서는 제니퍼 인사이트 기능을 폐쇄망 환경의 Private LLM과 연결하는 방법을 안내합니다.

폐쇄망 내부에 다음과 같은 LLM 서버가 있을 경우 연동할 수 있습니다.
- Upstage Solar
- Azure OpenAI
- OpenAI-Compatible API (Ollama, vLLM 등)

제니퍼 AI 기능 사용에 대한 약관은 제니퍼 AI 데이터 보안 정책 안내서를 참고해주세요.

설치 파일 구성

제니퍼 인사이트 기능은 5.6.5 버전 이후 부터 사용할 수 있습니다. 1) 데이터 서버, 2) 뷰 서버를 업데이트 후, 3) 프록시 서버를 추가 설치해야 합니다.

데이터 서버 / 뷰 서버: 기존 업데이트 방식과 동일 (설치가이드)
프록시 서버: jennfer-llm-1.x.x.zip 파일이 필요

제니퍼 서버와 마찬가지로 JDK 17 이상이 필요합니다.

설치 사양

항목	권장사양
CPU	2 core
메모리	2 GB 이상의 물리 메모리
하드디스크	30 GB 이상
OS	Linux, Windows (Linux를 권장)

설치 디렉토리 구성

프록시 서버의 압축 파일을 해제하면 server.llm 디렉토리가 생성되고, 아래와 같은 하위 디렉토리가 생성됩니다.

디렉토리명	설명
bin	실행파일들을 포함하고 있는 디렉토리
conf	설정파일들을 포함하고 있는 디렉토리
webapp	프록시 서버 애플리케이션을 포함한 디렉토리
db_data	인사이트 챗의 대화 기록이 저장되는 디렉토리
logs	프록시 서버의 로그를 저장하는 디렉토리

프록시 서버 설정 (server.llm/conf/server_llm.conf)

server_llm.conf 파일을 통해 서버를 설정합니다. 
사용하는 LLM 서버에 따라 달라지는 설정값이 있고, 달라지지 않는 공통 설정값이 있습니다.
다음은 공통 설정값입니다.

설정 이름	설명
llm_proxy_listen_port	프록시 서버 포트. 뷰서버에서 접속 가능해야 함
llm_proxy_db_filename	인사이트 챗 기록 저장 DB 파일 이름
llm_proxy_db_username	인사이트 챗 기록 저장 DB 사용자 이름
llm_proxy_db_password	인사이트 챗 기록 저장 DB 패스워드

다음은 사용하는 LLM 서버에 따라 달라지는 설정값입니다.

설치 환경에 따라 하나의 옵션만 선택해 적용합니다.

Upstage Solar

설정 이름	설명
llm_proxy_model_name	모델명. 예시 'solar-pro2'
llm_proxy_model_provider	모델제공자. 고정값 ‘private_solar’
llm_proxy_model_private_solar_apiurl	모델 URL. 내부 solar-pro2 URL
llm_proxy_model_private_solar_apikey	(Optional) 모델 API 인증 key

Azure OpenAI

설정 이름	설명
llm_proxy_model_name	모델명. 예시 'gpt-4.1'
llm_proxy_model_provider	모델제공자. 고정값 'azure_openai'
llm_proxy_model_azure_openai_deployment	Azure Foundry의 Model Deployment 이름
llm_proxy_model_azure_openai_endpoint	모델 URL
llm_proxy_model_azure_openai_key	모델 API 인증 key

OpenAI-Compatible API (Ollama, vLLM)

사내에 구축된 Private LLM 서버를 연동하는 방법입니다. 외부 인터넷 연결이 차단된 폐쇄망 환경이나, 데이터 보안이 최우선인 환경에서 OpenAI-Compatible API 규격을 지원하는 로컬 LLM(Ollama, vLLM 등)을 활용하여 생성형 AI 기능을 구현할 수 있습니다.

설정 이름	설명
llm_proxy_model_name	모델명. 'gpt-oss:20b'
llm_proxy_model_provider	모델제공자. 고정값 'private_openai'
llm_proxy_model_private_openai_internal_name	모델별칭 (선택사항). 'openapi/gpt-oss:20b'
llm_proxy_model_private_openai_apiurl	모델 URL. 'http://192.168.0.10:8000/v1'
llm_proxy_model_private_openai_maxtoken_in_k	컨텍스트 길이 (단위: K). '64'
llm_proxy_model_private_openai_image_support	멀티모달 지원 여부. 'false'

Ollama 설정 (Linux)

# 1. 모델 다운로드 (예: gpt-oss:20b)
$ ollama pull gpt-oss:20b
# 2. 서버 시작 (외부 접속 허용)
# OLLAMA_HOST=0.0.0.0 설정 필수
$ OLLAMA_HOST=0.0.0.0 ollama serve
# 3. 작동 확인
$ curl http://localhost:11434/v1/models

vLLM 설정

# 0. 사전 준비 (Gated Model 사용 시)
$ huggingface-cli login
# 1. OpenAI 호환 서버 실행 (최신 권장 명령어)
$ vllm serve gpt-oss/gpt-oss-20b-instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --max-model-len 65536

프록시 서버 실행과 중지

프록시 서버는 아래와 같이 server.llm 디렉토리에서 스크립트를 통해 실행, 중지할 수 있습니다.

# 실행
server.llm$ bin/startup_llm.sh

# 중지
server.llm$ bin/shutdown_llm.sh

서버 실행 후에는 llm.log 파일을 통해 로그를 확인할 수 있습니다.

뷰 서버 설정 (server.view/conf/server_view.conf)

프록시 서버가 실행되면, 프록시 서버와 연결하기 위해 뷰 서버의 설정 파일을 수정해야 합니다. 다음은 뷰 서버 설정에 대한 설명입니다.

설정 이름	설명
llm_proxy_host	프록시 서버 호스트와 포트 (예: localhost:8080)
llm_proxy_uuid	프록시 서버에 등록할 뷰서버 ID (임의의 UUID)
llm_proxy_org	프록시 서버에 등록할 뷰서버 이름 (임의의 문자열)
llm_proxy_connection_timeout_seconds	연결 타임아웃 설정 (기본 10초)
llm_proxy_inactivity_timeout_seconds	응답 타임아웃 설정 (기본 10초)

뷰 서버 설정을 수정한 후 뷰 서버를 재시작해야합니다.

uuid 는 중복되지 않는 아이디를 만들기 위한 표준 규약입니다.

일반적으로 리눅스 계열 운영체제에서는 uuid 혹은 uuigen 명령으로 생성할 수 있습니다.

설치 확인

설치가 완료되면 설정 > 인사이트 챗 메뉴에서 아래와 같이 연결 상태를 확인할 수 있습니다.