서버 LLM

본 가이드는 JENNIFER5 사용자가 사내 폐쇄망 또는 인프라 내에 구축된 프라이빗 LLM(Private Server LLM) 서버를 연동하기 위한 기술 명세서입니다. 브라우저 LLM과 달리, 기업 내부 네트워크(On-premise)에 별도의 LLM 프록시 서버를 구축하여 제니퍼 인사이트 기능을 구동합니다.

모든 질의와 데이터 처리는 사내 보안망 내에서만 통신하므로, 외부 퍼블릭 클라우드로의 데이터 유출을 원천 차단하는 완벽한 보안(Privacy-First) 환경을 제공합니다.

특히 사내 독자 구축 모델(vLLM과 같은 OpenAI-Compatible API)은 물론, 엄격한 데이터 거버넌스가 적용된 기업용 엔터프라이즈 환경(Upstage Solar Private, Azure OpenAI, AWS Bedrock)까지 유연하게 수용할 수 있는 아키텍처와 최적화 구성 전략을 다룹니다.

설치 파일 구성

제니퍼 인사이트 기능은 5.6.5 버전 이후 부터 사용할 수 있습니다. 1) 데이터 서버, 2) 뷰 서버를 업데이트 후, 3) 프록시 서버를 추가 설치해야 합니다.

• 데이터 서버 / 뷰 서버: 기존 업데이트 방식과 동일

• 프록시 서버: jennfer-llm-1.x.x.zip 파일이 필요

설치 사양

설치 디렉토리 구성

프록시 서버의 압축 파일을 해제하면 server.llm 디렉토리가 생성되고, 아래와 같은 하위 디렉토리가 생성됩니다.

프록시 서버 설정 (server.llm/conf/server_llm.conf)

server_llm.conf 파일을 통해 서버를 설정합니다. 
사용하는 LLM 서버에 따라 달라지는 설정값이 있고, 달라지지 않는 공통 설정값이 있습니다.
다음은 공통 설정값입니다.

다음은 사용하는 LLM 서버에 따라 달라지는 설정값입니다.
설치 환경에 따라 하나의 옵션만 선택해 적용합니다.

Upstage Solar

Azure OpenAI

AWS Bedrock

OpenAI-Compatible API

사내에 구축된 Private LLM 서버를 연동하는 방법입니다. 외부 인터넷 연결이 차단된 폐쇄망 환경이나, 데이터 보안이 최우선인 환경에서 OpenAI-Compatible API 규격을 지원하는 LLM 서버를 활용하여 제니퍼 인사이트와 연동할 수 있습니다.

프록시 서버 실행과 중지

프록시 서버는 아래와 같이 server.llm 디렉토리에서 스크립트를 통해 실행, 중지할 수 있습니다.

# 실행
server.llm$ bin/startup_llm.sh

# 중지
server.llm$ bin/shutdown_llm.sh

서버 실행 후에는 llm.log 파일을 통해 로그를 확인할 수 있습니다.

뷰 서버 설정 (server.view/conf/server_view.conf)

프록시 서버가 실행되면, 프록시 서버와 연결하기 위해 뷰 서버의 설정 파일을 수정해야 합니다. 다음은 뷰 서버 설정에 대한 설명입니다.

뷰 서버 설정을 수정한 후 뷰 서버를 재시작해야합니다.

설치 확인

설치가 완료되면 설정 > 인사이트 챗 메뉴에서 아래와 같이 연결 상태를 확인할 수 있습니다.

브라우저 LLM

본 가이드는 JENNIFER5 사용자가 외부 네트워크 연결 없이 브라우저 내에서 직접 LLM(Large Language Model)을 구동하기 위한 기술 명세서입니다. 모든 추론(Inference) 과정은 클라이언트(사용자 PC)의 자원을 활용하여 수행되므로, 데이터가 외부 서버로 전송되지 않는 완벽한 보안(Privacy-First) 환경을 제공합니다.

특히 Chrome 121 (On-premise) 환경을 표준으로 하며, Windows, macOS, 그리고 엔터프라이즈 환경의 Linux (Vulkan 백엔드) 환경까지 포괄하는 최적화 전략을 다룹니다.

배포 전략 수립 (Decision Tree)

고객사의 인터넷 연결 상태에 따라 아래 순서대로 적용하십시오.

[0순위] MeidaPipe LiteRT-LM (Gemma4) 가이드

Google의 최신 온디바이스 AI 기술을 활용하여 브라우저 내에서 GPU 가속(WebGPU)을 통해 LLM을 구동합니다. ONNX 대비 월등히 높은 모델 구동 안정성을 보장하며, 폐쇄망 환경에서도 동작합니다.

권장 사양 (MediaPipe Runtime)

모델 다운로드

• 소스: Hugging Face (LiteRT Community)

• URL: https://huggingface.co/litert-community/gemma-4-E2B-it-litert-lm

• * 필수 파일: gemma-4-E2B-it-web.litertlm

디렉토리 배치

• 기본 경로: server.view/mediapipe_models/{모델명}/

  • 예시: server.view/mediapipe_models/gemma3-3n-E2B/gemma3-3n-E2B-it-int4-Web.task

• 경로 변경: server.view.conf 파일의 mediapipe_model_path 옵션을 수정하여 mediapipe_models 디렉토리 경로를 변경할 수 있습니다.

[1순위] Chrome Built-in AI (Gemini Nano) 가이드

인터넷 연결이 허용된다면, 별도의 모델 파일 관리 없이 최상의 성능을 내는 이 방식을 최우선으로 적용하십시오.

권장 사양 (Gemini Nano)

ONNX 방식보다 메모리 효율이 뛰어나, 사양이 낮은 PC에서도 대시보드와 함께 구동하기 유리합니다.

활성화 방법 (Flags 설정)

1. Chrome 주소창에 chrome://flags 입력

2. Prompt API for Gemini Nano 검색 -> Enabled 선택

3. 브라우저 재시작

모델 설치 확인

• 인터넷 연결 필수: 기능 활성화 후 Chrome이 백그라운드에서 최적화 모델(약 1GB+)을 자동 다운로드합니다.

• 확인: chrome://components 접속 -> Optimization Guide On Device Model 항목 확인.

  • 버전 0.0.0.0: 다운로드 대기 중 (인터넷 확인 필요)

  • 버전 2024.x.x.x: 설치 완료 (사용 가능)

[2순위] ONNX Runtime (Qwen3) 가이드

폐쇄망 환경이거나 특정 모델(Qwen3)을 반드시 사용해야 하는 경우 적용합니다. 리소스 사용량이 높으므로 사양 확인이 필수적입니다.

권장 사양 (ONNX Runtime)

대시보드 렌더링과 LLM 추론이 브라우저 탭 하나의 리소스를 공유하므로 높은 사양이 요구됩니다.

모델 다운로드

• 소스: Hugging Face (ONNX Community)

• URL: https://huggingface.co/onnx-community/Qwen3-0.6B-ONNX

• 필수 파일: onnx/model_fp16.onnx (기본), onnx/model_q4f16.onnx (예비)

디렉토리 배치

• 기본 경로: server.view/onnx_models/{모델명}/

  • 예시: server.view/onnx_models/qwen3-0.6b/onnx/model_fp16.onnx

• 경로 변경: server.view.conf 파일의 onnx_model_path 옵션을 수정하여 onnx_models 디렉토리 경로를 변경할 수 있습니다.

모델 포맷 선정 가이드 (Dynamic Loading)

고객 PC 환경에 맞춰 적절한 모델 파일을 로드하도록 설정하십시오.

OS별 최적화 (WebGPU)

Windows 환경 (NVIDIA/AMD)

• 주요 이슈: 내장 그래픽(iGPU) 점유

  • 노트북 등에서 Chrome이 전력 효율을 위해 고성능 GPU 대신 내장 그래픽을 사용하는 경우가 빈번합니다.

  • 대응 가이드: Windows 그래픽 설정에서 Chrome을 고성능으로 설정

• 이슈: WebGPU 차단

  • 대응: 드라이버 업데이트 또는 Override software rendering list 활성화

Mac 환경 (Apple Silicon)

• 브라우저 선택:

  • 반드시 Google Chrome 사용을 안내하십시오.

• 성능 및 안정성 팁:

  • [중요] M1/M2/M3 등 칩셋 성능과 무관하게, 브라우저 환경에서는 fp16보다 q4f16이 구동 성공률이 월등히 높습니다.

  • 고사양 맥북 사용자라도 에러 발생 시 메모리 부족이 아니라 호환성 문제라고 안내하여 안심시키십시오.

트러블슈팅 가이드

부록: HTTP 환경 강제 활성화 (Flag 설정)

SSL 인증서 발급이 어려운 내부망(Private Network) 환경에서 IP 주소(http://192.168.x.x)로 접속해야 할 경우, 아래 설정을 통해 WebGPU 및 Gemini Nano를 강제로 활성화할 수 있습니다.

1. Chrome 주소창에 chrome://flags/#unsafely-treat-insecure-origin-as-secure 입력

2. Insecure origins treated as secure 항목을 Enabled로 변경

3. 텍스트 박스에 현재 접속하는 서버 주소를 입력 (예: http://192.168.0.100)

   • 포트가 있다면 포트까지 포함 (예: http://192.168.0.100:8080)

4. 우측 하단 Relaunch 버튼 클릭하여 브라우저 재시작

요약 (엔지니어 체크리스트)

1. Browser Version: Chrome 121+ (Nano 사용 시 127+) 확인 완료

2. Protocol Security: HTTPS 접속 또는 Flag 예외 처리 완료

3. Model Files: .task 또는 .onnx 파일 경로 및 권한 확인

4. Graphics Driver: chrome://gpu에서 WebGPU/Vulkan 가속 상태 확인

5. Memory Check: 고객 PC의 가용 RAM이 모델 요구사항(VRAM 공식 참조)을 충족하는지 확인

MCP 연결

제니퍼 LLM 프록시 서버는 MCP(Model Context Protocol) 서버 역할을 동시에 수행합니다.
사내 폐쇄망 내부에서 구동되는 Private LLM 또는 로컬 LLM 서버에 연결된 MCP 클라이언트가 있는 경우, 제니퍼 LLM 프록시 서버에 연동하여 실시간 제니퍼 APM 데이터에 안전하게 접근하고 분석 작업을 수행할 수 있습니다.

기본 연결 설정 정보

MCP 클라이언트에서 제니퍼 LLM 프록시 서버에 직접 연결하려면 아래의 설정 옵션이 필요합니다.

필수 요청 헤더

MCP 서버는 제니퍼 OpenAPI를 통해 데이터를 조회하므로, MCP 클라이언트 헤더 설정에 아래 옵션을 반드시 입력해 주셔야 합니다.

• X-Jennifer-Api-Url: 연동할 제니퍼 서버의 URL

• X-Jennifer-Api-Token: 제니퍼 서버 콘솔의 설정 > JENNIFER 서버 > 인증토큰 발급 메뉴에서 생성한 API 인증 토큰

Open WebUI 연동 가이드

사내 가상화나 로컬 환경에서 가장 널리 쓰이는 Open WebUI에 제니퍼 MCP를 연동하는 구체적인 순서는 다음과 같습니다.

• Open WebUI 공식 홈페이지

• Open WebUI 공식 문서 가이드

단계 1: MCP 연결 등록

1. Open WebUI 웹 콘솔에 로그인 후 왼쪽 하단의 사용자 프로필 메뉴 > Admin Panel > Settings > Integrations 화면으로 이동합니다.

2. Manage Tool Servers 항목 우측의 + 버튼 혹은 Add Connection을 선택합니다.

3. 아래와 같이 연결 세부 정보를 입력합니다.

   1. Type: MCP (Streamable HTTP)

   2. Name / ID: jennifer-mcp (자유롭게 입력 가능)

   3. Description: 서비스 식별을 위한 설명 입력

   4. URL: https://<llm-proxy-server:port>/mcp (예: https://insight.jennifersoft.com/mcp)

   5. Auth: None

   6. Headers: 아래와 같이 JSON 포맷으로 제니퍼 API 접속 정보를 입력합니다.

4. 입력을 완료하고 Save 버튼을 클릭하여 연결을 저장합니다.

단계 2: 채팅창 내 도구(Tool) 활성화

1. 새 대화 창으로 이동한 후 사용할 LLM 모델(예: llama3.1:8b)을 선택합니다.

2. 입력창 좌측 하단의 도구 아이콘(플러그/스패너 모양)을 클릭하고 Tools 하위 메뉴를 엽니다.

3. 등록한 jennifer-mcp 항목 우측의 토글 스위치를 활성화(Green 온 상태)합니다.

단계 3: 동작 테스트 및 활용법

제니퍼 MCP 도구가 올바르게 연결되었는지 확인하기 위해 아래와 같이 질문을 던져 테스트할 수 있습니다.

• 도구 목록 확인 및 검증

  • 대화창에 "tools 목록 보여줘."라고 입력하면, 연동된 jennifer-mcp를 통해 조회할 수 있는 다양한 APM 분석 데이터 도구 목록(예: metrics_list, transaction_list_by_application, sql_statistics 등)을 LLM이 인식하고 답변합니다.

• 실시간 데이터 질의 예시

  • 질문: "도메인 목록 보여줘."

  • 결과: LLM이 백엔드에서 제니퍼 OpenAPI(jennifer-mcp-id_get_domain_list)를 실시간 호출하여 현재 모니터링 중인 도메인 이름, ID 및 그룹 정보를 자연스러운 목록 형태로 포맷팅해 답변합니다.

도움말 챗봇

제니퍼 도움말 챗봇은 제니퍼와 관련된 다양한 자료를 기반으로 사용자의 질문에 답변하는 ChatGPT 기반 챗봇 서비스입니다.

이 서비스는 제니퍼 매뉴얼, 에이전트 고급 옵션 가이드, 제니퍼 블로그, 릴리즈 노트 등 여러 자료를 검색하여 제니퍼 제품과 관련된 기능, 설정, 운영 방법, 에이전트 옵션, 버전별 변경 사항 등에 대한 정보를 보다 빠르게 확인할 수 있도록 지원합니다.

사용자는 기존 문서를 직접 찾아보지 않아도 자연어로 질문하여 필요한 내용을 확인할 수 있으며, 제니퍼 사용 및 기술 지원 과정에서 참고 자료로 활용할 수 있습니다.

현재 제니퍼 도움말 챗봇은 엔지니어와 고객을 대상으로 제공됩니다. 엔지니어는 제니퍼소프트 Asana를 통해 인증할 수 있으며, 고객은 별도의 신청 페이지를 통해 이용할 수 있습니다. 고객 신청 방법에 대한 자세한 내용은 별도 섹션에서 안내합니다.

고객 가입 신청 페이지

신청 페이지에서 이름, 이메일, 전화번호, 회사명 등을 입력해 신청하실 수 있습니다. 다만 일반 고객은 내부 승인 절차를 거친 뒤 가입이 완료되니 참고해 주십시오.

https://chatbot.jennifersoft.com/register

모바일 앱 설치 방법

PWA(Progressive Web App)는 웹 기술로 개발되지만 설치하면 홈 화면에 아이콘이 생성되고 오프라인에서도 동작하는 앱처럼 사용할 수 있는 응용 프로그램입니다. 이 방식은 데스크톱뿐만 아니라 모바일에서도 동일하게 적용되며, 안드로이드와 iOS 모두에서 설치를 지원하므로 기종과 브라우저에 관계없이 동일한 사용자 경험을 제공합니다.

모바일에서 설치하는 방법도 간단합니다. 웹 앱을 브라우저에서 열고 우측 상단의 메뉴 버튼(안드로이드 Chrome은 ‘⋮’, iOS Safari는 ‘공유’ 아이콘)을 탭한 뒤 메뉴에서 홈 화면에 추가를 선택합니다. 나타나는 팝업에서 ‘추가’를 눌러 설치를 완료하면 홈 화면에 아이콘이 생성되고 앱처럼 실행할 수 있습니다. Android와 iOS 모두 동일한 메뉴 이름을 사용하므로, 홈 화면에 추가 옵션을 찾기만 하면 쉽게 설치할 수 있습니다.