AI Gateway 구축, 직접 할까 관리형으로 맡길까
AI Gateway 구축은 직접도, 관리형도 됩니다. 갈림길은 계약·결제·키·한도·보안·관제를 누가 맡느냐입니다. 고르는 기준을 정리했습니다.
AI Gateway는 오픈소스로 직접 세울 수도 있고 관리형으로 맡길 수도 있습니다. 갈림길은 소프트웨어가 아니라 그 뒤의 운영 — 계약·결제, 키, 한도, 보안, 관제를 누가 맡느냐입니다.
게이트웨이 소프트웨어는 오픈소스로 공개된 것도 있어, 서버에 설치하는 데서 시작할 수 있습니다. 그런데 학생·교직원·연구실이 날마다 쓰기 시작하면 프로바이더마다 계약과 결제를 하고, 사람마다 키와 한도를 나누고, 기록을 남기고, 장애가 나면 대응하는 일이 계속 생깁니다. 이 글은 AI Gateway를 직접 구축할 때 무엇을 세워야 하는지, 관리형으로 맡기면 기관에 무엇이 남는지, 우리 기관은 어느 쪽이 맞는지를 순서대로 정리했습니다.
여러 모델을 한 API로 묶는 원리는 멀티 LLM 플랫폼이란? ChatGPT·Claude·Gemini를 한 API로에서 먼저 다뤘습니다. 이 글은 그 게이트웨이를 "누가 세우고 운영하느냐"에 집중합니다.
AI Gateway는 무엇을 하나요?
AI Gateway는 기관 안의 모든 AI 호출이 지나가는 관문입니다. 학생 실습, 교직원 업무, 연구실 코드가 각자 OpenAI·Anthropic·Google에 따로 붙는 대신, 게이트웨이 한 곳을 거쳐 나갑니다.
관문 한 곳을 지나가게 하면 할 수 있는 일이 생깁니다.
- 통합 API 하나 — 여러 프로바이더의 모델을 같은 방식으로 부릅니다.
- 키 보관 — 프로바이더의 실제 API 키는 게이트웨이에만 두고, 사용자에게는 나눠 주지 않습니다.
- 사람·부서별 한도 — 누가 얼마나 쓸 수 있는지 정합니다.
- 사용·비용 기록 — 누가 어떤 모델을 얼마나 썼는지 남깁니다.
- 개인정보 마스킹 — 외부 모델로 나가기 전에 민감 정보를 가립니다.
- 모델 라우팅 — 요청마다 어떤 모델로 보낼지 정합니다.
공개된 게이트웨이 제품들도 비슷한 기능을 내세웁니다. Cloudflare는 자사 AI Gateway를 "AI 앱에 대한 가시성과 통제"를 주는 도구로 소개하며 분석(요청 수·토큰·비용), 로그, 캐시, 속도 제한, 재시도·모델 대체를 기능으로 듭니다(Cloudflare 문서). 기관이 정할 것은 기능이 아니라 이 관문을 누가 세우고 운영하느냐입니다.
AI Gateway를 직접 구축하면 무엇을 세워야 하나요?
직접 구축은 대개 오픈소스 게이트웨이를 기관 서버에 설치하는 데서 시작합니다. 오픈소스 게이트웨이 가운데 하나인 LiteLLM의 공식 문서를 보면, 무엇을 세워야 하는지가 잘 드러납니다.
LiteLLM 문서는 자사 게이트웨이를 "자체 호스팅 서버(self-hosted server)"라고 설명하고, 첫 단계로 "Docker, Helm, Terraform으로 게이트웨이를 띄우고 Postgres 데이터베이스를 연결"하라고 안내합니다. 기능으로는 사용자·팀·프로젝트마다 가상 키를 주고 키마다 쓸 수 있는 모델·예산·속도 한도를 붙이는 접근 통제, 요청마다 비용을 기록하는 지출 추적, 프로바이더 장애 때 트래픽을 옮기는 부하 분산·대체·재시도, 개인정보 마스킹 같은 가드레일, 외부 관측 도구로 로그를 보내는 기능을 듭니다(LiteLLM 문서).
기관 입장에서 옮기면 세울 것은 다섯 가지입니다.
- 서버 배포 — 게이트웨이를 띄울 서버와 배포 방식
- 데이터베이스 — 키·사용·비용 기록을 저장할 곳
- 프로바이더 연결 — 쓸 모델마다 계약·결제를 하고 API 키를 받아 등록
- 키·한도 정책 — 사람·팀·과제별 키와 예산·속도 한도
- 보안·기록 — 마스킹 규칙, 로그·지표를 보낼 곳
소프트웨어는 공개돼 있어도, 세운 뒤의 업데이트·장애 대응·관제는 계속 기관이 맡습니다.
구축보다 운영에서 갈린다는 건 무슨 뜻인가요?
게이트웨이를 설치하는 일은 한 번이지만, 운영은 학기 내내 이어집니다. 직접 구축과 관리형이 실제로 갈리는 곳은 다음 다섯 군데입니다.
- 프로바이더 계약·결제 — 쓸 모델이 늘수록 계약과 해외 결제도 늘어납니다. 직접 구축이라면 프로바이더마다 계약하고 결제·정산하는 일이 기관에 남습니다.
- 사람별 한도 — 프로바이더 쪽 한도는 사람 단위로 걸리지 않을 수 있습니다. 예를 들어 OpenAI 문서는 속도 한도가 "조직과 프로젝트 단위로 정해지며, 사용자 단위가 아니다"라고 밝힙니다(OpenAI 문서). 학생 한 명, 연구실 하나 단위의 한도는 게이트웨이에서 따로 설계하고 관리해야 합니다.
- 보안·감사 기록 — 마스킹 규칙을 정하고, 호출 기록을 남기고, 감사 때 꺼내 보여 줄 수 있어야 합니다.
- 장애·업데이트 — 프로바이더가 멈추거나 모델이 바뀌면 설정을 고치고, 게이트웨이 자체도 업데이트해야 합니다.
- 관제 — 이상 사용이나 급증을 누군가 보고 있어야 합니다.
같은 게이트웨이라도 이 일들을 기관이 맡으면 직접 구축, 공급사가 맡으면 관리형입니다.
관리형으로 맡기면 기관에 남는 일은 무엇인가요?
UAG.IM의 관리형 AI 게이트웨이는 AI Gateway 구축부터 계약·운영까지 대신 맡습니다. 여러 프로바이더의 계약·키·요금을 UAG.IM이 대신 보유하고, 정책 라우팅·예산 통제·보안 파이프라인·24/7 운영 관제까지 맡습니다. 기관은 통합 API와 대시보드만 확인하면 됩니다.
맡기는 일을 앞의 다섯 군데에 맞춰 보면 이렇습니다.
| 운영 항목 | 직접 구축 | 관리형 AI 게이트웨이 |
|---|---|---|
| 프로바이더 계약·결제 | 기관이 프로바이더마다 계약·해외 결제 | UAG.IM이 대신 계약·결제, 기관은 원화로 정산 |
| 사람별 한도 | 기관이 게이트웨이에서 설계·관리 | 수업·학과·연구실 단위 좌석·토큰 한도, 계정·과목·기관 단위 월 예산 한도와 80% 도달 경고 |
| 보안·감사 기록 | 기관이 규칙·로그 체계 구성 | 외부 모델로 나가기 전 개인정보 자동 마스킹·기밀 차단 규칙 적용, 모든 호출을 지울 수 없는 감사 로그로 남김 |
| 장애·업데이트 | 기관이 게이트웨이 업데이트·설정 변경 | 구축부터 운영까지 UAG.IM이 맡음 |
| 관제 | 기관이 직접 | 24/7 운영 관제를 UAG.IM이 맡고, 기관은 대시보드로 확인 |
모델은 통합 엔드포인트 하나로 340개가 넘는 모델을 쓰고, 역할·부서별 사용 모델 범위를 정책으로 지정합니다.
기관에 남는 일은 크게 세 가지입니다. 누가 어떤 모델을 얼마나 쓸지 정책을 정하는 일, 대시보드와 사용 리포트로 결과를 확인하는 일, 그리고 원화로 정산하는 일입니다. 학생에게 실습용 API 키를 직접 나눠 줄 필요도 없습니다.
좌석·토큰 한도를 어느 단위로 나눌지는 학과·연구실별 AI 사용량 관리: 좌석·토큰 한도 설계에서, 원화 구매·정산은 생성형 AI 크레딧, 기관은 어떻게 구매·정산할까에서 자세히 다뤘습니다.
우리 기관은 어느 쪽이 맞나요?
아래 기준으로 나눠 보면 대개 답이 나옵니다.
직접 구축이 맞을 때
- 게이트웨이를 맡을 개발·운영 인력이 기관 안에 있다
- 쓰는 사람이 개발팀이나 특정 연구실처럼 소수다
- 프로바이더 계약·해외 결제를 기관이 직접 처리할 수 있다
관리형이 맞을 때
- 학생·교직원 다수에게 학기 단위로 AI를 연다
- 해외 결제 없이 원화로 정산해야 한다
- 24시간 관제와 감사 기록을 맡길 곳이 필요하다
두 경우가 섞여 있다면, 연구실 한두 곳은 직접 운영하고 전체 구성원용은 관리형으로 여는 식으로 나눠 생각할 수도 있습니다. 외부 모델로 데이터를 보낼 수 없는 폐쇄망 환경이라면 기관 안에 AI 서버를 두는 온프레미스 AI 서버를 함께 검토합니다.
관리형 AI Gateway는 어떤 순서로 도입하나요?
UAG.IM의 관리형 AI 게이트웨이 도입은 다섯 단계로 진행됩니다.
- 진단·상담 — 현재 AI 사용 현황과 규제 요건을 진단하고 도입 범위를 정합니다.
- 파일럿·PoC — 실제 업무로 소규모 검증을 돌려 효과와 리스크를 확인합니다.
- 구축·연동 — 서버·게이트웨이·라우팅을 구성하고 기관 시스템에 연동합니다.
- 사내 교육 — 실무 담당자를 대상으로 사용법·운영 교육을 진행합니다.
- 운영·정착 — 예산·보안·감사를 함께 운영하며 실무에 자리 잡을 때까지 지원합니다.
가격은 약정 기간과 사용 인원·사용 금액·서비스 구성에 따라 달라 일률적인 가격표를 두지 않습니다. 상담에서 기관의 사용 현황을 확인한 뒤 견적을 안내합니다. 상담 전에 쓸 사람과 인원, 쓰려는 모델, 정산 방식, 폐쇄망 여부를 정리해 두면 도입 범위를 빠르게 정할 수 있습니다. 대학이라면 대학 생성형 AI 통합 플랫폼 구성도 함께 보세요. 게이트웨이 말고도 도입 전에 정해야 할 것 전체는 대학 생성형 AI 플랫폼, 도입 전에 정해야 할 5가지에 정리했습니다.
자주 묻는 질문
AI Gateway 구축을 기관이 직접 해야 하나요?
꼭 그렇지는 않습니다. 오픈소스 게이트웨이를 직접 설치해 운영할 수도 있고, 관리형으로 맡길 수도 있습니다. UAG.IM의 관리형 AI 게이트웨이는 여러 프로바이더의 계약·키·요금을 대신 보유하고, 정책 라우팅·예산 통제·보안 파이프라인·24/7 운영 관제까지 맡습니다. 기관은 통합 API와 대시보드만 확인하면 됩니다.
오픈소스로 직접 구축하면 무엇이 필요한가요?
게이트웨이를 띄울 서버와 배포 방식, 키·사용·비용 기록을 저장할 데이터베이스, 프로바이더마다의 계약·결제와 API 키, 사람·팀별 키와 한도 정책, 마스킹 규칙과 로그 연결이 필요합니다. 세운 뒤의 업데이트·장애 대응·관제도 기관이 맡습니다.
프로바이더 콘솔에서 사람별 한도를 걸 수는 없나요?
OpenAI 문서에 따르면 속도 한도는 조직과 프로젝트 단위로 정해지며 사용자 단위가 아닙니다. 학생·연구실 단위의 한도는 게이트웨이에서 따로 설계해야 합니다.
관리형으로 맡기면 어떤 모델을 쓸 수 있나요?
OpenAI·Anthropic·Google 등 340개가 넘는 모델을 하나의 통합 엔드포인트로 사용합니다. 역할·부서별로 사용 가능한 모델 범위를 정책으로 지정할 수 있습니다.
민감한 데이터가 외부 모델로 나가지 않나요?
외부 모델로 나가기 전에 개인정보(PII) 마스킹과 기밀 차단 규칙이 먼저 적용되고, 모든 호출은 지울 수 없는 감사 로그로 남습니다. 외부로 데이터를 보낼 수 없는 폐쇄망이라면 온프레미스 AI 서버를 함께 검토합니다.
