카카오클라우드 - 클라우드 개발자 교육 12주차 후기

 

저번주 클라우드 환경에 추가적으로 할당해놓은 서브넷이 있다.

GPU 서버를 호스팅하기 위해 잡아놓은 서브넷 대역이다.

 

이 대역에 GPU 인스턴스를 호스팅하고, 추가로 AI Agent를 호스팅해 최대한 GPU를 사용하려한다.

 

이번주 개발한 AI는 RAG 기반 LLM이며, 여러 가지 아키텍쳐 버전으로 작성했다. LangChain 공식문서를 참고해 개발했다. 

아키텍쳐는 LangChain 공식문서를 확인하면 볼 수 있다.

https://docs.langchain.com/oss/python/langchain/agents

Agents - Docs by LangChain

 

작년과 문법이 달라져 달라진 부분을 체크했다. 

분기별로 크고 작게 계속 변화해 블로그 작성일 기준으로 개발된것을 참고해야한다.

 

 

코드는 아래 깃허브 링크를 참조하면 확인할수 있다. 

https://github.com/yhj0904/langgraph-test-agent

 

 

지식 베이스는 소득세법과, 부동산세법을 사용했다.

 

 

Vector DB는 Chroma, 모델은 그냥 openAI 크래딧 충전 후 gpt-4o 등을 사용했다. 

 

LangChain이란? 

LangChain의 핵심 아이디어는 LLM을 단독으로 사용하는 것이 아니라, 여러 컴포넌트들을 체인(Chain) 형태로 연결하여 복잡한 워크플로우를 구성하는 것입니다. 이를 통해 단순한 텍스트 생성을 넘어 외부 데이터 소스 연동, 도구 사용, 메모리 관리 등이 가능해집니다.

claude opus피셜

 

내가 사용한 바로 LangChain이란 LLM 개발 워크플로우를 Spring Boot와 같이 편리하게 사용할 수 있는 프레임워크인것 같다.

가장 큰 핵심. Chain이란 말 그대로 LLM에서 응답 혹은 VectorDB에서 응답 받은 결과를 다음 프로세스로 가져가 컨텍스트로 사용할 수 있는 점 이다.

 

두번째는 여러 라이브러리들이 있다. Langchain core, community, openAI ... LLM을 다루기 훨씬 쉬워지며 처음 개발해보는 에이전트를 보다 빠르게 이해하고 쉽게 개발하게 도와주는 가장 큰 역할이였다.

 

 

LangGraph 란?

 

LangChain을 활용해 OpenAI API로 채찍피티에게 질문을 했다. 이때 질문하기전 Context를 검색하고 프롬프트를 템플릿을 사용해 작성했다.

 

START는 질문, generate는 응답 생성, END는 답변이다.

 

다음, 내가 질문을 했을때  지식기반을 통해 사전 정보를 검색해온다. 이 정보를 가지고 AI에게 보다 정확한 답변을 요구하는 GPT를 만들었다.

여기서 RAG의 개념이 적용된다. 

위 그림들 처럼 워크플로를 단계별로 모듈화 해서 연결가능하게 해주는것이 LangGraph이다.

 

 

LangSmith 란? 

 

LangSmith는 LangChain을 개발한 LangChain Inc.에서 제공하는 LLM 애플리케이션 개발, 디버깅, 테스트, 모니터링을 위한 통합 플랫폼입니다. LangChain 프레임워크와 긴밀하게 통합되어 있지만, LangChain을 사용하지 않는 LLM 애플리케이션에서도 독립적으로 활용할 수 있습니다.

 

먼저 AI Agent를 개발하면, 이 에이전트의 성능을 측정해야한다.

내가 만든 에이전트가 hallucination없이 올바른 응답을 제공하는가?

Evaluation이 먼저 이루어지고, 사용자들이 정말 사용 할 수 있는 Agent인지 모니터링해야한다.

이때 LangSmith를 통해 테스트, 모니터링이 유용해진다.

 

 

 

웹검색을 할 수 있는 소득세법 에이전트

 

 

 

세율과 과세공식을 읽어 계산하는 에이전트

 

 

최종적인 결과물의 mermaid 그림이다.

 

 

이렇게 작은 Agent 두개를 만들어, 하나의 멀티 에이전트를 개발했다.

 

 

여기서 지식 기반을 변경하고 적절한 로컬 모델을 찾아, MCP, tool Calling(funtion Calling)을 사용해 최종 에이전트를 호스팅할 계획이다.

이 에이전트는 최종 프로젝트에 아주 유용한 도구로써 활용될 것이고, 최종 프로젝트에 요구사항 중 하나인 파인튜닝의 결과물이 최적의 답변을 줄 수 있도록 개선할것이다.

 

최종적으로 이 에이전트는 아마존에서 정의한 에이전트

출처 : amazon.com

 

 

 

선택자체를 에이전트가 스스로 할 수 있게 진화할 예정이다.

 

—————————————————————————— 
본 후기는 [카카오엔터프라이즈x스나이퍼팩토리] 카카오클라우드로 배우는 AIaaS 마스터 클래스 3기(B-log) 리뷰로 작성 되었습니다.