LangChain이란?
LangChain은 언어모델, 특히 대규모 언어모델(LLM)을 활용하여 구동하는 애플리케이션을 개발하기 위한 프레임워크입니다. 이 프레임워크는 두 가지 주요 기능을 제공합니다:
- Data-aware: 언어 모델을 다른 데이터 소스와 연결
- Agentic: 언어 모델이 환경과 상호작용할 수 있도록 지원
최근의 Large Language Model(LLM)은 뛰어난 맥락 이해 능력을 보이며, 일반적인 상황에서 인간과 자연스럽게 상호작용하는 것과 같이 행동합니다. 하지만 도메인 지식이나 전문성이 필요한 태스크에 대해서는 구체적이고 유효한 답변을 제공하지 않을 수 있습니다.
LangChain은 검색을 통해 언어모델에 지식을 보완하는 방법을 사용합니다. 관련 코퍼스를 적절한 단위(Chunk, 청크)로 쪼개두고 임베딩해둔 다음, 질문에 대해 유사한 청크를 검색하여 활용하는 방식입니다. 이러한 개념을 "프롬프트 파이프라인"이라고 합니다.
LangChain 설치 및 환경 설정하기
pip 설치를 통해 파이썬에서 LangChain을 활용할 수 있습니다. 쏘이지˚◡˚
pip install langchainLangChain에서 OpenAI API 연결하기
OpenAI API key를 발급 받은 후, 다음 두 가지 방법 중 하나로 연결할 수 있습니다:
- 환경변수를 export하는 방법:
export OPENAI_API_KEY="..."- OpenAI 객체를 호출할 때 openai api key를 전달하는 방법:
from langchain.llms import OpenAI
llm = OpenAI(openai_api_key="...")
LangChain을 설치한 후에는 OpenAI API 키를 설정해야 합니다. API 키는 보안을 위해 환경 변수로 설정하는 것이 좋습니다. 개발 환경에서는 직접 코드에 입력할 수도 있지만, 프로덕션 환경에서는 반드시 환경 변수나 보안 저장소를 사용하세요.
ChatGPT 모델 활용 예시
아래의 예시는 LangChain에서 OpenAI의 ChatGPT 모델을 활용하여 결과를 받아보는 예시 코드입니다:
from langchain.chat_models import ChatOpenAI
api_key = "your-api-key"
chat_model = ChatOpenAI(openai_api_key=api_key)
chat_model.predict("잠이 안 올 때는 어떻게 하면 좋을지 대답해줘")이때 질문 부분을 사용자 메시지(
HumanMessage)로 처리해서 추론을 할 수 있으며, temperature 등 언어모델 사용에 필요한 인자들을 함께 파라미터로 넘길 수도 있습니다.from langchain.schema import HumanMessage
text = "잠이 안 올 때는 어떻게 하면 좋을지 대답해줘"
messages = [HumanMessage(content=text)]
chat_model.predict_messages(messages, temperature = 0.1)
temperature 값을 낮게 설정하면(0.1 등) 더 일관되고 예측 가능한 응답을 얻을 수 있습니다. 반면, 높은 값(0.7 이상)은 더 창의적이고 다양한 응답을 생성합니다.
Prompt Templates 작성하기
대부분 언어모델을 사용할 때에는 사용자의 입력을 그대로 LLM에 전달하는 대신, 맥락과 함께 전달합니다. 특정 작업에 대해 이렇게 추가적인 컨텍스트를 제공할 때 prompt template를 활용할 수 있습니다.
from langchain.prompts import PromptTemplate
my_template = """아래의 질문에 대해 한 줄로 간결하고 친절하게 답변하세요.
질문: {question}"""
prompt = PromptTemplate.from_template(my_template)
prompt.format(question="잠이 안 올 때는 어떻게 하면 좋을지 대답해줘")
chat_model.predict(prompt.format(question="잠이 안 올 때는 어떻게 하면 좋을지 대답해줘"))"간결하고 친절하게 답변하라"라는 지시사항에 맞게, ChatGPT는 짧고 간결한 답변을 리턴한 것을 확인할 수 있습니다.
PromptTemplate를 활용하면 이러한 formatting을 통해 다양한 부분 변수들을 통합하여 템플릿화하는 것이 가능합니다.
프롬프트 템플릿을 사용하면 동일한 형식의 질문에 대해 일관된 응답 형식을 유지할 수 있습니다. 이는 특히 여러 사용자 입력을 처리하는 애플리케이션에서 유용합니다.
Output Parsers 활용하기
LLM 아웃풋을 받아왔다면, OutputParsers를 통해 LLM의 아웃풋을 원하는 다운스트림 모양으로 변환할 수 있습니다. OutputParser에서는 아래와 같은 몇 가지 기본 타입이 있습니다:
- LLM의 텍스트 아웃풋을 JSON과 같은 구조화된 형태로 변환하기
- ChatMessage를 일반 문자열로 변환하기
- message(OpenAI의 fucntion 호출)등으로부터 나온 정보를 문자열로 변환하기
from langchain.schema import BaseOutputParser
class CommaSeparatedListOutputParser(BaseOutputParser):
"""LLM 아웃풋에 있는 ','를 분리해서 리턴하는 파서."""
def parse(self, text: str):
return text.strip().split(", ")
CommaSeparatedListOutputParser().parse("아기, 여우")
OutputParser를 구현할 때는 LLM의 응답이 항상 예상한 형식으로 오지 않을 수 있다는 점을 고려해야 합니다. 오류 처리 로직을 추가하여 예상치 못한 형식의 응답도 적절히 처리할 수 있도록 하세요.
LangChain과 RAG(Retrieval Augmented Generation)
LangChain의 가장 강력한 기능 중 하나는 RAG(Retrieval Augmented Generation)입니다. RAG는 언어 모델의 한계를 극복하기 위해 외부 데이터 소스에서 관련 정보를 검색하여 모델의 응답을 보강하는 기술입니다.
RAG의 작동 방식:
- 문서를 청크(chunk)로 분할하여 벡터 데이터베이스에 저장
- 사용자 질문을 벡터화하여 관련 청크 검색
- 검색된 정보를 프롬프트에 포함하여 LLM에 전달
- LLM이 검색된 정보를 바탕으로 정확한 응답 생성
이 방식을 통해 LLM은 학습 데이터에 없는 최신 정보나 특정 도메인 지식에 대해서도 정확한 응답을 제공할 수 있습니다.
RAG는 특히 의료, 법률, 금융 등 전문 지식이 필요한 분야에서 유용합니다. 또한 자주 업데이트되는 정보를 다루는 애플리케이션에서도 큰 가치를 제공합니다.