Post

AI agent

Posted
By Hyoeun Choi
15 min read
AI agent

AI Agent Architecture: Beyond LLMs to Action-Oriented AI

Large Language Models (LLMs) are now evolving beyond their ability to understand and generate text into ‘AI Agents’ that can set their own goals, create plans, and use tools to perform real-world actions. This signifies the emergence of ‘autonomous actors’ that handle complex tasks on our behalf, moving beyond simple question-and-answer chatbots.

From a software engineer’s perspective, how are these AI agents constructed, and how do they operate?

What is an AI Agent? Understanding it as a “Smart Assistant” 👨‍💼

The easiest way to understand an AI agent is to compare it to a competent ‘smart assistant.’

  • A Standard LLM (Chatbot) is like a ‘knowledge expert’ that provides excellent answers to your questions. If you ask, “How do I book a flight to Paris?” it will give you detailed instructions on how to do it. However, it won’t book the flight for you.
  • An AI Agent is like a ‘smart assistant’ that understands a vague instruction like, “Book me a round-trip flight for my business trip to Paris next week,” and then performs the necessary tasks on its own. This assistant acts as follows:
    1. It checks your calendar to determine feasible travel dates.
    2. It calls a flight search API to find the optimal flights.
    3. It uses a payment API to complete the booking.
    4. It sends you a confirmation email with the booking details.

As you can see, an AI agent is a system that perceives its Environment, creates a Plan, and autonomously uses Tools to achieve a Goal.

The Core Architecture of an AI Agent (Components)

From a software engineering standpoint, an AI agent is typically composed of four core modules.

  1. The Brain (Core Engine - LLM)
    • This is the central processing unit responsible for all of the agent’s decision-making. It understands the user’s goals, analyzes the current situation, and formulates a high-level plan to achieve the objective. It is central to deciding which tools to use, when, and how.
  2. Memory
    • This is the ability that allows an agent to remember ‘state.’ Without memory, an agent would be no different from a chatbot that starts a new conversation every time.
    • Short-term Memory: Stores the context of the current task, intermediate results, and the ongoing conversation (e.g., the list of flights it just searched for).
    • Long-term Memory: Stores past conversations, successful or failed experiences, and user preferences in a database to maintain long-term context and enable learning.
  3. Tools / Actuators
    • These are the ‘hands and feet’ that allow the agent to take real action in the physical or digital world. Without tools, an agent can only make plans but cannot execute anything.
    • Examples: API calls, database queries, a code interpreter, web browser control, sending emails, etc. A well-designed set of tools (APIs) determines the scope of an agent’s capabilities.
  4. Planning and Reasoning
    • This acts as the operating system that connects all the components above. The agent performs tasks by repeating a ‘think and act’ loop. This process is often conceptualized with frameworks like ReAct (Reason + Act).
    • Observe: The agent perceives the current situation and the goal.
    • Reason: It plans which sub-tasks need to be performed and which tools are required to achieve the goal. (e.g., “Goal is to book a flight -> First, I need to search for flights -> I will use the flight_search tool.”)
    • Act: It executes the chosen tool according to the plan.
    • Observe: It observes the result of the action and either repeats the loop or modifies the plan until the goal is achieved.

Key Application Areas for AI Agents

  • Personal Productivity Automation: Automating routine tasks typically handled by a personal assistant, such as email classification and summarization, scheduling meetings, and planning and booking travel.
  • Software Development & DevOps: Automating the development lifecycle, including writing code based on user requirements, running tests, managing deployment pipelines, and detecting and reporting system errors.
  • Autonomous Research and Analysis: Autonomously performing complex research tasks, such as gathering the latest information on a specific topic from the web, analyzing data, and compiling a structured report.

Design Considerations for Software Engineers

Building AI agents presents new challenges that differ from traditional software development.

  • Security: Providing an agent with tools that can control external systems (API keys, shell access, etc.) introduces significant security risks. It is essential to build a ‘sandboxed’ environment to limit the agent’s scope of action.
  • Reliability and Control: There is no guarantee that an agent will always behave as expected. It could create a flawed plan or get stuck in a loop, leading to unintended consequences. Clear failure-handling logic and mechanisms for user intervention are necessary.
  • Cost Management: An autonomously operating agent can trigger numerous LLM and API calls, which can lead to runaway costs. Usage limits and monitoring systems are crucial to prevent unexpected budget overruns.
  • Tool Design: The tools (APIs) an agent uses must be well-defined and have atomic functions. The performance of an agent is directly impacted by how well the API specifications and descriptions are designed for easy comprehension by the LLM.

AI agents represent a paradigm shift, transforming LLMs from simple ‘language models’ into ‘active entities.’ This demands a new perspective on system architecture, security, and reliability from software engineers and will be a core technology of the coming AI era.

AI 에이전트 아키텍처: LLM을 넘어 행동하는 인공지능

대규모 언어 모델(LLM)은 이제 텍스트를 이해하고 생성하는 능력을 넘어, 스스로 목표를 설정하고, 계획을 세우며, 도구를 사용하여 실제 행동을 수행하는 ‘AI 에이전트(AI Agent)’ 로 진화하고 있습니다. 이는 단순히 질문에 답하는 챗봇을 넘어, 우리를 대신해 복잡한 작업을 처리하는 ‘자율적인 행위자’의 등장을 의미합니다.

소프트웨어 엔지니어의 관점에서, 이러한 AI 에이전트는 어떻게 구성되고 작동할까요?

AI 에이전트란 무엇인가? “스마트 비서”로 이해하기 👨‍💼

AI 에이전트를 가장 쉽게 이해하는 방법은 유능한 ‘스마트 비서’에 비유하는 것입니다.

  • 일반적인 LLM (챗봇): 당신의 질문에 훌륭하게 답하는 ‘지식 전문가’ 와 같습니다. “파리행 항공편을 어떻게 예약해?”라고 물으면 예약 방법을 상세히 알려줍니다. 하지만 직접 예약해주지는 않습니다.
  • AI 에이전트: “다음 주 파리 출장 가는 왕복 항공편 좀 예약해줘”라는 모호한 지시를 이해하고, 스스로 필요한 작업을 수행하는 ‘스마트 비서’ 와 같습니다. 이 비서는 다음과 같이 행동합니다.
    1. 당신의 캘린더를 확인하여 출장 가능 날짜를 파악하고,
    2. 항공편 검색 API를 호출하여 최적의 항공편을 찾고,
    3. 결제 API를 사용하여 예약을 완료한 뒤,
    4. 예약 완료 내용을 당신에게 이메일로 보냅니다.

이처럼 AI 에이전트는 목표(Goal) 를 달성하기 위해 환경(Environment) 을 인식하고, 계획(Planning) 을 세워 도구(Tools) 를 자율적으로 사용하는 시스템입니다.

AI 에이전트의 핵심 아키텍처 (구성 요소)

소프트웨어 엔지니어링 관점에서 AI 에이전트는 보통 네 가지 핵심 모듈로 구성됩니다.

  1. 두뇌 (Core Engine - LLM)
    • 에이전트의 모든 의사결정을 담당하는 중앙 처리 장치입니다. 사용자의 목표를 이해하고, 현재 상황을 분석하며, 목표 달성을 위한 전체적인 계획을 수립합니다. 어떤 도구를 언제, 어떻게 사용할지 결정하는 역할의 핵심입니다.
  2. 메모리 (Memory)
    • 에이전트가 ‘상태’를 기억하게 하는 능력입니다. 메모리가 없다면 에이전트는 매번 새로운 대화를 시작하는 챗봇과 다를 바 없습니다.
    • 단기 기억 (Short-term Memory): 현재 진행 중인 작업의 대화 내용, 중간 결과 등을 저장합니다. (예: 방금 검색한 항공편 목록)
    • 장기 기억 (Long-term Memory): 과거의 대화, 성공/실패 경험, 사용자의 선호도 등을 데이터베이스에 저장하여 장기적인 맥락을 유지하고 학습합니다.
  3. 도구 (Tools / Actuators)
    • 에이전트가 현실 세계나 디지털 환경에 실제 행동을 가할 수 있게 하는 ‘손과 발’입니다. 도구가 없다면 에이전트는 계획만 세울 뿐 아무것도 실행할 수 없습니다.
    • 예시: API 호출, 데이터베이스 조회, 코드 실행기(Code Interpreter), 웹 브라우저 제어, 이메일 발송 등. 잘 설계된 도구(API) 세트는 에이전트의 능력 범위를 결정합니다.
  4. 계획 및 추론 (Planning & Reasoning)
    • 이것은 위의 구성요소들을 연결하는 운영 체제와 같습니다. 에이전트는 ‘생각하고 행동하는’ 루프(Loop)를 반복하며 작업을 수행합니다. 이 과정은 흔히 ReAct (Reason + Act) 와 같은 프레임워크로 개념화됩니다.
    • 관찰 (Observe): 현재 상황과 목표를 인식합니다.
    • 생각 (Reason): 목표를 달성하기 위해 어떤 하위 작업을 수행해야 할지, 어떤 도구가 필요할지 계획을 세웁니다. (예: “항공권 예약 목표 -> 먼저 항공편 검색이 필요 -> flight_search 도구를 사용하자.”)
    • 행동 (Act): 계획에 따라 선택된 도구를 실행합니다.
    • 결과 관찰 (Observe): 행동의 결과를 다시 관찰하고, 목표가 달성될 때까지 이 루프를 반복하거나 계획을 수정합니다.

AI 에이전트의 주요 활용 분야

  • 개인 생산성 자동화: 이메일 분류 및 요약, 미팅 일정 조율, 여행 계획 및 예약 등 개인 비서가 수행하던 일상적인 작업을 자동화합니다.
  • 소프트웨어 개발 및 DevOps: 사용자의 요구사항에 따라 코드를 작성하고, 테스트를 실행하며, 배포 파이프라인을 관리하고, 시스템 오류를 감지하여 보고하는 등 개발 수명 주기를 자동화합니다.
  • 자율적인 리서치 및 분석: 특정 주제에 대한 최신 정보를 웹에서 수집하고, 데이터를 분석하여 구조화된 보고서를 작성하는 등 복잡한 리서치 작업을 자율적으로 수행합니다.

소프트웨어 엔지니어의 설계 시 고려사항

AI 에이전트를 구축하는 것은 기존 소프트웨어 개발과는 다른 새로운 과제를 제시합니다.

  • 보안: 에이전트에게 외부 시스템을 제어할 수 있는 도구(API 키, 셸 접근 등)를 제공하는 것은 큰 보안 위험을 수반합니다. 에이전트의 행동 범위를 제한하는 ‘샌드박스’ 환경 구축이 필수적입니다.
  • 신뢰성과 제어: 에이전트가 항상 예상대로 작동할 것이라는 보장이 없습니다. 잘못된 계획을 세우거나 루프에 빠져 의도치 않은 결과를 초래할 수 있습니다. 명확한 실패 처리 로직과 사용자의 개입(Intervention) 장치가 필요합니다.
  • 비용 관리: 자율적으로 작동하는 에이전트는 수많은 LLM 호출과 API 사용을 유발할 수 있습니다. 예기치 않은 비용 폭증을 막기 위한 사용량 제한 및 모니터링 시스템이 중요합니다.
  • 도구 설계: 에이전트가 사용할 도구(API)는 명확하고 원자적인(atomic) 기능을 가져야 합니다. LLM이 쉽게 이해하고 사용할 수 있도록 API 명세와 설명을 잘 설계하는 것이 에이전트 성능에 직접적인 영향을 미칩니다.

AI 에이전트는 LLM을 단순한 ‘언어 모델’에서 ‘행동 주체’로 바꾸는 패러다임의 전환입니다. 이는 소프트웨어 엔지니어에게 시스템 아키텍처, 보안, 신뢰성에 대한 새로운 관점의 고민을 요구하며, 앞으로 다가올 AI 시대의 핵심적인 기술이 될 것입니다.

AI, GenAI
Agent
This post is licensed under CC BY 4.0 by the author.