Chapter 4 - Prompt Engineering.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 프롬프트 엔지니어링"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "from dotenv import load_dotenv\n",
    "\n",
    "load_dotenv()\n",
    "\n",
    "openai_api_key = os.environ['OPENAI_API_KEY']\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from openai import OpenAI\n",
    "\n",
    "client = OpenAI(api_key=openai_api_key)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 명확한 지침을 제공"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 주어진 텍스트를 바탕으로 튜토리얼을 생성하는 AI 어시스턴트입니다.\n",
    "텍스트에 어떤 절차를 진행하는 방법에 대한 지침이 포함되어 있다면, \n",
    "글머리 기호 목록 형식으로 튜토리얼을 생성하십시오.\n",
    "그렇지 않으면 텍스트에 지침이 포함되어 있지 않음을 사용자에게 알리십시오.\n",
    "\n",
    "텍스트:\n",
    "\"\"\"\n",
    "\n",
    "instructions = \"\"\"\n",
    "이탈리아 제노바에서 유명한 소스를 준비하려면, 먼저 잣을 구워\n",
    "바질과 마늘과 함께 부엌 절구에 넣어 굵게 다집니다. \n",
    "그런 다음 절구에 오일의 절반을 넣고 소금과 후추로 간을 합니다.\n",
    "마지막으로 페스토를 그릇에 옮기고 파르메산 치즈 간 것을 넣고 저어줍니다.\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "이탈리아 제노바의 유명한 소스를 준비하는 튜토리얼:\n",
      "\n",
      "- 잣을 구워 준비합니다.\n",
      "- 구운 잣, 바질, 마늘을 부엌 절구에 넣고 굵게 다집니다.\n",
      "- 절구에 오일의 절반을 넣습니다.\n",
      "- 소금과 후추로 간을 합니다.\n",
      "- 페스토를 그릇에 옮깁니다.\n",
      "- 간 파르메산 치즈를 넣고 저어줍니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": instructions},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "텍스트에 지침이 포함되어 있지 않습니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": '태양이 빛나고 개들이 해변에서 뛰고 있습니다.'},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 복잡한 과업을 하위 과업으로 분할"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 기사를 요약하는 AI 어시스턴트입니다.\n",
    "이 작업을 완료하려면 다음 하위 작업을 수행하십시오:\n",
    "\n",
    "제공된 기사 내용을 종합적으로 읽고 주요 주제와 핵심 요점을 식별합니다.\n",
    "현재 기사 내용을 요약하여 본질적인 정보와 주요 아이디어를 전달하는 단락 요약을 생성합니다.\n",
    "과정의 각 단계를 출력합니다.\n",
    "기사:\n",
    "\"\"\"\n",
    "\n",
    "article = \"\"\"\n",
    "순환 신경망, 장단기 기억 및 게이트 순환 신경망은 특히 언어 모델링 및 기계 번역과 같은 시퀀스 모델링 및 변환 문제에서 최첨단 접근 방식으로 확고히 자리 잡았습니다. \n",
    "그 이후로 수많은 노력들이 순환 언어 모델과 인코더-디코더 아키텍처의 경계를 계속 확장하고 있습니다.\n",
    "순환 모델은 일반적으로 입력 및 출력 시퀀스의 심볼 위치를 따라 계산을 요인화합니다. \n",
    "계산 시간의 단계에 맞추어 위치를 정렬하면, 이전 숨겨진 상태 ht-1 및 위치 t에 대한 입력의 함수로서 숨겨진 상태 ht의 시퀀스를 생성합니다. \n",
    "이러한 본질적으로 순차적인 특성은 훈련 예제 내에서 병렬화를 방지하여 더 긴 시퀀스 길이에서 중요해집니다. \n",
    "메모리 제한이 예제 간 배칭을 제한하기 때문입니다. \n",
    "최근 작업에서는 팩토라이제이션 트릭 및 조건부 계산을 통해 계산 효율성을 크게 개선하면서 후자의 경우 모델 성능도 개선했습니다. \n",
    "그러나 순차 계산의 근본적인 제약은 여전히 남아 있습니다.\n",
    "어텐션 메커니즘은 다양한 작업에서 설득력 있는 시퀀스 모델링 및 변환 모델의 필수 요소가 되어 입력 또는 출력 시퀀스의 거리와 관계없이 종속성을 모델링할 수 있게 합니다. \n",
    "하지만 몇 가지 경우를 제외하고 이러한 어텐션 메커니즘은 순환 네트워크와 함께 사용됩니다.\n",
    "이 작업에서는 반복을 배제하고 입력과 출력을 연결하기 위해 전적으로 어텐션 메커니즘에 의존하는 모델 아키텍처인 트랜스포머를 제안합니다. \n",
    "트랜스포머는 훨씬 더 많은 병렬 처리가 가능하며, 8개의 P100 GPU에서 12시간 동안 훈련한 후 번역 품질에서 새로운 최첨단에 도달할 수 있습니다.\n",
    "\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1. **주요 주제 및 핵심 요점 식별**:\n",
      "   - **시퀀스 모델링**: 순환 신경망(RNN), LSTM(Long Short-Term Memory), Gated RNN 등이 시퀀스 모델링 및 변환 문제에 효과적임.\n",
      "   - **계산의 순차적 특성**: 순환 모델이 시간 단계에 따라 계산되며 병렬화가 제한됨.\n",
      "   - **효율성 개선**: 팩토라이제이션 및 조건부 계산을 통해 계산 효율성 및 성능 개선 시도됨.\n",
      "   - **어텐션 메커니즘**: 시퀀스 간의 종속성을 모델링하는 데 필수적이며, 주로 순환 네트워크와 함께 사용됨.\n",
      "   - **트랜스포머 모델**: 어텐션 메커니즘만을 사용하여 순환성을 제거한 새로운 아키텍처로, 병렬 처리가 용이하고 성능이 높음.\n",
      "\n",
      "2. **단락 요약 생성**:\n",
      "   - 순환 신경망과 장단기 기억 네트워크는 언어 모델링 및 기계 번역에서 효과적인 시퀀스 모델링 접근방식으로 자리 잡아왔지만, 이러한 모델의 순차적 특성은 병렬화 및 긴 시퀀스 처리에 제한을 둡니다. 최근 연구는 팩토라이제이션 트릭과 조건부 계산으로 효율성을 높였지만, 근본적인 제약은 여전히 존재합니다. 어텐션 메커니즘은 다양한 작업에서 중요하게 활용되지만 일반적으로 순환 네트워크와 결합되어 사용됩니다. 이에 따라 트랜스포머라는 새로운 모델 아키텍처가 제안되었으며, 이는 오직 어텐션 메커니즘에 의존하여 순환성을 제거하고, 병렬 처리 능력을 극대화하며, 뛰어난 번역 품질을 달성하고 있습니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": article},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정당화를 요청하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 수수께끼를 푸는 데 특화된 AI 어시스턴트입니다.\n",
    "주어진 수수께끼를 최선을 다해 풀어주세요.\n",
    "답변에 대한 명확한 정당화와 그 뒤의 추론 과정을 제공해 주세요.\n",
    "\n",
    "수수께끼:\n",
    "\"\"\"\n",
    "\n",
    "riddle = \"\"\"\n",
    "얼굴과 두 손은 있지만, 팔과 다리는 없는 것은 무엇일까요?\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "이 수수께끼의 답은 \"시계\"입니다.\n",
      "\n",
      "정당화 및 추론 과정은 다음과 같습니다:\n",
      "\n",
      "1. **얼굴**: 시계의 다이얼 부분을 흔히 '얼굴'이라고 부르며, 숫자나 분침, 시침 등이 위치하고 있습니다.\n",
      "  \n",
      "2. **두 손**: 시계의 시침(시간을 나타내는 바)과 분침(분을 나타내는 바)이라는 두 개의 바가 있어서 이를 사람의 손에 비유할 수 있습니다.\n",
      "\n",
      "3. **팔과 다리**: 시계는 팔과 다리가 없기 때문에 이러한 특징과 맞아떨어집니다.\n",
      "\n",
      "결론적으로 이 수수께끼는 인간의 신체와 비교하여 시계의 구조를 설명하는 방식으로, '시계'가 정답입니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": riddle},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 여러 개의 출력을 생성해 가장 적합한 것을 선택"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 수수께끼를 푸는 데 특화된 AI 어시스턴트입니다.\n",
    "주어진 수수께끼에 대해 세 가지 답변을 생성해야 합니다.\n",
    "각 답변에 대해, 당신이 한 추론 과정을 구체적으로 설명해주세요.\n",
    "그런 다음, 세 가지 답변 중에서 수수께끼를 고려했을 때 가장 그럴듯한 것을 선택하세요.\n",
    "\n",
    "수수께끼:\n",
    "\"\"\"\n",
    "\n",
    "riddle = \"\"\"\n",
    "얼굴과 두 손은 있지만, 팔과 다리는 없는 것은 무엇일까요?\n",
    "\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "이 수수께끼에 대한 세 가지 답변을 제시하겠습니다. \n",
      "\n",
      "1. **시계** \n",
      "   - 추론 과정: 시계는 다이얼 위에 숫자나 눈금이 있고, 시침과 분침이 이러한 숫자들 사이를 움직입니다. 시침과 분침은 \"손\"으로 비유할 수 있으며, 시계는 얼굴(Dial)이라는 부분도 있습니다. 그러나 시계 자체는 팔과 다리가 없기 때문에 이 수수께끼의 조건에 맞습니다.\n",
      "\n",
      "2. **인형/모형** \n",
      "   - 추론 과정: 인형이나 모형은 구성이 다양하지만 일부는 얼굴이 있고 손 부분이 그림으로 표현되어 있을 수 있습니다. 그러나 대부분의 인형이나 모형은 생물학적 팔과 다리는 없기 때문에 수수께끼에 적합할 수 있습니다. 단, 인형은 반드시 손이 존재해야 하는 것은 아니기 때문에 좀 더 유사한 개념일 수 있습니다.\n",
      "\n",
      "3. **사진** \n",
      "   - 추론 과정: 사진은 사람의 얼굴을 포함할 수 있지만, 물리적으로 팔이나 다리를 포함하지 않습니다. 사진 안의 객체(사람)의 모든 이미지가 고정되어 있어서 동적인 손이나 팔이 없고 있는 그대로의 표현으로서 단순히 '얼굴'만을 가지고 있습니다. 따라서 수수께끼의 조건에 부합합니다.\n",
      "\n",
      "이 세 가지 중에서 가장 그럴듯한 답변을 선택하자면 **시계**입니다. 시계는 '얼굴'로 비유되는 다이얼과 '손'으로 비유되는 시침과 분침이 있으며, 팔과 다리는 존재하지 않기 때문에 수수께끼의 적절한 해답으로 판단됩니다. 인형은 팔이 없는 경우도 있지만, 보통 팔과 다리를 그릴 수 있는 형태로 디자인되기 때문에 수수께끼의 제약을 가장 잘 만족하는 답변이 아닙니다. 사진은 정적인 표현이지만 '얼굴'과 '코체'라는 부분에서 시계가 자연스럽습니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": riddle},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 마지막에 지침 반복하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 대화 분석기입니다. 대화의 감정을 긍정, 부정, 중립으로 분류합니다.\n",
    "감정만 구두점 없이 출력합니다.\n",
    "\n",
    "대화:\n",
    "\"\"\"\n",
    "\n",
    "conversation = \"\"\"\n",
    "고객: 안녕하세요, 주문에 대해 도움을 받고 싶습니다.\n",
    "AI 에이전트: 안녕하세요, 저희 온라인 스토어에 방문해 주셔서 감사합니다. 저는 AI 에이전트입니다. 무엇을 도와드릴까요?\n",
    "고객: 어제 신발 한 켤레를 주문했는데 확인 이메일을 받지 못했습니다. 주문 상태를 확인해 주시겠어요?\n",
    "AI 에이전트: 물론 도와드리겠습니다. 주문 번호와 이메일 주소를 알려주시겠습니까?\n",
    "고객: 주문 번호는 123456789이고 이메일은 hong.gildong@example.com입니다.\n",
    "AI 에이전트: 감사합니다. 시스템에서 주문을 찾았습니다. 주문이 아직 처리 중이며 곧 발송될 예정입니다. 24시간 이내에 확인 이메일을 받으실 수 있습니다.\n",
    "고객: 신발이 도착하는 데 얼마나 걸릴까요?\n",
    "AI 에이전트: 저희 배송 정책에 따르면 신발이 고객님의 주소로 도착하는 데 약 3~5 영업일이 소요됩니다. 주문이 발송되면 이메일로 전송되는 추적 번호를 사용해 온라인으로 주문을 추적할 수 있습니다.\n",
    "고객: 알겠습니다.\n",
    "AI 에이전트: 오늘 더 도와드릴 일이 있을까요?\n",
    "고객: 아니요.\n",
    "AI 에이전트: 저희 온라인 스토어를 이용해 주셔서 감사합니다. 좋은 하루 되세요.\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 146,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "중립\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": conversation},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 131,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = f\"\"\"\n",
    "당신은 대화 분석기입니다. 대화의 감정을 긍정, 부정, 중립으로 분류합니다.\n",
    "감정만 구두점 없이 출력합니다.\n",
    "\n",
    "대화:\n",
    "{conversation}\n",
    "\n",
    "감정만 구두점 없이 출력하는 것을 잊지 마세요!\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 133,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "중립\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"user\", \"content\": system_message},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = \"\"\"\n",
    "중성자는 양성도 음성도 아닌 중성 전하를 가진 아원자 입자이며, 질량은 양성자보다 약간 더 큽니다. \n",
    "일반적인 수소를 제외한 모든 원자핵에 존재합니다. \n",
    "중성자는 양성자 및 전자와 함께 원자를 구성하는 세 가지 기본 입자 중 하나입니다. \n",
    "\"중성자\"라는 용어는 전하를 띠지 않기 때문에 전기적으로 중립이라는 사실에서 유래했습니다.\n",
    "\"\"\"\n",
    "\n",
    "system_message = f\"\"\"\n",
    "5살 어린이를 위해 텍스트를 다시 구성하세요. 500자 이내로 짧게 작성하세요. 동물의 비유를 사용하세요.\n",
    "\n",
    "텍스트는 다음과 같습니다:\n",
    "\n",
    "{text}\n",
    "\n",
    "\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "중성자는 아주 특별한 동물이에요! 양성자는 에너지가 넘치는 호랑이처럼 긍정적이고, 전자는 언제나 불안한 다람쥐처럼 부정적이에요. 그런데 중성자는 둘 다 아니에요. 마치 조용히 숨어 있는 토끼처럼 중립적이에요. 모든 원자라는 동물들 속에 중성자는 꼭 필요한 친구죠. 호랑이와 다람쥐와 함께 놀며, 원자라는 큰 정원을 만드는 데 도움을 줘요. 그래서 중성자는 전기적으로는 아무런 색깔도 없이 평화롭게 지내요. 중성자는 바로 그런 존재랍니다!\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"user\", \"content\": system_message},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 구분 기호를 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 153,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 파이썬 전문가로서 사용자의 요청에 따라 파이썬 코드를 생성합니다.\n",
    "\n",
    "===>예제 시작\n",
    "\n",
    "---사용자 질문---\n",
    "문자열을 출력하는 함수를 만들어주세요.\n",
    "\n",
    "---사용자 출력---\n",
    "문자열을 출력하는 함수는 아래와 같습니다.\n",
    "```def my_print(text):\n",
    "     return print(text)\n",
    "```\n",
    "<===예제 끝\n",
    "\"\"\"\n",
    "\n",
    "query = \"n번째 피보나치 수를 계산하는 파이썬 함수를 생성하세요\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 154,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "n번째 피보나치 수를 계산하는 함수는 아래와 같습니다.\n",
      "\n",
      "```python\n",
      "def fibonacci(n):\n",
      "    if n <= 0:\n",
      "        return \"Invalid input. n should be a positive integer.\"\n",
      "    elif n == 1:\n",
      "        return 0\n",
      "    elif n == 2:\n",
      "        return 1\n",
      "    else:\n",
      "        a, b = 0, 1\n",
      "        for _ in range(2, n):\n",
      "            a, b = b, a + b\n",
      "        return b\n",
      "```\n",
      "\n",
      "이 함수를 사용하여 n번째 피보나치 수를 계산할 수 있습니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": query},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 퓨샷 학습"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 157,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 AI 마케팅 도우미입니다. 사용자가 새로운 제품 이름에 대한 캐치프레이즈를 만들 수 있도록 도와줍니다.\n",
    "주어진 제품명에 대해 다음 예시와 비슷한 홍보 문구를 만들어주세요.\n",
    "\n",
    "디오스 냉장고 - 여자라서 행복해요\n",
    "롯데리아 크랩버거 - 니들이 게 맛을 알아?\n",
    "SK텔레콤 - 또 다른 세상을 만날 땐 잠시 꺼두셔도 좋습니다\n",
    "\n",
    "제품명:\n",
    "\n",
    "\"\"\"\n",
    "\n",
    "product_name = '첵스 파맛'\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 175,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "첵스 파맛 - 파에 담긴 고소한 맛, 한 입에 파란 세상!\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\", # engine = \"deployment_name\".\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": product_name},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 177,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>I grew up (b. 1965) watching and loving the Th...</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>When I put this movie in my DVD player, and sa...</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Why do people who do not know what a particula...</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Even though I have great interest in Biblical ...</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Im a die hard Dads Army fan and nothing will e...</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text     label\n",
       "0  I grew up (b. 1965) watching and loving the Th...  Negative\n",
       "1  When I put this movie in my DVD player, and sa...  Negative\n",
       "2  Why do people who do not know what a particula...  Negative\n",
       "3  Even though I have great interest in Biblical ...  Negative\n",
       "4  Im a die hard Dads Army fan and nothing will e...  Positive"
      ]
     },
     "execution_count": 177,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "\n",
    "df = pd .read_csv('movie.csv', encoding='utf-8')  # 데이터는 캐글에서 다운로드하세요\n",
    "df['label'] = df['label'].replace({0: 'Negative', 1: 'Positive'})\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 178,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>32823</th>\n",
       "      <td>The central theme in this movie seems to be co...</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16298</th>\n",
       "      <td>An excellent example of \"cowboy noir\", as it's...</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28505</th>\n",
       "      <td>The ending made my heart jump up into my throa...</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6689</th>\n",
       "      <td>Only the chosen ones will appreciate the quali...</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26893</th>\n",
       "      <td>This is a really funny film, especially the se...</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text     label\n",
       "32823  The central theme in this movie seems to be co...  Negative\n",
       "16298  An excellent example of \"cowboy noir\", as it's...  Positive\n",
       "28505  The ending made my heart jump up into my throa...  Negative\n",
       "6689   Only the chosen ones will appreciate the quali...  Positive\n",
       "26893  This is a really funny film, especially the se...  Positive"
      ]
     },
     "execution_count": 178,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = df.sample(n=10, random_state=42)  # 재현성을 위해 'random_state' 값을 필요에 따라 변경하세요\n",
    "df.head()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 187,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "당신은 감성 분석을 위한 이진 분류기입니다.\n",
    "주어진 텍스트를 기반으로 감성을 Positive 또는 Negative 범주 중 하나로 분류합니다.\n",
    "\n",
    "다음 텍스트들을 예시로 사용할 수 있습니다.\n",
    "\n",
    "텍스트: \"I love this product! It's fantastic and works perfectly.\"\n",
    "Positive\n",
    "\n",
    "텍스트: \"I'm really disappointed with the quality of the food.\"\n",
    "Negative\n",
    "\n",
    "텍스트: \"This is the best day of my life!\"\n",
    "Positive\n",
    "\n",
    "텍스트: \"I can't stand the noise in this restaurant.\"\n",
    "Negative\n",
    "\n",
    "\n",
    "감성만 구두점 없이 영어로 출력하세요.\n",
    "\n",
    "텍스트:\n",
    "\"\"\"\n",
    "\n",
    "text = \"The concert was amazing! The band was incredible!\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 188,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Positive\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\", # engine = \"deployment_name\".\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": text},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 189,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                                                    text     label predicted\n",
      "32823  The central theme in this movie seems to be co...  Negative  Negative\n",
      "16298  An excellent example of \"cowboy noir\", as it's...  Positive  Positive\n",
      "28505  The ending made my heart jump up into my throa...  Negative  Positive\n",
      "6689   Only the chosen ones will appreciate the quali...  Positive  Positive\n",
      "26893  This is a really funny film, especially the se...  Positive  Positive\n",
      "36572  Sure, we all like bad movies at one time or an...  Negative  Negative\n",
      "12335  Why?!! This was an insipid, uninspired and emb...  Negative  Negative\n",
      "29591  This is one of those movies that has everythin...  Positive  Positive\n",
      "18948  i saw this film over 20 years ago and still re...  Positive  Positive\n",
      "31067  This true story of Carlson's Raiders is more o...  Negative  Negative\n"
     ]
    }
   ],
   "source": [
    "\n",
    "def process_text(text):\n",
    "    response = client.chat.completions.create(\n",
    "        model=\"gpt-4o-mini\", \n",
    "        messages=[\n",
    "            {\"role\": \"system\", \"content\": system_message},\n",
    "            {\"role\": \"user\", \"content\": text},\n",
    "        ]\n",
    "    )\n",
    "    return response.choices[0].message.content\n",
    "\n",
    "df['predicted'] = df['text'].apply(process_text)\n",
    "\n",
    "print(df)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 190,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "      <th>predicted</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>32823</th>\n",
       "      <td>The central theme in this movie seems to be co...</td>\n",
       "      <td>Negative</td>\n",
       "      <td>Negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16298</th>\n",
       "      <td>An excellent example of \"cowboy noir\", as it's...</td>\n",
       "      <td>Positive</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28505</th>\n",
       "      <td>The ending made my heart jump up into my throa...</td>\n",
       "      <td>Negative</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6689</th>\n",
       "      <td>Only the chosen ones will appreciate the quali...</td>\n",
       "      <td>Positive</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26893</th>\n",
       "      <td>This is a really funny film, especially the se...</td>\n",
       "      <td>Positive</td>\n",
       "      <td>Positive</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text     label predicted\n",
       "32823  The central theme in this movie seems to be co...  Negative  Negative\n",
       "16298  An excellent example of \"cowboy noir\", as it's...  Positive  Positive\n",
       "28505  The ending made my heart jump up into my throa...  Negative  Positive\n",
       "6689   Only the chosen ones will appreciate the quali...  Positive  Positive\n",
       "26893  This is a really funny film, especially the se...  Positive  Positive"
      ]
     },
     "execution_count": 190,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## CoT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 191,
   "metadata": {},
   "outputs": [],
   "source": [
    "system_message = \"\"\"\n",
    "일반적인 1차 방정식을 해결하려면 다음 단계를 따르세요.\n",
    "\n",
    "1. **방정식 식별:** 해결하려는 방정식을 식별합니다. \n",
    "   방정식은 'ax + b = c' 형태여야 합니다.\n",
    "   여기서 'a'는 변수의 계수, 'x'는 변수, 'b'는 상수, 'c'는 또 다른 상수입니다.\n",
    "2. **변수 고립화:** 목표는 변수 'x'를 방정식 한쪽에 고립시키는 것입니다. \n",
    "   이를 위해 다음 단계를 수행합니다:\n",
    "   a. **상수 추가 또는 빼기:** 상수를 한쪽으로 이동시키기 위해 양쪽에서 'b'를 더하거나 뺍니다.\n",
    "   b. **계수로 나누기:** 'x'를 고립시키기 위해 양쪽을 'a'로 나눕니다. \n",
    "      'a'가 0이면 방정식에는 고유한 해가 없을 수 있습니다.\n",
    "3. **단순화:** 방정식의 양쪽을 최대한 단순화합니다.\n",
    "4. **'x'에 대해 해결:** 'x'를 한쪽에 고립시키면 해결책을 얻을 수 있습니다. \n",
    "   이는 'x = 값' 형태가 될 것입니다.\n",
    "5. **해 검토:** 찾은 'x' 값을 원래 방정식에 대입하여 방정식을 만족하는지 확인합니다. \n",
    "   그렇다면 올바른 해결책을 찾은 것입니다.\n",
    "6. **해 표현:** 해결책을 명확하고 간결한 형태로 작성합니다.\n",
    "7. **특수 경우 고려:** 'a'가 0일 때 해가 없거나 무한히 많은 해가 있을 수 있는 특수한 경우를 인지합니다.\n",
    "\n",
    "방정식:\n",
    "\"\"\"\n",
    "\n",
    "\n",
    "equation = \"3x + 5 = 11\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 192,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "주어진 방정식은 \\( 3x + 5 = 11 \\)입니다. 이 방정식을 해결하기 위해 다음 단계를 따르겠습니다.\n",
      "\n",
      "1. **변수 고립화:**\n",
      "   a. 양쪽에서 5를 빼서 상수를 한쪽으로 이동합니다:\n",
      "   \\[\n",
      "   3x + 5 - 5 = 11 - 5\n",
      "   \\]\n",
      "   이는 다음과 같이 단순화됩니다:\n",
      "   \\[\n",
      "   3x = 6\n",
      "   \\]\n",
      "\n",
      "2. **계수로 나누기:**\n",
      "   양쪽을 3으로 나누어 'x'를 고립시킵니다:\n",
      "   \\[\n",
      "   x = \\frac{6}{3}\n",
      "   \\]\n",
      "   이는 다음과 같이 단순화됩니다:\n",
      "   \\[\n",
      "   x = 2\n",
      "   \\]\n",
      "\n",
      "3. **해 검토:**\n",
      "   찾은 'x' 값을 원래 방정식에 대입합니다:\n",
      "   \\[\n",
      "   3(2) + 5 = 6 + 5 = 11\n",
      "   \\]\n",
      "   원래 방정식을 만족하므로 올바른 해결책입니다.\n",
      "\n",
      "4. **해 표현:**\n",
      "   따라서 방정식 \\( 3x + 5 = 11 \\)의 해는 \n",
      "   \\[\n",
      "   x = 2 \n",
      "   \\]\n",
      "입니다.\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=\"gpt-4o-mini\",\n",
    "    messages=[\n",
    "        {\"role\": \"system\", \"content\": system_message},\n",
    "        {\"role\": \"user\", \"content\": equation},\n",
    "    ]\n",
    ")\n",
    "\n",
    "#print(response)\n",
    "print(response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ReAct"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 194,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting google-search-results\n",
      "  Downloading google_search_results-2.4.2.tar.gz (18 kB)\n",
      "  Installing build dependencies: started\n",
      "  Installing build dependencies: finished with status 'done'\n",
      "  Getting requirements to build wheel: started\n",
      "  Getting requirements to build wheel: finished with status 'done'\n",
      "  Preparing metadata (pyproject.toml): started\n",
      "  Preparing metadata (pyproject.toml): finished with status 'done'\n",
      "Requirement already satisfied: requests in c:\\users\\yong\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from google-search-results) (2.31.0)\n",
      "Requirement already satisfied: charset-normalizer<4,>=2 in c:\\users\\yong\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests->google-search-results) (3.3.2)\n",
      "Requirement already satisfied: idna<4,>=2.5 in c:\\users\\yong\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests->google-search-results) (3.7)\n",
      "Requirement already satisfied: urllib3<3,>=1.21.1 in c:\\users\\yong\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests->google-search-results) (2.2.0)\n",
      "Requirement already satisfied: certifi>=2017.4.17 in c:\\users\\yong\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests->google-search-results) (2023.11.17)\n",
      "Building wheels for collected packages: google-search-results\n",
      "  Building wheel for google-search-results (pyproject.toml): started\n",
      "  Building wheel for google-search-results (pyproject.toml): finished with status 'done'\n",
      "  Created wheel for google-search-results: filename=google_search_results-2.4.2-py3-none-any.whl size=32083 sha256=07980118385951d14100a2381bd25e568f3531c683c89f5231169483fbc5c3ed\n",
      "  Stored in directory: c:\\users\\yong\\appdata\\local\\pip\\cache\\wheels\\6e\\42\\3e\\aeb691b02cb7175ec70e2da04b5658d4739d2b41e5f73cd06f\n",
      "Successfully built google-search-results\n",
      "Installing collected packages: google-search-results\n",
      "Successfully installed google-search-results-2.4.2\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "[notice] A new release of pip is available: 24.0 -> 24.2\n",
      "[notice] To update, run: python.exe -m pip install --upgrade pip\n"
     ]
    }
   ],
   "source": [
    "!pip install google-search-results"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 204,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain import hub\n",
    "from langchain.agents import AgentExecutor, create_react_agent, load_tools\n",
    "from langchain_openai import ChatOpenAI\n",
    "\n",
    "chat = ChatOpenAI(model_name=\"gpt-4o-mini\")\n",
    "tools = load_tools([\"serpapi\"])\n",
    "prompt = hub.pull(\"hwchase17/react\")\n",
    "\n",
    "agent = create_react_agent(chat, tools, prompt)\n",
    "agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 205,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Answer the following questions as best you can. You have access to the following tools:\n",
      "\n",
      "{tools}\n",
      "\n",
      "Use the following format:\n",
      "\n",
      "Question: the input question you must answer\n",
      "Thought: you should always think about what to do\n",
      "Action: the action to take, should be one of [{tool_names}]\n",
      "Action Input: the input to the action\n",
      "Observation: the result of the action\n",
      "... (this Thought/Action/Action Input/Observation can repeat N times)\n",
      "Thought: I now know the final answer\n",
      "Final Answer: the final answer to the original input question\n",
      "\n",
      "Begin!\n",
      "\n",
      "Question: {input}\n",
      "Thought:{agent_scratchpad}\n"
     ]
    }
   ],
   "source": [
    "print(prompt.template)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 206,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "\u001b[1m> Entering new AgentExecutor chain...\u001b[0m\n",
      "\u001b[32;1m\u001b[1;3mI need to find out which South Korean athlete won a medal in the women's 10m air pistol event at the 2024 Paris Olympics. Since the event has not yet occurred and I have data only up to October 2023, I will need to search for the most recent information regarding predictions or announcements related to South Korean athletes in this event.\n",
      "\n",
      "Action: Search  \n",
      "Action Input: \"2024 Paris Olympics South Korea women's 10m air pistol medal predictions or announcements\"  \u001b[0m\u001b[36;1m\u001b[1;3m['Yang Jiin becomes the fourth athlete from the Republic of Korea to take shooting gold at Paris 2024. Can they continue their successes in ...', 'Defending gold medalist China bests South Korea for the first medal of the 2024 Paris Olympics in the 10m mixed team air rifle led by Sheng ...', 'Official medal standings for the Paris 2024 Olympics (Jul 26-Aug 11, 2024). Find out which athletes are bringing home medals and breaking ...', \"South Korea dominated the women's 10m air pistol event at the 2024 Paris Olympics after its athletes Oh Ye-jin and Kim Yeji won gold and silver, ...\", \"PARIS 2024 OLYMPICS - Shooting - 10m Air Pistol Men's Victory Ceremony - Chateauroux Shooting Centre, Dols, France - July 28, 2024.\", \"Ban (KOR) equals the Olympic record to win gold! The 16-year-old (yes, 16-year-old), who's still studying at high school, comes through a shoot-off against ...\", \"South Korea's Ban Hyo-jin won gold in the women's 10m air rifle event at the 2024 Paris Olympics, while China's Huang Yuting and ...\", \"Chinese sharpshooters ruled the Olympic range, while pistol shooters Yusuf Dikec of Turkey and South Korea's Kim Ye-ji became overnight ...\", 'Olympics 2024 Live Updates: Manu Bhaker and Sarabjot Singh won the bronze medal in mixed team 10 m air pistol event, giving India its second ...', 'India is competing at the 2024 Summer Olympics in Paris, France, being held between 26 July and 11 August 2024. The country made its debut at the 1900 ...']\u001b[0m\u001b[32;1m\u001b[1;3mI have found that South Korea's athletes Oh Ye-jin and Kim Ye-ji won gold and silver medals, respectively, in the women's 10m air pistol event at the 2024 Paris Olympics. \n",
      "\n",
      "Final Answer: 대한민국 선수는 오예진(금메달)과 김예지(은메달)입니다.\u001b[0m\n",
      "\n",
      "\u001b[1m> Finished chain.\u001b[0m\n",
      "{'input': '2024 파리 올림픽 사격 여자 10m 공기권총에서 메달을 획득한 대한민국 선수는?', 'output': '대한민국 선수는 오예진(금메달)과 김예지(은메달)입니다.'}\n"
     ]
    }
   ],
   "source": [
    "result = agent_executor.invoke({\"input\": \"2024 파리 올림픽 사격 여자 10m 공기권총에서 메달을 획득한 대한민국 선수는?\"})\n",
    "print(result)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 207,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "대한민국 선수는 오예진(금메달)과 김예지(은메달)입니다.\n"
     ]
    }
   ],
   "source": [
    "print(result['output'])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}