quick_start/06_OpenAI_parameters.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# OpenAI의 gpt 모델에서 사용할 수 있는 파라미터"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "from openai import AzureOpenAI\n",
    "from dotenv import load_dotenv\n",
    "load_dotenv()\n",
    "\n",
    "client = AzureOpenAI(\n",
    "    azure_endpoint = os.getenv(\"AZURE_OPENAI_ENDPOINT\",\"\").strip(),\n",
    "    api_key        = os.getenv(\"AZURE_OPENAI_API_KEY\"),\n",
    "    api_version    = os.getenv(\"OPENAI_API_VERSION\")\n",
    ")\n",
    "\n",
    "deployment_name = os.getenv('DEPLOYMENT_NAME')\n",
    "SEED=123"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# temperature\n",
    "\n",
    "Defaults to 1\n",
    "\n",
    "`temperature` 매개변수의 기본값은 일반적으로 1입니다. `temperature` 매개변수는 생성된 텍스트의 예측 가능성과 다양성을 조정하는 데 사용됩니다. 값이 높을수록 생성된 텍스트가 더 다양하고 예측 불가능해지며, 값이 낮을수록 보다 예측 가능하고 일관된 결과를 생성합니다.  \n",
    "\n",
    "- 1에 가깝게 설정: 이는 기본 설정으로, 모델이 높은 다양성과 창의성을 가진 응답을 생성하도록 합니다. 이 설정은 가장 균형 잡힌 결과를 제공하며, 예측하기 어려운 다양한 응답을 생성할 수 있습니다.\n",
    "- 0에 가깝게 설정: 모델은 가장 확률이 높은 단어를 선택하려고 하여, 매우 일관되고 예측 가능한 텍스트를 생성합니다.\n",
    "- 1보다 크게 설정: 모델은 더 창의적이고 예측하기 어려운 텍스트를 생성하지만, 때로는 주제에서 벗어나거나 덜 일관된 결과를 낼 수도 있습니다.  \n",
    "\n",
    "일반적으로 Temperature 또는 Top_p 값을 바꾸는걸 추천하지만, 둘 다 동시에 바꾸는 것을 추천하지 않습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def call_openai(num_times, messages, temperature=1, use_seed=False):\n",
    "    for i in range(num_times):\n",
    "        if use_seed:\n",
    "            response = client.chat.completions.create(\n",
    "                model=deployment_name,\n",
    "                messages = [{\"role\":\"system\", \"content\":\"You are a helpful assistant.\"},\n",
    "                            {\"role\":\"user\",\"content\": messages}],\n",
    "                    max_tokens=60,\n",
    "                    seed=SEED,\n",
    "                    temperature = temperature\n",
    "            )\n",
    "        else:\n",
    "            response = client.chat.completions.create(\n",
    "                model=deployment_name,\n",
    "                messages = [{\"role\":\"system\", \"content\":\"You are a helpful assistant.\"},\n",
    "                            {\"role\":\"user\",\"content\": messages}],\n",
    "                    max_tokens=60,\n",
    "                    temperature = temperature\n",
    "            )\n",
    "        \n",
    "        print(str(i+1) + \": \" + response.choices[0].message.content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 물론이죠! 어느 날, 작은 마을의 끝자락에 신비로운 숲이 있었습니다. 이 숲은 깊고 울창하여 아무도 들어가 본 적이 없었고, 그 안에는 마법과 비밀이 가득하다는 전설\n",
      "2: 물론이죠! 이야기를 시작해볼게요.\n",
      "\n",
      "---\n",
      "\n",
      "고요한 산속 마을에는 예로부터 전해 내려오는 전설이 하나 있었다. 마을 중앙에 자리한 오래된 우물에는 신비한 힘이 깃들어 있어, 간절한\n",
      "3: 물론이죠! 어떤 장르의 이야기를 원하시나요? 판타지, 미스터리, 로맨스, SF 등 어떤 이야기가 듣고 싶은지 말씀해주시면 그에 맞게 시작할게요.\n",
      "4: 먼 옛날, 높은 산맥으로 둘러싸인 작은 마을이 있었습니다. 그 마을은 항상 밝고 화창한 날씨 덕분에 사람들은 평화롭고 행복하게 살고 있었죠. 마을의 중앙에 커다란 나무가\n",
      "5: 언젠가, 어느 조용한 마을이 있었습니다. 이 마을은 풍경이 아름답고, 사람들이 대부분 친절했습니다. 그러나 그곳에는 오래된 전설이 하나 있었습니다.\n",
      "\n",
      "마을의 북쪽 끝에 위치한 금지된 숲, 누구\n",
      "6: 깊은 숲속, 무성한 나무들 사이에 작은 마을이 하나 있었습니다. 이 마을의 이름은 에일리언 마을이었으며, 주민들은 그리 많은 수가 아니었지만 서로를 잘 알고 지내는 따뜻한 공동\n",
      "7: 한때, 몽환의 숲이라 불리는 신비로운 장소가 있었습니다. 이 숲은 낮에는 찬란한 초록빛으로 감싸여 있었고, 밤이 되면 별빛보다 더 황홀한 은빛으로 빛났습니다. 이\n",
      "8: 물론이죠! 어떤 장르의 이야기를 원하시나요? 판타지, 미스터리, 로맨스, 혹은 다른 장르를 원하시나요? 아니면 특별한 설정이나 주인공에 대한 아이디어가 있으신가요?\n",
      "9: 한적한 시골 마을에 푸르름이 끝없이 이어진 들판과 노란 해바라기들을 가득 품은 작은 집이 있었어요. 이 집에는 온화한 미소가 일품인 할아버지와 상냥한 할머니가\n",
      "10: 물론입니다! 어떤 종류의 이야기를 원하시나요? 모험, 판타지, 공포, 로맨스, 아니면 다른 주제의 이야기를 원하시나요?\n"
     ]
    }
   ],
   "source": [
    "call_openai(10, '이야기를 시작해줘')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 물론이죠! 이야기를 시작해볼게요.\n",
      "\n",
      "옛날 옛적, 깊고 어두운 숲 속에 '에버그린'이라는 마을이 있었습니다. 에버그린은 사방이 울창한 나무들로 둘러싸\n",
      "2: 물론이죠! 어떤 장르의 이야기를 원하시나요? 예를 들어 판타지, 모험, 로맨스, 미스터리 등 여러 가지가 있습니다. 아니면 특정한 주제나 설정이 있으면 말씀해주세요.\n",
      "3: 물론이죠! 어떤 장르의 이야기를 원하시나요? 판타지, 모험, 로맨스, 미스터리 등 다양한 장르가 있습니다. 또는 특정한 배경이나 주제를 원하시면 말씀해 주세요.\n",
      "4: 어느 조용한 산골 마을에 수현이라는 소녀가 살고 있었어. 수현이는 항상 호기심이 많고 모험을 좋아하는 아이였어. 마을 사람들은 그녀를 '작은 탐험가'라고 불렀지. 어느\n",
      "5: 물론이죠! 어떤 종류의 이야기를 원하시나요? 예를 들어, 모험 이야기, 판타지 이야기, 일상 이야기 등 여러 가지가 있어요. 선택하시면 그에 맞춰 이야기를 시작해드릴게요.\n",
      "6: 옛날 옛적에, 깊은 숲 속 한가운데 작은 마을이 있었습니다. 이 마을은 마법의 숲으로 둘러싸여 있었고, 사람들은 숲의 신비로운 존재들과 평화롭게 공존하며 살았습니다. 마\n",
      "7: 어느 조용한 마을 구석에 자리 잡은 작은 책방, '끝없는 이야기'는 늘 신비로운 분위기를 풍기고 있었다. 이 책방은 마을 사람들에게는 단순한 책방 이상이었고, 새로운 세계로 연결되는 문과\n",
      "8: 어느 작은 마을에, 밤하늘을 사랑하는 소년, 민수가 살고 있었어요. 민수는 항상 별들을 보면서 꿈을 꾸곤 했죠. 그는 별들이 어떻게 생겼는지, 얼마나 멀리 있는지, 그리고 왜 반짝이는지\n",
      "9: 한때, 깊고 광활한 숲속에 '에리온'이라는 이름의 작은 마을이 있었습니다. 이 마을은 아름다운 자연경관과 평화로운 분위기로 유명했으며, 마을 사람들은 모두 서로를 도우며 행복하게 살아가\n",
      "10: 물론이죠! 이야기를 시작해 볼게요.\n",
      "\n",
      "옛날 옛적, 한적한 산골 마을에 작은 오두막에 살고 있는 소년, 민수가 있었습니다. 민수는 항상 호기심이 많고 모험을 좋아하는 아이\n"
     ]
    }
   ],
   "source": [
    "call_openai(10, '이야기를 시작해줘', temperature = 0.7)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`seed` 파라미터는 모델이 생성하는 결과의 재현성을 위해 사용됩니다. `seed` 는 난수 생성기에 사용되는 초기값이며, 동일한 `seed` 값으로 요청을 하면 모델은 동일한 입력에 대해 동일한 출력을 생성합니다. 이는 실험의 재현성을 보장하거나, 동일한 응답을 여러 사용자에게 제공할 필요가 있을 때 유용할 수 있습니다. 다음과 같은 상황에서 사용 가능합니다.  \n",
    "- 재현성이 중요할 때\n",
    "- 사용자 경험의 일관성\n",
    "- A/B 테스팅  \n",
    "\n",
    "재현 가능한 결과를 위해 `seed` 를 사용하는 경우, 다른 모델 파라미터(예: temperature, max_tokens 등)도 동일하게 유지해야 동일한 결과를 얻을 수 있습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 옛날 옛적, 울창한 숲 속 깊은 곳에 작은 마을이 하나 있었습니다. 그 마을 사람들은 자연과 조화를 이루며 평화롭게 살아가고 있었죠. 마을 한가운데는 커다란 나무가 있었는데,\n",
      "2: 옛날 옛적, 높은 산과 깊은 숲으로 둘러싸인 작은 마을이 하나 있었습니다. 그 마을의 이름은 '에델바이스'였고, 주민들은 평화롭고 조화롭게 살아가고 있었습니다. 마을 사람\n",
      "3: 옛날 옛적, 높은 산과 깊은 숲으로 둘러싸인 작은 마을이 하나 있었습니다. 그 마을의 이름은 '에델바이스'였고, 주민들은 평화롭고 조화롭게 살아가고 있었습니다. 마을 사람\n",
      "4: 옛날 옛적, 울창한 숲 속 깊은 곳에 작은 마을이 하나 있었습니다. 그 마을 사람들은 대대로 숲을 지키며 평화롭게 살아가고 있었죠. 숲은 그들에게 필요한 모든 것을 제공해 주었고\n",
      "5: 옛날 옛적, 높은 산과 깊은 숲으로 둘러싸인 작은 마을이 하나 있었습니다. 그 마을의 이름은 '에델바이스'였고, 주민들은 평화롭고 조화롭게 생활하고 있었습니다. 마을 사람들은\n",
      "6: 옛날 옛적, 울창한 숲 속 깊은 곳에 작은 마을이 하나 있었습니다. 그 마을 사람들은 대대로 숲의 보물을 지키며 살아왔습니다. 그 보물은 바로 '생명의 나무'였는데, 나무\n",
      "7: 옛날 옛적, 울창한 숲 속 깊은 곳에 작은 마을이 하나 있었습니다. 그 마을 사람들은 자연과 조화를 이루며 평화롭게 살아가고 있었죠. 마을 한가운데는 커다란 나무가 있었는데,\n",
      "8: 옛날 옛적, 울창한 숲 속 깊은 곳에 작은 마을이 하나 있었습니다. 그 마을 사람들은 대대로 숲을 지키며 평화롭게 살아가고 있었죠. 숲은 그들에게 필요한 모든 것을 제공해 주었고\n",
      "9: 옛날 옛적, 울창한 숲 속 깊은 곳에 작은 마을이 하나 있었습니다. 그 마을 사람들은 자연과 조화를 이루며 평화롭게 살아가고 있었죠. 마을 한가운데는 커다란 나무가 있었는데,\n",
      "10: 옛날 옛적, 높은 산과 깊은 숲으로 둘러싸인 작은 마을이 하나 있었습니다. 그 마을의 이름은 '에델바이스'였죠. 이 마을은 평화롭고 조용했으며, 주민들은 서로를 가족\n"
     ]
    }
   ],
   "source": [
    "call_openai(10, '이야기를 시작해줘', temperature = 0.7, use_seed=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 옛날 옛적, 깊은 숲 속에 에메랄드빛 호수가 있었습니다. 그 호수는 마법의 힘을 가지고 있었는데, 그 비밀은 오직 몇몇 용감한 탐험가들만 알 수 있었습니다. \n",
      "\n",
      "호\n",
      "2: 옛날 옛적, 깊은 숲 속에 에메랄드빛 호수가 있었습니다. 그 호수는 마법의 힘을 가지고 있었는데, 그 비밀은 오직 몇몇 용감한 탐험가들만이 알고 있었습니다. \n",
      "\n",
      "호\n",
      "3: 옛날 옛적, 깊은 숲 속에 에메랄드빛 호수가 있었습니다. 그 호수는 마법의 힘을 가지고 있었는데, 그 비밀은 오직 몇몇 용감한 탐험가들만 알 수 있었습니다. \n",
      "\n",
      "호\n",
      "4: 옛날 옛적, 깊고 푸른 숲 속에 작은 마을이 하나 있었습니다. 그 마을은 마법의 숲이라고 불리며, 사람들은 숲 속의 신비한 생명체들과 조화를 이루며 평화롭게 살고\n",
      "5: 옛날 옛적, 깊은 숲 속에 작은 마을이 하나 있었습니다. 이 마을은 마법과 신비로 가득한 곳이었으며, 주민들은 대부분 평화롭고 행복하게 살고 있었습니다. 그러나 마을 주변에는 누구도\n",
      "6: 옛날 옛적, 깊은 숲 속에 작은 마을이 하나 있었습니다. 이 마을은 마법과 신비로 가득 찬 장소로, 마을 사람들은 모두 각자 특별한 능력을 가지고 있었습니다. 그러나 그들 중에서도 가장 특별\n",
      "7: 옛날 옛적, 깊은 숲 속에 작은 마을이 하나 있었습니다. 이 마을은 마법과 신비로 가득한 곳이었으며, 주민들은 대부분 평화롭고 행복하게 살고 있었습니다. 그러나 마을 사람들 중에는\n",
      "8: 옛날 옛적, 깊은 숲 속에 작은 마을이 하나 있었어요. 이 마을은 마법과 신비로 가득 찬 장소로, 마을 사람들은 모두 각자 특별한 능력을 가지고 있었답니다. 어떤 사람은 동물들과\n",
      "9: 옛날 옛적, 깊은 숲 속에 작은 마을이 하나 있었어요. 이 마을은 마법과 신비로 가득 찬 장소로, 마을 사람들은 모두 각자 특별한 능력을 가지고 있었답니다. 어떤 사람은 동물들과\n",
      "10: 옛날 옛적, 깊은 숲 속에 작은 마을이 하나 있었어요. 이 마을은 마법과 신비로 가득 찬 장소로, 마을 사람들은 모두 각자 특별한 능력을 가지고 있었답니다. 어떤 사람은 동물들과\n"
     ]
    }
   ],
   "source": [
    "SEED=1\n",
    "call_openai(10, '이야기를 시작해줘', temperature = 0.7, use_seed=True)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# top_p\n",
    "\n",
    "Defaults to 1\n",
    "\n",
    "`top_p` 파라미터는 생성된 텍스트의 다양성과 창의성을 조절하는 데 사용됩니다. 이는 \"nucleus sampling\"이라고도 알려진 방법으로, 생성 과정에서 가능성이 높은 다음 단어의 확률 분포에서 특정 누적 확률(top_p)에 도달할 때까지 가장 가능성이 높은 단어들만 고려합니다. 예를 들어, top_p를 0.9로 설정하면, 모델은 가능한 다음 단어들의 확률을 높은 것부터 낮은 것까지 정렬하고, 누적 확률이 90%에 도달할 때까지의 단어들만 고려하여 다음 단어를 선택합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "def call_openai(num_times, messages, top_p):\n",
    "    for i in range(num_times):\n",
    "        \n",
    "        response = client.chat.completions.create(\n",
    "            model=deployment_name,\n",
    "            messages=messages,\n",
    "            max_tokens=60,\n",
    "            top_p = top_p\n",
    "        )\n",
    "\n",
    "        print(str(i+1) + \": \" + response.choices[0].message.content.strip(\" \\n\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 어느 작은 마을에 '라일락 마을'이라는 곳이 있었다. 이곳은 사방이 아름다운 라일락 꽃으로 덮여 항상 향긋한 꽃내음이 가득했다. 강물은 맑고 푸르렀으며,\n",
      "2: 어느 작은 마을에, 한 쌍의 반짝이는 눈을 가진 소년, 민수가 살고 있었어요. 민수는 마을에서 가장 높은 언덕 위에 있는 외딴 집에 살고 있었죠. 그 집은 오랜 시간 동안 비어\n",
      "3: 비가 내리던 어느 가을 저녁, 도시 외곽의 작은 마을에 신비로운 이야기가 전해 내려오고 있었다. 마을 가장자리에 위치한 오래된 집은 그 마을의 가장 장엄한 신비를 품고 있었다. 사람들은\n",
      "4: 옛날 옛적, 바다와 산이 만나는 아름다운 마을에 작은 어촌이 있었습니다. 그 마을에는 한 소년이 살고 있었어요. 그의 이름은 하린이었죠. 하린은 어렸을 때부터 바다를 사랑\n",
      "5: 어떤 장르의 이야기를 원하시는지 알려주시면 좋겠지만, 일단은 제가 자유롭게 시작해볼게요!\n",
      "\n",
      "어느 평범한 마을에 소녀 하나가 살고 있었습니다. 이 소녀의 이름은 수아였고, 그녀는\n",
      "6: 어느 작은 마을에, 그림 같은 언덕 사이에 조용히 자리 잡은 '에메랄드 호수'가 있었다. 이 호수는 마을 주민들에게 특별한 의미를 지니고 있었다. 전설에 따르면, 이 호수에는 고대의\n",
      "7: 그 어느 날, 세상이 알지 못했던 작은 마을, 린도르프가 있었다. 린도르프는 높은 산들에 둘러싸여 있고, 흐르는 강물이 마을을 감싸며 지나는 곳이다. 이곳의 주민들은 그들의\n",
      "8: 물론입니다! 한번 시작해 보겠습니다.\n",
      "\n",
      "***\n",
      "\n",
      "깊은 숲 속, 아직 인간의 손이 닿지 않은 신비로운 숲의 한가운데에는 마법의 샘이 있었다. 이 샘은 천 년이 넘도록 흐르고 있으며, 물 한\n",
      "9: 어느 맑은 가을 아침, 뾰족한 산으로 둘러싸인 작은 마을이 있었다. 이 마을의 이름은 '별빛 마을'이었다. 이름 그대로 밤하늘에 쏟아지는 별빛이 마을을 화려\n",
      "10: 숲 속 깊은 곳에, 인간의 발길이 닿지 않은 신비로운 마을이 하나 있었다. 이 마을은 '에드레아'라 불리며, 이곳에 사는 생명체들은 서로 이해할 수 있는 특별한 능력을 가지고\n"
     ]
    }
   ],
   "source": [
    "messages=[\n",
    "    {\"role\": \"user\", \"content\": '이야기를 시작해줘'},\n",
    "]\n",
    "\n",
    "call_openai(10, messages, top_p = 1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 어느 작은 마을에, 깊은 숲 속에 자리 잡은 고요한 호수가 있었습니다. 이 호수는 마을 사람들에게 신비로운 전설로 유명했어요. 전설에 따르면, 호수의 가장 깊은 곳에는 마법의 진주\n",
      "2: 어느 작은 마을에, 깊은 숲 속에 자리 잡은 고요한 호수가 있었습니다. 이 호수는 마을 사람들에게 신비로운 전설로 유명했어요. 전설에 따르면, 호수의 가장 깊은 곳에는 마법의 진주\n",
      "3: 어느 작은 마을에, 이름이 '루나'인 소녀가 살고 있었습니다. 루나는 항상 밤하늘을 바라보며 별들을 관찰하는 것을 좋아했어요. 그녀는 별들이 단순히 빛나는 점이 아니라, 각자 자신만\n",
      "4: 어느 작은 마을에, 이름이 '루나'인 소녀가 살고 있었습니다. 루나는 항상 밤하늘을 바라보며 별들을 사랑했어요. 그녀는 별들이 단순히 빛나는 점들이 아니라, 각자 자신만의 이야기를 가지고\n",
      "5: 어느 작은 마을에, 이름이 '루나'인 소녀가 살고 있었습니다. 루나는 항상 밤하늘을 바라보며 별들을 관찰하는 것을 좋아했습니다. 그녀는 별들이 단순히 빛나는 점들이 아니라, 각기 다른 이야기를\n",
      "6: 어느 작은 마을에, 깊은 숲 속에 자리 잡은 고요한 호수가 있었습니다. 이 호수는 마을 사람들에게 신비로운 전설로 유명했어요. 전설에 따르면, 호수의 가장 깊은 곳에는 마법의 돌이\n",
      "7: 어느 작은 마을에, 깊은 숲 속에 자리 잡은 고요한 호수가 있었다. 이 호수는 마을 사람들에게 신비로운 장소로 여겨졌는데, 그 이유는 호수의 물이 달빛 아래서만 빛나기 때문이었다\n",
      "8: 어느 작은 마을에, 깊은 숲 속에 자리 잡은 고요한 호수가 있었습니다. 이 호수는 마을 사람들에게 신비로운 전설로 유명했어요. 전설에 따르면, 호수의 가장 깊은 곳에는 소원을 들어주는 마\n",
      "9: 어느 작은 마을에, 이름이 '루나'인 소녀가 살고 있었습니다. 루나는 항상 밤하늘을 바라보며 별들을 관찰하는 것을 좋아했습니다. 그녀는 별들이 단순히 빛나는 점들이 아니라, 각기 다른 이야기를\n",
      "10: 어느 작은 마을에, 깊은 숲 속에 자리 잡은 고요한 호수가 있었다. 이 호수는 마을 사람들에게 신비로운 전설로 유명했다. 전설에 따르면, 호수의 가장 깊은 곳에는 소원을 들어주는 마법의\n"
     ]
    }
   ],
   "source": [
    "call_openai(10, messages, top_p = 0.1)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# n\n",
    "\n",
    "Defaults to 1\n",
    "\n",
    "요청한 Prompt에 대해 Completion 몇 개를 생성할지 정하는 옵션임.\n",
    "\n",
    "참고 :이 매개 변수는 많은 Completion을 생성하기 때문에 토큰 할당량을 빠르게 소비 할 수 있습니다. 신중하게 사용하고 max_tokens에 대한 합리적인 설정이 있는지 확인하고 중지하십시오."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "물론이죠! 이야기를 시작해볼게요.\n",
      "\n",
      "옛날 옛적, 높은 산줄기가 끝없이 이어지는 깊은 숲속에 작은 마을이 있었습니다. 이 마을은 '에델바이스 마을'이라고 불리며, 많은 전\n",
      "물론이죠. 이야기의 배경과 주요 인물을 설정한 후 이야기를 시작해볼게요.\n",
      "\n",
      "배경:\n",
      "한적한 산골 마을, '눈꽃 마을'은 겨울이 되면 온 마을이 말 그대로 눈꽃으로 뒤덮이는\n"
     ]
    }
   ],
   "source": [
    "response = client.chat.completions.create(\n",
    "    model=deployment_name,\n",
    "    messages=messages,\n",
    "    max_tokens=60,\n",
    "    n=2\n",
    ")\n",
    "\n",
    "i=0\n",
    "for resp in response.choices:\n",
    "    print(resp.message.content.strip(\" \\n\"))"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# presence_penalty\n",
    "\n",
    "Defaults to 0\n",
    "\n",
    "-2.0에서 2.0 사이의 숫자입니다. 양수 값은 지금까지 텍스트에 나타나는지 여부에 따라 새 토큰에 페널티를 주어 모델이 새 주제에 대해 이야기할 가능성을 높입니다.\n",
    "\n",
    "# frequency_penalty\n",
    "\n",
    "Defaults to 0\n",
    "\n",
    "-2.0에서 2.0 사이의 숫자입니다. 양수 값은 지금까지 텍스트의 기존 빈도를 기반으로 새 토큰에 페널티를 주어 모델이 동일한 줄을 그대로 반복할 가능성을 줄입니다.\n",
    "\n",
    "# function_call\n",
    "\n",
    "array\n",
    "\n",
    "모델이 함수 호출에 응답하는 방식을 제어합니다. '없음'은 모델이 함수를 호출하지 않고 최종 사용자에게 응답함을 의미합니다. '자동'은 모델이 최종 사용자 또는 함수 호출 중에서 선택할 수 있음을 의미합니다. {'name': 'my_function'}을 통해 특정 함수를 지정하면 모델이 해당 함수를 강제로 호출합니다. 함수가 없는 경우 'none'이 기본값입니다. 기능이 있는 경우 '자동'이 기본값입니다."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "azureml_py310_sdkv2",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "2139c70ac98f3202d028164a545621647e07f47fd6f5d8ac55cf952bf7c15ed1"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}